9月11日(火)

朝5時すぎ起床。少しずつ時差が治ってきたか。時差が解消した所で帰るんだよなあ。

2時間ほどメールを読み書きしたり学生さんのプレゼンを添削したり。7時すぎに朝食。今日はシリアルだけ。

今日もサンドイッチを作って、8時にホテルを出る。

8時半からキーノート。

Music Understanding and the Future of Musical Performance (Roger B. Dannenberg, CMU)

・コンピューター音楽の歴史。世界の音楽情報処理動向の簡単な紹介。AudacityってCMU産だったのか。
・現在の音楽におけるコンピュータ。演奏、録音、編集、配信、検索・推薦、フィンガープリンティング。
・新しい技術
    自動伴奏
        トランペットに対する自動伴奏。ビデオがあったがだいぶ古そう。
        歌唱に対する自動伴奏。機会学習技術が使われている。スコアのどこを現在歌っているかを確率密度関数によって表現する。
        トランペットへの自動伴奏アプリのデモ。生演奏。
    スタイル分類
        ジャズ演奏のスタイル分類。デモ映像のMacが超古い。
    多声音楽とスコアの対応付け。スコアから生成したMIDIと実演奏のクロマベクトルの間でDPマッチング。Audacityのプラグインになっているらしい。
    音楽信号の音符への分解。音符の立ち上がりは必ずしも明確ではないので、最初にスコアとの対応からセグメントを求め、それを元に機械学習
    フレーズベースの音合成。音符を合成して重ねるだけでなく、フレーズ内でその楽器（例ではトランペット）がどう実際に演奏されるのかを考慮して合成する
    Human Computer Music Performance （人間とコンピュータの合奏）
        Rock Prodigy （ギター演奏用音ゲーム）
        ジャズバンドやクラシックでの合奏ビデオ。


コーヒーブレイク。次にインタラクション関係のセッションを聞こうと思い、会場を移動してみた。こちらの会場はちょっと離れていて人が少ないので、コーヒーをとる のが余裕だった。


10時から次のセッション。

Conversation and Interaction I

Phoneme Resistance During Speech-in-speech Comprehension (Lyon Neuroscience Inst./Univ. Lyon)
カクテルパーティー効果のように音声が音声でマスクされる場合の聞き取りについて調べた。マスク用雑音は、バブル雑音、逆転バブル雑音、音声ではない定常雑音。 （逆転）バブル雑音の方が定常的な雑音よりも聞き取りの妨害効果が大きい。バブル雑音と逆転バブル雑音は、雑音生成のために重ねた音声の数が少ない時にはやや異な る効果（通常バブル雑音の方が妨害効果が大きい）。音素ごとに調べると、フォルマントを持つ音素（母音とか）の邦画より妨害されやすい。

Smile with a Smile (Utrecht U)
笑いながら音声を発声すると、声道が短くなるためにフォルマントが変化する（特にF2,F3が上がる）。笑いながら発声した音声は通常音声と区別できる。言語と感 情は関連していることがわかっているので、"smile"という単語（本当はオランダ語glimlach）を発声しているときに話者が微笑むのかどうか調べた。統 制用に、発音の似た別な単語を発声させた。それぞれの単語の/i/の部分について、フォルマントの分布を調べた。その結果、女性の場合のみ、smileを発声した ときのF2-F1のばらつきが大きくなった。結果として、女性はsmileを発声するときに笑う傾向が大きい。なぜ女性だけかについて、笑いの社会性における性差 について言及していた。

Interactions Between Turn-taking Gaps Disfluencies and Social Obligation (Oregon Health&Science U)
話者交代時のギャップと発話内容（質問の種類など）、発話のdisfluencyがどう関係しているか。発達障害や自閉症の人について、健常者と同じ性質はなに で、なにが異なるのか。健常・発達障害・自閉症の子供の会話からギャップ長とdisfluency、質問の種類についての関係を調べた。結果として、ギャップ長が 長くなるとdisfluencyが起きやすく、また質問の後にdisfluencyが起きやすい。

ここで部屋を出て、スペシャルセッションのSpeech and Langugage Technologies for STEM のポスターを聞きにいく。ところでSTEMって何だろう。（後で調べたらScience, Technology, Engineering and Mathematicsのことらしい）

Speech and Langugage Technologies for STEM（聞いたものだけ）

Application of Structural Events Detected on ASR Outputs for Automated Speaking Assessment (Educational Testing Service)
非母語話者発話の中のStructural Event(SE)の自動検出と、それを使った発話のうまさの推定。Structural Eventがどういうものか完全には理解できなかったが、Close Boundary(CB)とInterruption Point(IP)というのを使うらしい。発話の書き起こしの単語列、韻律(ポーズなど)からCBとIPを検出するモデルを学習する。識別器はMaxEntまたはCRF。 人手の書き起こしと自動認識の比較。自動書き起こしだと結構性能が下がっている。

Addressing Confusions in Spoken Language in ESL Pronunciation Tutors (CMU)
対話型発音チューター。指定された文を学習者が読み上げると、その中で他の単語と間違って問題になる発音を指摘する。発音自体が間違っていても、文脈上他の単語と 混乱することがなければそれでよしという思想。混同しやすい単語ペアはあらかじめリストアップしてあり、発音に対してネットワークのviterbi alignmentを行うことで誤りかどうかを指摘する。学習者へのアンケートや、学習が進むごとに成績がどう変化したかなどが示されていた。

The Use of DBN-HMMs for Mispronunciation Detection and Diagnosis in L2 English to Support Computer-Aided Pronunciation Training (CUHK/MSR Asia)
Helen MengとFrank Soongのところの共同研究。発音評価にDeep Belief Network HMMを使ったら性能が上がりましたという話。認識だけでなく評価にも有効ということね（まあそうだろう）。

Practice and feedback in L2 speaking: an evaluation of the DISCO CALL system (Radboud U)
ロールプレイ型CALLシステムDISCOのユーザー評価。概ね好評。
 
ここで少し早いけど会場を抜けて、公園でサンドイッチを食べる。食べ終わった所で近くのスタバに入って、仕事をしたり。
　

13時頃会場に戻る。最初にポスターのEnhancement and Codingで音声符号化関係のポスターを見る。符号化関連は本当に少ないなあ。

Enumerative Algebraic Coding for ACELP (Fraunhofer IIS)
ACELPの残差コードブックの効率化。あるビット長の信号内に決まったビット数の±1の値だけがある(残りの値は全部0)場合に、すべての場合を数え上げること によって、ある残差信号が何番目のパターンであるかを使って符号化する。全体で5%ぐらい(AMR-WBの場合1kbit/s程度)ビットレートが削減できる。


符号化関連はこれだけのようだったので、次にオーラルセッションに移る。

Computer Assisted Language Learning I

1番目の発表は途中からだったのでよくわからない。

Maximum F1-score Discrimintive Training for Automatic Mispronunciation Detection in Computer-Assisted Language Learning (Xinjang U)
F値を評価関数として、それを最大にする識別学習。

Error Pattern Detection Integrating Generatative and Discriminative Learning for Camputer Aided Pronunciation Training (National Taiwan U)　
ある音素をどのように間違ったか(Error pattern)の認識。デコーディングでは、最初に音素境界を決めて、次に孤立音素について識別を行う。識別にはHMM,GMM,SVMを併せて使う。

The Automatic Assessment of Non-native Prosody: Combining Classical Prosodic Analysis with Acoustic Modeling (Friedrich-Alexander U)
非母語話者の韻律評価。特徴量は
・音節ごとの音響特徴の平均と分散（？）
・GMM-UBM
・openSMILEによる抽出（？）
を利用（組み合わせもあり）。細かい内容はぜんぜんわからなかった。

Improving L1-specific Phonological Error Diagnosis in Computer Assisted Pronunciation Training (RosettaStone)
発音評価を学習者の母語ごとに最適化する。発音の変化を統計的翻訳モデルでモデル化。自動翻訳の手法をそのまま使って学習者のL1ごとに異なる発音辞書を生成す る。その発音辞書を利用してL2発話を自動ラベリングしてL1依存音響モデルを学習する。学習基準はMLとMPE。発音誤り検出実験の結果、F値は0.44ぐら い。

A Self-Learning Assistive Vocal Interface Based on Vocabulary Learnihg and Grammar Induction (KU Leuven)
主に障碍のある人達への音声インタフェース。ALADIN(Adaptation and Learning for Assistive Domestic Interface)
音声とともに機器の操作をすることで、音声に対応する操作を自動的に獲得するという枠組みらしい。ソリティアみたいなカードゲームを学習する例が示された。単語の 獲得にNMFを使う。文法獲得部では、入力のチャンク（単語みたいなものの列)のどのトークンがどのスロットに関連するのかを自動獲得する。0から学習すると、 200発話ぐらいで人によってはまあまあな学習が出来ることもあると言う程度。「学習が遅すぎる」というのは発表者も最後に問題点として挙げていた。

午後後半はポスターを回る。コーヒーブレイクでは、なぜか枝豆が出ていた。しかも醤油付き。


Paralinguistics II

このセッションは全然注目してなかったのだが、色々変な発表があって面白い。

Improving Recognition of Speaker States and Traits by Cumulative Evidence: Intoxication, Sleepiness, Age and Gender (TU Muenchen)
長時間の音声を観測することで、その人のいろいろな特徴（性別や年齢だけでなく、眠いかどうか、酔っている(intoxication)かどうかなど）を当てる。 酔っ払い判定は3分の音声で75%、眠さは1分で75%、年齢(4クラス)は1分で60%、性別（男性、女性、子供）は1分で84%というところ。眠い音声コーパ ス(SLC)や酔っ払い音声コーパス(ALC)というのが整備されてるのを初めて知った。眠い音声については私も10年前ぐらいに一度挑戦して、音声収録が難しい のでやめた経緯がある。

Speaker Clustering in Emotion Recognition (U of New South Wales)
感情音声認識の精度向上のために話者適応をする。学習データをクラスタリングして、テスト話者が与えられた時にその話者に近い学習話者クラスタを選び、そのデータ だけ使って感情モデルをMAP適応する。適応効果は1030ポイント（データによる)。

Automatic Detection of Conflict Escalation in Spoken Conversations (IDIAP)
討論の中で話者の言い争いがエスカレートしてるかどうかを自動判定。対象はフランス語の政治討論番組。主にピッチやパワーを特徴として使う。話者の切り出しやオー バーラップ音声検出などを手動でやった場合は、白熱度合いの推定精度は85%程度。この辺を自動でやると10ポイント以上性能低下。また議論がエスカレートしてい るかどうかの判定精度は70%弱。

The entropy of intoxicated speech - lexical creativity and heavy tongues (U of Munich)
酔っ払いの呂律の回らなさと語彙の単調になり具合を統計的に調べた。対象は上と同じALCコーパス。音素と単語の複雑さをエントロピーで測っている。酔っ払いの効 果については性差があって、男は酒が入るとエントロピーが下がる（しゃべりかたが単調になる）のに対して、女は逆に上がる（饒舌になる）。しかし差はわずか。明ら かな影響が出るほど飲んでないんじゃないのかなあ。

Annotation and Recognition of Personality Traits in Spoken Conversations from the AMI Meetings Corpus
心理学的な性格づけである5大要因「外向性(Extraversion)」「同調性(Agreeablness)」「まじめさ (Conscientiousness)」「ネガティブさ(Neuroticism)」「オープンさ(Openness)」をミーティングコーパスの音声に対して ラベリングした。また、韻律や単語N-gram、他の人とのインタラクションなどの特徴量から性格の推定を試みた。結果として、韻律から外向性が、他の参加者との インタラクションからネガティブさが推定可能。

Computer Assisted Language Learning II


Real-time Visualization of English Pronunciation on an IPA Chart Based on Articulatory Feature Extraction (Toyohashi Inst. Tech/Hokkaido U)
新田先生の研究室と北大の河合先生の共同研究。英語発音を母音のF1-F2図にリアルタイムで位置づけることで、発音の自己評価ができるようにする。河合先生が英 語教育について熱く語っておられた。この手のシステムはリアルタイム性が命とのことで、まったくその通りだと思う。

Acoustic Feature-based Non-scorable Response Detection for an Automated Speaking Proficiency Assessment (U Texas at Dallas)
CALLシステムへの発話がスコアリング不可能な発話なのかどうかを自動判定する。スコアリング不能発話とは、雑音が多かったり音量が不適切なもの、そもそも発話 していないもの、指示された発話をしなかったものなど。低レベルの音響的特徴と、音声認識結果を利用した特徴（信頼度など）を使う。両方の特徴を組み合わせて、精 度はF値で87〜97%。

Pronunciation Quality Evaluation of Sentences by Combining Word Based Scores (U de Chile)
発音評価をする場合に、単語ごとの発音評価値をどう組み合わせるのがよいかという話だったような気がする。英語が聞き取りにくくて説明もよくわからなかった。客観 評価値を計算する時に、ある単語に対して誤りやすい発音を母語に応じて用意して、そのスコア差分を使うみたいな話もしていた。最終的に、ネイティブによる評価値と の相関が0.51ぐらい。

Designing a Spoken Language Interface for a Tutorial Dialogue System (U of Edinburgh)
コンピュータによるチュートリアル用に対話システムを設計した話。チュートリアルの対象は電気回路のようだった。作るのは大変だと思うが、システムとして特に変 わった所はなかった気がする。

Less Errors with TTS? A Dictation Experiment with Foreign Language Learners (Instituto Sperior Technico)
Isabel Trancosoが説明していた。ポルトガル語の学習システムで、学習者にディクテーションタスクをやらせてみると、人間の音声よりも合成音声のほうが聞き取り成績がよ かったという話。主に話速が遅いかららしい。作成した聞き取りシステムのデモをやっていた。

Improvement in Automatic Pronunciation Scoring using Additional Basic Scores and Learning to Rank (National Tsing Hua U)
Roger Jangのところの学生。Learning to Rankの手法を使って発音評価モデルを学習した。スコアとして、発話全体を平均したスコア、母音だけのスコア、子音だけのスコアを計算し、それらを組み合わせることで性 能がやや向上する。母音と子音を別々にスコアリングすると性能が上がると言うことは、それらの良さによる聞き取り印象へのインパクトが違うんだろうなあ。

ポスター会場を回っていると、3月まで東北大におられた橋本和夫先生にお会いする。橋本先生は音声の人じゃなかったはずだと思ってちょっと驚いた。現在はシリコン バレー在住でコンサルティングをやっていて、その関係で音声技術の調査にきておられたらしい。

セッション後、橋本先生とご一緒して夕食。どこがいいか少し歩いて迷った後、10th st. 付近のインド料理屋に入ってみる。


ここにはコースがあったので注文が楽ちん。もう食えないぐらい腹がいっぱいになって25ドルぐらい。シリコンバレーでの話とか、いろいろな研究企画についてのお話 を聞いた。


そこで橋本先生と別れ、ホテルに戻る。ホテルについてメールを読むと、いろいろ面倒くさい仕事が来ている（もともとくる予定だったのだが）。さっきビールを飲んで 酔っ払っているが、最小限のデータのダウンロードだけして、9時ごろ寝る。
前の日へ　目 次へ　次の日へ