8月29日（月）

朝5時半起床。足は吊らなかったが、足腰が重い。今日のInterspeechは8時半から始まるので、あまり余裕がない。2回ほど発表の練習をするが、何カ所か誤植を見つけたのでスライドを作り直す。7時半ごろ朝食。あまり食欲がないので、シリアルとヨーグルトが中心。

8時ちょっと前に宿をでたが、いつもと違う道を通ったら迷ってしまって、すこし時間がかかった。

8時15分頃会場について、スライドセンターで改訂版のスライドをアップロード。

8時半から今日のオープニング。最初に今日のネタ。フィレンツェで何を食べたらいいか、ということでトスカーナ名物の食べ物の紹介。「カプチーノにはtallとかgrandeとかventiなどのサイズはありません」というところで拍手が起きていた（笑）。

次に今日のキーノート。
○Neural Representation of Word Meaning (Tom M. Mitchell, CMU)
・ある単語を見せたときのfMRI画像から元の単語を当てる。正解率は人によるが、有意に良い認識率が得られる。
・ある人のfMRI画像で学習して他の人の画像から単語を当てることができる。つまり、脳内の単語の表現は人によらず一定である。
・脳内での単語表現の原理を発見することができるか？このため、コーパスによる単語のベクトル（名詞に対する25の動詞の共起確率）から脳の各ボクセルへの重回帰モデルを作った。完璧ではないがある程度良い予測が可能。
・「25の動詞」がもっとも良い意味表現のPuri未てぃぶなのか？いろいろ試し、メカニカルタークで集めた218種類の動詞と、正準相関分析で発見した 20種類の特徴が25単語よりも有意に良かった。正閏相関分析の結果から、「場所」「道具」「食べる」「体に触る」などの軸が得られた。それぞれに属する単語による脳の活動パターンに特徴が見られた。
・MEGによる脳活動の時間パターン計測。単語提示から様々な時間でのパターンで「今見ているのがどの単語か」を学習・評価してみると、提示後400ms 程度がもっとも認識率が高かった。そのあたりのパターンがもっとも単語の意味をエンコードしている。様々な特徴と、各時間での脳活動との関係。150ms ぐらいから意味的特徴に反応し始める。
・各単語の意味から句の意味がどう作られるのか？2語からなる句による脳活動を説明するために、個々の単語の中間表現をどう組み合わせればよいかを調べた。中間表現（単語ベクトル）を掛けた場合によりよく脳活動を説明できた。
・質疑
- 多言語の場合はどうか？→予備的検討として、英語とポルトガル語のバイリンガルを使って、片方の言語からモデルを作ってもう片方の言語による脳活動を認識する実験を行った。結果は単一言語に近い。
- 子供と大人での脳内表現の違いは。→子供の場合は大人よりも個人差が大きく、大人になるに従って似たようなパターンに収束すると考えている。
- 質問を聞き漏らした。
- ピアジェによる理論との関係。質問者がしゃべりっぱなし。

この後コーヒーブレイク。私は次のセッションで発表なので、直接会場へ。

10時からAcoustic Event Detection のオーラルセッション。事前アップロードスライドの利用システムはとてもうまく動いているようだった。しかも発表中に画面上にタイマーがでるという親切さ。

聴講者はそれほど多くなかったが、最初の発表中に人が集まってきた。

○Acoustic Event Detection
Learning New Acoustic Events in an HMM-Based System using MAP Adaptation (Techinische U Muenchen)
新しい音響イベントを自動獲得する。認識はleft-to-right HMMで特徴はふつうのMFCC+Δ+ΔΔ。新しい音響イベントが観測されたときに、一番近い音響イベントモデルからMAP適応で新しいモデルを作る。音響イベントの初期クラスは15種類（この状態でのエラー率は3～4%）。新しいデータがクラスあたり3個ぐらいの場合にはEM学習よりも良い。何が新しい音響イベントなのかの判定はしていない。

Alternative Frequency Scale Cepstral Coefficient for Robust Sound Event Recognition (A* Star)
発表者はシンガポールだが、なぜか名大の北岡先生が著者に入っている。早口で何をいってるかわからん。雑音環境下で音響イベント認識をする場合には MFCCはあまり良くないので、それを何とかしようという研究。雑音は低周波数領域に集中するので、そこをより粗くフィルタリングしようという考え。線形スケールと、指数スケール（メルスケールの逆）を試した。認識はSVM。指数スケールが良い結果だった。一般の音だけでなく、音声イベントについても指数スケールの方がいいのがちょっと驚き。

Evaluation of Abnormal Sound Detection using Multi-Stage GMM in Various Environments (Tohoku U)
私の発表。環境音中から「聞いたことがない」音を自動検出する。ほぼ時間通りに終了。発表の出来はパーフェクトではないがまあまあかな。モデル化にHMMを使った方がいいんじゃないの？という質問などをもらった。

Unsupervised Learning of Acoustic Events Using Dynamic Time Warping and Hierarchical K-Means++ Clustering) (U Paderborn)
音響イベントの自動学習。基本的にはクラスタリング。学習データの音響イベントへの分割とクラスタリングを同時に行う。データ分割にはsegmental DTWという方法を使う(IRIFCDPみたいなものか）。クラスタリングはK-Means++。初期値の決め方に工夫があるらしい。また、多めにクラスタを作っておいて、階層的クラスタリングで数を減らす。評価には数字音声を使って、クラスタリング結果がどれだけ本当の単一クラスデータを含んでいるかで評価している。また、クラスタリング結果からHMMを学習して数字音声認識をやってみた。本当のラベルで学習した認識結果には及ばないが、ふつうの方法よりは高い性能。

Feature Extraction Assessment for an Acoustic-Event Classification Task Using the Entropy Triangle (U Carlos III de Madrid)
音響イベント検出の特徴量の検討。MFCCの5フレーム分のサマリ（各次元の平均、分散、歪度、尖度など）、フィルタバンク係数などを検討。識別は SVM。検出精度の評価基準として、識別率ではなくEntropy Triangleというものを使う。3つの値を組み合わせたものらしい（一様分布からのエントロピーの差、相互エントロピー、Entropy Variance）。これら3つを足すと1になり、具体的なシステム性能は正三角形内の一点で表される。
評価実験の結果、MFCCの平均分散歪度＋フィルタバンク係数が良かった（フィルタバンク係数だけだと良くない）。

Unsupervised Audio Analysis for Categorizing Heterogeneous Consumer Domain Videos (BBN)
話の枕はYouTube。できるだけ少ないラベルで自動的に音響イベントを学習するのが目標。手法はK-meansによるコードブックのヒストグラムのマッチングだが、識別にPyramid Match Kernel(PMK)というものを使う。説明はよくわからなかった。識別器はSVM。対象はYouTubeで、識別のクラスはスポーツとか軍事パレードとかその程度の粒度。「音声・非音声・音楽・無音」クラスで音素認識みたいなことをしてヒストグラム認識をすると40%ちょっと。Segmental GMMで56.7%。コードブック＋ヒストグラムでは、コードブックサイズを増やすことによって65%ぐらい。PMKを使うと71.8%。オーディオベース検索にも有効。

終わって昼だが、ポスターを担いで荷物も多いし、昨日たらふく食ってあまり腹も減っていないので、昼飯代わりにジェラートを食う。今日は土曜日の約半分の量。

早めに食べ終わったので、少し仕事をしようと会場に戻ったが無線LANがつながらない。しかたなくpublicなPCを使ったら日本語がでない。しばらくがんばったが、そのうちあきらめて日記を書く。

13時半から午後のセッション。疲れているのでオーラルを聞きたいところだが、興味があるのがポスターセッションなので仕方なくポスターを聞く。

○HMM-Based Speech Synthesis II
Speech Synthesis Based on Articulatory-Movement HMMs with Voice-Source Codebooks (Tohohashi Inst. Tech)
新田先生が発表されていたので聞いてみた。認識のほうで前からやっている調音特徴HMMを合成に使った研究で、歌声合成にも応用しているそうだ。調音特徴は話者性を含まないので、話者適応の時にはHMMをいじる必要はなく、調音特徴からスペクトルを生成する部分だけ適応すればよいので、通常のケプストラムよりも適応が簡単なのが売りらしい。言われてみればその通り。

○Phonetics and Phonology, Stress, Accent, Rhythm
Applying Rhythm Features to Automatically Assess Non-Native Speech (Educational Testing Service)
非母語話者の発音自動評定にリズム特徴を入れる話。リズム特徴は自動音声認識をもとに推定。母音クラスタの速度みたいな簡単な特徴だった気がする。リズム導入によって評定値と人間による評定の相関が向上。

○ASR-Search, Keyword Spotting and Confidence Measure I
Event Selection from Phone Posteriograms Using Matched Filters (JHU)
連続音声からの単語スポッティング。音声から音素ごとの事後確率ベクトル(posteriogram)を求めて、それを時間的に移動平均した結果のピークから音素をスポッティングし、さらにそれをつなげて単語を検出する。大昔に盛合さんがやっていた音素判別フィルタと考え方はよく似ている。音素ごとに最適なフィルタを推定するというところがミソらしい。

A Piecewise Aggregate Approximation Lower-Bound Estimate for Posteriogram-Based Dynamic Time Warping (MIT)
PosteriogramベースのDPマッチングによる単語検出。これまた何年前の研究？という感じではあるが、リバイバル的に流行っているのかも。こちらはDPの高速化がメインだが、単に連続DPを使うよりも計算量が下がってない気がするのは気のせいか。

OOV Detection and Recovery Using Hybrid Models with Different Fragments (CMU)
さまざまな階層的言語モデルでOOVの検出と認識制度改善について調べた。OOVをモデル化するときのサブワードの単位として、音素、高頻度音素連鎖、 graphemeを試した。音素連鎖とgraphemeが高い性能。1単位あたりの音素数が多いので、言語制約がききやすくなっているのだと思う。

AUC Optimization Based Confidence Measure for Keyword Spotting (Harbin Inst. Tech.)
キーワードスポッティングをするときに、検出されたキーワードの各音素に対するスコアに適当な重みをつける。さらに、検出性能が最大になるように重みを最大化する。はじめは何の話をしているのか理解できなかったが、要するにスポッティングと識別的言語モデルを組み合わせたみたいな話らしい。おもしろい発想。

Combiniing Lattice-Based Language Dependent and Independent Approaches for Out-of-Language Detection in LVCSR (Tsinghua U)
複数言語が混ざる発話の中で、対象言語でない発話を検出する方法。対象言語の認識器（この研究では中国語）で生成した音素ラティスを特徴量として、認識対象が本当に対象言語なのかどうかを識別する。

Predicting Human Perceived Accuracy of ASR Systems (AT&T Labs)
人間の感じる認識性能の良さの予測。新たな評価指標HPA(Human-Perceived Accuracy)というのを提案している。詳細はよくわからなかった。「認識結果がどの程度有用か」の主観評価結果との相関をとったところ、HPAの方がWERよりも高い相関を示した。

Preformance Prediction of Speech Recognition Using Average-Voice-Based Speech Synthesis (Mitsubishi)
音声認識システムが特定の話者に対してどの程度の性能なのかを推定する方法。特定話者のたくさんの発話を集めるのは大変なので、少量の発話から音声合成のモデルを適応して、それを使った合成音声で認識システムを評価する。

午後後半は私の3件目の発表。ポスターなので疲れるが、のんびり発表する。内容は増村君の音声ドキュメント検索。クエリ尤度モデルによるテキスト検索の部分を理解してもらうのが結構大変だった。Webを使うドキュメント拡張は納得してもらいやすかったが、グローバルモデルを使ったクエリ尤度平滑化の方は理解が難しかったようだ。

18時に発表終了。この後Reviewer's Receptionというのがあるのだが、遠くまで連れていかれる上に、毎年食べ物が大したこと無いという噂なので、パスする。豪華なイタリア料理は昨日食べたので、今日はピザでも食べたいということで、もと先生・仁先生と3人で食事。

特に目的の店もなく、たまたま近くにあった店でピザ。

私は最初にトマトとモッツァレラチーズの前菜、その後MARIOなんとかというピザを頼んだのだが、よくわからずに頼んでいて、来てみたらピザの上にフライドポテトが載ったものだった。ちょっとカロリー高め。

何とか食べ終わり、ホテルに戻る。この写真は途中のバッソ要塞の夜景。

シャワーを浴びて、9時過ぎに寝る。

前の日へ　目次へ　次の日へ