Modulation Spectrum Factrization for Robust Speech Recognition (National Taiwan Normal U)
Berlin Chenのところ。PDFでプレゼンを作っているのか、フレームが上下にずれている。
変調スペクトルをNMFで分解するという話なのだが、字が小さくて何を書いているのかわからない。MFCCのどの帯域をどの程度強調すると音声を強調して雑音を抑圧するかを自動的に決めるという話のような気がする。ウイーナフィルタと違うんだろうか。
Comparison and Combination of Multilayer Perceptrons and Deep Belief
Networks in Hybrid Automatic Speech Recognition Systems (Nanyang Tech U)
音響モデルにDeep Belief
Networkを使う話（HMMと組み合わせて、GMMの代わりにDBNを使う）。出力確率計算にDBNとMLPを両方使って確率を組み合わせた（線形結
合または対数線形結合）場合の性能比較。隠れ層を3層に固定して隠れ層のユニットを増やすと、ユニットが多いところでDBNの性能がMLPを越える。組み
合わせることでさらに性能が向上。組み合わせ方による差はわずか。大量データを与えたときの収束もDBNの方が速い。Lightly
supervisedな実験では、書き起こしが非常に少ない場合はMLPの方がよいが、書き起こしの量が増えてくるとDBNの方が性能が高くなる。絶対的
な性能が悪すぎるんじゃないかというコメントがあった。
Compact Speech Decoder Based on Pure Functional Programming (Chiba U)
篠崎先生。Huskyの話。WFSTベースのデコーダをHaskellで書いたら380行ぐらいだった（しかも1/4はコメントと空行）。WFST自体は
一度読むだけなのでArrayで実現し、仮説はTreeを使って実装。性能はT3と同定度だが、速度は遅くてとメモリは大量に必要。記述の簡単さのどの程
度が関数型言語のおかげで、どの程度がGCのおかげなのか知りたいところ。たとえばJavaとかSatherとかで記述するとどの程度簡単なんだろう
か。（行数で言えばJavaは不利だと思うが）
Asymmetric Acoustic Model for Accented Speech Recognition (Tsinghua U)
中国語の地方アクセント音声の認識。従来は、話者適応手法のほか、音素認識を使ったユニット(Accent Specific Unit,
ASU)自動学習を使っていた。提案法はその改良。正書法の音素系列とアクセント音声のユニットを時間同期で学習する。また生成されたASUの為の音素モ
デルを既存の音素モデルのガウス分布から作る。認識時に音素モデルのガウス分布を選ぶという処理をするらしい。中国語の地方アクセントがどう標準語とミス
マッチを起こすのかがわからないので、内容が十分には理解できなかった。
MTF-based Sub-band Power-envelope Restoration for Robust Speech Recognition in Noisy Reverberent Environments (JAIST)
赤木研。残響と雑音の両方がある環境での音声認識。サブバンドの変調度に基づく雑音・残響抑圧手法（鵜木先生）を音声認識のフロントエンドとして使い、性
能を評価。評価の枠組みはAURORA-2J。短い残響時間の領域で性能改善が大きい。残響が全くないと性能が十分高いので性能改善の余地がなく、また残
響が非常に長いとこの手法でもどうしようもないからだろう。従来手法(RASTAベース)とそれほど違わない性能。
○Advanced Technology and Application of Speech Synthesis and Recognition
Sliding Window-based Speech-to-Lips Conversion with Low Delay (Shanghai Jiao Tong U/MSRA)
Frank
Soongとの共同研究らしい。音声からリップシンクアニメーションを低遅延で生成する。Telefaceみたいな使い方を想定している。声質変換と同じ
く、音声と口唇画像特徴のジョイントGMMに基づくが、遅延を小さくするためにどの程度時間情報を取り入れるかを検討している。フレームごとに口唇特徴を
推定したのでは精度が悪いが、系列全体で確率を最大化するとリアルタイムにできないので、適当な時間窓の中での系列の確率が最大になるように口唇特徴系列
を推定する。
Improving Non-native Speech Recognition Performance by Discrimination Training for Language Model in a CALL System (Tienjin U)
京大河原研との共同。日本語学習システムCALLJ。発話誤り予測を入れたネットワークを言語モデルとして認識する。予測性能を上げるために、認識結果に
おける「誤り」が、学習者の発話誤りか、デコーダの認識誤りかを識別する。特徴として、音節数や品詞、誤り予測モデルの結果などを入れていて、誤り識別は
約80%。CALLへの誤り訂正モデル導入はうちでもやったことがあるが、もっといろいろな使い方があるのかもしれない。
Recent Development of HMM-based Expressive Speech Synthesis and Its Applications (Tokyo Inst. Tech.)
小林研の能勢さん。HMM合成でのさまざまな音声合成に関するレビュー。Expressive Speechは、Emotion, Style,
Emphasis,
Spontaneousなどのアスペクトを持つ。HMM合成での技術として、発話スタイルのモデリング・適応・補間などを紹介。重回帰HMMによるスタイ
ルの制御。逆に音声から発話スタイル空館内の点への写像。京大の河原先生の「Joyfulな音声がjuyfulに聞こえない」というコメントに思わず笑っ
た。
A State Duration Generation Algorithm Considering Global Variance for HMM-based Speech Synthesis (CAS)
HMM音声合成による音声の品質の低さは、音声パラメータやピッチを平均化しすぎているため。そこで、発話全体でのパラメータの分散を制御して合成する方
法が戸田先生によって提案されている。この発表では、それを音節継続長に拡張して、各音節の長さが必要以上に平均化されないようにする。
Practical Lip-synch Tools for 3D Cartoon Animation (JAIST/ATR/NAIST)
音声からリップシンクの３Ｄアニメを作るためのツール。フォトリアリスティックなリップシンクをするのではなく、viseme（動作素？）をベースに動き
を作る。Autodesk
Mayaへのプラグインとしてツールを提供。原理の話はなくて、ツールの実現形態などの説明がメイン。デモビデオが豊富。表情と口の形が干渉するという話
はおもしろい。
An Application of Modified Confusion Network for Improving
Mispronunciation Detection in Computer-aided Manderin Pronunciation
Training (Tsinghua U)
中国語発音評価システム。発表に力が入りすぎていて、聞いている方が疲れるし何を言っているかわからん。単語の発音を認識した音節ラティスからコンフュー
ジョンネットワークを作って最尤な系列を選ぶのが基本手法だが、いくつかのヒューリスティックを入れているらしい。説明をしているのだがよくわからない。
ＰＣの調子が悪くて途中で画面が消えたりしてかわいそうだった。発音誤り検出性能はだいぶ上がっているようだ。
