2015/10/31（土）
朝6時起床。眠い。外は「ここは北京なのか？」と思うような青空。
メールのチェックなどをして、7時過ぎにシャワーを浴びて飯。朝食会場を探すのにちょっと手間取る。
部屋にはペットボトルの水が付いているのだが、有料らしいので、近くのコンビニまで水を買いに行く。外はいい天気だが気温は低い。
近くに店があるのは調べてあったので、水を買った。コーヒーがあれば買いたかったが、置いていなかった。そして買った水は部屋の水の代金より高かった。
9時からワークショップ。
Workshop of A3 forsight program
Session 1
An stochastic robust approximation method with enhanced robustness for crosstalk (CAS)
トランスオーラル再生でのクロストークキャンセル。従来法では再生信号にクロストークキャンセルの伝達関数を畳み込んだときに聴取位置での信号が分離されるようにするが、提案法ではそれにバイアスを導入するのが新しいらしい。結果は通常の最小自乗解に正則化項を入れたみたいな式になるが、その部分にはバイアス成分の相関のコレスキ因子、みたいな。実際にはバイアス項を直接観測できないので、モデルを立てて乱数をかけて推定。それは単なる正則化項となにが違うのか。一応聞いてみたが、なんかしどろもどろだった。
Two-step noise aware training using asymmetric deep denoising autoencoder (SNU)
DNN-HMMで入力層に雑音環境情報をつっこむ手法（Noise Aware Training, NAT）と Denoising Deep Autoencoderの組み合わせ。1段目のDNNでは、雑音入り音声と雑音環境情報をにゅうりょくし、クリーン音声と雑音環境情報を推定するDDAEを学習する。2段目ではクリーン音声情報だけをDNNに入力して認識する。評価はAurora-5で比較対照はマルチコンディション学習のDNNとNATによるDNN。そこそこ改善。
A telephone customer service speech database of call center (Beijing Inst. Tech)
コールセンターでの会話でsatisfiedとnot satisfied のラベルが付いたデータベースTCSS EMO-DB（中国語）。satisfiedが3000対話。not satisfiedが1000対話。発話区間と感情についてのラベルが付けられている。中国語のHot angerはすごそうだな。波形を見るとangryのところはクリッピングされているので、電話の向こうで怒鳴っているのだろう。観察としては、unsatisfiedの対話の方が客とスタッフの重複発話区間が多いとか。Cold angryだった客がだんだんHot angryになっていくとか、生々しい。
Toward improving estimation accuracy of emotion dimension in bilingual scenario based on three-layered model (JAIST)
前から赤木研でやっている3層感情認識アーキテクチャで、言語非依存の特徴量を探そうという話。実際には日本語とドイツ語の2言語。音声から抽出した特徴量と、中間表現でのプリミティブとの相関に閾値を引いて特徴量セットを設計している。認識はファジィ推論。従来法よりも性能向上。
セッション終了後、全員で写真撮影の後、コーヒーブレイク。
Session 2
Singing error detection from the singing voice based on dynamic time warping (TU)
当研究室の宮川君。歌唱音声の中から歌詞の誤りを検出する。正しい歌詞による歌唱（合成音声）と入力歌唱のMFCCをDTWで対応付け、線形変換によって話者を正規化し、フレーム間距離を時間的に平滑化した上で閾値処理。曲のどこかに歌い間違いがあるかどうかは比較的高精度にわかるが、微妙な間違い（1音節だけとか）は難しい。
Detection and classification of polyphonic acoustic events (SNU)
複数の音イベントが同時に起きる場合のイベント認識。音イベントをNMFで分離してDNNで認識する。時間構造を持ったイベントを扱うため、基底が2次元のConvolutive NMF、または複数フレームを1つの特徴量にしたものを使う。クラスに依存した基底を学習し、それを並べてNMFで分解したアクティベーションをDNNに入力する（？）。DNNでは、重なっている複数のクラスの音の識別結果を同時に出力する(Multi-label classifier)ように学習を行う。結果として、CNMFよりも入力をセグメント化したほうがよい。結果はF値で0.58ぐらい。
Dialogues satisfaction analysis based on emotion recognition of call centers (BIT)
さっきのコールセンターのデータから感情を認識して、そこから顧客満足度を推定する（2クラス）。特徴抽出はopenSMILEで、ZCR, POWER, F0, HNR, MFCC。満足度推定は、対話全体の中の否定感情区間の比率を使う方法と、感情推定結果をSVMにつっこむ方法を検討。後者では結果だけでなく信頼度とか全区間に対する比率、ターンに対する比率などいろいろ使っている。2つの方法の結果が示されたが、結局どっちがいいのかよくわからなかった。
Restration for instantaneous amplitude and phase of speech signal using Kalman filter in noisy speech reverberent environment (JAIST)
スライドのフッターがEUSIPCO2015のままだ(笑）。加法性と乗法性雑音(残響）を同時に低減する。基本的に、カルマンフィルタで瞬時振幅スペクトルと瞬時位相スペクトルをそれぞれ推定する。SNR(SER)、PESQおよび主観評価で従来法と比較。Kim先生から「複素領域で考えれば1つのカルマンフィルタですむはずだ」という指摘。
昼飯。会場が狭い。
13時半から午後のセッション。
Session 3
Development of spoken dialogue system generating emotional speech response based on utterance state estimation (TU)
加瀬君。雑談対話の応答音声への感情付与。Eliza型の音声チャットに対して単語ベースの感情極性分析をして、その結果に基づいてシステム発話の音声感情を制御する。システムの人間っぽさについてはシステム発話の感情認識結果に基づいて感情を付与するのがよく、直前のユーザ発話に基づいて感情付与するとエージェントの印象が向上する。
GSC incorporating data-driven post-filtering for speech recognition (Hanyang U)
GSCはGeneralized Siderobe Canceller。加算マイクロフォンアレイでビームを形成すると同時に、雑音を推定してそれを入力から減算する方法。これと、データ駆動の雑音トラッキングを組み合わせるということなのだが、データ駆動というのがどういう手法かいまいちわからなかった。
Equalization of sound reproduction system based on the human perception characteristics (CAS)
オーディオのイコライザで人間の聴覚系を考えた周波数軸にするという方法なのだが、それがどういう利点を持つのかよくわからなかった。聴覚的に目立つ部分の誤差を小さくすると言うことなのだろうか。
Distance extrapolation of Head-related Transfer Function on the horizontal plane (TU)
鈴木研のダニエル君。水平面上のある円上で観測されたHRTFから、同じ面上のもっと遠くのHRTFを推定するための外挿フィルタ。理論は聞いてもよく理解できなかった。水平面上における波動方程式の解が円筒座標のz方向に対して不変である、という仮定をおいて式を解いているようなのだが。
Combining non-negative sparse coding and factorial conditional random field for single-channel speech separation (CAS)
Sparse NMFによるシングルチャネル音声分離において、フレーム間の依存関係をモデル化する。音声をVQでクラスに分け、各コード間の遷移確率を求める。コードを辞書と見なしてNMFでアクティベーションを求め、最大のアクティベーションに近いコードを候補として抽出する。さらに、FCRFによって2つ（以上）の音源からコードが生成されていると見なして確率を計算し、確率最大のコード列を求める。
Design and evaluation of phonetically and prosodically balanced emotion-dependent sentence set for emotional speech database (TU)
当研究室の武石さん。感情音声データベースを作るための文の収集。Twitterから文を集め、極性分析によって感情に分けた上で、音素と韻律バランスをとって文を選んだ。
Section 4
Incorporating DNN based speech enhancement into speech recognition (CAS)
DNNによる雑音除去(CHiME-3の枠組み)。スペクトル領域とMFCC領域での処理の比較では、MFCCの方がちょっとだけよい。発表全体の1/3ぐらいがConclusionとFuture workという変わった発表。
A survey for social personality analysis based on prosodic feature (BIT)
パーソナリティについての調査（？）。いわゆるBig Fiveの話。
4つの映画（フランス語、スペイン語、韓国語、広東語）のなかから激しい部分とおだやかな部分（人物間の関係が含まれるもの）を抜き出して、それを被験者に見せたときにその中の人物に対して感じるパーソナリティをBig Fiveに沿ってアンケート。音だけ聞いた場合、音声とサブタイトルでみた場合、その人の来歴の記述だけをみた場合などを比較。全体としてなにをしたいのかわかるようなわからないような。
Facial image conversion based on transformation of animation units using a DNN (TU)
当研究室の齋藤君。顔画像を別な人の顔画像に変換する。KINECTでAnimation Unit（17次元）を抽出し、DNNで顔動画像のピクセル値に直接変換する。以前の方法と比較すると、画面はがたがたするが（顔の位置あわせが不十分なため）、画質は比較的よい。主観評価も実施。
Exploring acoustic markers from speech for diagnisis of depression (SNU)
音声による老人性うつのスクリーニング。感情を想起する文章(Mood inductive sentence, MIS)を60歳以上の患者（と健常者）に読ませ、その音声を分析。うつ群と健常群では年齢だけでなく教育レベルもあわせてある。分析の結果、インテンシティに関連する特徴量ではcarryover効果（前の文章の特徴が次に影響する）が現れる。これに関しては男性と女性では現れかたが違う。SVMによる分類実験では、DurationとIntensity関連の特徴量の方がpitchとMFCCよりよかった。すべての特徴量を組み合わせると90%以上の精度で分類可能。
これでワークショップは終了。各国の代表が挨拶の後、いったん部屋に戻って荷物を置き、2階の宴会場へ。
教員（の一部）は小部屋、それ以外は大部屋で宴会。北京理工大学の元学長の先生もご出席。
食べ物は辛いものが多かった。湖南料理だろうか。
30年ものの白酒。
餃子は人気。餃子の話でひとしきり盛り上がる。
大部屋の方も盛り上がっていたようで結構だが、学生たちは明日の朝起きられるのかちょっと心配。
20時半ごろ終了。部屋に戻って少しメールなど読むが、仕事ができるコンディションではないので、21時過ぎに寝る。
前の日へ 目次へ 次の日へ