Speech, language and audio 2
Learning emotion information for expressive speech synthesis using multi-resolution modulation-filtered cochleargram (JAIST)
ビデオプレゼンテーション。通常の感情音声合成では感情抽出のためにメルスペクトログラムを使うことが多いが、そこで聴覚由来の特徴量を使う試み。蝸牛フィルタバンクと変調フィルタバンクをつなげたやつを使う。これを使って感情埋め込みベクトルを作り、それを通常のTTSのエンコーダ出力に混ぜて、ニューラルボコーダで音に戻す。埋め込みを作る方法をいくつか比較していた。評価はMOSと選好テストで自然性、品質、リファレンスに対する類似度を主観評価。
Dialect-aware semi-supervised learning for end-to-end multi-dialect speech recognition (Tokyo Metro U)
塩田先生。音声認識をするときに方言の影響があるので、それに対応する。従来は複数の方言に対してマルチタスク学習を行っていた。しかしマルチタスク学習では方言ラベルが必要。そのため、準教師あり学習を行う。音声認識器はTransformerによるE2Eモデル。これに方言認識のマルチタスク学習を行わせる(DID2ASR)。単に方言情報を使うだけだとデータが少ない場合にはかえって性能が落ちるが、認識結果を使って再学習を行うことで性能が向上する
Design and construction of Japanese multimodal utterance corpus with improved emotion balance and naturalness (Tohoku U)
堀井君の感情コーパス作成の話。結構興味を持ってもらえたようだ。
Non-parallel voice conversion based on free-energy minimization of speaker-conditional restricted boltzmann machine (UEC)
入力音声と話者コードをRBMで表現して、話者コードを変えてRBMを駆動すると音声の方が異なる話者に変換されるというアイデア。複数の個人の音声特徴をまとめてRBMで表現するので、パラレルデータが不要。RBMの更新アルゴリズムも工夫している。
The TNT team system descriptions of Cantonese, Mongolian and Kazakh for IARPA OpenASR21 Challange
低資源言語で音声認識器を作るコンペ。低資源と言っても言語あたり学習データが10時間。Constrained-systemでは音声認識器はハイブリッドで音響モデルはCNN-TDNN。
Constrained-plus systemではプリトレーニングによる音声埋め込みを使っている（ようだ）。タスク適応も行う。またE2E型のシステムとも比較。
午前のセッションはこれで終わりで、昼食。
昼食後、こちらの昼休みの時間にちょうどオンラインで会議があるので、1時間ほどそちらに参加。
14時から午後のキーノート。
New opportunities of visual representation for machine learning (Weisi Lin, Nanyang Tech)
我々の周りにはさまざまな画像関連センサがあり、それらは人間向け(Type I)と機械向け(Type II)の2つのターゲットがある。
Type Iは30年以上の実績がある。このための信号表現は圧縮、伝送、蓄積を目的としている。評価基準は画像品質など。このとき、画像符号化と符号化画像の知的処理は直列のプロセスである。
Type IIにはすでにMPEG Video Coding for Machine, JPEG-AI, CLICなどがある。この際のresearch questionとしては、「どのような表現がAIに都合がいいのか」「Machine Intelligenceに特化した信号表現があるのか」など。
機械のためのJND：MI-JND 出力が変化する最小の入力
あらたなパラダイムとしてAIタスクを最終ターゲットとしてその性能が落ちないようなデータ圧縮を行う。また計算をクラウドからエッジに移す（CNNの最初の部分だけエッジで計算することに似ている）。このとき、圧縮とその後の識別等を統合することができる。
Is your baby fine at home? Baby cry sound detection in domestic environments (Nanyang Tech U)
赤ん坊の泣き声の検出。従来の乳児モニタリングは単に大きい音を検出している。これに対し、音響イベント検出モデルを低計算資源で行うことが目的。このようなモデルとしてDepthwise separable convolution (DWS)が使われている。同規模のCNN+GRUモデルに比べてパラメータ数が1/3程度。実験結果ではF値で0.68で、同規模のCNNよりも性能が良い。また窓長最適化とデータ拡張で0.76ぐらいまで向上。
Acoustic echo and noise canceller using shared-error normalized least mean square algorithm (Ritsumeikan U)
雑音と残響を同時に除去する従来のシステムでは、雑音除去と残響除去で目的関数が違うために同時最適化ができない。残響除去は適応フィルタで、雑音除去に使うウィーナフィルタは非因果的であるため。また雑音が大きいと残響除去の制御がうまくいかない。提案法では雑音除去をWidrowの適応フィルタで実現し、残差信号を残響除去と雑音除去で共通にすることで同時最適化を実現する。
Subband-based spectrogram fusion for speech enhancement by combining mapping and masking approaches (Kyoto U)
音声強調に使われる2つの手法、Direct Mapping（劣化スペクトログラムから元のスペクトログラムを直接復元する）とMasking（音声確率を計算してスペクトログラムに乗算する）を組み合わせる。周波数ごとに分析すると、低周波域は直接推定が優位、中～高周波域はマスクを使う方法が優位なので、周波数帯域ごとに方法を組み合わせる（帯域ごとに求める方法や、全域で求めた結果に対してさらに一部の帯域に対して強調する方法など）。
Neural virtual microphone estimator: Application to multi-talker reverberant mixtures (U of Tsukuba)
少ないマイクロフォンでアレイ信号処理の性能を上げるために仮想マイクロフォンの入力を推定して仮想的に多数のマイクロフォンを使う方法がある。従来は物理的制約によって仮想マイクロフォンの入力を推定するが、それにNNを利用する方法を提案していた。この方法がもっと実際的な環境でも有効なのかを調査した。この方法は後段に従来のアレイ信号処理手法をそのまま使えるのが利点だと思うが、本質的には少ないマイクロフォン数で十分だということだよなあ。
SE-Mixer: Towards an efficient attention-free neural network for speech enhancement (Concordia U)
MLPを使ったマスク推定による音声強調。スペクトログラム上で時間方向のMLPと周波数方向のMLPを直列に接続する。また複数のスケールのMLPを並列に適用してconcatする。CNNの軽量版のような気がする。Attention-freeと銘打っているがattentionがないことで何かいいのかな？質問してみたら単に計算量を減らしたいということのようだ。それならattention-freeとかいわない方がいいんじゃないかな。
How should we evaluate synthesized environmental sounds (Ritsumeikan U)
合成環境音の評価方法の提案。環境音合成にはクラスから音を生成するものやオノマトペ発音から音を生成する方法などがある。主観評価の方法として、音のクラスと合成音を聞かせて5段スケール評価、同じくクラス名と音を2つ聞かせて相対評価、さらにオノマトペ＋（音１つ、音２つ）の組み合わせの評価をしてみた。絶対評価と相対評価では結果が違う場合があるので注意が必要。また、合成音を音認識で評価したら、認識率は必ずしも主観評価の結果とは合わない。
FeatureCut: An adaptive data augmentation for automated audio captioning (Peking U)
オーディオキャプションはデータが少ないのでデータ拡張を行う。音響特徴に対してアテンション特徴テーブルというのを使い、アテンションが高いところを確率的に除去する（？）らしい。
