2022/11/09
5時起床。朝飯はパンにバターとはちみつ、ヨーグルト、オレンジジュース、コーヒー。はちみつはおいしいがボタボタこぼれる。
しばらく仕事をして、そろそろ時間だなと思って支度をして外に出たら１時間早かった。
引き返すのもしゃくなので、どこかでコーヒー飲みながら作業できないかと思って散歩する。結局先日行ったSignatureコーヒーで１時間ほど作業。電源もとれてよかった。
適当な時間に会場へ
9:00からセッション。
Punctuation restoration for Singaporean spoken languages: English, Malay, and Mandalin (Nanyang Tech U)
音声認識結果にコンマやピリオドを復元する。入力は音声認識結果のテキストのみ。特徴として、同じ話者が複数言語（3言語）で話しているときの認識結果を入力とする点（シンガポールらしい研究だ）。2言語までは既存研究があるらしい。性能はF値で73～78%（言語によって違う）。システムはXLM-RoBERTaベースで、単語の後に句読点が来るかどうかを予測する。
C-CycleTransGAN: A non-parallel controllable cross-gender voice conversion model with CycleGAN and Transformer (Osaka U/RIKEN)
石黒研。CycleGANベースの声質変換だが、どのくらい目的話者に近づけるかを制御できるのが特徴らしい。Cross-genderを謳っているがF0は線形変換。
The realization and perception of narrow focus in English sentences by Cantonese EFL learners (Chinese Academy of Social Science)
英語の「狭い焦点」はピッチアクセントで実現されるが中国語F1話者はそれがうまく発音できないことがある（方言による）。そこで広東語話者の英語の焦点発話を調べた。
生成実験では色の付いた物体の絵を見せて、"Put the blue ball on the pink ball"のように発話させる。動かす物体のほうが焦点になる。知覚実験では"Bill played the guiter. What about Tina?" "Tina played the DRUM."のような感じで焦点を決める。生成では、L->Hのピッチは少なく、最初からピッチが高いパターンが多かった。いずれにしても広東語話者は英語の焦点の生成・知覚とも良いという結論。
Cross-lingual Dysarthria severity classification for English, Korean, and Tamil (Seoul National U)
Dysarthriaは「運動障害性構音障害」。各言語での構音障害の程度（3段階）を判断するシステムを作成した。識別はXGBoost。特徴量はMFCCの他にF0関連特徴やリズムなど（の平均、分散）の中から特徴選択によって選ぶ（言語ごと）。複数言語＋特徴選択で識別器を学習した方が、単一言語で学習するよりも性能が上がる。
3M: An effective multi-view, multi-granularity, and multi-aspect modeling approach to English pronunciation assessment (National Taiwan Normal U)
発音評価において、発話・単語・音素それぞれのレベルでの評価を提示する。音素レベルではGOP、継続時間、パワー、自己教師あり学習特徴(wav2vec, HuBERT, WavLM)を利用。単語レベルでは母音・子音のpositional embeddingなどを使う。
I feel stressed out: A Mandarin speech stress dataset with new paradigm (South China U of Tech)
音声からのストレス推定のためのデータ収集。参加者にビデオを見せて、直後にその内容を語らせた音声と、休憩後に悪い出来事を思い出す音声を収集。また、ストレスを推定するためのSSResNetを提案。入力の他にリファレンス音声を入力して比較する。全体に発表が速くてよくわからなかった。
コーヒーブレイク。きょうはクロワッサンサンド
午前のキーノート。
Audio Enhancement, Separation, and Compression (Dong Yu, Tencent)
音声強調、分離、圧縮について。これまでは信号処理・機械学習的な方法が使われていたが、現在は深層学習ベース。
音声強調では時間周波数マスクを使う方法が多い。
音楽信号分離：Demucsの説明。Frequency-Domain Band-split RNN(BSRNN)の説明。
ビデオから音声とそれ以外を分離するデモ。
Fast on-the-fly Far-field Data Simulation。その場で遠方音声のシミュレーションをするが、音場のリアルタイムシミュレーションは難しい。Image-Source Methodなどを通常は利用するが、処理が重いので統計的な方法で近似する(FSA-RIR)。
マルチチャネルビームフォーミング。チャネル混合行列の固有値分解などの計算を深層学習で代替する。
さらなる改善のため、ビームフォーミングの重みを直接推定する
Audio Compression and Coding。Penguinsモデル（ニューラル音声・オーディオ圧縮）は6kbpsでPESQ 3.953で高品質。オーディオ圧縮でも100kbpsで50%パケットロスでも十分な音質。
実応用。Tencent meetingに使われているほか、PUBGの音声にも使われる。
音声認識への応用。受信したビットストリームから、音声信号を再構成せずに直接音声認識をする。
音声合成への応用。ビットストリームを元にニューラルボコーダを学習。30分のファインチューニングで高品質な音が出る。
この後昼食だが、参加者が一斉に入って混むので、30分ほど仕事をしてからゆっくり会場へ。食い物は十分あり、すぐに取ることができたので良かった。
その後40分ほど座って仕事。
14時からセッション。深層学習さえ使っていれば後はなんでもありのごった煮的セッション。
Deep Learning Algorithm, Implementations, and Applications
An Optimal Vehicle Counting Framework for non-canonical CCTV placements (Monash U)
うまく車が写せない角度に設置された監視カメラについて、必要な部分の画像を拡大して画像を再構成し、車を検出して数える。検出モデルはYOLOv4。
Response sentence modification using a sentence vector for flexible response generation of retrieval-based dialogue systems (Tohoku U)
矢作君の研究。個人的には気に入っているのだが、ごった煮セッションだったので専門が近い人がいなかったようで今いちの反応だった。
End-to-end stereo audio coding using deep neural networks (ETRI)
ステレオ符号化をDNNで実現。左右チャネルをそれぞれNN符号化で符号化した後、通常のMid-Sideステレオ符号化と同じように和と差に分ける。量子化はsoftmaxで実現（各チャネル32レベル）。ネットワークは1D-CNN。E2Eなので、MS符号化の部分も含めて全体を学習できるというところがポイントだと思う（きちんと話してない気がするけど）。各チャネル独立に処理する方法に比べて微妙に向上。
Neural beamformer with automatic detection of notable sounds for acoustic scene analysis (U Tsukuba)
牧野研。牧野先生が会場にいるのに発表はビデオ。複数マイクロフォンによる環境音認識のため、NNによるビームフォーマと識別器をつなげてE2Eで学習。4種類のロス関数を使う（方向性、コンシステンシー、パワー最小化、認識のクロスエントロピー）。
DNN-based frequency-domain permutation solver for multichannel audio source separation (Kagawa National College)
ブラインド音源分離のパーミュテーション問題を深層学習でなんとかする。混合信号をFDICAとかで周波数ごとに分離したあと、どの周波数が同じチャネルなのかを判定するNNを学習する。
Detection method from 4k images using SSD300 without retraining (Tokyo Metro U)
SSD(Single shot multibox detector)は写真の中から複数の物体候補領域を検出する手法だが、物体が小さいと検出できない。提案法ではまず画像全体SSDを適用して、そのあと小さいけど物体かもしれない領域を推定し、それらの領域に個別にSSDを適用する。
コーヒーブレイク。いろいろメールが来ていて対応してたら次のセッションが始まってしまった。
Speech, Language, and Audio 1
Automated audio captioning with epochal difficult captions for curriculum learning (Nanyang Tech U)
オーディオキャプション生成でカリキュラム学習を行う。カリキュラムの「難しさ」を学習エポックに対して最初に設定して（0.05から始まって1に収束する）難しさに合わせて入力データの方をいじる。2種類の操作方法を比較していて、1つめは「難しさの確率に合わせてストップワードを削除する」、2つめは「難しさの確率に合わせて低頻度語を削除する」という方法。ストップワードを使う方が性能がやや高い。
Application of deep learning-based single-channel speech enhancement for frequency-modulation transmitted speech (Inner Mongolia U)
FMラジオで受信した音声の強調。ラジオ音声は加算性雑音だけでなくフェージングやドップラーシフトなど、通常の空気伝導音声にはない劣化がある。そのような劣化のモデルを作成。シミュレーションモデルの式で時間領域と周波数領域を間違っている気がする。音声強調のためのネットワークはU-Netの真ん中にBLSTMを入れたやつ。複素数マスクを使うと性能が上がる。それだとフェージングとかは改善できないのでは。
An empirical study of training mixture generation strategies on speech separation: Dynamic mixing and augmentation (Hyundai Motor)
音声分離でdynamic mixing（学習時に音声を混ぜる？）とデータ拡張の効果を検証。モデルはConv-TasNetとDPRNN。Dynamic mixingって単に混ぜておくのと効果としては同じだと思うのだが、学習時に混ぜることで事前に作っておくデータが増えないということかな。データ拡張ではピッチ・テンポシフト系のものが有効とのこと。
Speech intelligibility prediction for hearing aids using an auditory model and acoustic parameters (JAIST)
鵜木研。Clarity Challengeは2021年から始まった補聴器のための音声強調のコンペ。その一環として、雑音下音声の了解度を推定する手法を検討した。類似の推定値にMBSTOI(Modified Binaural STOI)がある。ベースラインとしては、聴覚劣化モデルにMBSTOIを直列につないだものを使う。提案法は、EarModel,WavLM,eGeMAPSを特徴量として使い、CNNとWaveNetの出力を合わせて回帰する。
Predicting speech fluency in children using automatic acoustic features (Archean LAB)
"Automatic"というのは音声認識を使わないというココロらしい。FBDSというアルゴリズムが紹介された。これは時間領域で音声を自動分割する方法らしい。評価対象は韓国人の子供。3人の評価者が流ちょうさを評価したが、Cronbach's alphaとかがやけに高いのが気になる。分割結果から特徴量(話速、音声セグメント割合、セグメント長の標準偏差など）を使い、線形回帰/SVR/RFRで回帰分析。そもそも話速と流ちょうさの相関が0.89なので、もうそれでいいんじゃないかという感じ。分割結果から単純に抽出された特徴量よりも、その結果をクラスタリングしたりしていろいろやったアレの方が良い結果。
TC-SKNet with gridmask for low-complexity classification of acoustic scene (Peking U)
低演算量の環境音認識。GridMaskはスペクトログラムの一部を規則的に削除するデータ拡張の一種らしい。様々な削除パターンで削除したスペクトログラムを統合して認識にかける。TC-SKNetはよくわからないがスペクトログラム領域でデータを2つに分けて、それぞれに対して時間周波数マスクを計算してマスクをかけたやつをさらに統合する物のようだ（時間解像度が違うのか？）。やってることはわかるが、どこが低演算量なんだろう？
これでセッションは終わり、会場を出る。
仕事も溜まってるし、昼をたくさん食ったのでそれほど空腹でもない。何か近場で軽く食べたいなと思って歩く。
少し行ったところの店に入ってみた。
写真付きメニューがあって助かった。麺が食べたかったので、魚のスープ麺と、竜眼のデザートみたいなやつを頼む。
しばらくすると、デザートが先に来た。たくさん入っているように見えるが、半分以上は氷。ちょっと氷を食べる気温じゃないので（さっきまでホテルは寒かったし）氷はよけて食べる。
麺が来る。白身魚と米のきしめんみたいな麺のスープで、優しい味。しかし今日は優しくない味を求める気分だったので、テーブル横の辛い調味料を入れて味を厳しくして食べる。うまかった。
帰りがけにセブンイレブンで買い物。コーヒーと朝飯用バナナ、オレンジジュース、仕事の友のピーナツのほか、よくわからないお菓子とコンブチャを買った。
お菓子は練り切りの中にカスタードクリームが入っている感じで、オレンジっぽくはない。コンブチャは酸味のあるお茶で、大昔に紅茶キノコと呼ばれていた飲み物。50年ぶりぐらいに飲んだ。
シャワーを浴びて、少し論文を書いたりした後、22時ごろ寝る。
前の日へ 目次へ 次の日へ