2022/11/10
朝5時起床。いつもと似た朝飯だが、今日はバナナ付き。
今日の午前はオンライン打ち合わせ。しばらく支度をしてメールの返信など。
7時から3連続で打ち合わせ。1つは司会だったので結構大変だった。10時過ぎに終了。
そこから学会会場へ。外は暑い。
Deep learning algorithm, implementation, and application
この前は東工大の篠崎先生による対話モデルの話で聞きたかったのだが間に合わなかった。
MoCoVC: Non-Parallel voice conversion with momentum contrastive representation learning (UEC)
MoCoは自己教師あり学習みたいな表現学習らしいのだが、どうもよくわからない。言語内容だけを残して話者特徴を削除するみたいな説明がされていた。ピッチシフト・雑音付加したデータに対して自己教師あり学習をする話だろうか。これで変換した特徴量をPPGみたいな話者性が取り除かれた特徴量として利用すると言う話のようだ。
Controllable voice conversion based on quantization of voice factor scores (UEC)
声質変換だが声の個人性ではなくていわゆるvoice quolityを変換する（嗄れた声になるとか）。元になるSplitterNetVCでは話者情報と言語情報をそれぞれ抽出するネットワークを利用する。フィルタを使って音声の特徴を抽出するというのだけど、よくわからない。前の発表もそうだけど、何を意図してそうしてるのかの説明が（してたのかもしれないが）わからないんだよなあ。
昼食だが、まだ始まっていないので、20分ほど作業の後昼食。
また30分ほど書類作成。
14:30から午後のセッション。
Speech, Language, and Audio 1
Language-based audio retrieaval with converging tied layers and contrastive loss (Nanyang Tech U)
オーディオクリップを文章で検索するタスク。従来の方法では音とテキストをそれぞれエンコーダでベクトルに変換してランキング学習をする。これに対して、異なるモダリティの表現を同じ空間に写像して、関連するデータがモダリティによらず近くに配置されるようにしたい。そのため、音とテキストのエンコーダ出力を受け取って近い位置に配置するConverging Tied Layerを挿入する。この場合、音や文のエンコーダにはプリトレーニング済みの物がそのまま使える。
D2Net: A denoising and dereverberation network based on two-branch encoder and dual-path transformer (Xinjang U)
シングルチャネルの雑音・残響除去ネットワーク。入力部は内部が二股に分かれているTwo-Branch Encoderというやつで、2つの枝で違うたたみ込みをやって統合する。その後にFeature Selective Fusion Blockというのがあって、2つの入力を結合してマスク推定してマスキングするみたいな構造らしい。その先にGlobal-Local Dual-path Transformerというのをつなぐ。構造はわからなくもないが、どういうココロかよくわからん。性能はいいようだ。
Direct speech-reply generation from text-dialogue context (NTT)
通常の音声対話システムでは、返答のテキストをTTSで音声にするが、この研究では文字を介さずに直接音声を生成する。これによってテキストにできない表現も生成できることを期待する。しかし音声対話はたくさん集められないので、テキスト対話の返答部をTTSで音声にして学習データにする。また、スペクトログラムをシンボル列にするためにVQを使う。生成方法はテキスト対話システムとほぼ同じ。学習では38年分の音声を生成して学習。評価は生成した音声を認識してBLEUとかROUGEとかで評価。学習にTTS音声を使ったら初期の目的が達成できないのでは・・・
Sequence-wise optimization for quasi-harmonic speech waveform modeling (Nagoya U)
正弦波モデル。初期の正弦波モデルからさまざまな改良があるが(HM→QHM→aQHM→eaQHM)まだ品質が不十分。提案法では、フレームごとの最適化ではなく、全体を最適化する。正弦波合成プロセスは微分可能なので、誤差逆伝播で最適化をすることが可能。
Lattice-based data augmentation for code-switching speech recognition (Tokyo Inst. Tech)
発話内で言語が切り替わる場合の音声認識。問題は、コードスイッチが起きているサンプルが少ないこと、コードスイッチした部分の発音が他言語の影響を受けることなど。提案法では、認識結果のラティスからconfusion networkを作り、そこからデータ生成を行う（？）。認識はKaldi、言語モデルは4gramとGPT2。
Phase-aware audio super-resolution for music signals using Wasserstein generated adversarial network (Ritsumeikan U)
従来のオーディオ広帯域化では低品質音声をターゲットにした物が多かったが、この研究では通常のオーディオ信号をハイレゾに変換(44.1kHz→96kHz)する。低域から高域の振幅をWGANで生成し、位相を別なネットワークで推定する。
コーヒーブレイク。
次のセッションは名前がかっこいい。外から音楽が聞こえている。
Metaverse: Future of Internet
Physiological study of the effect of game events in response to player's laughter (Chiba Inst Tech)
没入型ゲームでプレイヤーの笑いに反応してゲームイベントが起きる仕組み。笑いに反応して良い/悪いイベントが起きる場合のプレイヤーの生理的反応を調査。プラットフォームはマインクラフト。生理反応はECG,EDA,fEMG (facial electromyography)など。笑いの検出は自動ではなくWoZ。心拍数は良い反応が起きた方が上がり、皮膚電気抵抗は下がるなど。笑いと関係ないイベントについての計測をしていないので、生理反応が笑いにシンクロしてイベントが起きた効果なのかどうかはまだわからない。
Development of virtual telecommuniation system research laboratory (Chulalongkorn U)
仮想空間上に通信システムの仮想ラボを作る。実験するための仮想ラボかと思ったら、大学のラボをモデリングして作ると言う話らしい。机とかパーティションとか蛍光灯とか換気扇のモデリングの話をしていた。ツールはBlender+Unity。シスコのルータをそっくりに作る話をしていて笑った。アバターはVroid studioで作ってる。
Camera-based log system for human physical distance tracking in classroom (Thammasat U)
ソーシャルディスタンスを保ってるかどうかモニターするために、カメラで教室を撮影して人間同士の距離を測る。人の検出はYOLOv3。OpenCVで透視変換をして平面図にマップして距離を測る。
Detecting replay attacks using single-channel audio: The temporal autocorrelation of speech (Academia Sinica)
話者認識で対象者の声を録音再生する攻撃に対する防御。話者照合モジュールの他に、音声が本物かどうかを判定するSpoof classifierを使う。提案法ではWeighted Prediction Errorと言うのを使う。線形予測の予測係数（？残差？）に違いが現れるらしい。
Investigate bidirectional functional brain networks using directed information (U of Valencia)
プログラムになかったのだが、他のセッションから移ってきたらしい。脳内の情報伝達が双方向かどうかを調べる話らしい。相互情報量とかの話をしているので、2点の観測結果の情報量を測るのかな？しかし情報理論には時間の概念がないので、神経回路を情報が流れる方向が知りたいなら時間関係を見なければならないのじゃないかなあ。ビデオプレゼンだがやたら長くてQAはなし。
Robust steerable differential beamformer for concentric circular array with directional microphone (Alibaba)
これもプログラムにない発表。指向性マイクを使ったマイクロフォンアレイ。マイクを同心円の上に配置する。こういうマイクアレイって製品でなかったっけ？
予定より2件多くて18時近くに終了。この後closingがあるのだが、それはパスして、このセッションで発表した有本研の学生さんと有本先生、森先生とで夕飯を食いに行く。
通常のタイ料理は散々食ったので、何か違うものをということで近所の日本料理屋「やさしい」を目指してみたのだが、残念ながら閉まっていた。
同じ並びのビザとか売っているお店に入る。
いろいろ頼む。麺はタイ風スパゲティだが、麺が短い
散々食ってビールを大瓶2本飲んだので結構限界。
途中セブンイレブンに寄って明日の朝食とか買う。そのあとホテルに戻ってシャワーを浴び、22時前に寝る。
前の日へ 目次へ 次の日へ