2022/10/26

6時起床。寝不足だが、気分はいまいちで二度寝する気にもならない。

朝食はおととい買ったカップ麺、昨日買ったバナナとナタデココゼリー。

食べた後シャワーを浴びて、しばらくメールを書いたり仕事。

9:00からオンライン会議。ひきつづき10:30からオンライン会議。11時過ぎに終了。

今からなら午前のキーノートに間に合いそうなので、ちょっと急いで会場へ。

Bringing the real life into the lab: Hearing research in interactive virtual environments (Janina Fels, RWTH Aachen U)

教室、オープンプランオフィスなどでの音環境をはじめとした、実環境での聴覚研究について。
このような複雑な環境での音知覚の研究。
・従来はバイノーラル知覚、マスキング、音情景分析、音脈分凝、などなど。従来の研究では、実環境ではありえない実験設定や実験刺激などが使われている。
・実環境を聴覚研究に持ち込むにはどうするか。従来は没入的なaudiovisual環境で研究をしている。
・複雑なシーンを物理シミュレーションで再現する：複数スピーカ、パンニング、アンビソニックスなど
・バイノーラル受聴を再現する方法、刺激の作成方法

このあと昼食。今日はサンドイッチと果物。サンドイッチはパニーニにモッツアレラと干しトマトがはさんであったりしてイタリアンな感じ。

夕方のソーシャルツアーのチケットをもらいにregistration deskへ。申し込みはしてあったが、改めてチケットをもらう必要があるとのことだった。

午後のセッションを聞く。（KAISTセッションだった）

■AI and Robot Application in hearing science and technology (KAIST)

Binaural sound event localization and detection for humanoid robot
音源定位の特徴量として3D time-frequency binaural featureというのを提案。左右のメルスペクトログラム、ITD-gram、ILD-gram, SC (Spectral Cue)-gram、V-gramなど。ITD-gramなどはある時間でのITDが２次元なので、時間軸を入れて３次元になる）。
これらの特徴量をまとめてCNNに突っ込み、時間ごとの複数音源方向のデータ（ピアノロールみたいなやつ）を出力する。DCASEなどのデータを使う。結構精度が高い感じ。

CNN based cough detection camera using acoustic features (KAIST)
咳の検出。パブリックスペースで検出することを目指しているので結構難しいタスク。データは公開データの中から咳を含む物をチョイス。データ拡張も行っている。特徴量はMFCC、メルスペクトログラムと普通のスペクトログラムで、全体をCNNに突っ込む。CNNはV-net(VGGの簡易版）、G-net(GoogLeNetの簡易版）、R-net(ResNet)。すべての組み合わせでは、MFCCとG-netの組み合わせが良い（それほど変わらないが）。F値で92%弱。
また、音源位置の可視化のためにSoundCameraと言うのを使う（ビームフォーミングによって音源位置をヒートマップ表示するやつ）。監視カメラと組み合わせ、咳をしたところがハイライトされる。

Deep learning-based personalized sound event recognition for human care robot (KAIST)
生活支援ロボットのために生活音認識を入れたいが、たとえば電話の音などは環境によって違う。そこで、利用者ごとに異なるイベント音を登録することで性能を上げる。また、ペッパーを使って実時間検出を行った。電話やドアベルの音の登録はどうするのか聞いてみたが、現在はコーパスがあることを前提としているとのこと。

A study on the frequency-dependence of sound event detection (KAIST)
音響イベント検出をするときにスペクトログラムを画像みたいに使って検出をしようとしたら、データ拡張のためにスペクトログラムを反転したり回転したりしてまずいよね、という話。音響イベントは時間方向にはシフト不変だが周波数方向にはそうではない（それはそう）。そこでスペクトログラムにあったデータ拡張の方向を検討。ランダムなバンドパスフィルターをかけるとか(FilterAugment)、周波数ごとに異なるCNNカーネルを使うとか。

Deep learning based prediction of human auditory brainstem response for sound localization in median plane (KAIST)
HRTFを入力として、正中面での音源定位性能を出力するニューラルネット。なんか動機がよくわからなかった。

全体に面白いセッションだった。セッション後、オーガナイザーのYong-Hwa Park先生とご挨拶。

休憩中に少し仕事をして、コーヒーがほしかったので1階のCafe MISOでアメリカーノを購入。
10分ほど早くキーノートの部屋に入ったら、International Year of Sound のビデオを上映していた。

次はキーノート。

Bilayer sonic and elastodynamic graphene: a new playground for twistronics (Yun Jing, Penn State U)
グラフェン上でシュレディンガー方程式が立てられるのと同じように、もっとマクロな系（板に細かい穴が開いている）の上で音響波動方程式を立てることができる(Direc cone in graphene-like acoustic cone)。固体物理の現象（エネルギーバンドとか）をマクロな系で音響的に再現することができる。
Topological Acoustics。半導体の中で起きている量子的現象をマクロな系で再現する。
Twisted bilayer graphene。2層のグラフェンを少しねじれた感じで重ねると、上から見るとモアレがパターンとして出現する。このパターンによって、2つのグラフェンを "Magic Angle"で重ねたときに、0V付近にフラットなバンドが出現する。
これの音響版がBilayer sonic crystal。
規則的に穴が開いた板を2枚ひねって重ねることで音響的に何かが起きるのはわかるが、具体的にどういう現象が起きるのかよくわからなかった。

この後はSocial Tourということで夜の観光旅行が用意されている。数が多いのでグループに分かれて時間差で出発。私は7グループなので17:30ぐらいに出発で、1時間ほど時間がある。その辺に適当に座って仕事。