2022/9/15（木）
朝6時起床。シャワーを浴びて、6時半に朝食会場へ。今回は最初から部屋で食べるつもりで使い捨て容器を使う。カレーにしてみた。
7時半頃出発。外はいい天気。札幌から手稲へ移動。
手稲駅から歩き、会場には8時半ごろ到着。
音声A・B/音声認識
2-8-1 デコーディング時の探索を考慮した系列識別学習によるEnd-to-end音声認識(名工大）
従来のE2E音声認識ネットワークは学習時（正解を与える）と運用時（誤りが含まれる）ことや学習基準と評価指標の違いなど（評価時は正解と認識結果の長さが違うので編集距離などが使われる）によって最適な処理になっていない可能性がある。そこでデコーディング時のビームサーチを考慮して学習を行う。そのために、ビームサーチを並列のNNで表現する。ビームサーチの候補選択処理をpeaked-softmax処理によって近似することでBP学習画家能になる。また、attention計算時に、デコーダの内部状態を複数用意して、attention出力も複数計算する。提案法により性能は改善するが、ビーム幅を広げたときの改善がほとんどない。
2-8-2 話者整合性損失と段階的最適化に基づく音声認識と音声合成の半教師あり統合学習(NTT)
小規模の音声・テキストペアデータを用いて複数話者の音声合成モデルと不特定話者音声認識モデルを学習し、さらに大量のテキストデータで統合学習を行う。認識と合成の枠組みはCycleGANと似ているが、このままだと音声認識に有利な音声が合成され、人間の音声としては不自然になる。従来の方法ではCycleGANのGANに相当する部分がないので、合成音声の話者性が参照音声の話者性に似るような制約を入れる。また、テキストのCycle整合性損失が強すぎるため、最初に音声認識モデルだけを学習して、そのあと合成モデルと認識モデルを同時学習する。GANに相当する識別器を入れないのかと質問してみたが、やってみたけどあまりうまく行かなかったとのこと。
2-8-3 音声認識のデータ拡張のための話者情報およびマスクを用いた合成音声の周波数スペクトログラム強調（名工大）
音声合成を使ってデータ拡張をするときに、まじめにやると合成器が生成したスペクトログラムからボコーダで音声波形を作り、それをもう一度スペクトログラムに変換するのだが、それはめんどくさいので、合成器が出力するスペクトログラムを音声認識器学習のためのスペクトログラムに変換するネットワークを作る。（スペクトログラム→波形の部分にニューラルボコーダが入るので、フーリエ変換・逆変換とは異なる）
スペクトログラム変換ネットワークでは、音素情報・話者情報・スペクトログラムの3つを入力として、学習時にはスペクトログラムに音素単位でランダムにマスクをかける。
2-8-4 自己教師あり学習したモデル表現の知識蒸留：生徒モデルの構造がタスク精度に与える影響(NTT)
自己教師あり学習のモデルサイズ削減のために、タスク非依存の知識蒸留を行う。このときに、生徒モデルの構造が音声表現にどのように影響するかを調べた。教師モデルの中間層に対して、生徒モデルの出力段ですべての教師モデルの中間層出力を予測するやり方と、生徒モデルの中間層と教師モデルの中間層を対応づける方法の2つを比較。深いモデルでは中間層を対応づける方法が、浅いモデルでは最終段で中間層出力を予測するやり方が有効。全体として、音声認識では深いモデルが有効、話者認識では広いモデルが有効であった。
2-8-5 End-to-End非流暢整形音声認識システムの対話音声による評価（豊橋技科大）
音声認識とdisfluencyの除去を会わせた奴。フィラーと言いよどみをそれぞれ特殊記号（＃と＠）にマッピングして学習・認識をしたあと最終的に認識結果から除去する。CSJの独話音声で学習して対話音声で評価。
ここでいったん会場を抜けて、40分ほど緊急の事務作業。
音のデザイン/音のマルチモーダル評価
2-4-4 聴覚及び触覚に着目した口紅容器開閉感の評価−感覚モダリティごとの主観評価実験の実施−（資生堂/小野測器）
口紅のいれものを開け閉めしたときの高級感を、聴覚と触覚で評価。容器は3種類の方式×３本。音だけで評価すると、いずれの方式でも違いが出ないが、触覚では違いが大きく、聴覚・触覚両方の場合は触覚のみと類似している。指の圧力計測結果から、あまり力を入れずにヌルッと閉まる容器の高級感が高い傾向だった。
2-4-5 聴覚及び触覚に着目した口紅容器開閉感の評価−評価グリッド法を含む考察−（小野測器/資生堂）
口紅容器の開閉感を主観評価して評価構造を可視化。評価は1名に対するインタビュー。主観評価と、音の物理量の関連を考察。閉めるときの音が大きい方が高級と判断され、開けるときの音の周波数重心と高級感には負の相関がある。
2-4-6 クリック数に着目したロータリースイッチ操作感覚のオノマトペによる評価（中央大）
オノマトペの活用による定量的な製品デザインを目指している。ロータリースイッチを回した感触を形容するオノマトペ（ゴリゴリ、カチカチなど）と物理量の関係を調べる。クリックトルクが小さいときは/u/、中では/k//t/、大きいときには濁音が多い。また、シャープネスが高い時には/i/、低いときには/u/が得られやすい。今回の研究では、クリック数の違いがオノマトペにどう影響するかを調べた。クリック数が少ないと「ッ」「ー」が多く、またトルクが小さいときには「ー」が多い。トルクが大きいときは濁音が多い。またシャープネスとクリック数が違うクリック音を聞かせてオノマトペ表現をさせて、分析を行った。この場合もクリック数によって傾向が別れ、「ッ」と濁音については前の実験と似た傾向が得られた。
2-4-7 音楽及び映像の印象の強さと主成分分析の累積寄与率との関係について（大阪工大）
映像と音楽の同時視聴時に、映像が音楽印象に与える影響の検討。6種類の音楽と6種類の画像を組み合わせ、SD法で評価。その結果、生演奏音楽の方が印象の変化が小さく、打ち込みでメロディのみの音楽の方が変化が大きい。音に関してMFCC、ΔMFCCをPCAで圧縮したときの累積寄与率を調べた。
ここで12:30ぐらい。13時から選奨行事なので、ゆっくり昼食をとっている時間がない。キャンパス内にコンビニがあるので、そこで飲み物とパンを買って食べる。飲み物はネタで岩下の新生姜ドリンク。まずくはないが形容が難しい味。
13時から選奨行事があり、その後特別講演。
・北海道科学大学の医工連携研究（北海道科学大学学長・川上敬）
川上学長はAI関連（特に群知能とか強化学習）の専門家。
最初に大学紹介。北海道科学大学は2024年に100周年ということで力を入れているそう。大学の沿革について紹介。
ブランド確立のために、組織横断型活動推進プロジェクト+PITを推進している。建物の１階にあったT型フォードもその一環らしい（倉庫にあったものをレストアして動くようにした）。この大学が中心になって幼稚園・小学校の児童が提灯を作って灯す「ていね夏あかり」の紹介。
北海道各地の地域連携。9自治体とは包括連携協定を結んで人材育成などの活動をしている。2021年度のバーチャル学位記授与式など。
医工連携の話。大学には工学部のほかに薬学部と保健医療学部があるので、連携して研究している。COVIDの為の健康観察アプリの開発、医工連携関連の研究所。医療と情報科学、保健介護と情報科学などの連携。
川上先生の研究室での研究。医用画像の読影支援システム。
音声A・B/パラ言語
2-8-10 自己教師あり学習と分類器チェーンを用いた非言語的発声に対する感情識別（東大）
間投詞みたいな非言語的発声からの感情識別。ICMLのコンペExVoに参加。未知話者に対して2サンプルだけ学習データが与えられ、テストデータの感情を識別。自己教師あり学習(SSL)による特徴量用モデルは強力だが、通常はあまり非言語発声が含まれない音声から学習されるので、それが非言語発声の認識に有効かどうかを調べる。また、感情を独立に予測するのではなく、最初の感情の識別結果を次の感情の特徴量として利用する（分類器チェーン）。SSLモデルの中では他言語・複数条件（オーディオブックと電話音声）で学習したものが高性能。
2-8-11 Transformer-based Speech Emotion Recognition with Multiple Acoustic Features（東大）
音声波形＋wav2vec2、メルスペクトログラム、MFCCのそれぞれに対してCross Attention Transformer (CAT)を適用し2つの特徴量の片方をクエリ、もう片方をキーとバリューにするTransformerを適用する。特徴量の組み合わせとしてはMFCCと波形の組み合わせが有効であり、CATを使うと通常のSelf Attention Transformerをそれぞれ適用して結果を連結するよりちょっとよくなる。全部入りで、波形だけを入力としたTransformerと比べて2.4ポイントほど改善。
2-8-12 音声認識とのマルチタスク学習を用いたCTCモデルに基づく短区間音声感情認識（立命館大）
発話単位ではなく、数フレーム単位で予測結果を出力する方法の提案。この手のタスクはラベルがないのでラベルをどう作るか、ラベルがあったときにどう学習するかが問題。この研究では、文字単位に「文字＋感情」のシンボルを作って、それを認識する。正解ラベルは発話ごとに同じものを使っているらしい。文字＋感情予測を一度に行うタスクと、文字予測・感情予測をマルチタスクとして行う方法の2つを評価。結果として、マルチタスクによる改善はなかった。
2-8-13 感情知覚特性に基づいた自発的な叫び声の分類と音響的物理量の関係（千葉工大）
様々な叫び声をクラスタリングによって分類し、音響特徴量をロジスティック回帰で分析。対象はAGSC。まず主観評価による感情評価（3次元）を行った。次にそれをクラスタリングで分析したところ3つのクラスに別れた。それぞれ「快・覚醒・支配」「不快・睡眠・服従」「不快・睡眠・支配」の傾向がある。次に有効な特徴量をロジスティック回帰によって調べたところ、F0平均、simmer、継続時間長、音圧レベル最大値が有効だった。
このあとポスターセッションを流す。聞いた奴だけ。
2-Q-21 i-vectorの差ベクトルに基づく話者認証システムへのなりすまし攻撃手法の検討（東大）
2-Q-41 避難呼びかけ音声の持つ緊急性の分析と音声合成への適用の検討（木更津高専・東大）
途中メールに対応して急ぎ書類を書く必要ができたので、近くの机で仕事。この建物は廊下の至る所にテーブル机があって仕事場所には困らない。何しに来たんだという感じではあるが。
18時すぎに会場離脱。30分ほど歩いて手稲駅。
順調に札幌駅まで行ったが、せっかく札幌に来たんだからなにか北海道っぽいものが食いたいということで、地下鉄ですすきの。何年ぶりだろうか。
最初にジンギスカンに挑戦して、入れなかったらスープカレーにすると最初に方針を決める。何となく入れそうなジンギスカン・焼き肉屋4件ほど突撃したが、どれも予約でいっぱい。今日木曜日なのになあ。わざわざ予約していくほどでもないので、スープカレーにスイッチ。
といっても、Google Mapsであたりをつけてその辺に行っても店がない。どうなってんだと思いつつ3軒目ぐらいでようやく実店舗を発見。狭いドアから入る雑居ビルの2階にある小さい店だが、大丈夫だろうか。
よくわからないけど適当に標準的そうなのを頼む。3種のスープの中からちょっと追加料金がかかるやつを、辛さは全体の真ん中にする。
ハイボールを飲みながらしばし待つ
そのうちスープカレーが来る。
チキンは表面がぱりっとしている。スープに浸かっているのでここまでぱりっとしてなくてもいいと思うが、うまい。骨はない。
完食してホテルに戻る。いい気分になったので2次会用にサッポロクラシックを買って、ホテル内で飲みながらのんびりする。23時半頃寝る。
前の日へ 目次へ 次の日へ