3/9（土）
睡眠の質はあまりよくなかった。6時半に起床。シャワーを浴びて、7時過ぎに朝食。
ホテルは東横インなので朝食付きで、持ち帰りはない。朝食会場は空いていてよかった。サンマ煮とかしょうがあさりなどがあるのが珍しい。
少しメールを読んだ後、8時前にチェックアウト。
途中のポストにずーしーほっきーが座っている。
8:14の電車で函館へ。電車はがらがら。
函館駅に着いたところで、今日は会場付近では昼食を調達できないので、セブンイレブンで食べ物を買う。
はこだて未来大学に行くバスのバス停へ。すでに参加者が並んでいる。
バスは8:48発だったのだが、やや遅れて出発。SIGMUS参加者が結構多く、バスは途中で満員になり、後半は乗れないお客さんが出た。バス会社では臨時便を出したらしい。
10時ちょっと前にはこだて未来大学着。
はこだて未来大学の建物は2回目だが、あいかわらず珍しい建物。
10時すぎからセッション。
□ 10:05 [一般発表] 分析・歌声
1. オンラインレッスンにおける演奏音のポインティングと楽譜書き込み情報を用いた構造的分析
〇三浦 寛也（理化学研究所）、飯野 なみ、武田 英明（国立情報学研究所）、浜中 雅俊（理化学研究所）
オンライン楽器演奏指導でのインタラクション分析。楽譜を共有したWeb会議みたいな環境で練習をしながら楽譜に書き込みを行う。
前処理として収録音を音声・音楽などの区間に自動分割した後、音声区間をWhisperで書き起こし、その内容について人手でアノテーションをした。また、楽譜への書き込み内容をオントロジーに従って分類。これらの分析から、レッスンの日数が進むにつれて書き込みが増え、内容も音色から細かい表現へと内容が変化していく。分析そのものだけでなく、楽譜を共有したオンライン楽器レッスン（ギター）自体初めて見たので面白かった。研究内容としては、どういう指摘に対してどういう書き込みをするのか、その前後の発話と書き込みの関係はどうか、などを分析。こういう研究は初めて見たが、会話分析の特殊な奴みたいな感じ。
2. 創作知識の進化モデルに基づく作曲スタイルの変遷過程の分析
〇中村 栄太（京都大学）
作曲スタイルが時代とともにどう変化したかを分析。すべての楽曲をごちゃまぜにするとよくわからないので、楽曲をクラスターに分けて分析する。その時に、クラスターの間にどういう関係があるのか（あるクラスターが別なクラスターから派生したとか）を知りたいが、それを直接知ることはできないので、記号列の進化モデルを使った機械学習で自動的に推定することを試みる。対象は日本のポピュラー音楽3000曲。
パラメータとしては、音高クラスのバイグラム確率を使う。進化モデルは、新規楽曲が過去の作品を参照する確率や変異確率などを使ったベイズモデル。
分析結果として、ヨナ抜き音階から全音階への変遷、偏重音階などの独特な音階が見つかってきたとのこと。また、革新度は減少（新しい傾向が出にくくなる）、参照時間間隔がが増加傾向（より以前の曲を参照しがち）などの分析があった。それぞれのクラスタに属する代表曲がわかると面白かったのだが。なお革新度が高い曲の多くはメドレー曲だそう。
最初は少数の作品から、クラスター外の傾向を取り込みつつ、徐々にクラスター内の参照が増えて安定してくるというスタイルクラスターの進化シナリオの提案。いかにもそれらしい感じだが、具体的な作品分析ではなくて、数理モデルの分析からそういうシナリオが出てくるところが面白いところ。
3. 歌唱者間相互作用を再現するDNN重唱歌声合成の検討
◎兵藤 弘明、高道 慎之介（東京大学）、中村 友彦（産業技術総合研究所）、小口 純矢（明治大学）、猿渡 洋（東京大学）
重唱（各パートが一人だけの合唱）を対象とする。この場合、人間が歌唱する場合には歌唱者の間でのインタラクションがあるので、通常の歌声合成で各パートを独立に合成して重ねるのとは微妙に異なる。そのため、歌声を合成するときに、ほかのパートの楽譜も入力することで相互作用を再現する。独特な制約として、F0差分ロス（二つの声部のF0の差の差分絶対値）、パワー差分ロス（同じくパワーの差の差分絶対値）を利用する。
主観評価結果では、パワー差分ロスを入れるとちょっぴり改善、F0差分ロスを入れるとかえって悪化する。F0差分を入れると、差分を重視しすぎて絶対音高が外れがちになるとのこと。
□ 11:10 [一般発表] 音楽情報処理・作曲
4. 国際会議CMMR 2023開催報告
〇平田 圭二（公立はこだて未来大学）、北原 鉄朗（日本大学）、柴山 拓郎（東京電機大学）、東条 敏（亜細亜大学）、植村 あい子（日本大学）、上原 由衣（神奈川大学）、浜中 雅俊（理研）、松原 正樹（筑波大学）、大村 英史（東京理科大学）、秦野 亮（東京理科大学）、澤田 隼（東京理科大学）
東京で開催した国際会議 the 16th International Symposium on Computer Music Multidisciplinary Research の報告。発表59、参加者161ぐらいの規模。デモ発表とコンサート付。「小さくても大きくてもたくさん国際会議を主催しよう」というメッセージが熱く語られた。
5. 分散和音に基づく曲生成の試み ー楽曲からの分散パターンの分析による主旋律生成ー
◎中田 恭維、梅村 祥之（広島工業大学）
ルールベースの自動作曲。和音をもとに定型メロディを生成する。コード進行をもとにセクション（Aメロ、Bメロ）を生成する。コードからメロディを生成するパターンを分散パターンと呼んでいる。そのままだと曲がのっぺりしていて面白みに欠けるので、バリエーションを増やしたりする。デモ曲が流れたが、「うん、気持ちはわかる」という感じ。
6. スピログラフ図形に基づく音楽生成
〇梅村 祥之、冨士 直斗（広島工業大学）
スピログラフは複数の周転円の上の点の軌跡として表せる。このとき、ペンと中心の距離を音高にして音楽を生成する。コード進行に基づいて音高に制限を設けることによって音楽性を保つことができる。スピログラフの周期と小節数が互いに素になるようにすると、同じ和音進行であっても小節ごとに微妙に異なるメロディが生成される。
また、スピログラフの形とパラメータに比較的わかりやすい関係があるとのこと（スピログラフが複雑な形になる場合はメロディも複雑、とか）。評価として「人間の作曲家が作曲したといわれたら信じるか」という主観評価をして、けっこう信じる人が多かった。
7. 二重振り子の動きを利用した音楽生成の試み
〇梅村 祥之（広島工業大学）
スピログラフの代わりに二重振り子を使ってカオス的な動きを生成してみた。振り子の玉の高さを音高に割り当て、高さの極小値で区切った長さを音符とする。音符の音高は音符区間の玉の最高値とする。上と同じアンケートでは、スピログラフよりは信じられない感じ。二重振り子のアニメーションと対応する音楽との連動した躍動感があるという主張。
□ 12:25 [昼休み]
買ってきた昼飯を食いながら平田先生の最終講義。
12:35-13:15 平田圭二先生最終講義「マイルスのような研究者になりたかった」
先生が敬愛されるマイルス・デイビスの話からスタート。音楽情報研究を長年続けてこられて苦労された話とか。パイオニアならではの苦労話だ。MaaSの研究も紹介。プログラミング言語「織田信長」の話。NTT時代の最初の遠隔コミュニケーションの話。いろいろな共同研究者の方の名言を紹介していたのも面白かった。
□ 13:25 [一般発表] 応用システム
8. 音声認識を用いた空耳自動生成の検討
◎半田 尚暉、植村 あい子、吉田 典正（日本大学）
空耳アワーの空耳の話。多言語の歌詞を日本語の音声認識エンジンで認識させて空耳を作る。なんと既存研究があるそうだが、そちらは音声認識は使っていなかったようだ。伴奏がある曲をそのまま使う場合と、音源分離でボーカルだけ分離したものを比較。認識はWhisper。実際に空耳アワーで取り上げられた事例約3400曲から9曲を選定。いろいろ試したところ、Whisperは多言語なので元の英語の歌詞を認識してしまう。ほかの音声認識器を使ったらそれっぽい空耳が生成できた。空耳っぽい個所のあたりをつけるのにIPA表記した文字列間の正規化レーベンシュタイン距離を使っているが、IPAだと似た発音が違う記号になるので、こういう目的には適さないと思う。
9. ピアノ初心者を対象とした学習支援のための運指認識システムの提案
◎矢川 拓斗、三好 遼、秋月 秀一、橋本 学（中京大学）
ピアノ練習システムでのフィードバックのために画像から運指を認識する。従来は鍵盤上の指の位置から打鍵した指の認識をしているが、指が重なっていたり、複数の指が同じ鍵盤に乗っているときには認識誤りが起きる。これを改善するために、手全体の状態と、打鍵前後の指の動きを考慮して、打鍵指の推定を行う。認識はCNN。演奏は個人性が強く、提案手法で性能が改善するかどうかは人による。オープンテストでは必ずしも性能が向上するとは限らない。
10. VAEを用いたバリエーション生成による共創的作曲システム
◎松本 馨輝、松原 正樹、寺澤 洋子（筑波大学）
「共創的作曲」とはユーザが主体となってシステムが作曲補助を行うようなシステムのこと。ここでは音楽の反復構造に注目し、主題（モチーフ）とそのバリエーションを生成する。既存手法としてはルールベースのものがあるので、ここでは深層学習ベースの方法を提案する。モチーフを入力として、リズムとハーモニーの複雑さをユーザが与えることでシステムがバリエーションを自動生成する。
11. メモリ機構付き深層距離学習に基づく音楽と画像の双方向検索
〇中塚 貴之、濱崎 雅弘、後藤 真孝（産業技術総合研究所）
音楽に合う画像、画像に合う音楽を検索するタスク。検索されるものには順位がつく。音楽と画像の対応として、シングルとジャケット画像を使う。音楽と画像をそれぞれ埋め込みベクトルにして、対応する埋め込みを近づけ、ランダムなペアを遠ざけるように学習する。この場合、ランダムなペア（負例）が正例よりも多いので、それを補正するためにメモリ機構を使う。これは、異なる学習エポックでの埋め込みベクトルを別なデータだと解釈してデータ拡張を行う方法。
□ 14:45 [一般発表] 学習データ
12. サムネイル画像を活用した音楽キャプション生成法の提案とその評価
◎元満 丈寛、林 克彦（北海道大学）、坂井 優介、上垣外 英剛（奈良先端科学技術大学院大学）
自然言語で音楽を検索するときに、通常は対象音楽の楽曲性（ジャンルや楽器、アーティストなど）に基づくキャプションしか使っていないが、それ以外の雰囲気を含むキャプションデータがあれば、ふわっとした記述から音楽が検索できるようになる。そのため、音楽のサムネイルから言語表現を生成し、それを音楽のキャプションとして使うというアイデア。キャプション生成にはビジョン言語モデルLLaVA-1.5を使う。そのほかに、もともと楽曲についているキャプション、音楽タグからGPT-3.5に生成させたキャプションを使う。これらを比較すると総合的にはサムネイルから生成したキャプションが優れている。人手で付けた音楽キャプションが最も低評価。また、提案手法を人手で評価して高品質だったものを集めたデータセットを作成した。データセットは https://github.com/hu-kvl/llava_music_caption から入手可能。
13. FruitsMusic: 音楽情報処理のためのアイドルユニット楽曲コーパス
〇須田 仁志、中村 友彦、深山 覚、緒方 淳（産業技術総合研究所）
少人数アイドルグループ専門のコーパスを作成した。この手の楽曲には歌割りがあるなどの特徴がある。対象はYouTube上のミュージックビデオで、元楽曲は含まれない。規定上生成AIには使用できない。コーパスには、楽曲ID、YouTube ID、楽曲名、楽曲の歌唱者と歌唱区間、歌詞などの情報が入っている。
これを使ったモデルで歌唱者ダイアライゼーションや歌詞認識を行ってみた。比較としてアイドルを知らない一般人にもタスクを解かせてみた。音源分離をすると性能が上がるが、人間にはだいぶ及ばない。
14. 和音進行を用いたメロディ生成とその参照情報
◎諏訪辺 拓（大阪大学）、森田 尭（中部大学）、福井 健一、沼尾 正行（大阪大学）
深層学習を使った音楽生成では、メロディと和音の区別がなく、また逐次生成のために大局的なコード進行を考慮した生成ができない。この研究では、和音の進行と過去の生成メロディの両方を使って生成を行うことで、与えたコード進行に合うメロディの生成を行う。また、移調と繰り返しによってデータ拡張を行う。データ拡張を行うことで、繰り返しのあるメロディが生成できるようになる（移調を入れることでも繰り返しが多くなる）。
15. 複数人による音楽アノテーション結果の項目反応理論に基づく統合と機械学習への応用
〇中野 倫靖、後藤 真孝（産業技術総合研究所）
複数人のアノテーションから代表値を決める場合に関する話。多数決を使う場合はアノテータ数が奇数出ないと困るし、多肢選択の場合は複雑になる。また、投票数によって量的にアノテートすることもあり、分析によく使われる。問題としては、同点があること、回答の種類が考慮されないことなどがある。平均を取る場合も同様の問題がある。
これらを解決するため、IRTを利用する。また、これを拡張して多段階に使えるGRTモデルも利用する。アノテータごとに異なるパラメータと、対象のアノテーションを分けて推定することができる。
□ 16:05 [一般発表] 企画
16. 音楽情報科学研究会30周年記念イベント: 初代主査平田圭二先生特別講演
〇片寄 晴弘（関西学院大学）、後藤 真孝（産業技術総合研究所）、竹川 佳成、平田 圭二（公立はこだて未来大学）
第1部はSIGMUS30周年ということでSIGMUSの歴史を片寄先生が語る。
平田先生が音楽情報科学研究科（情報処理学会以前）の創成についてのお話を語る。そこから情報処理学会の研究会になった時に反論が多かった話など。1980年代後半の情報系学会・研究の雰囲気について。
ICMCを中心とした国際プレゼンスの話。ICMCにみんなで参加した話、日本への招致など。
10周年～20周年での課題。ISMIR2009開催の話。
第2部は後藤さん司会で平田先生のご講演。
最初に後藤さんからSIGMUSの発展と平田先生の貢献について説明。
続いて平田先生の講演「We Love Music」。
ICOToneの話。立派なコード(LPC)、タタタータ、ハービー君/パーピープン/バービーブン/ハーヒーフンなど。
音楽生成研究の難しさ（正しさの定義が難しい）。方法論で評価する。
「新しい」音楽を作る必要があるのか
・素人の音楽情報処理 vs. 玄人の音楽情報処理の超克
・自分しか聞かない音楽は音楽と言えるか
音楽はいつから知の対象になったのか（温故知新）
・古代ギリシャ～中世～ルネッサンス
・音楽史は18世紀ごろ発明された
・大学で芸術を学ぶ意義の変化（芸術を「使って」学ぶ。音楽も同じ）
音楽と自然言語は非互換
科学への指向：統一理論を作る(GTTMとIRM、言語メディアと非言語メディア）
「音楽で学ぶ」への志向→音楽的なもの（楽曲、調性、ジャンルなど）の擬人化、社会性を持たせる
第3部は平田・片寄・竹川・後藤の各氏によるパネルディスカッション。
研究、教育、音楽情報科学の今後などについて。
終わったところで、バスで懇親会会場へ。
会場はホテル法華クラブ函館。懇親会開始時刻よりも30分以上早かったので、先にホテルにチェックインし、荷物を置いて会場に戻る。
19時から懇親会開始。
懇親会が終わったところで、部屋に戻って休む。酔っぱらっているが、〆切が迫った査読を仕上げる。
シャワーを浴びて、22時半ごろ寝る。
前の日へ 目次へ 次の日へ