3/10(日)
朝5時40分ごろ起床。睡眠の質は良くない。
支度をして、6時半に朝食。とても豪華で、食べ過ぎてしまった。もう一泊したかった。
夕方にお土産を買ったりする時間がちょっと怪しかったので、最初に函館駅に行って買い物をしてから会場に行く予定を立てる。
法華クラブは五稜郭付近にあるので、いったん函館駅へ。せっかくなので市電を使いたかったのだが、ちょっと時間が合わなくてバスを使う。
駅について、近くの市場などを冷やかす。朝早くから海鮮丼屋も開いていたので、ここで朝食もよかったなあ。でもホテルの朝食もよかった。
市場では特に何も買わずに、駅に戻ってお土産を買う。
少し待ってバスで移動。9時半過ぎに会場入り。
すぐにセッション開始。
■ 2日目:2024/3/10(日)
□ 9:40 [一般発表] モデル化
17. 協調タッピング課題の数理モデリングとパラメータ推定
◎鈴木 駿太、紅林 亘(弘前大学)、岡野 真裕(神戸大学)、進矢 正宏(広島大学)、工藤 和俊(東京大学)、中村 雅之、齊藤 玄敏(弘前大学)
合唱などのリズム協調を調べる「協調タッピング課題」がテーマ。複数の人が指をタッピングした時のタイミングをモデル化する。個の発表では、非線形なモデルを仮定するところが新しいらしい。次にタップするタイミングを、直前のタップからの時間間隔と、もう一人のタップとの時間差の関数の値の和で計算する。その「関数」は2次関数として係数はパラメータ。パラメータはMCMCで推定。推定されたパラメータの確率分布から、タッピングにおける傾向(速くなりやすいとか)を解釈していた。非線形にすると予測精度が上がるとかいう話かと思ったらそうでもないらしい。
18. 演奏MIDIのリズム量子化のためのトークン化の提案
◎天春 陽介、酒井 正彦(名古屋大学)
MIDIのイベントは音符など楽譜要素に対応していないので、それらに対応するようにMIDIをトークン化する提案。トークンを「コード型」「レスト型」「パーシャルコンティニュエーション型」に分類する。MIDIイベントをトークン化するやり方は一意ではないので、分割したトークンを葉に持つリズム木を生成した時に、その木を使って楽譜化したときの複雑さ、トークン時間とMIDIイベント時間のずれなどを重みとして表し、それが最適な木を与えるトークン化を採用する。
既存研究の説明は全然なかったのだが、こういうのなかったっけ?
19. ジャズ理論に基づく和音間の仮想的引力モデルとそのリハーモナイゼーションへの応用
◎沼本 真幸(京都大学)、加藤 祥太(京都大学)、加納 学(京都大学)
ジャズ理論の数理モデル化。コードが進行するときに、隣接するコード間の引力(遷移しやすさ)を計算するモデル化であるのだが、私はジャズ理論を良く知らないので良しあしが判断できない。この理論を使って、自動リハーモナイゼーションを最短経路探索問題として定式化した。
□ 10:45 [一般発表] 企画
20. MUS139国際会議既発表・デモセッション
橋田 光代(福知山公立大学)、矢倉 大夢(筑波大学)、中野 倫靖(産業技術総合研究所)、山脇 稜平(名古屋国際工科専門職大学)、上原 由衣(神奈川大学)、白石 慶太(広島工業大学)、山本 雄也(筑波大学)、城戸 伊吹(筑波大学)、岩本 祐輝(日本大学)、湯谷承将(筑波大学)、浜中 雅俊(理化学研究所)、松浦 実央(公立はこだて未来大学)、小原祥与(公立はこだて未来大学)、山本 遥己(公立はこだて未来大学)、三上 薫(公立はこだて未来大学)、前田 哲徳(静岡大学)、伊豆 梨沙(公立はこだて未来大学)、平山 音果(帝塚山高等学校)、髙橋利孔(公立はこだて未来大学)、前場 雄晴(兵庫県立神戸高等学校)、釜石 健太郎(公立はこだて未来大学)、中澤 一輝(公立はこだて未来大学)
10:45 概要発表
11:10 デモ/ポスター
建物の底のエリアで既発表・デモセッション。
以下聞いたものだけ。
ポピュラー音楽における歌唱のアタックとリリースの分析に関する検討
山本 雄也, 城戸 伊吹, 寺澤 洋子 (筑波大学)
歌唱分析。フレーズの立ち上がり、立ち下りに注目して分析をしているが、具体的に何をどう分析するかを検討中。
気息性の分析を行っていて、ケプストラムピークの高さを使っているそうだ。
合唱パフォーマンスの感覚共有による教授支援法の検討に向けたストレッチセンサによる呼吸の可視化
小原 祥与, 竹川 佳成, 平田 圭二 (公立はこだて未来大学)
胸にストレッチセンサを巻いて、呼吸の具合を計測する。呼吸の様子を相平面表現で可視化する。
LLMの学習に適したS式によるタイムスパン木の表現について
伊豆 梨沙, 竹川 佳成, 平田 圭二 (公立はこだて未来大学)
タイムスパン木は木構造だが、将来的にLLMで扱いたいので、S式で文字列にして扱えるか試した。CopilotにS式の仕様などをプロンプトとして与えたところ、LLMでいくつかのS式操作が可能になった。
ビオラ初心者のための最適な運指の提案システムの開発
平山 音果 (帝塚山高等学校), 相馬 聡文 (神戸大学)
高校生による発表。ビオラ演奏の時に、特定の高さの音をどの弦とどの指の組み合わせで弾くべきかを当てるシステム。音、弦、運指の履歴と現在の音からRNNで推定する。性能はまだまだ。
Vision Transformerを用いた木の適切な構造に基づくタイムスパン木分析モデル
中澤 一輝, 竹川 佳成, 平田 圭二 (公立はこだて未来大学)
タイムスパン木をTransformerで扱えるように、3次元テンソルで扱うようにした。
□ 12:00 [昼休み]
SIGMUSの運営委員会。私は今回が運営委員の最後の年なので、来年度からは委員を外れる。
今年度の研究会の振りかえりと来年度の予定などについて話し合い。
□ 13:00 [一般発表] 演奏・伴奏
21. ライヴComputer Musicのための非線形フィードバックの活用
〇長嶋 洋一(静岡文化芸術大学)
30年前のNIMEでの長嶋先生のパフォーマンス紹介。音楽パフォーマンスからCGを生成する各種のシステム。
12月の最終講義の後のミニライブの報告など。
22. 和声進行からの任意楽器による自動伴奏生成
◎戸沢 拓海、小坂 直敏、髙橋 時市郎(東京電機大学)
楽器を考慮した自動編曲。先行研究として、TransformerとVAEを使ったMuseMorphoseがあるので、これを改良する。
和声進行のREMIデータ、メロディのMIDIデータ、楽器情報をエンコーダに入れて、その出力埋め込みに伴奏のデータを加えてデコーダに入れて、デコーダで伴奏に戻したときに正解の伴奏に近くなるようにする。楽器によって可能な発音が違うので、それを再現することが目標だが、まだ実験中。
23. 管楽器奏者の要望を反映した自動伴奏システム
◎小島 美緒、小島 みなみ、青柳 龍也(津田塾大学)
合奏の練習をするときに、メンバーの代わりになる自動伴奏システム。代わりなので、どんな伴奏でもよいわけではなく、特定の演奏法になるような伴奏をする必要がある。自走伴奏システムACCompanionを改良してシステムを作成した。システムでは、楽譜の特定の場所を選択して、演奏の速さや表情(「壮大に」など)を入力することで演奏を変更する。また、OpenPoseを使って演奏者の動きを計測することで演奏に入るタイミングを調整する。自然言語による表情条件付けはGPT-3.5で長さや音量に変更している。
24. 演奏タイミング予測におけるフレーズ構造導入効果の検討
◎堂本 晃希(関西学院大学)、橋田 光代(福知山公立大学)、片寄 晴弘(関西学院大学)
自動伴奏のために、次拍のタイミング予測を行う。従来、深層学習を使った方法があったが、演奏の表情などを考慮していなかった。これを考慮するため、これまで使っていた楽譜情報と過去のタイミング情報に加えて、フレーズ構造とフレーズ内の焦点情報を入力することで性能を改善する。フレーズ構造を入力する際の情報表現をいくつか比較検討した。フレーズ構造を入れることで精度が向上し、また凝った入力方法にはあまり意味がなかった。時系列を考慮するモデルとしては、短い音符にはRNN、長い音符にはLSTMを使う方が良い。
□ 14:20 [一般発表] 音色
25. 人工知能を用いたアンティークヴァイオリンの音色による鑑定の試み
〇横山 真男、石垣 優也(明星大学)、吉田 小百合、山田 雅之、堀 酉基(株式会社文京楽器)
ストラディバリの音色を分析する産学連携プロジェクト。さまざまなバイオリンを弾いた0.06秒のデータを特徴量に変換(スペクトル包絡、メルスペクトル、MFCC)、単純なフィードフォワード型で楽器メーカーを当てる。MFCCで開放弦を弾いた時の音を使って正解率0.989ぐらい。スペクトログラムはあまり良くない(FFだからか)。また、4本のバイオリンでモデル学習して、他のバイオリンが「どれだけ似ているか」を計算すると、例えばMichettiがStradivariに近いなど、制作者が同じだと音色が似ているかもしれないという結果が得られた。また、製作者ごとの違いが可視化できるか調べるため、VAEで低次元に落として可視化した。弾く弦によって傾向が違う。また、録音条件によって大きく影響を受ける。
26. アナログシンセサイザーMS-20のプリセット内挿
◎佐々木 祐理、青柳 龍也(津田塾大学)
新しい音色を簡単に作るために、プリセットの音を内挿する方法を検討。特に、2つの音色に対して、線形で滑らかな内挿を実現する。先行研究では、DX-7のパラメータ内挿のため、VAEにパラメータ値と生成音のスペクトルを与えて潜在表現を作り、潜在表現からパラメータを生成するデコーダをつなぐ。
この研究ではコルグのアナログシンセMS-20のプリセット内挿を行う。実際の操作は再現ソフトウェアMS-20 V2を使った。結果はパラメータを単に補間したものよりはかなりましだが、それでも2つの音色の真ん中の音はどちらともだいぶ違う音になっていた。
27. 連続音の分離特性に基づくオーディオモザイキングの楽器性の物理評価
◎宮口 聡良、小坂 直敏、池田 雄介(東京電機大学)
オーディオモザイキングは、ある音を別な音で表現する(虫の声を楽器で作るなど)。その評価として従来は主観評価しかなかったので、客観評価の指標を提案。
評価は「再現性」(元の音に似ているか)、「楽器性」(元の楽器の音がわかるか)のトレードオフになる。
モザイキングの手法はConvolutional NMF。要素音の混合で目的音のスペクトログラムを近似するためのアクティベーションを推定する。
2つの音を短い間隔で重ねた時に1つの音に聞こえるかどうかを実験したところ、個別の音に聞こえるかどうかは2音の感覚の対数にほぼ比例することが分かった。そのため、CNMFで求めたスパースなアクティベーションの間隔から計算される分離度の平均を「楽器性」とした。主観評価との相関は0.53。再現性の評価にはSTOIを利用していたが、STOIは再現性が高い条件でのみ有用で、再現性が低いところでの順位をうまくあらわさないということがわかった。
28. 吹き出し図形を用いた音色の形象化の可能性検証
◎永田 大志、山西 良典(関西大学)
音色の印象を、言語ではなく図形(吹き出し図形)で表現する試み。エフェクタを組み合わせた音作りの難しさの説明。ギター音に3種類のエフェクトを掛けたもの+エフェクトなしに対して、4種類の吹き出し図形を対応させる実験を行った。オーバードライブとトゲトゲの吹き出しの対応の一致率が高く、それ以外の対応は明確ではなかった。
□ 15:40 [一般発表] 可視化・インタフェース
29. 時系列感性パラメータで制御可能なTaleBrushのハーモナイゼーションへの応用
◎中村 友紀、片寄 晴弘(関西学院大学)
音楽生成で時系列制御が可能なハーモナイゼーションを行う。ハーモナイゼーション自体は既存の事前学習モデルを使う。感性パラメータは「明るい」「暗い」などで指定。似た技術として、物語生成モデルTaleBrushでは、物語のどの辺で主人公の幸福度などがどうなるのかを曲線で指定することができるので、それと同じことをハーモナイゼーションで行いたい。TaleBrushでは、幸福度別にいくつかの言語モデルを用意して切り替えている。また、意外性制御のために「温度付きソフトマックス」を使っている。これと同じメカニズムをハーモナイゼーションタスクに使う。実験では、それほど大きな(かつ妥当な)変更ができなかった。
30. モバイルデバイス上での打楽器左右打音の音色と強度のリアルタイム可視化
◎前田 哲徳(静岡大学)、西村 雅史(静岡大学 / 愛知産業大学)
打楽器練習のためには、通常スティックでゴムパッドを叩く練習をする。この時の練習支援システムがさまざま提案されているが、叩いた時の音色に注目するものはなかった。これまで、ゴムパッド音の音色をVAEで可視化する研究を行ってきたので、これに基づいた打楽器練習システムを提案する。具体的には、音色・強度・手を可視化するiPadアプリを開発する。手の動きはカメラ画像+PoseNetで取得、音はコンタクトマイクで取得する。アンケートによると音色の可視化はあまり好評ではなかった。手の位置の可視化は好評。
31. 同一楽曲におけるベースの演奏傾向の可視化
◎原 彩月、伊藤 貴之(お茶の水女子大学)
ベースにはさまざまな演奏法があるが、ここではタイミング(前ノリ・後ノリ)、パワーを調べる。同じ曲を複数の人が演奏している内容から演奏者の距離を求め、MDSで可視化する。ジャンルはPops, Jazz, Funkの3ジャンル各1曲。対象者はそこそこうまいベーシスト9名。可視化結果の点について分析。全体的にばらけていて、特にクラスターが見える感じではないが、スペクトログラムをそのまま特徴量として使った場合はやや演奏者による傾向が出る感じ。
32. ポップスの Melodic Gravity の可視化 - IRMと GTTM の相補的利用による階層的暗意実現の計算モデル
◎澤村 拓樹(関西学院大学)、橋田 光代(福知山公立大学)、片寄 晴弘(関西学院大学)
Songleの改良を志向した研究。開発中のシステムでは、コード、メロディ、Melodic Gravity(音のつながり)がピアノロール上にグラフィカルに表示される。
Melodic Gravityを表示するところが特徴で、そのためにGTTMを使った暗意実現モデルを使う。
□ 16:55-17:10 クロージング
学生奨励賞の表彰がある。
・Best Research部門:「可商社間相互作用を再現するDNN重唱歌声合成の検討」と「演奏タイミング予測におけるフレーズ構造導入効果の検討」
・Best Application部門:「管楽器演奏者の要望を反映した児童伴奏システム」
・Best New Direction部門:「音声認識を用いた空耳自動生成の検討」
・Best Multi/Interdisciplinary部門:「吹き出し図形を用いた音色の形象化の可能性検証」
これで研究会は全部終わり。帰りのバス時間が迫っているので、急いでバス停へ。
定刻よりちょっと遅れてバスが来る。全員乗れるかやや不安だったが、それほど混んでない程度の人数だった。(今日中に帰る人は早めに帰ったのだろう)
18時半ごろ函館駅着。
最初に函館から新函館北斗の切符を買う。新函館北斗ではあまり時間がないし、夕食をどこかで食べる時間はないので、なにか函館らしい駅弁でも買いたいなと思って駅の中を見て歩いたが、そういうのを売っているところはすでに閉まっている。駅周辺も5分ぐらいうろついてみたが、近くの海鮮丼屋さんはほとんどが閉店、1つだけ開いている店には行列ができていた。仕方ないので駅に戻り、苦渋の決断でコンビニ弁当を買う。
18:55に森行きの汽車に乗って出発。
30分ぐらいで新函館北斗に到着。直接新幹線のホームに入るゲートがある。
とはいっても20分ぐらい待合があるので、ホームから待合室に戻ってみると、KIOSKがあってお弁当を売っていた。事前に調べたところでは19時を過ぎると新函館北斗にはほとんど何もないはずだったのだが。こんなことならこっちで弁当を買えばよかった。
悔しいのでここでも駅弁を買い、さっき買ったコンビニ弁当は待合室で10分で食べる。
19:41発の仙台行き新幹線に乗る。
弁当なども食べちゃうもんね。
新幹線は新青森までは速いのだが、終電なのでそこからは各駅停車で遅い。電車の中ではほぼ寝ていく。
23:01に仙台着。地下鉄で戻り、家についたのは23時半ごろだった。疲れたな。
前の日へ 目次へ 次の日へ