10月24日（月）
6時半起床。日本では夕方なので、メールを読んで仕事をいくつかこなす。窓の外には虹が出ていた。
朝食に、昨日のパンとハム、チーズ、果物など。
朝食後、着替えてさらに仕事。
10時からチュートリアルなので、まず学会の受付。今回のカンファレンスバッグは不織布のデイパックという不思議な物。いまどき紙のプロシーディングのみ
で、CD-ROMやUSBメモリは無し。論文はオンラインでオープンアクセスなので、電子データはそっちから見ろということか。プロシーディング重いよ。
チュートリアル会場に行ったら、部屋が寒い。開始が15分遅れたので、いったん部屋に戻って長袖に着替えてくる。
Audio Content-Based Music Retrieval (Meinard Mueller, Joan Serra)
ザールラント大のProf.Meinard Muellerと、Spanish National Research Council のポスドクの Joan Serraによる講義。オーディオデータの検索で、特にQuery by Exampleについて取り上げる。
前半は Meinard Muellerによる講義。
ベートーベン5番を例に挙げて説明。特定の録音をクエリとした場合、別の録音ではテンポ、楽器構成などが異なる。また、関連する別の曲（同じ作曲家、雰囲
気のにている別な曲）を検索するというタスクもありうる。クエリと検索対象との関連をどこにするかによってさまざまなレベルのタスクがある（特定オーディ
オ録音の検索から醤利権策まで）。また、どの程度の長さのクエリを使うかによってもタスクが異なる。
ここでは次の4つを取り扱う。
I. Audio Identification
II. Audio Matching
III. Version Identification
IV. Category-based Retrieval
☆Audio Identification: 一部のオーディオ信号が与えられたときに、それが大量のオーディオデータのどこであったのかを当てる。Audio Fingerprintがキーテクノロジーである。
Audio Fingerprintについて。フィンガープリントに要求される性質として、識別力、頑健性、コンパクト性、計算容易性などがある。
Shazamのフィンガープリント。まずスペクトログラムを計算し、2次元の中からローカルピークを検出してランドマークとする。そのローカルピークの集
合がフィンガープリントとなる。ピークなので、雑音や歪みに頑健。検出では、基本的にはクエリのピーク集合をシフトしながらデータベースとマッチングして
いく。大量のデータとマッチングするために、転置インデクスを使う。固定長のクエリをサブバンドに分け、それぞれのサブバンドに含まれているピークの時間
だけからビットパターンを作り、そこから転置インデクスを作る。インデクスを高精度化するために、個々のピークではなく、特定のアンカーポイントとその周
辺のピークとの組をインデクスとする方法が使われる。
Haitsma/Kalker(Philips)の方法。まず長時間の窓でスペクトログラムを計算する。次に300〜2000Hzの周波数レンジだけを取
り出し、周波数をバークスケールに変換。次に、各セルを周囲のセルとの差を二値に量子化する。１フレーム32ビットのデータを256フレームまとめてフィ
ンガープリントとする。データベースの中のフィンガープリントとビットマッチングをして、BERが低いところを検出。インデクシングでは、各フレームの
ビットベクトル（32ビット）と位置をキーとしてハッシュを作る。時系列中のサブフィンガープリント（１フレームのビットベクトル）が少なくとも一つ当た
ることを前提としているので、全信号の特定のサブバンドが壊れるような歪みに弱いのではないかという意見。
Fingerprinting のベンチマーキングはどうするのかという質問。その場のディスカッションで、IRCAMでフィンガープリントのベンチマーク用プロジェクトが進行中とのこと。
☆Audio Matching: クエリの音楽と同じ音楽（別録音、別構成）を探す。テンポ、楽器構成、キーなどが異なる可能性がある。特徴量とマッチングアルゴリズムがポイント。
特徴量：音楽的に意味がある必要がある。クロマと対数周波数スケールの説明。オクターブで折り返して足すことでクロマ−時間表現が得られる。時間的な平滑化も行う。
マッチング：基本的にはシフトしながらマッチ。テンポが違う場合に対応するためにDTWが使えるが、インデクシングができず計算コストが高い。そのため、
クエリの方のテンポを何種類かに変えてマッチングを繰り返す方法が使われる。時間がないのでインデクシング部分はスキップ。
最後にChroma Toolboxの宣伝。フリーで利用可能。
ここでコーヒーブレイク。エアコンが効きすぎて余りに寒いので、この間に部屋に戻ってジャケットをとってくる。
11時45分から後半。Joan Serraによる講義。
☆Version Identification: ここでの「バージョン」は、同じ曲の異なる録音、演奏、解釈など。ライブ、カバー、デモ、パロディなどが含まれる。楽器やテンポだけでなく、時間的な音符配置や拍子なども異なる場合がある。
変化する要因：キー、ハーモナイゼーション、音色、テンポ、タイミング、歌詞、録音条件（ライブなど）、構造など。様々なものが変化するが、tonal informationは変わらない。
基本的な処理：特徴抽出の後、キー・テンポ・構造に対する不変性のための処理をして、最終的に類似度を計算。
アプローチ：2つの音楽信号からクロマベクトルを計算し、片方のクロマをもう片方にあうよう変換した後、フレームごとに類似度を計算して、最終的に曲の類似度を計算する。
・クロマをあわせる処理としては、全クロマベクトルの平均を取って、それが2曲でできるだけ近くなるようにクロマをシフトする(Cyclic Chroma Shifts)。
・類似度計算では、まず全フレーム間の局所的類似度を計算する。計算にはPhase space embedding（平滑化の一種：複数のクロマベクトルをまとめて比較する）が使われる。
・閾値処理を行ってcross recurrence plotを作る。
・DTWによって2曲の局所的なマッチングを計算する。
☆Category-based Music Retrieval：カテゴリーが同じである音楽を検索する。クエリは音楽信号であってもよいし、それ以外でもよい。カテゴリーには、ジャンル・ムード・楽器特徴・楽器構成・キー・ダイナミクス・録音条件などが含まれる。
アノテーション：音楽にラベルをつける。カテゴリーは分類(taxonomy)の問題を含む。教師なし/教師あり分類。
特徴量：時間・スペクトル・tonal・テンポなどさまざま。通常は平均や分散などのsummaryが用いられる。特徴量のスケーリング、特徴選択/圧縮などが行われる。
識別器：ベイズ識別、GMM、ニューラルネット、k-NN、決定木、SVM、などなど
識別器を使うに当たって
・特徴量の分布を目で見て確かめよう
・M個の対象の分類にD>=MなるD次元の特徴を使うな
大まかに M>=20D
・特徴量が異なる方法の比較に注意
・各カテゴリのサンプル数を同程度に
・過学習に注意（交差検定など使う）
・識別器のデフォルト設定に注意
・特徴量の評価には識別精度を使う
（何種類かの異なるデータ・識別器を使うのがよい）
統計的検定を使おう
☆Wrap up
4つのタイプのタスク：Granularity vs. specificity の軸上での分類
13時前にチュートリアル終了。昼食後、午後のチュートリアルもあるのだが、そちらはパスして仕事をすることに。
さて昼食だが、近くにレストランなどはあまりない。せっかくなので、バスを使ってサウスビーチまで行ってみることに。
基本的にバスは3系統ぐらいしかないので、バスを間違えなければ大丈夫なはず。バスにどう乗るのかわからないが、乗り放題$2なのはわかった。
しばらく待っているとバスがくる。バスが来たときに必死にアピールしないと通過されてしまうようだったが、なんとかバスが止まったので乗り込む。乗るときにお金を払う仕組み。バスの中は異様に寒い。
10分ほどバスに乗り、適当に15th Streetのあたりでバスを降りる。とりあえず近くのビーチをちょっと歩いてみて、足が砂だらけに。特に楽しいこともないので、そのまま戻る。
Collins Av.に沿って歩いてみたが、それほど繁華街的なものはない（学会のホテルの周りよりましだが）。そうするうち、並行して走っているWashington Av.がメインの通りであるのに気がつき、そちらに移る。
こちらの方はにぎやかな通りで、道沿いに服屋、食品店、ドラッグストア、レストラン、ファストフード、タトゥー屋、ポルノ美術館などが並んでいる。見物がてらしばらく道沿いに歩いてみる。
3ブロックほどうろうろした後、ちょっと戻って、途中にあったペルー料理の店に入ってみた。
店に入ると、ウェイトレスが「ペルー料理は初めて？」と話しかけてくる。ペルー料理はシーフードがうまいとか、量が多いのでシェアした方がいいとか、いろいろ教えてくれた。
メニューを見ながらいろいろ考えて、量が多いのは覚悟の上でシーフードのチャーハンみたいなものと、チキンの麺を頼む。
しばらくして料理がくる。ウェイターがペルー料理の来歴についてうんちくを語る。スペイン料理と中華料理のミックスなんだそうで、どおりで中華料理に似た雰囲気だと思った。
麺の方はほとんどローメンで、香ばしい。チャーハンの方もなかなかうまい。量が多いのでちょっと残したが、ほとんど食べた。
食べ終わって、バスでホテル近くまで戻る。
15時半頃ホテルに戻る。その後、ひたすら仕事。大道君は明日の発表の練習とスライドの手直しをしている。
18時頃、大道君の最後の発表練習。だいたい問題なし。
20時前に、夕食をどうしようか相談。昼が多かったので本格的に食べる気にもならず、結局また昨日のコンビニでなんか買おうということに。片道20分だが、腹ごなしにはいい。
ということで店まで行き、果物、水、レッドブル、ワインなど購入。
残っているパン、ハム、チーズでサンドイッチ。買ってきた果物とワインなど。
それなりに飲んで、0時前に寝る。
前の日へ
目次へ
次の日へ