2024/11/9

朝5時半頃起床。今日の講演スライドの見直しをして、その後日記を書いたりする。

7時半に朝食。

朝食後、そのまま散歩。昨日行った方向とは反対側に歩いてみる。

ちょっと行ったところに鉄道の跡があり、列車がおいてある。あとで聞いたところによると、ピザとかを食わせるレストランだそうだ。

少し歩くと店などが現れる

その先の交差点に丸いモニュメントがあり、高架に地下鉄が走っている。

散歩はこのぐらいにして戻る。9時からワークショップ。

最初に李先生が開会宣言。

9:10 Opening Speech (Yu Wang)
Secretaryの王先生がご挨拶。

9:20 Keynote: AI&ML Reinforced Digital Twin (Youngtak Kim)
嶺南大学のKim先生がオンライン発表。

・デジタルツインについて。物理システムとデジタルツインが組になり、サイバー空間のシミュレーションに基づいて意思決定や制御を行う。
・System twins, Process twins, Component twins, Asset twinsなどの区別。
・応用。Smart manufacturing, Smart transportation, Smart healthcare,
・デジタルツインのプラットフォーム。Azure, AWS, IBM, Siemens, GE, などなど
・キーとなる技術。IoT, sensors, data analytics/big data, AI&ML, simulation/modeling, cloud/edge computing, 3D modeling, visualization, connectivity&network infrastructure, cybersecurity, blockchain, digital threadなど（全部だね）それぞれについての説明
・ハードウェア：NVIDIA Omniverse
・AI&MLで強化されたデジタルツイン：manufacturing, energy management, autonomous vehicle, smart city
・AI利用の課題：予測の正確性、データの品質、リアルタイム性、計算量、スケーラビリティ
・さまざまなプラットフォームでのdata validation (Tensorflow data validationなど)
・Retrieval-Augmented Generation (RAG)
全体に概略的な話。個別の課題についての説明はなかった。

10:00 Group Photo & Tea break

10:20 Speech Processing for Minority Languages (Akinori Ito)
先日のICMLCでしゃべった少数言語の認識・対話の話の焼き直し。加えて総合知インフォマティクスの宣伝。

11:00 Recent Progress in Large Language Models (Lu Zhang)
助教になったばかりの若い先生。
・生成モデル全体に対する説明。
・大連理工大グループでの最近の成果について
・PixArt-α　Text-to-Imageモデル　低コストモデル。現状最大のモデルの 1/100の学習コスト
現状の学習データでは、テキストと画像の整合性とか説明不足などの問題がある
→visual-langugageモデルを使ってアノテーションをフィルタリングする
→Diffusion Transformerによる画像生成
テキストによる生成画像スタイルの制御＋ControlNet
・PixArt-Σ　Text-to-Imageモデル
モデル、データなどが進化し続けるので、それをうまく取り込むにはどうするか
よりよい学習データによる学習
・カスタマイズされたビデオ生成
従来のビデオ生成では「人間らしい」動きが生成できない
・Inverted interactionによるtext-to-imageのカスタマイズ
言語の「対象」と「動き」、画像の「対象」と「動き」をそれぞれ独立にモデル化
・ StableIdentity：特定の人を生成する
セレブの名前の埋め込み→photo of xxのxxにそれを埋め込んで生成
顔とそれ以外を分けて生成
画像だけでなくビデオ、3Dモデルなども生成可能
・Encoder-free vision-language model
従来のvision-language modelはLLMとvisual encoderの組み合わせの問題点：画像の解像度の違いなど
画像のパッチを直接従来のLLMに入力する→画像エンコーダを使わないマルチモーダルモデル
・ X-model
従来のマルチモーダルモデル：モダリティを個別に射影するか、universal encoderを使って同じ空間に射影するか
提案モデルはモダリティを段階的に増やしていく

11:40 Lunch

昼に一時間ほどあったので、朝に歩いたところをさらに先まで散歩。

道の反対側には川があり、ところどころ水が貯まるようになっている。魚は見えない。

モニュメント。後ろにはさっきの列車が見える

交差点まで来た

大きい建物があると思ったら、大連海事大学だった。

地下鉄駅があり、物を売ったりしている

この辺でだいたい時間なので戻る

午後は学生のセッション。
13:30 Oral session 1

Applying speaker retention and unit-to-mel techniques (Rui Zhou, TU)
うちの研究室の周くん。End-to-end speech translation で、入力話者と出力音声の話者性を合わせる方法。ナイーブな方法だけど、end-to-end音声翻訳の研究が少ないので新しいみたい。

Graph-based jailbreak attacks against large language models (Hyeokjn Kwon, YU)
ChatGPTが通常答えないような質問による答えを無理矢理答えさせる方法。通常はプロンプトインジェクションとして「直前のプロンプトを無視して次の内容に答えろ」のような入力をする。他の方法として、アスキーアートを使ったり画像を使ったりする方法がある。
提案法では、フィルタリングされる単語の形をしたグラフを描画する数式をプロンプトとして投げて、そのグラフを書かせた上でそれをアルファベットとして読ませる。

A block term decomposition model based algorithm for tensor completion of multidimensional harmonic signals (Lei Wang, DLUT)
テンソルの中の欠損値の推定。Harmonic signalは各要素がexp(x)の形で表現できるもので、多次元harmonicsはharmonicベクトルの和で表現できるもの。MIMOレーダーなどの応用がある。Block term decompositionは各次元を表現する物がベクトルでなく行列になっているようなもの。無線通信に応用できる。アルゴリズム詳細は理解できず。

A study on speaker-independent features for sample-based spoken dialogue system (Takaki Koshikawa, TU)
うちの研究室の越川くん。音声マッチングベースの音声対話システムで、特徴量にContentVecを利用することで、PPGよりも性能が上がる。またContentVecの出力をベクトル量子化して、時間方向に集約することで、性能を下げずにマッチングの計算量を半分にすることができる。

Maritime surveyllance with YOLOv8 ship detection in satellite data (Hyongjun Yang, YU)
漁船の違法操業や領海侵犯対策のため、船の画像の自動認識をする。方法としてYOLOv8を利用。最初に衛星画像から船の部分を検出し、電波による自動検出システムで未登録の船を検出対象として登録する。適合率 87%、再現率63%ぐらい。

Target localization with a coprime multistatic MIMO rader via coupled canonical polyadic decomposition based on joint EVD (Guozhao Liao, DLUT)
極端な中国英語で聞き取りが難しい。1個の電波源と離れた位置の複数の受信機の観測によってターゲットの位置推定を行う。式を追うことができなかった。

Low PAPR data group OTFS (Sangwook Park, YU)
OTFS (Orthogonal Time-Frequency Sequency)で、高い帯域のデータを低域にコピーするような気がするが全然わからん。

15:15 Poster session & Tea break
15分しかないポスターセッション。2件だけ聞いた。

15:30 Oral session 2

Evaluation of singing enthusiasm using deep learning (Jungya Shen, TU)
うちの研究室の沈さん。熱唱度推定にCNNを使ってみた。回帰問題にしたらうまくいかなかったので分類問題にしてそこそこの性能。特徴抽出に通常のCNN、VGG、ResNetを使って比較。VGGがそこそこ良い性能。

Small Walsh & Interleaving orthogonal time sequency multiplexing (Hyeongwon Lee, YU)
時間・チャンネルマトリクスを小さい領域に分けてWalsh-Hadamard変換をする方法らしい。従来法がDFTで何かが良いというのだが何だろう。ぼそぼそしゃべっているので聞いていると眠くなる。Q&Aでは、DFTよりもWHTのほうが計算量が小さいというのだが本当かな。複素演算がいらないと言う点では確かに速くなりそうだけど。

Design of circularly polarized metal frame smartwatch antenna for GNSS application (Yunlai Yang, DLUT)
スマートウォッチでGNSS通信を行うためのアンテナの提案。従来Bluetooth通信のためのアンテナの提案はあって、だいたい時計の枠の金属をアンテナにするものだった。今回は同じく金属フレームをアンテナにするための計算をしてみた。最終的に、四角いフレームに切れ込みが2カ所あるような形が設計された。

Lightweight advanced video super resolution using low cost convolution
(Kyeongmin Park, TU)
ビデオ用の軽量な超解像法。直前2フレームの超解像画像とオプティカルフロー、現在の低解像度画像を入力してCNN＋アテンションによって解像度を上げる。

Low PAPR orthogonal time sequency multiplexing selectively scrambled Walsh-Hadamard transforms (Hyungseop Park, YU)
さっきと似たような話だが説明が丁寧。時間周波数のフレームの周波数ごとにWHTで変換をするが、その際に順序をシャッフルする。複数のシャッフルの仕方で最もPAPRが小さい物を選ぶ。

A broadband large-angle anomalous reflection phase gradient metasurface (Jualing Han, DLUT)
メタマテリアルの話。反射角を広く取れるメタ表面の設計法。内容はよくわからん。

Feature amplification generator for multi-targeted adversarial attacks (Taiga Goncalves, TU)
画像認識に対するAdversarial Attackで、画像を特定の対象に誤るような擾乱を加える方法(targeted adversarial attack)の話。ここでの対象はcross-domain attack（認識モデルのパラメータにも学習データにもアクセスできない）。ターゲット画像があったとき、それがモデルによって何に分類されるかにかかわらず、任意の画像がそのターゲット画像とおなじクラスに分類されることを目指す。まずドメイン独立な特徴量を生成するネットワークを学習し、ターゲット画像と入力画像の特徴量を混合するネットワークをそれに混ぜる。

Secure OTA scheme using blockchain and access control (Hyeong Geon Pak, YU)
OTAはOver the Air。インターネット経由で自動車のソフトウェアのアップデートを行う。セキュリティ上の問題があるので、ブロックチェーンでアップデートデータの真正性を担保しようという試み。

ワークショップが終わって、直ちに夕食。飲み物はのむヨーグルト。