2024/02/03
朝6時前起床。少しメールを読んだりして、シャワーを浴びる。
7時に朝食。少なめに。
今日の発表のスライドをやや手直し。追加のデータ分析をしたりする。
9時ちょっと前に3階の会場へ。
Keynoteとかの人は最前列の席指定なのだが、隣とぎゅうぎゅうで窮屈。春節らしく席に飾りが置いてあるのがますますスペースを圧迫している。
9:20スタート。
深圳大学のProf. Jianqiang Liが最初の挨拶。
次にConference ChairのProf. Li Huang (Metropolitan State U of Denver) がオンラインで挨拶。
Keynote Speech I
Measuring Unrecognised Replication Present in HIV Database
(Prof. David Greenhalgh, U of Stathclyde, UK)
昨日ご一緒したGreenhalgh先生。この人は統計学者だそう。
テーマはHIV感染。自覚症状のない感染者が多いので、どの程度感染者がいるのかを推計することがテーマらしい。スライドはほとんどが文字で、しゃべる内容がそのまま書いてあるので、理解はしやすい。
データベースは不完全で、検査を受けた人については生年月日とSoundex code（名前の略称）しかない（Soundex codeがあるのは全体の1/3）。受検者の中には複数回検査を受けた人もいる。そのため、ある特定の個人が複数回検査を受けたのかどうかを推計する試みが始まった。
問題としては、Soundex codeを使わずに、生年月日のデータだけで、同じ生年月日の人が複数回検査を受けたときに、それが同じ人なのか違う人なのかを推定することになる。
同じ生年月日の人が複数回データベースに含まれていたとき、そのうちの何人が別人で何人が同じ人の複数検査なのかの数によって確率分布を作り、その値で最尤推定をする。ある人がi回検査を受ける確率p_iと、真にi回検査を受けた人の数t_iを仮定し、それを動かしたときに尤度最大になる値を探しているようだ。
点推定だと使いにくいので信頼区間を推定する方法も提案している。
最尤推定のための最適化アルゴリズムについて質問してみたが、FORTRANのなんかいい感じのライブラリを使ってますとの答え。Gradient Discentみたいな感じらしい。
全員外に出て集合写真を撮った後、コーヒーブレイク。
Keynote Speech II
Wearable Robots for Motor and Sensory Function Recognition
(Prof. Zhijun Li, U of Sci&Tech of China)
オンライン講演。なんかスライドのタイトルが違ってた。
ウェアラブルロボットは脳血管疾患によってダメージを受けた体のリハビリが目的。
プラットフォームの例としていくつか挙げている。
・ウェアラブル双腕ロボット：患者の両腕にロボットアームを装着して患者の腕を動かす。
・上腕補綴ロボット：いわゆるインテリジェント義手。肩から下がない場合の写真が示された。
・歩行リハビリシステム：人を吊り下げて地面をベルトで動かす。
・下肢アシストロボット：両足に装着する外骨格型ロボット。
・下肢補綴ロボット：インテリジェント義足。
・モバイル双腕ロボット：腕が2本で足が対向2輪の移動ロボットだがリハビリと関係あるのかな。
・Justin：多自由度の双腕を持つ上半身ヒューマノイド。ハンドは5本指。
・インテリジェント車いす：KinectとかLRFとかを使う。
次に個別の研究の話。
・人間の意図認識（脳波や筋電などが入力）、関節のスティフネス制御、人間ロボットカップリング制御の３つがキー技術。
・脳波によるロボットコントロール。NeuroScanで観測した脳波から特徴抽出・パターン認識をして動作を生成している。さまざまなウェアラブルロボットに共通に使われている。例として脳はコントロール車いすのデモビデオを流していた。また、SLAMによる環境センシングの結果と統合してロボットの行動を制御する。
・関節のスティフネスの制御。筋電信号を同様に認識して筋電義手の動作信号を生成する。
また、スティフネス制御可能なアクチュエータの提案。モータが2つ入っていて、1つはアクチュエータとして、もう一つはスティフネス制御用に使う。また、モバイル双腕ロボットによる物の把持と運搬のデモビデオ。
・人間ロボットカップリング制御。外骨格ロボットによる歩行補助で、動作が遅いなどの問題を解決する方法を提案。人間とロボットの状態からなる状態空間上で定義される確率分布を考えて、それが最適になるロボット状態を探索しているらしい。また、義手、義足についても同じような制御を行っている。
Invited Speech I
Speech Processing for Minority Languages
(Prof. Akinori Ito, Tohoku U, Japan)
私の発表。少数言語の音声対話システムを作るための工夫として、音声信号マッチングを使うことで音声認識を使わない方法と、周くんがやっていた少量データで音声認識器を学習する2つの話について説明。思った以上にたくさん質問が出て良かった。
昼食。朝は食えなかった麺を試す。ビャンビャン麺風にしようと思ったのだが、味が似ない。
13:30から再開。セッションが始まる前に、Invited Speakerの証明書をもらったのだが、自立するスタンドに入っていた。スタンドの足は取り外したりできない。かっこいいんだけど邪魔。
Invited Speech II
Enhanced Medical Image Analysis: Achieving Optimal Balance Between Accuracy and Efficiency in Resource-limited Platforms
(Prof. Yan Pang, Guangzhou U, China)
AIベースの医療機器・サービスの市場は急速に伸びている（2028までに23.2%増加が見込まれている）。その中でポータブルスマートヘルスケア機器がテーマ。しかしポータブルデバイスは性能が制限されているので、そのような組み込み機器でどうやってAI処理を実現するかが問題。
近年のCVやNLPモデルは高性能化と同時に大規模化していて、組み込みでそのまま扱うことはできない。正確性(accuracy)と効率(efficiency)はトレードオフの関係にあるので、どのようにこれらをバランスさせるかが問題。
最初のモデルはSlim UNETR（3次元セグメンテーションフレームワーク）。3次元のモデル（脳のCTスキャンなど）を入力して領域に分ける話のようだ。
BaSは超音波画像のセグメンテーションモデル。
しかし3次元画像のセグメンテーションは組み込み機器でやる内容ではないな（実用化を考えれば小さい方がいいに決まってはいるけれど）。
On-site Session I: Intelligent Systems and Optimizaton Computing Based on Machine Learning
モナシュ大学のCheng Siong Lee先生が座長。
MESCM: A Multi-stage Explainable Similar Case Matching Framework (Normal U of Defense Tech, China)
AIの法律応用（caseは判例の意）。多段階で似た判例を探すと同時に、どうして似ているかの説明が可能な方法らしい。
現在は判例マッチングも深層学習ベースが主流。ただし従来の深層学習マッチングでは説明性がいまいち。
マッチングには、2つの文のほかに、それぞれの文がlegal key sentenceかどうか（？）の情報を使い、Match/Partial match/Mismatchの3つのクラス分類をする問題を解く。手法としては、それぞれの判例のなかでkey sentenceを抽出し、2つの判例のkey sentenceのアライメントを取った上で、その2つがマッチするかどうかを調べる。
最初のkey sentence抽出モデルはBERT+BLSTM、その後アライメントを取って、最後はBLSTM+Attention+FCで識別。アライメント部分には対照学習を使う。
アライメント部分では、対応する文ペアの埋め込みが近く、対応しない文ペアは遠くなるようにモデルを学習する。
Multi-level Disentangled Contrastive Learning on Heterogeneous Graphs (Nanjing U of Sci&Tech)
複数の種類のノードからなるグラフ(Heterogenious graph)の表現学習モデル。例として、著者-論文-会議の3部グラフみたいなものが示された。heterogenious graphのパスはmeta-pathというらしい。
Disentangled representation learningは、元の情報を独立な複数の要素に分解して学習すること。（動物画像を、種類・色・姿勢などに分解する例が示された）
複数のグラフを入力し、GCN(Graph Convolutional Network)の出力で同じグラフの複数のメタパスが対応して違うグラフだと遠くなるようにするらしいが、説明は完全には理解できなかった。テストタスクはDBLPで論文の何かを分類するタスクらしい。
Forecasting of Biogas Production Using Advanced Time Series Algorithm (SEM U-AP, India)
バイオガス（何？）の生成量の時系列予測。系列はトレンドと残差に分かれるので、ARIMA/SARIMAXモデルで分析する。この2つではARIMAの方が性能が高い。
Evaluation of Environmental Sound Classification using Vision Transformer (Tohoku U)
王くんによる環境音認識の発表。スペクトログラムをVision Transformerで認識するという話だけど、新しさはないので、結果の分析がメイン。音響データで学習するとそこそこの性能が出るわけだが、画像データで学習したViTを使ってもある程度の認識ができるのが面白いところ。
Learning Presolver Selection for Mixed-Integer Linear Programming (U of Sci&Tech, China)
整数・線形混合計画法(MILP)をソルバで解く際に、前段階として3つのレベル・17種類の解法で前処理をするのだが、どれを選ぶかで性能や計算時間が大きく変わるので、どの手法を使うべきかを予測する。特徴量は変数の数、制約の数、ゼロでない要素の数など。なんか予測モデルにLSTMを使ってるんだけど、系列に意味があるのか？学習の際には強化学習みたいなことをしているようだ。
A Lightweight Single Object Tracking Algorithm for Low-power Embedded Devices (National U of Defense Tech., China)
組み込み機器による画像中のオブジェクトトラッキング。アプリケーションにビデオサーベイランスとかバイオ応用と並んでミサイル誘導があるところが国防大学らしい。トラッキングにSiamFCというモデルを提案している。2つの画像（連続したフレーム）をそれぞれCNNみたいなやつに通して小さくしたところで相関をとってオブジェクトの対応を求める。従来法と比べてパラメータ数がきわめて少なくて性能はそこそこなところがポイント。
Max poolingではエイリアシングが起きるので、画像をぼかしてからプーリングする(blur pooling)というのが提案法だけど新しいのかな。通常のアンチエイリアシングのような気がする。ぼかすためのカーネルとしてブラックマン窓を使う。他の窓と比べて性能がちょっぴり高い。
A BERT-based model for identifying 2'-O-methylation in human RNA (U of Tsukuba, Japan)
筑波大の学生さん。バイオインフォマティクスの話で、RNA修飾（メチル化）を検出するらしい。DNABERT-2というモデル+2層FCで入力したRNAシーケンスでメチル化するかどうかを予測しているようだ。結果のスライドが一瞬で見えなかった。
ここで30分ほどコーヒーブレイク。
Invited Speech IV
Neural-Network-Based Computational Optimization for Robotic Applications
(Prof. Weibing Li, Sun Yat-Sen U, China)
昨日ご一緒した先生。この人どこかで見たことあるような気がするんだよなあ。どこなのかはわからない。
内視鏡ロボット。内視鏡映像をニューラルネットで認識することでビジュアルサーボを実現して、内視鏡を動かしている先端部分を制御する。使っているロボットはUR5かdVRK。アームの自由度が大きいので、運動学モデルを作ることで制御をしなければならない。
ニューラルネットの歴史についての講義。ResNETが微分方程式（でもある）という話は面白い。
Zeroing Neural Networkというのを導入。リアルタイムの適用を考えると、ZNNはパラメータ更新が1時間単位に1回で済むらしい。詳細不明だが、勾配法で残差を減らしていくのではなくて、残差を0と置いて式を解いているみたいだ。
そのほかにいくつかのモデルが示されたが、式をたくさん出して説明はほとんどないので理解できなかった。
デモビデオとして、ロボットによる内視鏡手術と生体組織検査、多関節ロボットの軌道生成などが示された。
ロボットハンドの他、モジュラーロボットに応用する例のビデオもあった。
On-site session 3
このセッションは主にNLPの発表が集まっている。私が座長。
Distilling Multi-Step Reasoning Capabilities into Smaller Language Model (Hong Kong U of Sci&Tech, China)
NLPの常識推論。Discosenseデータセットを使う。これは常識推論の4択問題。
この発表では、この問題を解くモデルを蒸留によって小さくすることが目標。LLMにプロンプトのテンプレートを与えて、推論過程を出力させた内容を小さい言語モデルに学習させるようだ。
BERT-based models with attention mechanism and lambda layer for biomedical named entity recognition (Shibaura Inst. Tech., China)
中国人っぽいけど芝浦工大の学生さん。バイオメディカル文書から固有表現を抽出する。この方法では、BERTにBLSTMとCRFをつなぐモデルを使う。通常のアテンション計算は遅いので、LSHアテンションというのを使う。ラムダ層はアテンションと似て非なる何か（単語の位置の情報が使えるという説明）。BLSTMの後に通常のアテンション、LSHアテンション、ラムダを使った物を比較。どれがいいかはデータによりけりだが、改善は少ない。
BP-TEG: Topic-to-essay Generation for Official Documents (Beijing Info. Sci&Tech. U, China)
トピックとしていくつかの単語を与えて、文を生成するタスク。トピック単語からtopic expansion sequenceというのを作ってから文生成をする。モデルは基本的にエンコーダデコーダモデルで、どちらもtransformerベース。エンコーダにはBERTを使う。発表者は英語が厳しいようだった。
An Efficient Model for Aspect Category Sentiment Analysis on a Chinese Tobacco Dataset (Beijing U of Posts and Telecomm., China)
センチメント分析のうち、とある内容についてのセンチメントを推定するタスク。ここではたばこの評判セットを使うので、味、値段、パッケージなどの要素ごとにセンチメントを推定する。通常のセンチメント分析と違うのは、positive/neutral/negativeの他に「言及無し」という評価があるところ。タスクとして、クラス分類ではなくて、テンプレート文（「味は○○」みたいな）を生成している。テンプレートも同じことを表現する複数の物を生成させて多数決を取る。
SETE: Syntax-Enhanced Triplet Extraction with Semantic Consistency (Fudan U, China)
Negation Tripletというのを抽出する。文を入力して、（何が、No、どうだ）という感じのものを抽出するらしい。構文情報を使うようにTransformerを変更するほか、意味情報を抽出するタスクを並列に解くことで意味も使おうとしている。モデルはエンコーダデコーダで、デコーダ部分で3つ組を順番に生成させている。構文情報は、依存構造を行列にしてTransformerの各層に突っ込んでいる。結構いい性能。
Multi-modal Contextual Prompt Learning for Multi-label Classification with Partial Labels (Zhejiang Sci-Tech U, China)
スライドで英文のピリオドの代わりに「。」を使っているのが気になる。
画像から複数のラベル（画像に写っている複数のオブジェクト）を推定したいが、部分的なラベルしかない場合の問題を解決しようとしている（？）。ポジティブデータとネガティブデータのバランスが悪いので非対称ロスを使っている。
Character Expressions in Meta-Learning for Extremely Low Resource Language Speech Recognition (Tohoku U)
周くんの発表。非常に少ないデータによる音声認識器の学習。様々な言語の認識を行う際に、最終的に認識する文字をラテン文字に合わせると多少性能が良くなるという話。
これで今日の発表は終わり。セッションのベストペーパーを決めるので、たばこのデータセットのセンチメント分析の発表を選んだ。
そのあと、1階でバンケット。また昼と同じようなビュッフェかと思ったら、火鍋ビュッフェだった。
鍋のスープから自分で選んで持ってくるスタイル。
野菜、牛肉、エビ、つくねなどを持ってきて食べる。芝麻醤と香菜のたれで食べると中国の味。
今回はビールも飲み放題だったので遠慮なく飲む
2時間弱飲み食いして終了。部屋に戻ってシャワーを浴び、明日のために荷物をまとめて、早めに寝る。
前の日へ 目次へ 次の日へ