2022/11/07

5時起床。日本時間7時だから余裕。

昨日とだいたい同じ朝食。昨日調達した皿に盛る。

時間まで仕事。レポートの採点や授業準備など。他の宿題も進めないと。

8時に出発。涼しい。

Empress Convention Center。中は空調が効いていて肌寒い。半袖シャツに薄手のジャケットを着てきたが正解だった。

8時半からチュートリアルセッション。2つあるが、Fake News Detection and its Impact Analysisを聞く。講師はMehul S. Raval（アーメダバード大）, Mohendra Roy(PDEU), Miyoru Kuribayashi（岡山大）。

Introduction (Raval)
- 2018年にはworld economic forumがfake newsを世界のトップリスクに挙げる
- アンケートではアメリカのニュース視聴者の70%以上が「問題だ」と回答
- 世界のテック企業のfake newsへの取り組み
- Generative methods
- ニューラルネットによるフォトリアリスティックな画像生成
- 1枚の写真から会話映像を生成
- GANの説明
- 画像の演算が可能（めがねをかけた男性-めがねをかけていない男性+めがねをかけてない女性＝めがねをかけた女性、みたいな）
- Style GAN
- Image editing （髪型などを言語で指定して変更する）
- DALL-E
Deep Fake (Roy) リモート講義だが、音が悪くて字も小さいのでよく見えないしわからない。
- 人物画像操作の種類
- Entire face synthesis
- Attribute manipulation
- Identity swap
- Expression swap
- Deepfakeを応用したサービス・商品（写真の中の顔を変更する）
- ZAO - 超好玩！
- FaceApp
- Deepfake検出の最近の成果
- DNNベースだけでなく他の機械学習ベースの手法を組み合わせる
- FaceForensics++
- 顔画像操作の検出のためのベンチマーク
- Face2Face, FaceSwap, DeepFakes, NeuralTextures など使用
- 1.8M画像
- 研究紹介
- FakeCatcher: 生体信号を使ってフェイクを見抜く
- 映像に対してオプティカルフローを使ってフェイクを検出する
- Fake News Challenge
- Fakeddit Multimodal Fake News Detection Challange 2020
- Constraint@AAAI
- Modeling Social Context for Fake News Detection

コーヒーブレイク。コーヒーに肉まんがもれなくついてくる。

おやつに夢中になっていたらチュートリアル後半に遅れてしまった。

チュートリアル後半。岡山大の栗林先生
- Deepfake検出器に対するAdversarial attack
- Adversarial noiseを加えることで検出精度が劇的に下がる
- Universal detector は作れるか？
- Adversarial attack耐性
- 未知の操作に対する汎化性能
- LipForensics: リップシンクの自然さを使ってフェイク動画を検出する
Lips don't lie: a generalisable and robust approach to face forgery detection, CVPR'21
- 自己教師あり学習(SSL)：元画像とデータ拡張した画像（拡大縮小回転、ノイズ付加など）が同じであることを識別する
→特徴量を抽出することでフェイク検出の精度を向上させる
- 映像の音声と画像それぞれをSSLで作った特徴量にして、クロスモーダルな対応を学習する→モダリティの対応の崩れを検出できる
- Cross-dataset generalization
- 検出器の学習法
- データ拡張による効果があるか？→多くの場合効果があるが、deepfakeなどの場合には性能が下がることがある
- データ拡張をする場合（特にフェイク検出）どのような拡張をするか選ぶ必要がある
- フェイク検出器は特定のデータセットに特化してしまう→一般化のための戦略？
- DeepFake in the Wild: 未知の手法によるフェイク画像検出が可能か
- CLRNet: CNN+LSTM+ResNet
- Single domain learning/Merge learning/Transfer learningの3つで学習した検出器を作り、それらの結果を融合
- Merge learningモデルよりTransfer learningモデルの方が性能が高い
- Adversarial data augmentation
- 学習サンプルを拡張するためにAdversarial exampleを使う

Impact Model for Fake News (Raval)
- Fake newsにもインパクトがあるものとないものがある
- インパクトあるフェイクニュースは株価などに影響を与えるのでより有害
- フェイクニュースのインパクトを推定する
- さまざまなインパクト推定値の加重和
- いくつかの分野（政治、スポーツ、経済など）に入っていればインパクトがある
- 発信者の信用度
- 拡散者の影響度
- FakeNewsSetデータを利用
- User study とはまだ差がある

Open discussion
- 様々な観点からフェイクニュースを予測する
- 部分的に正しくないフェイクニュースの検出
- フェイクニュースの早期検出
- コンテンツの重要性推定による前処理（検出すべきコンテンツの絞り込み）
- クロスドメインのフェイクニュース検出（たとえば言語間）
- XAI
- フェイクニュースへの介入

昼食は付いてるのか付いてないのかプログラム上はよくわからなかったが、コンベンションセンター1階に食事が用意してある。これは学会のランチなのかな？とみなさん遠巻きに眺めていたが、どうやら学会のランチで間違いなかったらしく、次々に食べる。結構な量が用意されている。

私はこの後14:30（日本時間16:30）から打ち合わせがあるので、午後のチュートリアルはサボって、少し時間をつぶしてからホテルで打ち合わせしようと考えた。ちょっと歩いて近所のミラクルコーヒーに入る。

ここでコーヒーを飲みながら1時間弱仕事をして、13時半頃ホテルに戻ってみたが、まだ部屋の片付けが終わっていない。仕方ないなあと思いながら学会会場に戻る。

PCのバッテリーはそこそこ減っていて、このままだと打ち合わせの間にバッテリーが切れる。電源の近くの席を確保して、14時過ぎまで充電しながらメールの返信を書いたりする。

この場所にずっとはいられないので、14時半少し前に別な場所に移動。バッテリー駆動で打ち合わせ。会場の隅でぶつぶつ言いながら座っていたので、周りから見れば変な感じだったろう。1時間半ぐらいでバッテリー切れ寸前に終了。

このあと少し仕事をして、17時近くなってチュートリアルも終わる時間。18時半からウェルカムパーティーとなっていたが、1時間以上時間があるので、いったんホテルに戻る。

ホテルに戻ってみると、部屋の様子はさっきのままでベッドメーキングもされていない。今日は掃除をしない日だったか。それなら部屋で仕事すれば良かった。

しばらく仕事したり休んだりしながら、18時過ぎに会場に戻る。コンベンションセンターに行ってみると、館内は暗くて人もいない。何の注意書きも出ていないが、18時半から何かやることは確実なので、これはホテル本館だろうと思ってエンプレスホテルの本館に入ってみる。2階に人の気配がするので入ってみると、そこが会場だった。