テーブルデータの反実仮想説明は広普及されています。では画像とテキストはどうでしょうか。なぜうまくいかないのか、どう解決しようとしているのか紹介します。
こんにちは、AI製品開発グループの太田です。
AITCでは、週に一度、1時間TechTalkを実施しています。
案件の進捗共有やAzureの新機能の紹介や実装してみたことの共有など様々です。 日々の業務では、どうしても属人化がしやすい中で、コンサルチームや製品開発チームのナレッジを共有する場として利用されています。
本日の資料はそのTechTalkで発表した資料です。
反実仮想説明の基本的な考え方
理想的な反実仮想説明に求められること
画像の反実仮想説明はどうなっているのか
従来の方法に基づくとどうしてもノイズの変化になってしまいます。
具体的な結果は、スライド内に結果を載せています。
そこで、最新の論文では、概念ベクトルを用いる手法があります。
直感的に説明すると、画像の意味的な特徴をベクトルバンクに保存しておきます。次に、説明対象の画像に対して、予測を期待するクラスに変更する場合、ベクトルバンクの数ある特徴成分のどれがどの程度必要かを求めることで説明する手法になります。
テキストの反実仮想説明はどう実現するのか
実はテキストは逆問題で解きません。以下のスライドのような考え方で求めます。
テキストの場合は、より人間らしい文章を生成できることが求められ、GPT-3など生成モデルが活躍することが期待されます。
スライドではGPT-2を使ったPolyjuiceを紹介しています。
まとめ
発表
AITC 製品開発グループ
太田 真人
