そのPowerPointやPDF、AIはどこまで読めていますか？マルチモーダルRAGは結局どんな業務で役立つのか？
fukayayuji
はじめに
AITCセンター長の深谷です。
前回のコラムでは、横長の表や長文セルを題材に、Excelを業務RAGで活用する際の課題と、Know Narratorの読み取り機能をご紹介しました。
その記事の最後に、PowerPointの画像や図表も活用できる「マルチモーダルRAG」に触れました。今回は、ここをもう少し掘り下げます。
皆さんの会社にも、こんなPowerPointやPDFはありませんか？
- 箱と矢印で、担当部門や処理の順番を示した業務フロー
- 売上や品質の変化を、グラフとコメントで説明した報告資料
- 製品の特徴や違いを、写真と比較表で整理した提案資料
- 画面のスクリーンショットに、操作手順を書き込んだマニュアル
人が見れば、「この場合は開発部門に問い合わせるのね」「この時期から傾向が変わったのか」と分かる資料です。
ところが、RAGに登録して質問すると、見出しや本文には答えられるのに、肝心の図表については答えてくれない。
「そこ、この図をAIが理解出来れば、AIが回答できるのに・・・」
そう感じた経験がある方に、ぜひ知っていただきたいのが、Know NarratorのマルチモーダルRAGです。
ファイルを登録できても、図表まで読めているとは限らない
PowerPointやPDFには、文字以外の形でも情報が記録されています。
例えば、業務フロー図を考えてみてください。「受付」「確認」「承認」という文字だけでは、誰がどの順番で処理するのか分かりません。矢印の向き、部門ごとの区切り、分岐に書かれた条件まで読んで、初めて業務の流れが分かります。
グラフも同じです。「売上」「年度」「製品A」という文字を取り出せても、それだけでは増えているのか、減っているのか、途中で傾向が変わったのかは分かりません。
| 資料に含まれるもの | 文字の抽出だけでは抜け落ちやすい情報 |
|---|---|
| 業務フロー図 | 処理の順番、担当部門、条件による分岐先 |
| グラフ | 増減の傾向、系列間の違い、変化した時期 |
| 比較表 | どの製品にどの値や条件が対応するか、見出しや注記との関係 |
| システム構成図 | 要素間の接続、データの流れ、システムの境界 |
| 写真・画面キャプチャ | 写っている状態、注釈が指している場所、操作対象 |
もちろん、表の構造まで取り出せる文書解析もあります。ただし、文字や表を抽出する処理だけで、図表に表現された意味を十分に扱えるとは限りません。
前回のExcelでは、右端の列や長文セルの後半がAIに届かないことが問題でした。今回は、人が配置や線、色、形から読み取っている情報が、AIに届いているかがポイントになります。
マルチモーダルRAGって、結局何をするもの？
RAG(検索拡張生成：Retrieval-Augmented Generation)とは、社内資料などから質問に関係する情報を検索し、その情報を生成AIに渡して回答させる仕組みです。
マルチモーダルRAGは、この仕組みで文字に加えて画像などの情報も扱い、検索や回答に生かすものです。今回のテーマでいえば、PowerPointやPDFに含まれる図表の内容まで、質問に答えるための知識として使えるようにします。
例えば、次のような業務フロー図があったとします。
> お客様からメールで問い合わせを受けると、サポートデスクがチケットを起票し、回答可能かどうかを判断する。回答可能な場合は、サポートデスクが回答を作成する。回答できない場合は、開発チームが回答方針の草稿を作成し、それをもとにサポートデスクが回答を作成する。その後、サポートデスクがクローズ確認を行い、お客様へのクローズの連絡を経て、チケットをクローズする。
通常は、上記のような文章が、もともと資料に書かれていることはありません。だから、文字しか読み取れないRAGではAI活用できないわけです。
その図をAI読み取り、担当者や順序、分岐の関係を上のように認識できれば、「サポートデスクで回答できない場合、開発チームに何を依頼する？」「開発チームが回答方針の草稿を作成した後、誰が回答を作成する？」といった質問への回答に利用できます。
図を見て人が読み取っていた内容を、AIが検索し、説明できる知識にする。
これが、マルチモーダルRAGの業務上の価値です。
Know Narratorは、「何を読み取ってほしいか」を、業務に合わせて指定できる
業務適用で重要なことは、その資料から何を知りたいのかに合わせて、情報の取り出し方を調整できることです。
同じグラフでも、経営会議では全体の傾向を知りたい。品質部門では、どの条件で値が変わったのかを知りたい。単に「グラフを説明して」だけでは、業務で必要な情報が十分に残らない場合があります。
Know Narratorでは、ページや図表からどのような情報を抽出するかを、文章で設定できます。例えば、次のような観点です。以下は、業務に合わせた設定を考えるための例です。
| 対象 | 取り出したい情報の指定例 |
|---|---|
| 売上グラフ | 軸・単位・凡例を説明し、期間ごとの増減と系列間の違いを整理する |
| 業務フロー図 | 担当部門、処理の順番、判断条件と分岐先を説明する |
| 製品比較表 | 行・列の見出しと値の対応を保ち、注記や適用条件も含めて整理する |
| システム構成図 | 構成要素と接続関係、矢印が示すデータの流れを説明する |
ここでいうキャプションは、「売上のグラフです」という短い一言に限りません。検索してほしい内容が伝わるように、意味や関係を具体的に言語化するためのものです。
資料を登録して終わりにせず、「日々の仕事で答えてほしい質問」から読み取り方を考える。この工夫が、図表の多い資料を業務で使える知識にするうえで効いてきます。
図表が読めると、どんな業務で役立つのか
図表を質問の対象にできると、資料の活用方法も広がります。
例えば、次のような業務です。
| 業務 | 活用したいPowerPoint・PDF | 質問の例 |
|---|---|---|
| 営業・技術営業 | 製品写真や比較表を含む提案資料 | 「製品Aと製品Bの仕様上の違いと、利用条件を教えて」 |
| 設計・開発 | システム構成図や機能ブロック図 | 「このセンサーの情報は、どの制御装置を経由して利用される？」 |
| 品質保証 | 不具合写真と試験グラフを含む報告書 | 「対策前後で、試験結果にどのような違いがある？」 |
| 保守・サービス | 写真付きの点検・作業マニュアル | 「この点検項目では、どの箇所を、どの順番で確認する？」 |
| 経営企画 | 売上推移や事業別構成を示した報告資料 | 「資料に示された事業別の売上推移には、どのような違いがある？」 |
| 人事・総務 | 申請フローや制度の早見表 | 「この条件で申請する場合、誰の承認が必要？」 |
| 情報システム | 画面キャプチャ付きの操作手順書 | 「権限を追加するには、どの画面で何を設定する？」 |
| 顧客サポート | 対応フローや部門間の連携図 | 「窓口で回答できない問い合わせは、次にどこへ確認する？」 |
AIで該当資料が検索出来ても、資料を一枚ずつ開いて図表を確認する作業から、知りたいことを質問し、関連する内容と根拠を確認する使い方へ。
マルチモーダルRAGによって、会社に蓄積されたPowerPointやPDFの出番が増えます。
PowerPointやPDFの図表活用に困っているなら、Know Narratorで
企業のPowerPointやPDFには、人に分かりやすく伝えるための工夫が詰まっています。
複雑な手順を一枚に整理したフロー図。試験結果の違いを示すグラフ。写真に書き込まれた注意点。これらは、担当者が経験や知識を伝えようとして残した、大切な情報です。
その内容までAIが参照できれば、業務RAGで答えられる質問の幅は広がります。
Know Narratorでは、前回ご紹介したExcelのセル情報の直接抽出に加え、今回のマルチモーダルRAGによって、PowerPointやPDFに含まれる画像・図表の情報も検索・回答に生かせます。
- 「PowerPointの本文には答えられるのに、図表の内容を拾ってくれない」
- 「PDFに貼り付けられた業務フローや比較表まで、回答に使ってほしい」
- 「以前RAGを試したものの、資料を十分に読み取れず、活用が止まってしまった」
そのような課題があれば、ぜひ電通総研AITCにご相談ください。実際にお使いの資料と、そこから知りたいことを起点に、情報の取り出し方を調整し、Know Narratorによる業務活用をご支援します。
筆者
AITC センター長
深谷 勇次
