社内情報をもとに回答を生成するChatGPTシステムの現状と課題

はじめに

こんにちは、AITCの小川です。普段は、様々な企業様から預かったデータの統計的な分析や、AIモデル構築に携わっています。

ChatGPTが登場以来、今も様々なところで話題になっていますが、皆様は業務でChatGPTを利用されていますでしょうか？

今回は「ChatGPTを使ってみたものの、社内の情報には回答してくれない」といった不満を感じている方や「どうやら社内の情報に回答できるような仕組みがあるらしい」とChatGPTによる社内文書活用に興味がある方に向けて、「社内情報をもとに回答を生成するChatGPTシステムの現状と課題」というタイトルで、ChatGPTによる社内文書活用手法についてお話しします。

通常のChatGPTは、主にインターネット上の公開された知識はありますが、もちろん各企業の社内データなどの非公開情報の知識はありません。したがって、例えば「備品の購入申請をするにはどうすればいい？」といった質問に対して一般的な購入申請方法については回答できても、各企業の具体的な申請方法は答えることができません。しかし、RAG(Retrieval Augmented Generation)と呼ばれる、回答に必要なChatGPTが知らない知識をデータベースから検索をして、ChatGPTに与える仕組みにより、社内独自の情報にも回答することが可能になります。 RAGについては、これらの記事も参考にしてみてください。

isid-ai.jp

このような仕組みを使って、社内情報に回答するChatGPTシステムを導入/構築する企業が増えてきています。 AITCでもKnow Narrator Searchという、RAGを利用して社内情報に回答するソリューションを開発して、多くの企業様に利用していただいています。

では、RAGを利用して社内情報に回答するChatGPTは、実際にどのような使われ方をされており、どのような課題があるのでしょうか？

この記事では、そんな疑問を含めた以下の4つの疑問に答えます。

社内情報に回答するChatGPTは、どのような使われ方をされている？
社内情報に回答するChatGPTは、既存のサービスとどんな点が異なる？
社内情報に回答するChatGPTは、どれくらい精度が出る？
社内情報に回答するChatGPTは、どんな課題がある？

1. どのような使われ方をされている？

大きく以下の2パターンで利用されることが多いです。もちろんそれ以外でも広く使うことができます。

質問応答
文章生成

質問応答

自社独自の仕組み/知見についての問い合わせに対する回答を出すような使われ方です。

例えば、社内手続きの方法や自社製品の特徴について知りたいときに使用します。具体的な質問例で言えば、「備品の購入申請方法を教えて」や「自社製品XとYの違いを教えて」などがあります。

社内手続きの方法や自社製品の特徴を知るためには、自分で関連ファイルを探し出したり、ヘルプデスクに問い合わせる必要があります。しかし、膨大なファイルの中から自力で検索して必要な情報を見つけ出すにも、ヘルプデスクに問い合わせるにも時間と労力がかかります。

下図のようにRAGの仕組みを起用したChatGPTシステムでは、「備品の購入申請はどうするの？」などとユーザが問い合わせをするだけで、回答に必要な関連ファイル(マニュアルや規程など)を自動で検索します。そして、検索で得た情報と質問文を同時にChatGPTに入力することで、ChatGPTが質問に対する答えを抽出/要約し回答を生成します。

これにより、自力で関連ファイルを探し出したり、ヘルプデスクに問い合わせるよりも素早く知りたい情報だけを得ることができるため、業務効率化に繋がります。

また、問い合わせを行うユーザだけでなくヘルプデスクを担当している社員にもメリットがあります。まずChatGPTに回答文を生成させて、間違っている点を人間が修正することで、一から回答文を作るよりも時間が短縮でき、ヘルプデスク担当社員の負担を減らすことができます。

文章生成

メールや提案書などのたたき台を作成するような使われ方です。具体的な質問例で言えば、「備品の購入申請方法を全社に知らせるためのメールを書いてください」などがあります。

一般的な内容のメール文は通常のChatGPTでも生成できますが、自社独自の情報を含めて生成することはできません。自動で必要な情報を検索しChatGPTによってメール文を生成することで、問い合わせ内容をChatGPTに入力するだけで、文章案を生成でき、1から文章を書くよりも、非常に効率的に業務を行うことが可能となります。

2. 既存のサービスとどんな点が異なる？

質問応答に関しては、FAQを用意することや、QAチャットボットを導入することでも解決できます。すでにFAQを整備していたり、チャットボットを導入している企業も多いのではないでしょうか。これらは、RAGを用いた社内情報に回答できるChatGPTと比較してどのような点が異なるのでしょうか？

FAQやQAチャットボット

メリット
- 特定の質問に対して確実な回答が可能
デメリット
- 様々な質問に答えるためにQAのセット/チャットボットを準備するのに手間がかかる
- 変更があるたびにメンテナンスをして、QAの見直しをする必要がある

RAGにより社内情報をもとに回答できるChatGPT

メリット
- 基本的にはQAの元となっているマニュアルなどの資料を準備するだけで、幅広い質問に回答可能
- データを入れ替えるだけで、回答が変更可能
デメリット
- 回答精度にばらつきがあり、確実な回答は期待できない

もちろん、ChatGPTも万能ではないため、データがあればなんでも回答できるわけではないですが、RAGを用いた社内情報に回答できるChatGPTはFAQやQAチャットボットに対して、準備/メンテナンスの手間が大幅に軽減できます。

3. どれくらい精度が出る？

前提として、回答に必要な情報が検索対象のファイル中に文章で明示的に記載されているとします。つまり、以下のようなケースは除外します。

そもそも回答に必要な情報が検索対象ファイルに記載されていない
回答するために図や表を読み解く必要がある

上記の前提だと、これまでの社内情報に回答できるChatGPTのPoCにおいて、9割以上の確率で、業務として適切な回答が得られたというような実績があります。

回答精度はざっくりわかったが、どんな質問だと回答できて、どんな質問だと回答できないのか？と疑問に思った方もいらっしゃるでしょう。イメージとしては、自社の業務にまだ詳しくない新入社員が、マニュアルなどの資料を読み込んで質問に回答できるかどうかが、高精度に回答できるかどうかの分かれ道です。データに明示的に記載がないドメイン知識が必要になる専門的な内容は、現時点ではChatGPTによる正確な回答は難しい場合が多いです。ただし、プロンプトの工夫やデータの準備次第で回答できるようになります。

4. どんな課題がある？

様々な課題はありますが、今回は頻繁に直面する以下の2つの課題を取り上げます。

図や表の読み取り
ハルシネーション(幻覚)

図や表の読み取り

一般的に社内資料には図や表が含まれますが、ChatGPTではこれらの読み取りが苦手です。図に関しては、GPT-4Vで読み取りできますが、日本語を含む場合精度が劣化します。(OpenAIの公式ドキュメント)

表に関しては、テキストに書き下してChatGPTに与えることになるため、行と列の関係を正しく認識できない場合があります。表の読み取りに関しては、行と列の関係を崩さないようにデータの前処理を工夫することで解決できます。

ハルシネーション(幻覚)

ハルシネーションは、端的にいうと、それらしい情報を出して、嘘をつくということです。例えば、「〇〇(社内のアプリ)で、データのアップロードはできるか」といった質問に対して、本当はできるのに「できません」と回答する、などがあげられます。 ChatGPTは無理やりにでも回答を作ろうとする傾向があるので、誤った情報を言い切ってしまうことがあります。よって、このようなハルシネーションの対策をしないと、ユーザが誤った情報をもとに行動してしまい、不利益が発生する可能性があります。

一般にChatGPTの回答のハルシネーションを防ぐには、ChatGPTへの指示、いわゆるプロンプトを工夫する必要があります。プロンプト内で、「不正確なことは明言しないように」のような指示を出すと完全にハルシネーションを防ぐことはできませんが、発生の回数を減らすことができます。実際にこれまでAITCで行ったPoCの中では、プロンプトを工夫することでハルシネーションの発生を大幅に軽減することができています。

最後に

まとめると以下です。

社内情報に回答するChatGPTは、どのような使われ方をしている？
- 自社独自の仕組みや知見についての問い合わせに対する回答を出す/メールや提案書などのたたき台を作成する
社内情報に回答するChatGPTは、既存のサービスとどんな点が異なる？
- 確実な回答があるFAQとは異なり、回答精度にばらつきがあるが、準備/メンテナンスの手間が大幅に軽減できる
社内情報に回答するChatGPTは、どれくらい精度が出る？
- 条件がそろえば9割以上業務として適切な回答が得られることがある
社内情報に回答するChatGPTは、どんな課題がある？
- 図や表の読み取りやハルシネーションの課題があるが、工夫次第で改善の余地はある