こんにちは。AITCの徳原です。
前回の以下の記事ではChatGPTを始めとした大規模言語モデル（LLM）に文章を参照させ、そこから回答を得る技術RAG（Retrieval-Augmented Generation）についてご紹介しました。
今回はビジネスの現場にRAGを適用して高い導入効果を得るために、予め導入先の業務に対して分析しておくべき観点を解説します。
同じ様なユースケースであっても、導入効果を得られる場合と得られない場合がある
RAGの代表的なユースケースに「サービスの規定や製品の仕様書から、その内容を答える」というものがあります。
たとえば、ある製品の仕様書をRAGでChatGPTに参照させて、「ボディーカラーは何色から選択できますか」や「部品Aは何ヶ月で交換する必要がありますか」といった質問に対しての回答をChatGPTを始めとする生成AIモデルによって得るというものです。
しかし、同じような規定、仕様書からその内容を答えるという使い方であるのにあるプロジェクトでは高い導入効果を得ることができ、あるプロジェクトではあまり導入効果が得られなかったということが起こります。
なぜ、その様なことが起こるかというと、RAGの精度や導入よって短縮できる業務時間は、参照文章の性質や質問内容、得たい回答、そして回答の利用目的によって変化するためです。
ここからは、これらの条件を総合的に考慮してRAGの導入効果について検討する方法を解説します。
RAGで業務効率化図るために重要な2つの要素
RAGによるChatGPTシステム、そしてAIをビジネスに利用する目的として、最も多く上がるのが業務効率化です。
これはChatGPTに限らず、AI導入プロジェクト全般に言えることですが、AIによる業務効率化には2つの要素が存在します。
1つ目は「回答の精度」、2つ目が「短縮できる業務時間」です。この精度と時間の要素が相まって業務効率化は実現します。
1つ目の「回答の精度」についてです。ChatGPTは回答の正確性よりも、創造的であったり自然な会話ができることを優先して開発されているので、一見正しい回答をしているように見えても間違っているということが往々にしてあります。
RAGを使用して、正しい文書から得た情報のみを参照させれば、ChatGPTの回答精度を高める事ができます。そして、RAGの仕組みを活用した際の「回答の精度」は参照文章の性質に大きく影響されます。
参照文章に、情報が文章の形で明確に記載されているか
ここからは、RAGを適用しやすい参照文章の特徴についてご説明します。
RAGによってChatGPTに認識させやすい情報には以下の特徴があります。
- 文章の形で情報が記載されている
- 答えさせたい情報が明確に記載されている
まず「文章の形で情報が記載されている」について説明します。現行のGPT-3.5、GPT-4のモデルは自然言語による文章を学習しているので、日本語で記載されていても英語で記載されていても、正しい文法で書かれた文章の認識能力は非常に高いです。
逆にChatGPTが苦手な情報の形式がなんなのかというと、ビジネスの現場でよく登場する表形式の情報です。
表形式の情報の認識がなぜ苦手なのか、そしてどうすれば認識させることができるのかについては別の記事で紹介しますが、表の形で表現された情報については、答えられない、もしくは誤答してしまう可能性が高いと言えます。
次に「答えさせたい情報が明確に記載されている」ですが、これはRAGで聞きたい内容がわかりやすく、誤解されない表現で記載されているかということです。
このサイトのコラムでも何度か書かせていただいていることですが、人間にとって難しいことは、AIにとっても難しいことです。したがって、「複数箇所に散らばった記述を総合する必要がある」、「何ステップかの思考を行う必要がある」、「何通りもの意味に解釈できてしまう」場合は回答精度には限度があります（それでも、これまでのAIモデルや訓練を受けていない人間よりは精度が高い場合が多いですが）。
簡単に言うと、小学生の教科書にあるような国語の問題は高精度で回答できますが、難関大学の現代文の試験問題の様な問は間違えてしまうことがあります。
したがって、学術誌の論文の様な図表はあっても必ず文章による説明があり、誤解のない表現で書かれており、さらに既に筆者が思考して得られた結論が明確に記載されている文章に対する質問は高精度で答えることができます。
反対に、広告やセールス資料のような、図表がふんだんに使われていて、人によって取り方が違う曖昧な文章を総合的に解釈しないと答えられない質問に対しては、的を得た答えが返ってこない可能性があります。
使いどころを工夫すれば業務時間をより短縮できる
RAGによるChatGPTシステムの導入を検討されている方には見落とされやすい要素ですが、業務効率化するにはRAGの導入による「短縮できる業務時間」も重要です。
短縮される業務時間を増やすには、どのようにRAGを利用するのかつまり、オペレーションを工夫することが重要になります。
さきほど、人間にとって難しいことはAIにだって難しいことだと書かせていただきましたが、ChatGPTが人間よりも明らかに優れている点が1つあります。それは情報の認識速度です。
GPT-4の場合、1万字近い文章をわずか数秒で認識して、回答を返すことができます。
したがって、人間だけで実施した場合により時間がかかっていた業務の方がRAGによって多くの時間が短縮することができます。
ここで、注意しなければならないことは、RAGを導入することで新たに発生する作業時間があるということです。ChatGPTへの質問文（プロンプト）を考える時間も必要ですし、ChatGPTの回答が正しいか確認する時間も必要になります。
これも、ChatGPTに限らずAI全般に言えることですが、モデルの出力には人間の確認が必要になります。特に出力をそのまま他者に向けて使用する場合はAIは責任を取れないので、内容を確認、修正してユーザーの責任のもと出力を活用することが必要になります。
ChatGPTに多くの文章を認識させるのも一つの手ですが、思い通りの文章を生成させて、人の手で文章を書く時間を短縮するのも重要です。
ChatGPTは「常体ではなく敬体で表現する」、「専門用語ではなく一般的な用語をつかう」などの指示をプロンプトに入れれば即時文章に反映することができます。これを人の手で修正するのは手間がかかりますが、文章を細かい調整をChatGPTで実施すれば、業務時間の短縮に繋がります。うまく機能したプロンプトをテンプレート化し共有することで、さらなる業務効率化が期待できます。
さらに、ChatGPTが答えやすい内容を質問するということも重要です。
前述したようにRAGで使用する参照文章の性質によって回答精度は変化します。ただ、すべての内容に対して同じ様な精度で回答が返ってくるわけではなく、比較的参照文章内で整理されている事柄に対しては正しい回答を得やすいが、逆に整理されてない事柄は間違った回答が得られることが多いといったように、質問の内容で回答精度は異なります。
ChatGPTのモデル自体も得意なジャンルと苦手なジャンルがあります。利用しながらユーザーがどういった内容なら正しい回答が得やすいのか理解して、回答が得やすい質問を得やすい聞き方で積極的に聞くということで、より効果的にRAGによる回答生成を行えるようになります。
本当の課題は情報の生成ではなく、情報の整理ではないか？
最後に一点考慮すべき事があります。それはRAGで解決しようとしている課題の本質は、参照文章から新たに文章を生成することではなく、”知りたい情報をドキュメントとして整理することである”ということです。
RAGはRetrieval（情報検索）とGeneration（情報生成）2つの要素で成り立っていますが、情報が整理されていないことが本当の課題ならば、まずはRetrievalの対象となる情報の整理、具体的には情報のドキュメント化から始める必要があります。
業務に必要な情報が文書化されず、一部の担当者の記憶の中だけに存在していたり、データではなく紙の資料のみに存在していると、他の方はその情報を利用できませんし、もちろんRAGを使用してもChatGPTも認識することができません。また、ドキュメント化されていても正しい情報や最新の情報がわからないというケースも存在します。
そして、情報の整理ができればChatGPTによる生成はなくても、文章検索ができれば、本当に欲しかった情報が手に入ることもあります。
したがって、RAGで手に入れたい情報が手に入らない本当の理由は何なのか、手元の文書を確認し分析してみることが重要です。
より導入効果が得られそうなユースケースからRAGを導入し、導入後も効果を高めていく
ここまで、どの様な事例がRAGによる文章生成がうまく適用できるか解説してきました。
RAGの導入先の候補が沢山ある場合は、まずは今回お伝えした観点でそれぞれのユースケースを分析して導入効果を得やすいユースケースからRAGを適用することをおすすめします。
そして導入後は、一人の業務時間を5分業務短縮できたら次は7分、7分業務短縮できたら次は10分と導入効果を高めていき、それをより多くの人が利用していくことで、例えば10分×1000人というような規模の業務効率化が実現できます。
残念ながら、期待通りの導入効果が得られなかった場合は、期待とのギャップを分析した上で、運用しながら参照文章、プロンプト、オペレーションを改善する必要があります。
例えば、参照文章を追加したりChatGPTが理解しやすいように整理する。ときには必要がなかったり、誤答の原因となる文章を参照文章から除外することも必要になります。
また、有効なユースケースが得られた場合は、そのプロンプトをプロンプトテンプレートとして保存して、メンバー間で共有することをお勧めします。さらに、業務の中でRAGを使用するタイミング、回答を確認する方法などのオペレーションを工夫し標準化することが有効な場合もあります。
ここで宣伝になりますが、AITC で開発しているRAGシステムKnow Narrator Searchを含むKnow Narratorシリーズには、プロンプトテンプレートをユーザー間で共有する機能や、参照文章の加工方法の調整、ユーザーの利用履歴の分析などユーザーが効果的にRAGを利用することを可能にする機能が多数搭載されています。
また、RAGについてより詳しく知りたい方は、以下の記事をご覧になることをおすすめします。
弊社コンサルタント、データサイエンティストがこれまでAIプロジェクトで培ったノウハウを活かして、RAG導入を支援させていただきますので、お気軽にこちらのお問い合わせフォームからご連絡ください。
執筆
AIコンサルティンググループ
徳原光
