業務担当者がAIを育てる Expert in the Loop の試み

こんにちは、AI製品開発グループの太田です。

私は普段、製品開発と研究開発を担当しています。
さらに、データサイエンティストとしてAI関連プロジェクトのPoCも担当しています。

本コラムでは、ISIDのChatGPT製品であるKnow Narrator シリーズで実現しようとしているExpert in the Loopについて紹介します。

Expert in the Loopとは

Expert in the Loopは、Human in the Loopから派生して作られた造語になります。そもそもHuman in the Loopは、AIの精度改善に人間からのフィードバックを活用するアプローチです。思想は、できるだけ人間の行動負担を下げつつ、精度向上を目指すというものです。

Human in the Loopの考え方が取り入れられたAIの代表例にChatGPTがあります。ChatGPTでは人間が期待する回答を生成するために、RLHF（Reinforcement Learning from Human Feedback）という方法で、人間に複数の回答を好みの順にランキングさせて、その結果を学習に用いています。ここでは紹介しませんが、他にも人間による評価をAIモデルの学習に用いる手法は数多く発表されています。

Expert in the Loopは、Human in the Loopから派生した考え方です。AIに詳しくない業務の専門家（製品の品質管理者、点検業務者、規程管理業務者など）が、専門家しか分からない知識をAIにフィードバックし、精度改善する方法になります。

Human in the Loopでは、よくクラウドワーカーをAIの判断の評価者とすることが多いですが、Expert in the Loopでは、評価者は業務専門家に限定されます。このAIの評価者である人間の前提の違いが、AIの実運用を進めていく上で重要になります。

Expert in the Loopが考案された理由

具体的な手法の中身に入る前に、この言葉が作られた背景を紹介します。

Expert in the Loopが考えられたきっかけは、AIによる業務効率化のPoCを経験して見えてきた現実です。
それは、顧客企業のAIモデルの改善をAIベンダーがおこなうのは、AIの利用者とAIベンダー双方にとって不幸になりやすいことです。

生成ではなく予測に関する業務でPoCを終えた後、精度が基準をクリアしたら、試験運用を開始します。
多くの場合、想定していた精度よりも試験運用時の精度が悪化してしまうという状況に遭遇します。例えば、プロジェクトに関わっていない方も利用し始めると、想定外の利用方法やデータにより、予期せぬエラーが発生します。またAIの運用環境の変化により、運用時に徐々に精度が下がってくるケースもあります。

これはビジネス上の問題ではありますが、試験運用時に課題が見えてくるとその課題を解決するべく、また精度改善のプロジェクトを別プロジェクトとして立ち上げる必要が出てくるため、追加コストが発生します。

また、試験運用時の急な精度劣化の原因分析に駆り出されることもあり、他のプロジェクトの精度改善を含めてマルチタスクを強いられることもあります。このような事態は双方にとって、精度改善が続くほど不幸になってしまうことがあります。

このような課題を解決するために、最近では、伴走型ブロジェクトやAI人財育成の考えが主流になってきたと感じます。実際AITCでもAI人財育成の推進に力を入れています。

AIモデルを搭載したソフトウェアもAIの知識が乏しい人でも使いやすいものが増えてきています。これらに共通することは、AIに詳しくなかった業務専門家にAIの知識を少しずつ身につけてもらい、彼ら自身がAI運用まで進められるように支援するものだと考えています。生成AIの発展もあり、以前よりAIの運用の敷居が下がったのではないでしょうか。

さて話は戻りますが、私たちが考えるExpert in the Loopも同様の考えです。
AIの知識があるに越したことはないですが、AIの知識がなくても業務知識があり業務知識を持つ専門家が、少ない作業負荷により直感的に精度改善できる仕組みがExpert in the Loopです。

Expert in the Loop の取り組み事例

これまで取り組んできたもので、コラムにしている事例としては、以下があります。

・予測の不確実性を活用した人間とAIの協調型外観検査

・判断根拠の不確実性を用いたデータ改善による文章分類の精度改善手法の提案

そして、現在取り組んでいるのが、ChatGPTを用いた製品におけるExpert in the Loopです。

ChatGPTを用いた Know Narrator シリーズ

AITCではChatGPTを活用した製品（Know Narrator Chat、Know Narrator Insight、Know Narrator Search）を3つ開発し、お客様への導入を進めています。

既に複数社に導入されていますが、ユーザーの方はAIに詳しくない方がほとんどになります。

Know Narrator Searchの精度改善の課題

3製品の中でも、継続的な精度改善が必要となるのが、社内文書をChatGPTが参照し回答を生成することができるKnow Narrator Searchです。

Know Narrator Searchの精度改善の懸念として、AIベンダーにデータが公開できないことがあります。ChatGPTが参照するデータは、社内規程、営業資料、自社製品のマニュアル、過去の問い合わせ内容など多岐にわたります。ものによっては個人情報が含まれたり、社外秘の情報などAIベンダーに公開できない文章も多くあります。

精度改善をしないと誤った回答が生成され、業務利用が進みません。しかし、精度改善は必要であり、ユーザーであるお客様側でエラー分析し、精度改善する必要があります。AIベンダーはそれを支援するか精度向上の機能を開発する必要があります。

社内文章の参照型ChatGPTの精度改善はプロンプトの変更だけではないです。これまでの取り組み上、モデルの問題、データの問題、検索の問題などがあります。以下に例をあげます。精度向上には、これらのことを考慮する必要があります。

原因	問題点	問題が起こりうるケース
モデル	画像情報の理解不足	操作手順を聞いたとき、マニュアルに画面のスクリーンショットが貼ってあるだけなどのとき
モデル	前提となるドメイン知識不足	アプリの画面遷移情報をLLM（AIモデル）が知らない。アプリでできることの前提知識を知らない
データ	説明不足	込み入った問いに対して、参照元の説明が不足しているとき。人間が元文書を読んでもわからないとき
データ	古い	参照元の情報が古いとき
データ	不必要	パワポの最後に残した編集の残骸。
検索	似た文章を誤って利用	申請手順がほぼ同じだが国内と国外で違うとき
検索	データ不足か検索失敗疑惑	参照文章が違うが正しい文章が存在するか不明なとき

Expert in the Loopの実現に向けての試み

先の社内文章参照型ChatGPTの精度改善で、AIベンダー側でできることは、モデルの改善と検索や参照方法の改善になります。一方で、データの改善はお客様側に実施してもらう必要があります。

どうやって参照文章の質を向上させるのか、そもそも、どうやってデータが問題だとユーザーは気づけるのか。この問題を私たちは、回答精度の問題に気づかせる技術と改善する技術に分けて考えています。
また、２つをシームレスに繋げることを目指しています。
図にすると以下のようになります。

回答精度の問題に気づかせる技術

回答精度の問題に気づく方法は2つあります。
Know Narrator Searchを使い続ける中で、各回答の精度からユーザーが気づき始めるケース。もう一つは、チャット履歴の分析から気づくケースです。
私たちは全社をミクロ的視点による気づき、後者をマクロ的視点による気づきと捉えています。

マクロ的な視点にあたる、これまでのチャット履歴全体の分析から改善点に気づくケースでは、対話ログ分析製品のKnow Narrator Insightを活用しようと考えています。ただし、Know Narrator Insightを開くだけでは精度が低い原因に気づけません。

Know Narrator Insightでは、チャット履歴を様々な分析軸でフィルタリングし分析することができます。分析軸にファイルの参照回数や参照ファイルごとの回答精度、トピック情報などがあります。これらをどういう手順で分析すると問題の仮説に気づけるのかKnow Narrator InsightのUXを詰めつつ、改善しています。

回答精度を改善する技術

回答精度を改善するときは、各対話に対するユーザーのフィードバックによるミクロ的視点とチャット履歴全体の分析からおこなうマクロ的視点の両者が必要になります。それらを分けて以下のように私たちは整理しています。

どの改善手段を使うと、どの課題に対して、どう精度改善されるのか、ユーザーの負担はどの程度か、ユーザーの業務上問題はあるのかを考え、Know Narrator Insightのさらなる改善に取り組んでいます。特に必要な業務知識を言語化しファイルに追加、もしくは不要なファイルの削除などはAIベンダーでは判断できず、業務担当者によって実施できる改善手段になります。

まとめ

Expert in the Loopは、Human in the Loopから派生した考え方で、AIに詳しくない業務の専門家が、専門家しか分からない知識をAIにフィードバックし、精度改善する方法です。このExpert in the Loopは、AIを業務運用するためには有益な観点だという説明をしました。

これはChatGPTの運用でも同じで、業務の専門家によるフィードバックとチャット履歴の分析により、回答精度の問題の把握と改善を継続的に実施することで、日常業務でのChatGPTの有効性を更に高めることができます。

AITCが開発しているChatGPTソリューションKnow Narratorシリーズでは、Expert in the Loopの考え方を適用し、ユーザーがChatGPTの回答精度を向上させることができる機能が搭載されています。ChatGPTソリューションKnow Narratorシリーズにご興味のある方はお気軽にお問い合わせください。AITCメンバーによるご相談も随時承っております。

お問い合わせはこちらから

執筆
AI製品開発グループ
太田真人