はじめに
こんにちは、AITCの松清です。 この記事はこちらの前編の記事の続きとなります。
前編では、「Azure OpenAI Service On Your Data」を使用し、OpenAIのモデルを自身（自社）のデータに活用する方法とその精度についてご紹介しました。この様な機能は、社内文書の活用において非常に便利であるため、同様のサービスが多くの企業から提供されています。
AITCの「Know Narrator Search」も、社内文書活用を可能にするソリューションであり、ユーザーが知りたい情報を理解しやすい形で得ることができます。
「Azure OpenAI Service On Your Data」や「Know Narrator Search」の様なソリューションは、社内文書の活用に役立つと考えられますが、実際にどのくらいの精度でどの様に活用できるのか分からないという方は多いのではないでしょうか。
そこで本記事では、「Azure OpenAI Service On Your Data」と「Know Narrator Search」について、回答精度を比較し、実際に社内文書を活用するにあたり、どの様な違いがあるかをご紹介します。
Azure OpenAI Service On Your Dataとは
Azure OpenAI Service On Your Dataは、自身や自社が所有する未公開のファイルに対して、ChatGPTのようなチャット形式で質問することができる機能です。前編でご紹介したようなAzureポータル上でチャットを実施する方法や、webアプリのデプロイ、APIなどで使用することができます。
Know Narrator Searchとは
Know Narrator Searchは、AITCが提供する対話型AIソリューションで、ChatGPTによる安心・安全な環境での社内文書活用が可能です。
Azure OpenAI Service On Your DataとKnow Narrator Searchの精度の比較検証
それでは実際に、「Azure OpenAI Service On Your Data」と「Know Narrator Search」の回答の精度を比較してみましょう。検証は以下のような設定で実施します。
検証設定
今回の検証では、総務省が提供する自治体DXに関する資料を利用します。これら5つの資料に関して、想定される質問を10件作成しました。 作成した10件の質問をAzure OpenAI Service On Your DataとKnow Narrator Searchに聞き、回答の正否を検証します。
- 対象データ
「Azure OpenAI Service On Your Data」と「Know Narrator Search」はそれぞれ、回答生成に関する様々な設定があります。基本的にはデフォルト値で環境を構築し、統一可能な設定に関しては以下の条件で統一しました。
- 統一した回答生成の設定
- モデル：gpt-4
- 検索モード：キーワード検索
- 回答参照文章数の上限：10
作成した10件の質問について、以下の条件で回答の正否を判定しました。
- 回答正否判定
- 対象データの資料を見て、正しい回答となっているか判定
- 対象データの資料を参照し、質問の意図に対して正しい回答が生成された場合は〇(正解)とする
- 質問の意図とずれている場合、誤った情報の場合、文脈がおかしい場合は×(不正解)とする
検証結果
回答結果は以下の表のようになりました。
| 番号 | 質問 | Azure OpenAI Service On Your Data | Know Narrator Search |
|---|---|---|---|
| 1 | 自治体DX全体手順書とは何ですか？ | 〇 | 〇 |
| 2 | DXとは何ですか？ | × | 〇 |
| 3 | DXの認識共有・機運醸成の事例を教えてください。 | 〇 | 〇 |
| 4 | 自治体DX を推進する手順を教えてください。 | 〇 | 〇 |
| 5 | 自治体DXを推進するに当たって、何から開始すべきですか？ | 〇 | 〇 |
| 6 | 全体方針の決定（ステップ１）の次の手順は何ですか？ | 〇 | 〇 |
| 7 | 自治体の行政手続のオンライン化の手順を教えてください。 | × | × |
| 8 | 自治体DX推進の事例をまとめてください。 | 〇 | 〇 |
| 9 | CIO補佐官等に求めるスキル をまとめてください。 | × | 〇 |
| 10 | 自治体DXにおいて重要な点をまとめてください。 | 〇 | 〇 |
10件の質問に対する回答精度は、「Azure OpenAI Service On Your Data」が70%(7/10)、「Know Narrator Search」が90%(9/10)となり、Know Narrator Searchの方が20％回答精度が高い結果となりました。
回答の詳細
「Azure OpenAI Service On Your Data」と「Know Narrator Search」がそれぞれどのような回答をしたのか、いくつかの質問をピックアップして見ていきます。まずは両者の回答が不正解だった質問7の詳細を見てみましょう。
質問7「自治体の行政手続のオンライン化の手順を教えてください。」
Azure OpenAI Service On Your Dataの回答
自治体の行政手続のオンライン化に関する手順は、以下のようになります : BPRの取り組みの徹底（書面規制、押印、対面規制の見直し含む）. 三層の対策の見直し（マイナンバー利用事務系の分離の見直し）. オンライン化すべき手続とその方向性の決定 . 31手続のうち、子育て関係・介護関係の26手続（市町村対象手続）. 31手続のうち、災害証明書の発行申請手続（市町村対象手続）. 31手続のうち、自動車保有関係手続（都道府県対象手続）. 転出届・転入予約（市町村対象手続）. 上記を除く全ての手続. オンライン化の方法の決定. 標準標準システムへの対応. 推進体制の構築. オンライン化に取り組む手続の検討. 仕様検討・調達. サービスの導入、運用. これらの手順は、自治体の具体的な状況やニーズにより、適宜調整が必要となる場合があります.
Azure OpenAI Service On Your Dataの参照文章(抜粋)
3.1 BPR の取組みの徹底（書面規制、押印、対面規制の見直し含む） . 9 3.2 三層の対策の見直し（マイナンバー利用事務系の分離の見直し） . 10 3.3 オンライン化すべき手続とその方向性 . 12 (1) 31 手続のうち、子育て関係・介護関係の 26 手続（市町村対象手続） . 12 (2) 31 手続のうち、罹災証明書の発行申請手続（市町村対象手続） . 13 (3) 31 手続のうち、自動車保有関係手続（都道府県対象手続） . 14 (4) 転出届・転入予約（市町村対象手続） . 14 (5) 上記を除く全ての手続 . 15 3.4 オンライン化の方法 . 16 3.5 標準準拠システムへの対応 . 18 自治体における作業手順 . 21 4.1 推進体制の構築 . 21 4.2 オンライン化に取り組む手続の検討 . 21 4.3 仕様検討・調達 . 23 4.4 サービスの導入、運用 . 24
この質問における「Azure OpenAI Service On Your Data」の参照文章数は1件でした。 自治体の行政手続のオンライン化に係る手順書【第2.0版】（総務省）の21~27ページに、回答に必要な情報が記載されているのですが、そちらを参照せずに、目次のページをそのまま回答に使用しているため、不正解の回答が生成されたようです。
Know Narrator Searchの回答
自治体の行政手続のオンライン化に関する手順は以下の通りです。 1.「デジタル・ガバメント実行計画」に基づき、サービスのフロント部分だけでなく、バックオフィスも含め、エンドトゥエンドでデジタル化・業務改革の取組みを徹底します。 2.「自治体DX推進計画」に基づき、デジタル化による利便性の向上を国民が早期に享受できるよう、令和４年度末を目指して、国と自治体が協力して、原則、全自治体で、特に国民の利便性向上に資する手続について、マイナポータルからマイナンバーカードを用いてオンライン手続を可能にします。 3.それ以外の各種行政手続についても、「地方公共団体におけるオンライン利用促進指針」を踏まえ、積極的にオンライン化を進めます。 4.各自治体においては、既にオンライン化の取り組みを一定程度進めている団体がある一方で、今後、どの手続を、どのようなスケジュールでオンライン化するのか、具体的な進め方の検討を初めて開始する団体もあります。 5.本手順書は、自治体のこうした多様な状況を踏まえつつ、各自治体において、「自治体DX推進計画」の内容を着実に実施できるよう、オンライン化に取り組むに当たっての手順を提示します。 なお、令和４年１２月ｘｘ日改定時点の本手順書は、特に国民の利便性向上に資する手続について、マイナポータルからマイナンバーカードを用いてオンライン手続を令和４年度末までに可能にすることを目指すことを示しています。
Know Narrator Searchの参照文章(抜粋)
自治体の行政手続のオンライン化に係る手順書【第2.0版】 概要 １．手順書の趣旨 「自治体DX推進計画」を踏まえ、デジタル化による利便性の向上を国民が早期に享受できるよう、令和４年度末を目指して、国と自治体が協力して、原則、全自治体で、特に 国民の利便性向上に資する手続について、マイナポータルからマイナンバーカードを用いてオンライン手続を可能にするとともに、それ以外の各種行政手続についても、「地方公共団 体におけるオンライン利用促進指針」を踏まえ、積極的にオンライン化を進める必要がある。
この質問における「Know Narrator Search」の参照文章数は7件でした。こちらも、回答に必要な 自治体の行政手続のオンライン化に係る手順書【第2.0版】（総務省）の21~27ページの情報は参照されず、他のページや自治体DX推進手順書の概要（総務省）の文章が回答に使用され、不正解の回答が生成されました。
次に「Azure OpenAI Service On Your Data」で不正解、「Know Narrator Search」で正解の回答が得られた質問8を見てみましょう。
質問8「自治体DX推進の事例をまとめてください。」
Azure OpenAI Service On Your Dataの回答
自治体DX推進の事例について、具体的な事例は文書からは明確には見つけられませんでした。しかし、文書には自治体DX推進の一般的な手順やフレームワークについての情報が含まれています。 自治体DX推進の一般的な手順は以下のようになります 1 : DXの認識共有・機運醸成 推進体制の整備 全体方針の決定 DXの取組の実行 これらの手順は、関連ガイドラインを参考にし、個々のDXの取り組みを計画的に実行するためのものです。また、「OODA」のフレームワーク（Observe（観察、情報収集）、Orient（状況、方向性判断）、Decide（意思決定）、Act（行動、実行））を活用した柔軟で迅速な意思決定が推奨されています。 また、「自治体DX推進手順書参考事例集」が存在し、先進的な自治体の取組は他の自治体にも参考となることから、一部を全体手順書に盛り込みつつ、別にまとめるものであると記載されています。具体的な事例については、この「自治体DX推進手順書参考事例集」を参照すると良いでしょう。 以上の情報は、自治体がDXを推進する際の参考となるでしょう。ただし、具体的な事例については、文書内には詳細が記載されていないため、具体的な事例を知りたい場合は、「自治体DX推進手順書参考事例集」などの具体的な資料を参照することをお勧めします。
Azure OpenAI Service On Your Dataの参照文章(抜粋)
令和５年１月 関連ガイドライン等を踏まえて、個別のDXの取組を計画的に実行。「PDCA」サイクルによる進捗管理 取組内容に応じて、 「OODA※」のフレームワークを活用した柔軟で速やかな意思決定 ※ 「Observe（観察、情報収集）」、「Orient（状況、方向性判断）」、「Decide（意思決定）」、「Act（行動、実行）」の頭 文字をつないだ言葉で、意思決定プロセスを理論化したもの 全体手順書は、DXを推進するに当たって、想定される一連の手順を示すもの。主に、DX推進計画の「自治体におけるDX推進体制の構築」に対応 し、先行的な自治体の事例等をもとに、各自治体がその実情に応じてDXを推進する際の参考となるよう作成。 令和4年9月、人材確保・育成策、公平性・透明性確保に係る取組等を盛り込む改定を実施。 令和5年1月、デジタル人材の確保・育成に関する自治体の取組状況を踏まえ、デジタル人材の確保・育成の全体像や人物像について改めて整理 ステップ０ DXの認識共有・機運醸成 ステップ２ 推進体制の整備 ステップ１ 全体方針の決定 ステップ３ DXの取組の実行 1
この質問における「Azure OpenAI Service On Your Data」の参照文章数は2件でした。自治体DX推進手順書の概要（総務省）の18ページに事例が記述されているのですが、そちらは参照されず、「具体的な事例は文書からは明確には見つけられませんでした。」と回答されています。
Know Narrator Searchの回答
自治体DX推進の事例は以下の通りです： 愛媛県では、県と市町が協働して進める「チーム愛媛」のDXを推進しています。 宮城県仙台市では、デジタル化ファストチャレンジを行っています。 群馬県前橋市では、ミッション、ビジョン、バリューを明示したDX推進計画を立てています。 千葉県松戸市では、行政デジタル化ビジョンを策定しています。 神奈川県平塚市と長崎県佐世保市では、サービスデザイン思考の徹底を行っています。 神奈川県相模原市では、ICT総合戦略の進行管理を行っています。 また、組織体制の整備については以下の事例があります： 福島県磐梯町では、全庁一丸でデジタル変革をおこすための体制整備を行っています。 高知県高知市では、全庁的・横断的体制の構築を行っています。 奈良県橿原市、福島県西会津町、山形県舟形町、酒田市では、DX推進担当部門の設置事例があります。 和歌山県御坊市では、各課で選定された「情報化リーダー」による各課のDXの推進を行っています。 佐賀県多久市では、民間事業者への委託を含めた外部リソースの活用を行っています。 熊本県御船町では、DXの取組み意識の高い部署におけるスモールスタートでの実証を行っています。 鹿児島県肝付町では、各課から選定した職員をデジタル推進課に併任しています。 以上が自治体DX推進の事例です。
Know Narrator Searchの参照文章(抜粋)
２ DXの全体方針等（ステップ１） ・ 県と市町が協働して進める「チーム愛媛」のDX 【愛媛県】 ・ デジタル化ファストチャレンジ 【宮城県仙台市】 ・ ミッション、ビジョン、バリューを明示したDX推進計画 【群馬県前橋市】 ・ 行政デジタル化ビジョン 【千葉県松戸市】 ・ サービスデザイン思考の徹底 【神奈川県平塚市・長崎県佐世保市】 ・ ICT総合戦略の進行管理 【神奈川県相模原市】 ３ DXの推進体制（ステップ２） （１）組織体制 ・ 全庁一丸でデジタル変革をおこすための体制整備 【福島県磐梯町】 ・ 全庁的・横断的体制の構築 【高知県高知市】 ・ DX推進担当部門の設置事例 【奈良県橿原市・福島県西会津町・山形県舟形町・酒田市】 ・ 各課で選定された「情報化リーダー」による各課のDXの推進 【和歌山県御坊市】 ・ 民間事業者への委託を含めた外部リソースの活用【佐賀県多久市】 ・ DXの取組み意識の高い部署におけるスモールスタートでの実証 【熊本県御船町】 ・ 各課から選定した職員をデジタル推進課に併任 【鹿児島県肝付町】
この質問における「Know Narrator Search」の参照文章数は7件でした。自治体DX推進手順書の概要（総務省）の18ページの事例を参照し、いくつかの事例がまとめられているのが分かります。
精度比較結果の考察
回答精度に差が出た理由の一つとして、回答参照文章数の違いが考えられます。どちらも回答参照文章数の上限は10件ですが、実際に回答に使用された回答参照文章は「Azure OpenAI Service On Your Data」が1~2件、「Know Narrator Search」が6~8件でした。これは、「Know Narrator Search」の方がより多くの対象データを使用した回答が得られたことを意味します。回答参照文章数が多い方が必ずしも精度が良くなると言うわけではありませんが、今回のケースでは、「Know Narrator Search」の方が比較的必要な情報を参照した回答が生成されたと言えるでしょう。
まとめ
本記事では、「Azure OpenAI Service On Your Data」と「Know Narrator Search」について、回答精度を比較しました。結果は「Azure OpenAI Service On Your Data」が70%、「Know Narrator Search」が90%となり、「Know Narrator Search」の方が良い結果となりました。
また、今回は比較検証のため実施しませんでしたが、回答精度に関しては文書の適切な分割やChatGPTのパラーメータ調整による改善が見込めます。今回の検証では5つの文書を使用しましたが、より多くの社内文書する場合は、このような調整が回答精度を高める鍵となります。
AITCではご要望にあわせて、データサイエンティストが回答精度向上に向けた分析支援に参画し、「Know Narrator Search」を導入したい業務や実現したいユースケースに合わせて導入支援を実施させていただきます。
「Know Narrator Search」へのご興味やご質問がありましたら、ぜひこちらのお問い合わせフォームよりご連絡ください。弊社のデータサイエンティストによるご相談も承っております。お問い合わせお待ちしております。
Know Narrator Search お問い合わせフォーム
執筆
AITC AIコンサルティングHグループ
松清 綾大
