こんにちは、AI製品開発グループの太田です。
自社の業務効率化のために、安全なChatGPT利用環境（以下、社内用ChatGPT）の社内導入を検討されている方も多いのではないでしょうか。
これから検討を始める方もいらっしゃるかもしれません。
この記事では、ChatGPT導入担当者や情報システム部門の方に向けて、対話ログ分析ソリューション Know Narrator Insightを活用した、社内用ChatGPT導入後の利用実態や導入効果の分析手法について紹介したいと思います。
社内用ChatGPT導入後の課題
社内用ChatGPTを導入した後に生じる課題として以下のようなものがあります。
「導入したはいいけど、実際に月にどの程度の人数が利用しているのかがわからない」
「利用者がどのような用途で利用しているのか分からない」
「社内の利用状況をもとに社内用ChatGPTを今後も継続して利用するか判断したい」
具体的に利用状況を把握するためには、以下の情報を分析することが必要です。
- 利用者ごとの利用頻度や利用する時間帯
- 部署ごとの利用割合
- 悪用している利用者の検出
さらに、このような情報があると社内用ChatGPTの普及に役立ちます。
- 社内で上手くいっているChatGPTの使い方
- よく利用しているユーザーはどんな使い方をしているのか
- 利用頻度が落ちた原因
こちらの情報は社内用ChatGPTのチャット履歴を蓄積し分析するための仕組みがないと分析することができません。
Know Narrator Insightには社内用ChatGPTと連携し、これらの情報を取得することが可能ですので、ここからはKnow Narrator Insightが提供する機能についてご紹介します。
対話ログ分析ソリューション Know Narrator Insight
Know Narrator Insightは、ISIDがリリースしたChatGPTに関連する3つの製品のひとつです。3つの製品には、安心・安全にChatGPTを利用できるKnow Narrator Chat、社内文書をChatGPTによって効率的に検索できるKnow Narrator Searchが含まれています。
そして、Know Narrator Insightを利用することで、ChatGPTのを分析することが可能になります。
社内用ChatGPTのチャット履歴は、機密情報や個人情報を多く含む可能性もあるため、社外に分析を依頼することはできません。また、自社で分析する場合はデータ分析のスキルがないと難しいです。私達はChatGPT導入担当者や情報システム部門の方が自らKnow Narrator Chatと Know Narrator Searchのチャット履歴を様々な角度で分析できるようにKnow Narrator Insightを開発しました。
Know Narrator Insight導入による効果
アプリの利用状況を把握することで、先ほどの課題だけでなく、様々な改善が期待できます。
1. 社内用ChatGPTを今後も継続利用するか判断できる
社内のアクティブユーザーの数や利用頻度から、社内用ChatGPTにより得られる効果と運用コストを考慮して、運用を継続するか判断することができます。
2. 全社員の経験値を横串で共有し、全体最適化が始まる
他部署や他部門に共通の課題があっても、見える化されません。 社員のChatGPTとの利用傾向に関する報告書を社内で共有することで、社内の課題を全社的に把握し、業務の改善を目指すことができます。
3. 定期的に社内に向けて効果的な利用方法をアナウンスや教育ができる
利用頻度の低いユーザーや部署に対して、効果的な使い方をアナウンスすることで、利用頻度が向上します。 利用頻度が向上するほど、業務の生産性が向上することが期待できます。
4. 汎用的なプロンプトを作り、社内用ChatGPT（Know Narrator Chat）のプロンプトテンプレートに追加できる。
利用者が頻繁にChatGPTにする質問をまとめテンプレート化することで、プロンプトテンプレートを作成できます。利用者はこのプロンプトテンプレートをもとに自分の用途にあった質問文を作成することでより効果的な社内ChatGPTの運用が可能になります。
チャット履歴の分析結果から自社の業務にあったプロンプトテンプレートを継続して作成して行きましょう。
5. 悪用する人を見つけ、個別に警告できる
中には社内用ChatGPTを悪用する方もいるかもしれません。 分析結果から悪用する人を見つけることで、社員の利用リテラシーを向上させる教育にもつながりますし、社内規制を検討にもつながります。
分析方法を紹介
ここからはKnow Narrator Insightを用いた分析例を3つ紹介します。
1. どのくらいの人が普段使いしているのか
タイムラインとユーザーから利用者の利用履歴を絞り込むことができます。 メールアドレスで利用回数が多いユーザーを把握し、タイムラインのピークから定期利用しているか定性的に分かります。
2. 利用頻度が落ちた原因はあるのか
タイムラインとユーザーと対話履歴カードから絞り込むことで実現できます。 ユーザーが普段使いしておらず、最初だけ利用するような一過性の場合は何か社内用ChatGPTが使われなくなった原因が存在します。 対話ログを見て、テンプレートだけ使っているのか、回答精度が低いのが原因かなど探ってみましょう。
3. 悪用している人がいないのか
文章検索とユーザーから判断ができます。 文章検索で「危険」や「倫理」と入力すると、対話履歴に含まれる単語から悪用が疑われる対話をフィルタリングします。その後ユーザーの欄から利用者を特定することができます。
Tips：ChatGPTは、悪用にあたる質問に対して、安全性の面から質問に対する回答の代わりに、その質問には答えられないという趣旨の典型回答を返します。この典型回答文章を検索することで悪用しようとした利用者を特定することができます。
この記事では、社内用ChatGPTのチャット履歴を分析する重要性と、Know Narrator Insightを利用したチャット履歴の分析事例をご紹介しました。いかがでしょうか。ご興味を持った方はこちらのお問合せフォームよりご連絡ください。
執筆
AITC 製品開発グループ
太田 真人
