仕事ができるAIエージェントとは―現場活用の条件
atagiyuya
はじめに
AITC AIソリューショングループの阿田木です。
先日、W&Bカンファレンス「Fully Connected 2025 Tokyo」 にて、AIエージェントの評価ポイントをテーマに登壇・議論する機会がありました。
発表資料：AIエージェントの評価ポイント紹介 - Speaker Deck
その中で、私自身が改めて感じたことがあります。
それは、
AIエージェントを開発するためのツールや手法は急速に発展している一方で、実務として「安心して仕事を任せられる」レベルに達しているものは、まだ多くないという現実です。
現場では、次のような声をよく耳にします。
- 賢いが、実務の中では使いにくい
- 一度はうまくいくが、安定しない
- 結局、人が手直ししている
こうした状況に対して、私たちはつい「モデル性能がまだ足りないのではないか」「技術が成熟すれば解決するだろう」と考えがちです。
しかし本稿では、別方面から問いを立ててみたいと思います。
問題は、AIエージェントの性能以前に、私たち自身が「仕事とは何か」「何をもって完了とするのか」を十分に定義できていないことにあるのではないでしょうか。
本コラムの目的は、AIエージェント開発のつまずきを、技術の問題ではなく、「仕事」と「評価」の設計の問題として捉え直すことにあります。
1. なぜAIエージェントに「仕事」を任せられないのか
AIエージェントに期待する役割は、基本的には業務の「代行」です。
人が行っていた業務を、一定の判断とルールのもとで引き受ける存在であるならば、最初に問うべきことは明確です。
「AIエージェントに何をさせるか」ではなく、「そもそも、この仕事は何をもって完了とするのか」ということです。
私たちは日々の業務の中で、
- どこまでできれば十分か
- 何が欠けるとやり直しになるのか
といった判断を、ほとんど無意識に行っています。
しかし、その多くは暗黙的です。
言葉にされず、評価基準として明示されていないことが少なくありません。
人間同士ですら、成果を見るのか、プロセスを見るのか、工夫や姿勢を評価するのか
で意見が分かれる仕事を、評価基準を持たないままAIエージェントに任せるとどうなるでしょうか。
そもそも「仕事ができたかどうか」を判定できないという状態に陥ります。
このように、AIエージェントに仕事を任せられない最大の理由は、人間側が明確な完了条件や評価基準を定義できていない点にあります。
2. 仕事とは何か──「前に進んだ」と言える変化
ここで今一度、「仕事」という言葉を捉え直してみます。
物理学では、仕事は次のように定義されます。
仕事 ＝ 力 × 移動量
どれだけ力を加えても、物体が動かなければ仕事はゼロです。
これはAIエージェントにも当てはまると思います。
- 知識量
- 推論能力
- 応答の正確さ
これらはすべて「力」に相当します。
しかし、業務が「前に進んだ」と評価できなければ、仕事をしたとは言えません。
知識量や推論能力があるといった頭の良さと、仕事ができるかは別物です。
「前に進んだ」とはどういうことか
ここで言う「前に進んだ」とは、単なる変化ではなく、業務上の状態が目的に向かって「次の判断や行動に移れる段階」へと変わったことを指します。
例として、提案資料のレビュー業務を考えてみます。
例：前に進んでいない状態
- 誤字脱字が修正された
- 表現が丁寧になった
これらは変化ではありますが、「顧客が次の判断に進めるか」という観点では、ほとんど前進していません。
例：前に進んだと言える状態
- この提案が顧客にとってどのような価値を持つのかが明確になった
- 他社と比較する際に、顧客が使える判断軸が整理された
- 費用・体制・リスクについて、顧客が不安に感じそうな点が洗い出され、次に直すべきポイントが明確になった
このように、
目的に向かって「何が足りていないのか」「どこをどう直せばよいのか」を説明できる状態
になることで、業務は次の工程へ進めます。
以上を踏まえ、本稿では仕事を次のように捉えます。
仕事とは、評価可能な基準に基づき、「前進した」と判断できる変化である。
そして、重要なのは「変化」そのものではなく、
その変化を第三者でも評価できるかどうかです。
評価できない変化は、仕事として扱うことが難しくなります。
3. 仕事ができるAIエージェントの定義
前章で述べたように、仕事が「評価可能な変化」であるならば、AIエージェントに仕事を任せるとは、常に評価できる形で業務が進むことを前提にするということになります。
では、「仕事を任せられる」とは、どのような状態でしょうか。
私は以下の3つの観点がそろって、仕事は評価でき、改善でき、任せ続けられるものになると考えます。
- 仕事の言語化 ─ 何を代行させるのか、どこからどこまでが仕事なのかを定義する
- 評価軸の明文化 ─ 何をもって「できた」と言えるのか、何がNGなのかを定める
- 改善の仕組み化 ─ 評価結果を次にどう活かすかを、運用として組み込む
これを踏まえ、本稿では「仕事ができるAIエージェント」を次のように定義します。
目標と評価基準が明確な場合に、改善を前提として安心して仕事を任せ続けられる存在
重要なのは、AIエージェントがどれほど高度な推論を行えるかではありません。
目標が明確で評価と改善のサイクルが正しく機能する仕組みをもっていることが、仕事ができるAIエージェントとして重要な要素だといえます。
4. 仕事ができるAIエージェントを構築するために必要なこと
では、仕事ができるAIエージェントの構築には何が必要なのでしょうか。
ポイントは 「評価可能性」を高める点です。評価できなければ、改善もできません。
以下で、「提案資料レビューAIエージェント」を例に4つのステップに分けて解説します
Step 1. 目標の明確化
まず考えるべきは、仕事の目的です。「何を」「どのレベルで」期待するかを具体化します。
例えば、提案資料レビューの目的は、誤字を直すことでも、表現を整えることでもありません。
「顧客が次の判断や行動に進める状態をつくること」です。
そのため、目標は次のように定義し直す必要があります。
▲ 良くない目標の例
- 提案書の品質を向上すること
この目標では、「何ができれば達成なのか」が不明確であり、改善すべきポイントや方針を具体的に定めることができません。
● 良い目標の例
- この提案が顧客にとって持つ価値が整理されていること
- 他社と比較する際に、顧客が使える判断軸が整理されていること
- 費用・体制・リスクについて、顧客が不安に感じそうな点が洗い出されていること
いずれも、「顧客が次の判断に進めるかどうか」という観点で、達成可否を評価できる目標になっています。
Step 2. 評価指標の設計
目標が明確になった後、次に考えるべきことは、その目標に到達したかどうかを、どのように判定するか（評価指標）です。
一般的な評価指標としては以下のようなものがあります。
- 定量指標（数値化できる評価基準）：正確性、処理速度、網羅率、誤り率 など
- 定性指標（品質や感覚的な側面を評価する基準）：論理性、説明の一貫性、表現の明瞭さ、実用性 など
ただし、業務で使われる評価観点は、
どうしても人の主観が入りやすくなります。
主観的な評価はあいまいになりがちであるため、できる限り避けるべきです。
ここでのポイントは、主観をなくすことではなく、「良い仕事だ」と判断する理由を分解し、チェック可能な条件として定義しておくことです。
評価可能な条件の例（目標を測るためのチェック項目）
- 提案の価値について
- 資料中の記述を根拠に、「この提案を採用する／しない」を判断するための情報が揃っているか
- 判断軸について
- 他社と比較する際に、顧客が実際に使える判断軸が項目として列挙されているか
- 不安点について
- 費用・体制・リスクに関して、顧客が判断を保留しそうな要因が特定されているか
- 次の行動について
- 修正・追加検討・意思決定のいずれに進むべきかが判断できる状態になっているか
これらの条件を満たしていれば、Step 1 で定義した目標に到達していると判断できます。
評価がこのように定義されていることで、指摘は「単なるコメント」ではなく、改善につながる判断材料になります。
Step 3. トレース可能性の確保
評価指標を定めても、その評価が妥当かどうかを検証できなければ、仕事は前に進みません。
そのためには、判断の結果だけでなく、判断に至った根拠やプロセスを追える状態をつくる必要があります。
ここでのポイントとしては、「説明が丁寧かつ詳細であること」ではなく、改善ポイントを特定できることです。
トレース可能性とは何か
本稿でいうトレース可能性とは、次の問いに答えられる状態を指します。
- どの情報を根拠に判断したのか
- どの前提条件のもとで判断したのか
- どこで認識のズレが生じたのか
（入力／解釈／判断方針／出力）
これらが明らかでなければ、評価は「なんとなく良くない」で止まり、次の改善につながりません。
提案資料レビューAIエージェントの例
提案資料レビューAIエージェントは、少なくとも次を説明できる必要があります。
- どのスライドの
- どの記述を根拠に
- なぜ「顧客の判断を妨げる」と考えたのか
これが説明できることで、評価が妥当かどうかや修正すべきポイントの特定が可能になります。
その結果、レビューは「なんとなく気に入らない」という感想ではなく、納得して次の修正に進める判断になります。
Step 4. 改善の仕組み化
評価（Step 2）とトレース（Step 3）の結果は、次に同じ仕事をより安定して前に進めるために使われなければ意味がありません。
そこで重要になるのが、評価と改善のサイクルを仕組み化することです。
この仕組みは、次の3つの段階で構成されます。
- 評価結果の分析
- 改善後の資産化（プロンプト、チェックリスト、手順、禁止事項、例示など）
- 運用プロセスへの組み込み
評価結果の分析
まず、評価やトレースの結果をもとに、失敗やばらつきの原因を分析します。
- どの指摘が有効だったか
- どの指摘は過剰だったか
を振り返り、
- チェック観点の見直し
- 指摘ルールの調整
を行います。
ここで重要なのは、評価の結果だけでなく、その理由も合わせて確認することです。
理由が分からなければ、改善の方向性を定めることができません。
LLMを用いた評価（LLM as a Judge）を活用すれば、評価結果とその理由を同時に取得でき、改善に直結させやすくなります。
改善後の資産化
改善策は、その場限りで終わらせず、次回以降も再利用できる形で資産化します。
具体的には、
- プロンプト
- チェックリスト
- 手順
- 禁止事項
- 良い／悪い例の追加
といった形で明文化し、誰が使っても同じ判断ができる状態を目指します。
運用への組み込み
整理した改善策を、次回以降の評価やレビューのプロセスに組み込みます。
これらのサイクルが回ることで、AIエージェントは“使い捨て”ではなく“育つ戦力”になります。
おわりに——まとめと今後、人に求められること
AIエージェント導入の本質は、自動化ではありません。
暗黙知で回していた仕事を、 言語化し、評価し、改善できる構造に変えることです。
エンジニアリングには、よく知られた原則があります。
測れないものは、作れない。
現場で活用できるAIエージェントを開発するということは、仕事そのものを測定可能な形に見直すことでもあります。
改めて、「仕事ができる」AIエージェントの開発に必要な要素は、次の三つです。
- 仕事の言語化
- 評価軸の明文化
- 改善の仕組み化
改善の仕組み化についてはAITCでもAIエージェントに取り入れるべく日々研究開発を続けています。すでに、その成果も現れ始めています。
以下は、JSAI2025で紹介した「使えば使うほど賢くなるAIエージェント」の抜粋です。
その上で、人間に求められる役割は明確です。仕事の言語化と評価軸の明文化です。
AIエージェント導入は効率化のためだけのものではありません。
それは、仕事の本質を見える化するためのチャンスでもあるのです。
筆者
AIソリューショングループ
阿田木 勇八
