Kaggleにおける生成AIエージェント③：AITCのKaggleエージェントへの取り組み

こんにちは、AIコンサルティンググループの中原輝樹です。

近年、データ分析コンペティションであるKaggleにおいても、生成AIエージェント※1の活用が進んでいます。その背景には、以下のような理由があります。

• コンペティションの課題やデータを理解し、様々なアプローチのアイデアを検討できる。
• データの前処理や特徴エンジニアリング、モデル構築などを自動化できる。
• 大量の試行錯誤を効率的に行えるため、短いサイクルで多くのアイデアを試せる。
• より高精度な分析を行いやすくなると同時に、人間の負担を軽減できる。

このような利点を背景に、MLE-Bench や AutoKaggle など、生成AIエージェントを活用したベンチマークやフレームワークも登場しています。

本記事は、Kaggleにおける生成AIエージェント①、Kaggleにおける生成AIエージェント② の続編として、AITCでのKaggleエージェントに関する現在の取り組みについてご紹介します。

※1 生成AIエージェントとは、目的を達成するためのタスクを生成AIが考え、自律的に実行するシステムです。生成AIエージェントについてさらに詳しく知りたい方は以下の記事を参照ください。

AITCがKaggleエージェントに取り組む理由

• 最新コンペティションでの有用性の検証
  KaggleをテーマとしたベンチマークであるMLE-Benchでは、最新のOpenAI o1モデルが上位10%の実力を発揮するということが確認されています。
  
  一方で、MLE-Benchでは過去に開催されたコンペティションのデータで評価しているため、そのデータやソリューションが既にモデルに学習されている可能性があります。このため、最新のアルゴリズムを使用するコンペティションに対する信頼性は不明となっています。
  
  そこで、AITCではKaggleエージェントを開発し、最新のコンペティションでの有用性を検証することにしました。これにより、生成AIエージェントが最新のデータや未知の課題に対してどの程度対応できるかを実証します。

• エージェントの業務への適用
  OpenAIはAGI（汎用人工知能）に向けたAIの進化を5段階のスケールで定義しており、OpenAI o1モデルはそのレベル2に到達しています。次のレベル3はエージェントに該当し、AITCではエージェントの業務適用を積極的に進めています。
  
  その取り組みの1つとして、弊社が提供する伴走型AI/データ活用支援ソリューション「XSTAIGE（クロスステイジ）」への活用を視野に入れています。
  データ分析には多くの工程が必要であり、従来のプロセスでは価値提供までに時間を要するという問題があります。そこで、より迅速かつ効果的にインサイトを提供するため、プロセスの最適化とAIエージェントの活用を進めています。
  
  Kaggleエージェントに取り組むことで、データ分析業務におけるエージェントの得意分野と不得意分野を明確にし、生成AIエージェントの適用可能範囲を探ります。
  
  データ分析エージェントを業務に効果的に活用し、弊社のデータサイエンティストがより専門的かつ戦略的な判断やビジネスに基づく分析に集中できる環境を整えることで、お客様に対してより価値のあるサービスを提供することを目指します。

参加メンバー

AITCメンバー5人で参加しており、内訳はMaster1人（阿田木）、Expert3人（久木宮・鴨谷・中原）、Contributor1人（清水）です。

取り組み内容

AITCでのKaggleエージェントの取り組み内容は大きく分けると以下の3つです。

• 技術調査

Kaggleにおける生成AIエージェントの現状と活用についての調査を行っています。調査した内容は過去2回の記事で紹介しています。

• エージェント実装

技術調査での成果をもとに、Kaggleエージェントの実装を行っています。実装したエージェントは主に過去のコンペティションを対象に適用し、課題点の整理などを行いながら改善を重ねています。

• エージェントの検証

生成AIが過去のコンペティションのデータを学習済みである可能性があるため、最新のコンペティションでエージェントの実用可能性を検証します。テーブルデータ・言語データなどのエージェントが解釈しやすいデータを用いたコンペティションを選定基準としています。

進め方

週一回の定例会

週に一度、30分間の定例会を開催し、その際に進捗やスケジュールの確認などを行っています。また、メンバー間でのエージェントに関するスキル差を解消するため、エージェントのチュートリアルNotebookの共有などの情報交換を行い、活発にコミュニケーションを図っています。

実装

エージェントの実装には主にLangGraphを用いて行なっています。LangGraphにはエージェントを実装する上での便利なクラスが多く用意されており、自分で実装したツール※2の動作確認なども、create_react_agentなどのクラスを用いることで効率よく試すことができます。

LangGraphでのエージェント実装については以下の記事で詳細に説明しています。

※2 ：ツールとは、Web検索などのLLM自身では実現できない操作を実現するために用いる機能のことです。

Microsoft Teamsでの情報共有

分析を通じて試したことや気づいたことなどは、Microsoft Teamsで各自が共有しています。このように情報を共有することで、他のメンバーが既に試した方法を重複せずに済むようにしています。

まとめ

本記事では、AITCでのKaggleエージェントに関する現在の取り組みについてご紹介しました。
次回は、参加したコンペティションでのエージェントの適用結果のまとめ記事を掲載する予定です。ぜひお楽しみに！

筆者
AIコンサルティンググループ
中原輝樹