背景

生産性の向上や人手不足の解消は全産業において重要課題となっており、建設業界においても、国土交通省が推進するi-Constructionの下、ICT活用による建設現場の生産性向上が進められています。
しかし、特殊かつ多様な用途・環境で稼働する建機は、一般的な車両に比べて挙動が複雑で操作難易度が高く、自動化開発の妨げとなっています。
そこで、AI（深層強化学習・模倣学習技術）を活用し、建設機械の操縦を自動化することで、作業の大幅な効率化を目指しています。

支える技術１：機械操作の高速シミュレーターであるVortex Studio

Vortex Studioは機械操作のシミュレーターソフトウエアです。機構運動／ケーブル変形／土の掘削などのシミュレーションを高速で行うことができます。たとえば、土の掘削では、かたい地面、ぬかるみのある場所など様々な環境をシミュレーションすることができます。

深層強化学習では、実環境でAIが想定しない環境に直面しても適切な行動がとれるよう、実環境をできるだけうまくモデル化したシミュレーションソフトを導入することが重要です。また、試行錯誤回数を効率的に行うためにも、高速シミュレーションを行うことも求められます。

Vortex Studioは、両方の特性を満たすシミュレーションであり、建機の自動制御開発を支える重要な技術の１つとなっています。

支える技術２：AIによる制御技術（深層強化学習と模倣学習）

建機の自動制御のために、「深層強化学習」と「模倣学習」の２つのアプローチを取っています。

- 深層強化学習
AIがシミュレーション環境や実際の現場で、いろいろな操縦を試行錯誤することで学習をします。学習するための時間は多くかかりますが、人間以上の操作を獲得する可能性があります。

- 模倣学習
AIが、熟練技術者の手本データを元に、同等の操作を学習します。比較的短時間で、人間と同程度の動きを実現可能になると考えられています。

前述のVortex StudioとOpenAI Gymインターフェースでつなぎ、Vortex Studioの環境で学習をさせています。

成果

いくつかのサンプルユースケースで、シミュレーション上で深層強化学習ベースの建設機械の自動制御アルゴリズムの実現ができました。

油圧ショベルによる土の掘削

クレーンによる吊り荷の揺れ止め

今後は実機での動作やより複雑高度な自動制御の実現に向けて目指しております。