この結果は、ChatGPTなどの大規模言語モデル(LLM)がロボット工学で使用できることを初めて実証した。
Webインターフェイスは使いやすく、博士課程の学生Martin Schuckさんは音楽トラックを選択し、提案される振り付けを要求するテキストを入力するだけだ。
提案された飛行経路が実現可能かどうかアルゴリズムがチェックする前に、ChatGPTツールの別のプロンプトを介してドローンの群れに追加の指示を与えることができる。
学習システムとロボット工学ラボの画面には、6機のドローンが音楽に合わせて円を描いて飛行する模擬飛行場が表示される。TUMの学習システムの安全性、パフォーマンス、信頼性を担当する科学者がこの振り付けを気に入ったら、スタートする。その後すぐに6機の手のひらサイズのドローンがロボット研究室の床から飛び立った。
3台の飛行ロボットによる振り付けは5分以内に完了
アンジェラ・ショーリグ教授の研究室では、研究チームは約40平方メートル、高さ3メートルの部屋に6台の天井取り付けカメラを設置した。床には絶縁テープで十字のマークが付けられた。
これらはドローンの開始位置を示す。コンピュータが可能な振り付けを確認すると、離陸することができる。カメラは4つのプロペラとモーターを備えたクアドロコプターの位置を1秒間に200回検出する。
システムはそれらを希望の位置と比較する。研究チームが最大9機のドローンを使って実現している学習システム・ロボティクス研究室の「エアショー」は、現在100パーセント安全だ。特別な安全フィルターがなければ、事故が起こらない実演は4件に1件だけだという。
SwarmGPT: 追加アルゴリズムにより飛行ロボットの安全性を確保
アンジェラ・ショーリグ教授は、「Dance of the Flying Robots」のために ChatGPTと安全フィルターを組み合わせた。
ChatGPT AI ツールは主にテキストを生成するために作成されましたが、振り付けを提案することもできます しかし、ChatGPT は当初、ドローンの特性や飛行経路の物理的制限について何も知りません。したがって、ChatGPT が間違いを犯すことは明らかです。
追加の安全アルゴリズムは、提案された振り付けの飛行経路を非常に正確にマッピングすることでこのギャップを埋め、空中衝突を完全に回避する。ドローンは斜めに接近することもできる。
ショーリグ教授は、ChatGPTと複数の飛行ロボットを使用するために設計されたセキュリティ・フィルターの全体的な概念を「SwarmGPT」と呼んでいる。このツールは空中でプロセスを生成すると同時に、専門知識を必要としないロボットと人間の間のインターフェースとして機能する。
ChatGPTによる量子飛躍
アンジェラ・ショーリグ教授が約15年前にドローンの研究を始めたとき、振り付けは手作りだったという。6台のドローン用に最初の6つの振り付けを開発し、稼働させるまでに3年以上かかった。
過去3か月にわたって、研究者らは最大9機のドローンで30以上の振り付けを実験してきた。現在、研究者らは3台のドローンを使用して30秒の音楽クリップの安全な振り付けを開発するのにわずか5分ほどだ。追加されるドローンが増えるほど、ChatGPTの計算に必要な時間が長くなり、振り付けを提案するのに時間がかかるという。
ショーリグ教授：ChatGPTは量子の飛躍をもたらしました。このコンセプトは拡張可能だ。
ロボティクス: ChatGPT が非専門家向けのインターフェースになる
ChatGPT経由で他のロボットを同様のインターフェイスで使用できるのか、音声制御を使用して物体を持ち上げたり、ケーブルを敷設したり、ドアを開けたりするロボットの場合、それらのアクションの成功率は現在、わずか63、56、80パーセントにすぎない。
これまでのところ、他のロボット工学シナリオでのアプリケーションの信頼性はやや低い。アンジェラ・ショーリグ教授にとって、これはインセンティブだ。
ショーリグ教授：私たちのアプローチは、他のシナリオでも改善され続けると思います。
専門知識やプログラミングスキルを必要とせずに、音声コマンドだけで吸引ベースのロボットや産業用ロボットを再プログラムできるようになる日も近いかもしれないという。
この論文はこちらから。
