本実証実験により、力触覚情報を用いたロボットによる高度な遠隔操作を簡易なデバイスで実現できることに加え、遠隔操作を安全に実施可能であることが分かったという。
これにより、End-to-Endで遅延品質を管理し、制御する技術を用いて低遅延品質保証が可能になり、また力触覚情報を色情報に変換する技術を用いて機器数が少ないシンプルなデバイス構成で力触覚情報の伝達が可能となる。その結果、ロボットなどによる高度な遠隔操作の適用領域の拡大、操作者の拠点集約による効率化、労働人口減少等の社会課題の解決が期待できるとしている。
背景
高度な作業では視覚以外の感覚も使って作業をするため、遠隔作業の実現にあたっては、現地の映像情報に加えて、物体との接触状態や作業中の力加減を知るための力触覚情報等の感覚情報の伝達が重要となる。映像情報や力触覚情報等をユーザが使用するデバイスの性能に依存せずに安定的に伝達するには、映像情報や力触覚情報等の高負荷処理をネットワーク上のエッジサーバで行うなどの工夫が必要である。
一方で、エッジサーバ上で処理を実施するにあたっては、ネットワークの観点では、エッジサーバでの処理も含めたEnd-to-Endサービスとしての遅延時間やジッタ（ずれや揺らぎ）を低くするだけでなく、システムの故障や性能劣化時にもサービスの品質劣化を招かないようにすることが課題だ。また、デバイスの観点では、機器数が少ないシンプルな構成でありながら、映像情報等と同期して、違和感なく力触覚情報を伝達する方法が課題という。
技術のポイント
従来、ネットワークサービスを提供する際、エッジサーバの処理時間とネットワークの遅延時間に関し個々の品質管理は実施していたが、両者を組み合わせたEnd-to-Endでの遅延時間の評価や品質管理は実施されていない。
今回、APNのネットワークにて2地点間を複数経路で結ぶ環境において、エッジサーバでの処理時間とネットワークの遅延時間をリアルタイムに状態把握し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合には別の経路および別のサーバ処理に即座に切り替えることで安定した低遅延サービスを提供するネットワーク＆コンピュート高速クローズドループ制御技術の研究開発に取り組んだ。
三菱電機は、視覚と力触覚との間の感覚間の相互作用を活用したVisual Hapticsを開発し、遠隔地の力触覚情報を色情報に変換し、視覚情報としてユーザに提示することで、力触覚デバイスなしで遠隔地の力触覚情報の伝達を実現してきた。
今回、Visual Hapticsをロボット内での実装からエッジサーバ上での実装に変更することで、ロボット側で必要な処理負荷を軽減すると共に、エッジサーバの切り替え動作にも対応可能なVisual Hapticsの研究開発に取り組んだ。
実証実験
遠隔操作における本技術の効果を確認するために、NTT武蔵野研究開発センタにディスプレイとロボット操作用デバイス、NTT横須賀研究開発センタにロボットを配置し、直線距離50km強の2拠点間をAPNを模擬したネットワークで接続して遠隔操作を行う実験用ネットワークを構築した。
ロボット側で撮影したカメラ映像にはVisual Hapticsにより力触覚情報を付加し、操作者は力触覚情報を視覚的に確認しながら操作した。また、Visual Haptics処理に要する時間とネットワークの遅延時間をリアルタイムに測定し、End-to-Endでの遅延時間が性能要件を満たさなくなる場合に別のネットワークおよび別のサーバ処理へと切り替える機能を備えた。
この実験構成において、エッジサーバを過負荷状態にして遠隔操作環境を悪化させた場合、従来構成では遠隔操作が困難になったが、提案構成では品質が悪化してから約100ms後には切り替え制御が完了したことに加え、力触覚情報等の感覚情報を遠隔に伝達することで違和感なく操作を出来ることを確認し、提案技術の有効性を確認した。
今後の展開
本実証実験で得られた成果は、高度な作業をアシスト機能付きの遠隔操作で実施可能にすることができ、場所を問わない作業の幅を広げることが期待できるという。
今後は適用可能領域を広げ、人命にかかわる高度な操作の遠隔化として遠隔手術や遠隔設備修理など様々なユースケースで適用可能とすることで、場所にとらわれない新たな働き方が可能となる。これにより、技術者の移動時間削減による生産性向上、身体的な制約のある方の就労機会提供、さらには医療等の地域格差解消などをめざすとしている。
