東芝、世界初の精度99.9％で物体を追跡するLiDAR技術を開発

この技術は合わせて、LiDARの取得データのみで、精度98.9％での物体認識を実現するとともに、耐環境性能および計測範囲の柔軟性を大幅に高めることに成功。これらは全て世界初の技術となり、LiDARのポテンシャルを大幅に向上するとしている。

近年、LiDARは自動運転としての用途に加え、カメラと併用して「空間のデジタルツイン」を構築し、空間上のあらゆるモビリティの自動化や、製造や物流ラインの全体最適化など、あらゆる産業の効率化につなげる取り組みが進められているが、カメラとLiDARの取得データの活用において、両データの空間的・時間的なずれによる認識精度の劣化が大きな課題となっているという。

東芝は、LiDARのみで得られる2次元データと3次元データを高精度に融合する「2D・3DフュージョンAI」を開発し、カメラを用いず物体を世界最高精度の98.9％で認識し、99.9％で追跡することに成功した。これにより、「空間のデジタルツイン」の構築において、従来必要だった大量のカメラの設置が不要になることも見込めるとしている。

さらに、「雨・霧除去アルゴリズム」を開発し、猛烈な雨・濃霧環境下での検知距離を2倍以上改善し、80mm/hの猛烈な雨環境で40mの距離計測ができることを確認したという。また、「計測範囲可変技術」により、従来技術に比べ計測距離を350mまで伸長しつつ、約6倍の画角で120mの計測距離を実現した。

開発のポイント

世界最高精度の99.9％で、車両や人といった物体を追跡
LiDARの取得データのみで、世界最高精度の98.9％で物体を認識
雨・霧を除去するアルゴリズムの開発により、猛烈な雨や濃霧環境下での検知距離を2倍以上改善
計測範囲可変技術を開発し、従来技術に比べ計測距離を350mまで伸長、6倍の広画角化を実現

開発の背景

デジタルツインはシミュレーションの一種だが、従来のシミュレーションと異なり、実世界の変化にリアルタイムに連動することが大きな特長だ。例えば、機械の摩耗や破損などは、あらかじめ想定した条件のバーチャルモデルで行う従来のシミュレーションではリアルタイムに捉えることができなかったという。デジタルツインでは、センシング技術とAIを活用して実際に動いている生産ラインや設備などから膨大なデータをリアルタイムで収集することで、実世界で起こっている事象をバーチャル上に忠実に再現できる。

近年、このような特定の機械や製造ラインを再現する「設備のデジタルツイン」に加え、工場や都市空間全体を再現する「空間のデジタルツイン」のニーズが高まっている（図1）。

「空間のデジタルツイン」を構築し、空間上の物体の動きを把握することにより、あらゆるモビリティを自動化したり、工場・物流倉庫などでは全体最適を図ったりすることができるようになる。また、都市空間では、事故や渋滞に起因するトラブルの回避につなげることができるようになる（図2）。

「空間のデジタルツイン」の構築には、夜間、雨・霧といった悪天候の環境下でも広範囲・高精度で空間をセンシングしたり、高精度に物体を認識・追跡したりする技術が不可欠だ。これを実現する技術としてLiDARへの期待が高まっている。

東芝はこれまで主に、LiDARの自動運転やインフラ監視での活用を想定し、計測距離伸長や小型化に取り組んできていたが、従来はLiDARの測定データのみを用いてAIで物体を高精度に認識し、それを追跡することが困難だったという。物体を認識・追跡するために、カメラとLiDARを併用し、2次元データと3次元データを合わせて計測する手法がとられている。しかし、2種類のデータの空間的なずれを完全に排除することが難しく精度劣化の要因となっている。

また、雨・霧といった悪天候の環境下で精度が劣化したり、設置場所の制限により死角が発生したりするといった課題があったという。

同技術の特長

そこで東芝は、高精度な「空間のデジタルツイン」の構築に向け、カメラを用いずLiDARから取得するデータのみで物体の高精度な認識・追跡を実現する「2D・3DフュージョンAI」、LiDARの計測精度を劣化させる雨や霧による影響を最大限緩和できる「雨・霧除去アルゴリズム」、LiDARの距離と画角を設置場所に応じて自在に変更できる「計測範囲可変技術」を世界で初めて開発した。

2D・3DフュージョンAI

「2D・3DフュージョンAI」はカメラを用いずLiDARの取得データのみで、物体の高精度な認識・追跡を実現する。

物体の認識・追跡を実現するには、カメラとLiDARによるデータを用いて学習したAIモデルが使用されているが、AIモデルを適用するために、カメラとLiDARの画角とフレームレートを合わせ込み、空間的にも時間的にも精密に同期させる必要があるという（図3上）。

カメラとLiDARは物理的に設置場所にずれが生じるためずれを補正するのが一般的だが、補正誤差が生じたり、そもそも、振動など何等かの要因で画角やフレームレートが相対的にずれたりすることがあり、認識精度が大きく劣化してしまうことが課題となっている。

今回、東芝はLiDARのみで、2次元データ（輝度）と3次元データを取得できることに着目し、LiDARで得た2次元データと3次元データを融合（フュージョン）してAIを適用・学習することで物体を認識・追跡できる「2D・3DフュージョンAI」を開発した（図3下）。

2次元データと3次元データは、LiDARの同一の画素から同一のタイミングで読み込まれたデータのため、合わせ込みが不要で認識精度が劣化する懸念がないという。同AI技術により、カメラを用いず、照明のない夜間でも、車両や人といった物体を世界最高精度の98.9％で認識し、99.9％で追跡することに成功した（図4）。

図4：今回開発した2D・3DフュージョンAIを用いた車両と歩行者の認識・追跡結果（上：LiDARによる2次元データ　下:3次元データ）

雨・霧除去アルゴリズム

「雨・霧除去アルゴリズム」は、LiDARの計測精度を劣化させる雨や霧による影響を最大限緩和するもの。LiDARは赤外レーザーを用いるが、赤外光は水分に当たると吸収・散乱される性質があり、雨・霧・雪といった視界不良な屋外環境では計測精度が低下し、検知可能距離が短くなってしまう課題があったという。

LiDARメーカー各社は雨粒を含む物体からの複数の反射光の中から、計測対象物からの反射光のみを選択するマルチエコー機能を搭載しているが、雨や霧に埋もれてしまった計測対象物からの脆弱な反射光を抽出できず、計測精度の向上に向け、さらなる研究開発が求められていた。

東芝は、アナログデータをデジタルデータに変換するADコンバータによって、反射光強度のデジタル値を基に、水などの散乱粒子による反射光の特徴量から、雨・霧なのか、計測対象なのかを判別し、雨・霧と判断したらその波形ごと取り除くことで、雨・霧に埋もれてしまった脆弱な反射光を含めて計測対象物からの反射光を抽出するアルゴリズムを開発した（図5）。