現状の課題と解決策
捜索コストとリスク
警察庁の統計によると、令和3年の山岳遭難の発生件数は2,635件と過去2番目の多さであり、近年右肩上がりに増加している。また捜索する側の課題も顕在化しており、一度遭難が発生した場合には山間部を数日にわたり大人数で捜索するため、多大な運用費用に加えて捜索者側の安全リスクも高まると考えられる。
上記のような課題の解決を目標として、株式会社東北ドローンと東北大学タフ・サイバーフィジカルAI研究センター（岡田佳都特任准教授、小島匠太郎特任助教、Ranulfo Bezerra特任助教らのグループ、以下：東北大学TCPAI）は令和4年度に、ドローンを使った革新的な遭難者探索システムの共同研究に着手した。
「ドローン」×「熱画像カメラ」×「AIシステム」×「位置情報取得システム」
共同研究では、東北ドローンのドローンの運用ノウハウと東北大学TCPAIの研究実績を掛け合わせて、実践的なシステムの開発を目指したという。
開発したシステムは、事前に設定した範囲をドローンが自動航行し、熱画像カメラの映像から自動で人らしき箇所を捉え、その位置座標を送信。空から捜索する中で、人らしきものを見つけた場合、その位置情報を伝えるという流れを捜索と一貫して行う、という「見つけるだけ、飛ばすだけ」ではない、統合的なシステムの開発となる。
具体的には、ドローンが離陸後に赤外線カメラを使用して赤外線映像を撮影する。次に、白黒の赤外線映像から、周囲の環境よりも温度が高い（色が白い）、人の特徴をもった形状をAIが認識。そして、動画を画像に切り分けて、AIが認識した物体に関する位置情報を計算して、着陸後または上空利用が可能なSIMカードを搭載した端末にて拠点に送信する。
ドローンによるデータ取得は膨大な撮影枚数になりがちだが、送信されるデータは、全体のうちAIが認識した部分のみのデータになるため、データ確認が容易だという。
共同研究では、東北ドローンが機体や通信の開発、東北大学TCPAIが遭難者検出や位置特定技術の開発を主に担当した。
物体検出AI
映像中から人を検知するために、YOLOv7という物体検出AIモデルを採用。YOLOv7に上空から人を撮影した赤外線画像を使った独自のチューニングを施すことで、検出機能を実現し、チューニング後のYOLOv7では、赤外線画像から人らしき物体を検出し、矩形（長方形）とテキストで表示する。
研究開発の方向性
課題を解決する捜索者（人）ためのシステム
捜索者にとって安全なしくみが生まれると、未来には昼夜を問わない持続可能な捜索が可能となると考え、捜索者（人）の寄与するテクノロジーを使用した課題解決を検討。
東北ドローンの強みであるドローンを使った、空から遭難者を捜索するシステムを開発することで、人が現場に赴いて捜索するリスクを減らしつつ、遭難者の早期発見に貢献することができると考えたという。
そこでドローンの電源投入から飛行、分析者へのデータ送信まで、人の介入が少しでも少なくなるようなシステムの開発の検討につながった。
山岳遭難者探索システムの開発
既存の製品の組み合わせでは自動で物体を見つけることは困難で、仮に発見したとしても、映像中から物体の場所を特定することが難しいため、自動で人を検知し、その場所を推定するシステムを目指すとともに夜間の捜索も可能とするために、熱画像カメラを採用した。
ジャパン・イノベーション・チャレンジ2022
実際の現場でシステムを検証
北海道の上士幌町で「ジャパン・イノベーション・チャレンジ2022（以下：JIC2022）」という、遭難者救助のテクノロジーを競うロボットコンテストが開催された。
実用的なシステムを目指して開発する中で、検証する機会だとして、「東北ドローンと東北大QuixAir」というチーム名のもと、コンテストの課題のひとつである「発見」に注力し参加した。
コンテストでは実際の山間部に捜索対象となる人の体温を模した人形（模擬被災者、以下：マネキン）が複数体設置される。マネキンの位置情報は出場者には伝えられないルールとなっており、出場者は夜間にロボットを使ってマネキンを捜索する。
開発にあたって、標高差がある広大な山間部に設定された場所での自動航行や、夜間飛行、遠隔地での離発着管理など多くの障壁があったという。
AIが遭難者を検知し近しい位置を検知
コンテスト中、完成したばかりのシステムは数々の困難に直面。地形による伝送の乱れや低温など自然の影響を多く受け、制限時間内に課題を達成できなかった。
一方で、後の検証で、自動航行から帰還したドローンはターゲット（マネキン）らしき物体を検知していたことが分かり、捉えたターゲットは正解で、推定した位置座標も誤差が少ないことが判明した。
それでも課題はまだ多くあり、コンテスト後も引き続き共同研究を続けたという。
福島ロボットテストフィールドで実験実施
JIC2022で模擬被災者（マネキン）を検知したシステムの性能を定量的に評価することで、システム改善の具体的な方向性を見出した。そのため、令和5年の1月に福島ロボットテストフィールド（以下：福島RTF）内で、JIC2022と同様の模擬被災者（マネキン）を配置して、再度システムの運用を行い、そこで取得したデータをもとに検証を行った。
ここでは、再現率と適合率というAIの評価指標を求めることができたという。再現率と適合率は、陽性と陰性をそれぞれ真陽性、偽陽性、真陰性、偽陰性のように細分化した数値から計算して求められる数値。
再現率は、検出すべき物体のうち、正しく検出された物体の割合を表しています。偽陰性を考慮して、見逃しをなるべく抑えたいときに有用な評価指標。適合率は、システムが検出した物体のうち、正しく検出された物体の割合を表しています。誤検知などをなるべく抑えたいときに有用な評価指標だという。
検証結果について
福島RTFで複数回取得したデータを東北大学TCPAIが分析した。分析結果は、全体の再現率が50.9％で、適合率は90.5％だった。これらの評価指標は、目安となるような絶対的な数値基準はなく、あくまで相対的な評価としてAIの精度を検証するために用いられるという。
適合率の90.5％は高く、AIは陽性と検知した物体の9割が正しい結果であったことを示している。
一方で、再現率の50.9％はまだまだ改善の余地があることを示していると見ているという。これは陽性全体のうち、AIは約半数の陽性を陰性と判断していると言い変えることができる。
今後へ向けて
システムの精度を向上させる必要性
JIC2022や福島RTFの検証を通して、2つの課題が浮き彫りになったとしている。1つ目はAIの推定による再現率の向上だ。再現率とは、見逃しをなるべく抑えたいときに使う指標だという。再現率を上げることで、飛行ルート内の遭難者を見逃さないシステムへ近づくことになるが、現時点ではAIの追加学習が必要となっている。
次に、探索システムの精度向上が挙げられる。熱画像カメラに付随するパラメータや、ドローンのタイムスタンプの取得によって、より正確な位置推定につながるデータの取得が可能となるが、現在、使用しているカメラの技術的な分析などが必要となっている。
実用へ向けた研究開発
東北ドローンと東北大学タフ・サイバーフィジカルAI研究センターでは、山岳遭難者の早期発見が実現可能な社会へ向かって、これからも研究を続けていく方針。
今回の研究は、ビジネスよりも社会的な意義を重視し、東北大学TCPAIとの共同研究を実施。研究開発を持続させるためには多くの資金が必要となるとして、現在の課題であるAIや位置座標特定システムの精度向上へ向けて、東北ドローンでは、ドローンやAIによる遭難救助支援システムの向上への取り組みを支援するスポンサーなどを募集している。
