仮置き場の様子。高さ3メートルほどある区画が延々と続いている（出典：エアロセンス）
そこで、自律飛行型ドローン「ＡＥＲＯＢＯ（エアロボ）」を展開するエアロセンスが、ドローンを使った空撮による点検を提案した。同社はソニーとＺＭＰが出資して設立した合弁会社で、ドローンに関するデータをクラウド上で管理し、データ処理や解析を行う「ＡＥＲＯＢＯクラウド」といったサービスも提供している。
まずは、対象の場所にＧＰＳ測量機能を内蔵したマーカー「エアロボマーカー」を一定の間隔で設置。地上１０メートルの高さでドローンを１区画（約１万平方メートル）につき３０分程度、自動飛行させ、１００～５００枚の高精細な写真を撮影する。その後、マーカーから得られた３次元の位置座標を基に、解析ソフトウェアの撮影データをつなぎ合わせて高解像度の３Ｄモデルを作成する。この３Ｄモデルを確認することで、破損が分かるという仕組みだ。
結果、この手法は南相馬市に採用され、２０１５年１２月にテストをスタート。２０１６年６月に本格的な点検作業を開始するに至った。しかし、この方法にも課題がないわけではなかったという。
空撮画像からマーカーを検出するのには、オープンソースのライブラリである「OpenCV」や「TensorFlow」を使用したという
破損の検出も「ディープラーニング」で自動化
いくら画像で確認できるとはいえ、ＰＣ上で画像を拡大し、約１万平方メートルもあるシートの中から一円玉程度の破れを見つけるのは時間も労力もかかる作業だ。当時は１カ月当たり５０個程度のシートに対して２～３人のオペレーターで作業しており、エアロセンス取締役ＣＯＯ（最高執行責任者）の嶋田悟氏は「作業が終わるまで、１人当たり数時間はかかっていたのではないか。１年近くやっていたが、日常的な業務としては負荷が高かった」と振り返る。
そこで同社は、ドローン点検の開発と並行して、シートの損傷場所を機械学習で検知するための学習データを集め始めた。オペレーターが探し出した破損場所の画像を正解データとし約１０００枚を収集。同社 ソフトウェアアーキテクトの菱沼倫彦氏によると「正解データの数を増やすために、１つの画像を回転させたものを加えるなどして、数を稼いだ」という。
