映像解析技術
当社は、2021年度から2025年度にかけて、国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）研究開発委託業務『地熱発電導入拡大研究開発 地熱発電高度利用化技術開発 坑内異常自動検出AI方式、耐熱坑内可視カメラ（BHS）開発』による委託研究開発を実施し、【画像鮮明化装置】ならびに【浮遊物検出・追跡システム】を開発いたしました。
本技術を活用したコンサルティングサービスを提供しています。
『画像鮮明化処理』－2D・3Dノイズフィルタ
従来のボアホールカメラ（BHS）等から取得された映像は、坑内水の混濁や浮遊物の影響で、不鮮明な映像となってしまうことが多くあります。
そこで当社は、数種類の2次元・3次元デジタルフィルタリング機能を搭載した画像鮮明化処理装置を開発いたしました。これらのフィルタは、動画の特徴に合わせて最適なフィルタ組合せを設定することができます。また、HDMI動画入力によるリアルタイムでの処理も可能です。
画像鮮明化装置はFPGAを組み込んだ筐体で、大きさ260mm×230mm×59mm、重さは約2kgです。ノートパソコンと接続して処理の設定をします。
画像鮮明化装置に組み込まれている機能は、ホワイトバランス調整機能、色補正機能、ガンマ補正機能、そして各種映像処理機能です。映像処理機能は、かすみ除去フィルタ、3次元ノイズフィルタ4種、2次元ノイズフィルタ4種が実装されており、これらを組み合わせた処理を実施することが可能です。
映像の特徴に合わせ、最適なフィルタ設定をすることで、坑壁やケーシングのスケール付着状況、腐食、破損、変形等を連続的に直接観察し、坑井内異常の有無、異常個所の位置および程度を把握することができます。
『画像高精度化処理』－超解像
上述の画像鮮明化処理の追加オプションとして、超解像機能を開発しました。これは現場リアルタイムではなく、オフライン限定機能ですが、AI学習を用いた高精度化処理が可能です。超解像は、画像の特徴点を重合させ、画質を改善するアプローチであり、この技術と２次元・３次元フィルタ処理を組み合わせることで、フレーム間のブレが低減し、フィルタ効果が最大化されることが期待できます。
動画における超解像技術としてReal-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation（Caballero et al., 2016）1)、さらにフレーム間の動きを補償するアルゴリズムとして、RAFT（Teed & Deng, 2020）2)を参考に、独自のアルゴリズムとして統合・開発しています。
適用試験結果：単独処理よりも複合処理でBR値が向上している
※BR(Brisque)・・・評価用リファレンス画像不要の画像評価指数
数値は0〜100に分布し、小さい方が高画質と定義される
映像の特徴に合わせ、鮮明化と超解像の最適な組み合わせをすることで、坑井内異常個所をより高精度化し確認することができます。
本サービスの活用により、目視による確実な状態確認が可能となり、坑井トラブルの早期発見やメンテナンス・補修の要否判断を迅速に行うことが可能です。
『浮遊物検出・追跡システム』
坑井内の濁りの原因でもある浮遊物ですが、この浮遊物の動きは坑壁の亀裂から坑井内への水の流入出を表している可能性があります。そこで、浮遊物の動きを追跡することで、坑井内から坑井外へ、または坑井外から坑井内への流体流動が把握できるシステムを開発いたしました。
☆本技術は、坑井内の観察映像から、坑内水の流出や熱水の流入といった異常流動を検出・坑壁の異常個所を検出するという新規性が認められ、特許「坑井の異常箇所検出装置及び異常箇所検出方法」（特許第7717105号）を取得しております。
EVS（イベントベースビジョンセンサ）※を用いた粒子運動の可視化画像例
※輝度変化を検出するセンサ。このセンサを活用しオプティカルフロー技術と組み合わせることで物体の移動を表現する。
浮遊物検知・追跡AIモデルは、RAFT（Teed & Deng, 2020）2)を参考に、オプティカルフロー技術と組み合わせ、独自のアルゴリズムとして開発しています。
これにより、坑井内の熱水や地下水の流入・流出箇所の推定、流入出角を可視化します。
本サービスの活用により、坑井内異常個所の特定、また坑井の評価に資する資料を提供することで生産性の再評価や改修・対策工事の優先順位根拠とすることが可能です。
〇本映像処理技術は、以下の公開研究を参考にしています。
参考文献：
1) Caballero, J. et al., 2016.Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation.
arXiv:1611.05250
DOI: 10.48550/arXiv.1611.05250
2) Teed, Z., Deng, J., 2020.RAFT: Recurrent All-Pairs Field Transforms for Optical Flow.
arXiv:2003.12039
DOI: 10.48550/arXiv.2003.12039