2026年11月12日
オフラインAI「LocaPad」が音認識に対応、映像と音の同期判定を実現
配信元企業：株式会社ANGEWORK
従来のリアルタイム映像・動作認識に加え、マイクから取得した環境音をAIで解析し、映像と音の発生タイミングを照らし合わせることで、動作の確認に活用できるようになりました。
今回、神社参拝の「二礼二拍手一礼」を題材に、拍手の動作と柏手の音を組み合わせた判定デモを実装しました。
本機能の開発過程や判定方法について、技術ブログ「note」で公開しています。
note記事URL：
https://note.com/angework/n/n81124ab89b1d
■ 開発の背景
製造現場や設備点検、技能教育などでは、人の動作や作業手順を確認するために、映像による記録・解析が活用されています。
しかし、映像だけでは判断しにくい状況もあります。
例えば、作業者が工具を動かしていても、実際に対象物に接触したかどうかを映像だけで判断することは困難な場合があります。また、カメラの死角で発生した音や、動作に伴う音の変化なども、映像だけでは捉えられません。
こうした課題に対応する技術として、ANGEWORKでは従来の映像・動作認識に音認識を組み合わせる機能の開発を進めました。
■ 音認識と映像の同期判定を追加
LocaPadは、iPadのカメラで取得した映像から人の手や身体の動きを推定し、動作や所作を判定するオフラインAIシステムです。
今回、iPadのマイクから取得した音を解析する機能を追加しました。
音認識にはAIによる分類だけでなく、波形解析や判定条件を組み合わせた処理を採用しています。
音の発生候補を検出し、映像から得られた動作のタイミングと照合することで、映像と音の両方を利用した判定を行います。
■ 二礼二拍手一礼で動作と音の照合を検証
今回の開発では、音と動作の関係が明確な「二礼二拍手一礼」を検証題材として選びました。
従来のLocaPadでは、映像からお辞儀や拍手の動作を推定し、一連の所作を確認していました。
新たな音認識機能では、柏手の音を検出し、映像上の拍手動作とタイミングを照らし合わせます。
開発当初は、既存の音分類モデルで柏手がハンマー音として分類されるなどの問題がありました。
そこで、独自の音サンプルを収集し、近距離・中距離・遠距離などの条件を考慮して学習データを追加。さらにAIの分類結果だけに依存しない判定ロジックを組み合わせることで、柏手の検出を改善しました。
今回のデモでは、柏手の音を候補として検出し、映像の動作と照合できることを確認しています。
※判定精度は対象音や撮影・録音環境によって異なります。あらゆる環境での認識を保証するものではありません。
■ LocaPadの主な特徴
1. 映像と音を組み合わせたリアルタイム判定
カメラによる動作認識とマイクによる音認識を組み合わせ、両者の発生タイミングを照合します。
2. iPad単体で動作するオフラインAI
対応するiPadの端末内でAI処理を実行します。インターネット接続を必要とせず、通信環境が制限される現場での利用にも対応できます。
3. ポーズ登録・採点機能
利用者が見本となるポーズを登録し、カメラで取得した動作と比較・採点する機能を備えています。
4. 端末内LLMによる案内
ローカルLLMを利用し、判定結果に応じた案内や質疑応答を行う機能を備えています。
5. AIと独自ロジックの併用
音認識では、AIモデルによる分類結果に加え、波形の特徴や判定条件を利用しています。用途に応じて判定方法を調整できる構成です。
■ 想定する企業向け用途
LocaPadの映像・音認識技術は、以下の分野への応用を想定しています。
・製造現場の作業確認：工具を使用する動作と発生音を照合し、作業状況の確認に活用
・技能教育・技術伝承：熟練者の動作や作業時の音を参考に、作業手順の評価を支援
・設備点検：設備の外観や動作に加え、稼働音を判定材料として利用
・研究開発：映像と音のデータを組み合わせた独自の解析・評価システムの構築
これらは今後の応用を想定した例であり、対象となる作業や音に応じた個別の技術検証が必要です。
■ 企業向けカスタマイズ開発に対応
ANGEWORKでは、LocaPadを単体アプリとして紹介するだけでなく、企業ごとの課題に対応するAIシステムの開発基盤として活用します。
製造業、産業機器メーカー、研究開発部門、生産技術部門、システム開発会社などを対象に、次のような開発に対応します。
・特定の動作や環境音を対象としたAI判定機能の開発
・映像と音を組み合わせた解析システムのPoC・技術検証
・業務に合わせた専用アプリケーションの開発
・既存システムへのAI判定機能の組み込み
・ライブラリー提供やライセンス利用の相談
実際の開発では、判定対象や周辺環境、端末の設置条件などを確認したうえで、実現可能性を検証します。
■ 今後の展開
ANGEWORKでは、LocaPadの映像・動作認識と音認識を組み合わせ、現場ごとの課題に応じた判定機能の開発を進めます。
今後も端末内AIの特徴を生かし、製造業や研究開発分野などで利用可能なオフラインAI技術の開発・検証に取り組みます。
製品・技術紹介：
https://angework.co.jp/products/LocaPad/
■ 株式会社ANGEWORKについて
株式会社ANGEWORK（読み方：エンジェワーク）は、AI、画像解析、3D、点群処理、AR、医療・研究開発支援などを手がけるソフトウェア開発会社です。
技術調査やPoCから、独自技術を利用したソフトウェアの設計・開発まで対応しています。
株式会社ANGEWORK
（読み方：エンジェワーク）
本社所在地：東京都千代田区神田練塀町73番地 プロミエ秋葉原703
URL： https://angework.co.jp/
設立：2011年4月
