熟練者の作業ノウハウを活用して手順書作成・更新の効率化を支援し、技能継承や教育への活用に貢献
日立は、製造、保守・点検など、複雑な作業工程を有する現場向けに、動画から作業手順の区切りと作業内容を自動的に抽出し、見た目が類似した工程も精度よく識別する映像AI技術を開発しました。熟練者の作業ノウハウは個人に依存しやすく、手順書作成・更新の効率化に加え、技能継承や教育に活用できる形へ整理するには多くの時間がかかります。本技術は、同じ道具や部品が映り続け、1枚の画像だけでは見分けにくい作業工程でも、連続する映像から手の動きや対象物の変化を時系列で捉え、AIで分析します。これにより、見た目が類似した作業工程でも、フレーム単位の手順識別精度*1を従来の画像や文章の類似度に基づく手法と比べて約73％向上しました。さらに、動画を手順単位に分割する際、現場で保有する簡易的な手順情報を補助的に活用することで、各手順の開始・終了時刻を人手で詳細に指定することなく自動で推定できます。これにより、熟練者の作業動画を手順書作成・更新の効率化に加え、技能継承や教育に活用しやすい形へ整理できます(図1)。
今後、日立は、お客さまとの協創を通じて本技術の有効性を検証し、複雑な作業工程を有するさまざまな現場へと適用領域を拡大していきます。さらに、現場に蓄積されたOTナレッジにAIを組み合わせることで、Lumada 3.0を実現する技術の一つとして強化していきます。これにより、現場業務の持続可能な運用や、人財育成・技能継承の高度化に貢献していきます。
図1 手順書作成・更新の効率化と教育への活用につなげる本技術のイメージ
*1 動画の各フレームがどの手順に対応するのかを、どれだけ正確に識別できるかを示す指標 (MoF: Mean over Frames)。
背景および課題
製造、保守・点検などの複雑な作業工程を有する現場では、技能継承と作業品質の維持・向上が重要な課題となっています。文章ベースで手順書を作成しても、手元の微細な動きは文字だけでは伝わりにくいうえ、作成者による記述のばらつきや作成負担の大きさが課題でした。そのため、直感的な「作業動画」の活用が期待されています。しかし、映像解析で自動化しようとしても、隣接する工程で同じ部品や道具が映り続けるため、見た目だけでは工程を区別しにくいという技術的な壁がありました。一方で、動画を見ながら各手順の区切り(開始・終了時刻)を人手で設定すると、作成者の負担が膨大となります。結果として、現場動画を手順書の整備や技能継承、教育に十分活用しきれないことが大きな課題となっていました。
課題を解決するために開発した技術・ソリューションの特長
そこで日立は、動画から作業手順の区切りと作業内容を抽出し、見た目が類似した工程も精度よく識別する映像AI技術を開発しました。開発した技術の特長は以下の通りです。
1. 人手による時間ラベル付けの負担を減らす作業手順抽出技術
本技術は、動画から手の動きや道具、対象物、場所などの作業情報を抽出し、それらの関係を構造化して時系列に分析します。さらに、現場で既に保有している作業名や簡易的な手順リストを補助情報として活用し、動画からどの時間帯がどの作業に対応するかを推定することで、各手順の開始・終了時刻を人手によって詳細にラベル付けをすることなく、動画を手順単位に分割できます。これにより、作業の工程変更時にも動画整理や学習データ整備の負担を抑え、手順書作成・更新の効率化を支援します。
2. 見た目が類似した作業工程の違いを捉える時間変化分析技術
作業現場の動画では、隣接する手順で同じ作業者や道具、部品などの対象物が映り続けるため、1枚の画像や画像と文章の類似度だけでは手順の違いを識別できない場合があります。本技術は、連続する複数のフレーム単位で、作業者の手や使用した道具がどの対象物に触れ、操作対象がどのように移動し、変化したかをAIで分析し、作業の進行に伴う時間的な特徴を捉えます(図2)。これにより、見た目がよく似た工程でも識別精度を向上させ、細かな違いまで理解する必要がある作業の整理や教育に役立てることができます。
図2 見た目が似た工程を識別する本技術のイメージ
3. 手順書作成・更新の効率化や知識共有に活用しやすくする説明文抽出技術
本技術は、動画を作業手順単位に分割するだけでなく、各区間の作業内容を説明文として抽出できます。これにより、熟練者の作業動画を、手順書作成・更新の効率化に加え、技能継承や教育に活用しやすい形へ整理できます。現場ごとの作業内容や対象物の違いに応じて、動画と簡易的な手順情報を組み合わせながら知識を整理できるため、非熟練者への教育や知識共有に活用しやすくします。
確認した効果
本技術の有効性は、一般公開されている作業データセットと、日立が独自に構築したデータセットの2つを用いて評価しました。一人称視点の一般的な作業動画データセット*2を用いた基本性能の検証では、作業動画と手順リストのみ(開始・終了時刻なし)から手順の区切りを推定したところ、従来手法に比べて手順抽出性能を約35％向上できることを確認しました*3。また、動画から作業説明文を生成する質も向上しました*4。
さらに、医療機器や精密電子機器などの複雑な組立作業を対象とした独自のデータセット「EgoIndAssembly」を新たに構築し、変化の少ない手元作業の識別性能を評価しました。その結果、見た目が類似した工程であっても、フレーム単位の手順識別精度を従来手法に比べて約73％向上しました*5。これにより、人手によって詳細な時間ラベル付けをすることなく、手順書作成・更新に活用できる基本性能の高さに加え、現場特有の「見た目が類似した複雑な工程」も識別できることを確認しました。
*2 作業動画データセット「EgoYC2」での評価。各動画には順序付きの作業説明文と、評価用の正解時間区間が付与されている。本評価では、開始・終了時刻を含まない順序付き作業説明文を入力として用いた。
*3 推定した手順区間と正解区間の時間的な重なりを評価する指標により算出。厳しい時間一致条件であるIoU 0.8のF1スコアにおいて、提案手法は15.13となり、従来手法DIBS (VLM)の11.23と比べ約35％向上した。
*4 動画説明生成の評価指標CIDErにより算出。提案手法は19.62となり、従来手法DIBS (VLM)の17.32と比べ約13％向上した。
*5 医療機器や精密電子機器などの組立作業を対象として新たに構築した一人称視点動画データセット「EgoIndAssembly」での評価。総時間約13.6時間、計49,036フレーム、222本の動画からなる。フレーム単位の手順識別精度を示すMoFにおいて、提案手法は0.435となり、従来手法H3の0.251と比べ約73％向上した。
今後の展望
今後、日立は、お客さまとの協創を通じて本技術の有効性を検証し、複雑な作業工程を有するさまざまな現場へと適用領域を拡大していきます。具体的には、手順書作成・更新の効率化に加え、熟練者の技能継承や作業教育に活用できるサービスへの展開をめざします。その一つとして、次世代AIエージェント「Naivy*6」が扱う作業センシングデータや分析・可視化機能との連携も検討していきます。さらに、映像や手順文書などのITデータと、現場に蓄積されたOTナレッジにAIを組み合わせることで、Lumada 3.0を実現する技術の一つとして強化していきます。これにより、現場業務の持続可能な運用や、人財育成・技能継承の高度化に貢献していきます。
なお、本成果の一部は、2026年6月に米国で開催されたThe IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR 2026)のワークショップで発表した*7ほか、2026年9月13日から17日にフィンランドで開催されるThe IEEE International Conference on Image Processing (ICIP 2026)で発表予定*8です。
*6 現場作業における心理的負担軽減と作業効率化を支援する次世代AIエージェント「Frontline Coordinator - Naivy」を開発：2025年7月3日
*7 Tatsuya Sasaki; “EgoIndAssembly: Diagnosing Fine-Grained Temporal Hand Reasoning in Vision-Language Models for Skilled Assembly”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 8894-8902
*8 Takuya Kobayashi; Tatsuya Sasaki; Yoshiki Ito; Takayuki Akiyama,” Caption-Guided Graph-Structured Action Segmentation for Weakly Supervised Egocentric Dense Video Captioning”, IEEE International Conference on Image Processing (ICIP), 2026.
関連情報
日立の研究開発ウェブサイト
照会先
株式会社日立製作所 研究開発グループ
問い合わせフォームへ