HOME/ビジネス/AIソリューション/VLM（視覚言語モデル）

VLM（視覚言語モデル）
現場の画像・⁠映像を判断と行動につなぐVLM実装

VLMは、カメラの画像や映像を読み取り、何が起きているかを言葉で説明したり、決められた基準で判定したりできるAIです。当社は、クラウドのVLMを使った短期間の検証から、現場の端末で動かすための軽量化、映像の前処理、マニュアルや業務ルールとの照合、業務に合わせた学習、業務アプリや機器の制御への接続までを担います。

01/VLMとは

VLM（視覚言語モデル）とは：画像を見て、言葉で説明・⁠判定するマルチモーダルAI

VLM（Vision-Language Model：視覚言語モデル、画像言語モデルとも呼ばれます）は、画像や映像と文章をあわせて理解し、文章で答えを返すAIです。文章だけを扱う生成AI（大規模言語モデル、LLM）に「目」を加えたもので、画像・⁠映像・⁠音声・⁠文章など複数の種類のデータを扱うマルチモーダルAIの代表的な形です。「この写真に危険な箇所はあるか」「この場面は社内の基準に当てはまるか」と文章で問いかけると、画像の内容を踏まえて説明や判定を返します。

従来の画像認識AIは、「人」「車」「傷」のように、あらかじめ決めた対象を見つけて枠で囲むことが得意です。VLMは、それに加えて「夜間の雨で、歩行者が車の陰から出てきそう」のような、複数の要素が重なった状況や、言葉で書かれた基準に照らした判断を扱えます。代表的なモデルには、MicrosoftのPhi-4-multimodal、オープンソースのLLaVA、InternVL、Qwen-VLなどがあり、クラウドで使うものから、小型の端末で動くものまであります。当社のVLMの取り組みは、フィジカルAIやエッジAI開発の土台にもなっています。

VLMの入力と出力
入力：画像・⁠映像と問いかけ カメラの画像・⁠動画図表や写真を含む文書「危険な箇所はあるか」などの問いかけ判定の基準・⁠出力の形式の指定
→
VLM（視覚言語モデル） 画像の中身を読み取る問いかけと画像を結びつけて考える答えを文章でまとめる
→
出力：言葉での説明・⁠判定 場面の説明（キャプション）基準に照らした判定と理由対象物の位置や数報告書・⁠指摘事項の下書き
観点 従来の画像認識AI VLM 得意なこと 決めた対象（人・⁠車・⁠傷など）を見つけ、数える 複数の要素が重なった状況や、言葉で書かれた基準に照らした判断 新しい判定の追加 対象ごとに大量の画像を集めて学習させ直す 問いかけ（指示文）の変更や少ないデータでの追加学習で対応しやすい 結果の形 枠の位置・⁠ラベル・⁠確からしさの数値 説明・⁠判定の理由・⁠報告の文章（位置の情報もあわせて扱える） 向く場面 同じ対象を高速・⁠大量に見つけ続ける 状況の理解、ルールとの照合、人への説明が必要な場面
VLMを使うメリット
状況を言葉で理解する 「何が写っているか」だけでなく、「どんな状況か」「危ないか」を文章で返せます。
基準の変更に強い 判定の条件を言葉で指示できるため、基準が変わったときの手直しが小さく済みます。
少ないデータで始められる まず既存のモデルに問いかけ方を工夫して試し、必要な分だけ業務の画像で追加学習します。
判定の理由が分かる 判定とあわせて理由を文章で出せるため、担当者が結果を確かめやすくなります。
現場の端末でも動く 軽量なモデルを使えば、ネットワークが不安定な現場や、データを外に出せない環境でも動かせます。
業務の流れにつなげられる 判定の結果を、社内の資料との照合、通知、報告書の作成、機器の制御につなげられます。

02/注目される背景

労働力の減少とフィジカルAI：AIロボティクス戦略・⁠マルチモーダル基盤モデル開発事業

働き手が減るなかで、工場、建設現場、物流、インフラ点検などの現場の作業をAIとロボットで支える取り組みが、国の戦略として進んでいます。現場のAIには、カメラやセンサーで状況を捉え、理解する力が欠かせません。国の公表資料が示す動きを整理します。

国の戦略 AIロボティクス戦略（2026年3月決定・同年8月改訂） AIロボティクスの社会実装に向けた政府の方向性として、関係府省の連絡会議が取りまとめました。経済産業大臣は2026年6月の会見で、2040年のロボットの導入台数の目標を約1,000万台とし、ユーザー企業の導入支援や中核拠点の創設に取り組むと述べています。 AIロボティクスに関する関係府省連絡会議／経済産業省（2026年）
国の研究開発事業 AIロボット・⁠フィジカルAIを見据えたマルチモーダル基盤モデル開発事業（2026年度〜2030年度） 経済産業省とNEDOが、音声・⁠画像・⁠動画・⁠センサーのデータを扱う国産のマルチモーダル基盤モデルの開発を始めました。現場のデータを守りながら活用すること、AI利用の省電力化を課題として挙げ、労働力の減少を乗り越える形でフィジカルAIの導入を加速するとしています。 経済産業省・⁠NEDO（2026年6月30日発表）
現場の省人化とフィジカルAIをめぐる国の動き
2024年4月 i-Construction 2.0 国土交通省が、2040年度までに建設現場の省人化3割・⁠生産性1.5倍を目標に掲げました。
→
2026年3月 AIロボティクス戦略 AIロボティクスの社会実装に向けた政府の方向性を決定しました。
→
2026年6月 マルチモーダル基盤モデル開発事業 画像・⁠動画・⁠センサーを扱う国産の基盤モデルの開発が始まりました。
→
2026年8月 AIロボティクス戦略の改訂 政府の方向性が改訂され、取り組みが続いています。
国土交通省・⁠経済産業省・⁠AIロボティクスに関する関係府省連絡会議の公表資料の記載をもとに作図

国が開発を後押しするマルチモーダル基盤モデルは、言語だけでなく画像・⁠動画・⁠センサーのデータを扱うAIで、VLMはその中心にある技術です。現場で使うには、モデルを選ぶだけでなく、現場の端末で動かすこと、現場のデータを外に出さないこと、マニュアルや安全ルールと照らし合わせること、判断の結果を作業の指示や機器の動きにつなぐことが求められます（03 仕組み）。

03/仕組み

VLMを業務で使うときの流れ：映像の下ごしらえから、業務ルールとの照合・⁠通知まで

業務でVLMを使うときは、映像をそのままAIに渡すのではなく、判定に必要な場面を切り出してから読み取らせます。読み取った内容は、マニュアルや業務ルールと照らし合わせ（RAG：社内の資料を探して答えに使う仕組み）、結果を画面への表示、音声での警告、担当者への通知、機器の制御につなげます。

処理の流れ
1 映像の下ごしらえ 動画を場面ごとに分け、判定に必要なコマや範囲を切り出します。
→
2 VLMで読み取る 決めた問いかけ方と出力の形式で、場面の説明や判定を出します。
→
3 業務の知識と照らす マニュアル、安全ルール、過去の事例と照らし合わせ、判断の根拠をそろえます。
→
4 伝える・⁠動かす 画面の表示、音声の警告、担当者への通知、報告書の作成、機器の制御につなげます。
できること 内容 業務での使い道 場面の説明画像キャプション 画像に写っている状況を文章で説明します。 製造ラインの画像から作業の状況を言葉にし、作業員へ指示や注意を届ける 画像についての質問への回答VQA（Visual Question Answering） 「保護具を着けているか」などの問いに、画像を見て答えます。 点検写真・⁠施工写真の確認項目を、問いかけの形で一つずつ確かめる 状況・⁠危険の判定状況認識 天候、明るさ、人や車の動きなど、複数の要素を合わせて状況を判断します。 車載カメラの映像から危険の兆しを捉え、運転者へ音声で知らせる 位置・⁠配置の把握空間認識・⁠グラウンディング 対象物がどこにあり、ほかの物とどんな位置関係にあるかを扱います。 建設現場で、安全設備が決められた場所にあるかを確かめる 動画の理解シーン分割・⁠フレーム抽出との組み合わせ 長い動画から必要な場面を選び、内容を判定します。 ゲームや映像作品の表現が、審査の基準に当てはまるかを事前に確かめる 図表を含む文書の理解マルチモーダルRAG・⁠文字の読み取り（OCR）を使わない検索 文書の図表・⁠写真・⁠レイアウトごと読み取り、検索や回答に使います。 図面やマニュアル、帳票を含む社内資料を、AIの回答の根拠として使う 現場の端末での実行エッジVLM・⁠軽量化 モデルを小さくして、カメラの近くの小型の端末で動かします。 通信が不安定な工場・⁠車両・⁠屋外で、その場で判定して知らせる

04/使いどころ

クラウドVLMとエッジVLMの使い分けと、段階的な進め方

VLMには、クラウドで動く高性能なモデルと、カメラの近くの小型の端末（エッジ）で動く軽量なモデルがあります。まず高性能なクラウドのモデルで「VLMで判定できるか」を確かめ、見通しが立ったら、軽量なモデルを業務に合わせて学習させて現場へ移す、2段階の進め方が現実的です。

2段階の進め方
段階1 クラウドの高性能なVLMで、判定できるかを確かめる GPT-4oなどの汎用のモデルで、業務の画像・⁠映像を判定できるか、どんな問いかけ方が合うかを短期間で確かめます。Microsoft Foundryなどのクラウドの環境を使います。
短期間で試せる問いかけ方の設計判定の精度の確認
→
段階2 軽量なVLMを業務に合わせて学習させ、現場の端末へ移す 画像の特徴を数値にする軽量な仕組み、端末内の資料検索、業務の画像での追加学習を組み合わせ、NVIDIA Jetsonなどの端末で動かします。
低い遅延データを外に出さない運用コストの抑制
観点 クラウドVLM エッジVLM（現場の端末） 向く場面 判定できるかの見極め、複雑な判断、文書の理解 その場ですぐ知らせる必要がある判定、常時の監視 応答の速さ 通信の時間がかかる カメラの近くで処理するため速い データの扱い 画像をクラウドに送る（環境の設計で保護する） 画像を現場の外に出さずに処理できる 通信の環境 安定した通信が必要 通信が不安定・⁠オフラインでも動く 費用の考え方 使った量に応じて費用がかかる 端末の導入費用がかかり、使う量が多いほど割安

05/当社の支援内容

VLMの評価・⁠検証から、業務特化・⁠エッジ実装・⁠業務と機器への接続・⁠運用までの6つの支援メニュー

当社は、VLMの製品を販売するのではなく、お客様の画像・⁠映像の業務に合うモデルを選び、業務のシステムに組み込みます。必要なメニューから始められます。

支援の流れ
評価 支援1
→
検証 支援2
→
業務特化・⁠現場実装 支援3・⁠4
→
業務・⁠機器への接続と運用 支援5・⁠6
伴走体制：X-Tech FDEのエンジニアが、現場の条件と業務の流れを確かめながら設計から実装まで伴走します
支援1 VLMの評価 対象の業務、使えるモデル、求める精度、費用、使う端末を整理し、VLMで実現できるかを評価します。 組み合わせるサービス：X-Tech FDE
支援2 マルチモーダルの短期検証 画像・⁠映像・⁠文章・⁠センサーのデータを組み合わせ、クラウドのVLMで短期間に検証します。 組み合わせるサービス：Microsoft Foundry、HWS Agent Camp
支援3 VLMの業務特化 問いかけ方の設計、例示、社内資料との照合、追加学習、3Dで生成した学習用の映像（合成データ）で、業務に合わせて精度を高めます。 組み合わせるサービス：RAG、SLMアプリ開発
支援4 エッジVLMの実装 モデルの軽量化と、使わない機能を外してメモリを減らす工夫で、NVIDIA Jetsonなどの端末で速く動かします。 組み合わせるサービス：エッジAI開発、NVIDIAソリューション
支援5 業務と機器への接続 判定の結果を、確認・⁠指摘の画面を持つ業務アプリ、通知、音声の警告、ロボットや車両の制御につなげます。 組み合わせるサービス：フィジカルAI、Agentic Work Flow
支援6 運用と統制 精度の評価、稼働の見守り、再学習、記録、安全のための制御を設計します。 組み合わせるサービス：Physical AI Harness、Human-in-the-Loop

06/特長

見る・⁠知る・⁠考える・⁠確かめる・⁠動かすをつなぐ、知覚エンジンとしてのVLM

当社は、VLMを現場の「目」として位置づけ、業務の知識、判断、安全の確認、現場での実行とつなげて設計します。この考え方は、当社のフィジカルAIサービスの階層の整理に基づいています。

VLMを起点にした5つの層
見る VLM・⁠マルチモーダルの認識 カメラの映像と言葉の理解を合わせ、現場の状況を言葉にします。
知る 社内資料・⁠業務ルール マニュアル、設計図、現場のルールをRAGで照らし合わせ、判断の根拠にします。
考える AIエージェント・⁠業務の流れ あいまいな指示を手順に分け、AIエージェントが調べて判断します。
確かめる 行動の前の確認 Physical AI Harnessで、AIの判断を実行の前に承認・⁠停止・⁠人の確認へ振り分けます。
動かす 現場の端末・⁠機器・⁠業務アプリ 端末での即時の処理で、通知、画面の切り替え、ロボットや車両の制御につなげます。
当社フィジカルAIサービスの8つの階層をもとに、VLMに関わる部分を抜き出して作図
モデルを固定しない Phi、LLaVA、InternVL、MiniCPM、Florence、Qwen系などを、用途、端末のメモリ、位置の把握の得意さ、動画への対応、利用条件、費用で選びます。
VLMと文章生成を分けて設計する 画像の特徴を数値にして端末内の資料と照らし、文章が必要な場面だけ生成AIを使います。画面の切り替えなどは文章を介さずに制御し、速さ、結果の安定、費用を両立します。
少ないデータでも業務に合わせる 問いかけ方の調整、動画での追加学習、少量のデータで学習しても元の能力を保つ手法、3Dで生成した映像（合成データ）を組み合わせます。
限られた端末で動かす NVIDIA Jetson Orin Nano上でのVLMの検証や、メモリ12GBのGPUで画像と文章を扱うモデルを動かす工夫など、端末の制約の中で動かす技術を持っています。
認識で終わらせない 判定の結果を、業務アプリ、音声の警告、画面の切り替え、ロボットや車両の制御まで、現場の行動につなげて設計します。
評価の観点をそろえる モデルごとの判定の精度、処理の速さ、誤った説明の出やすさ、費用を比べ、ノートPCでの処理速度の見通しなど、現場の条件で確かめます。

07/取り組み事例

車載カメラ・⁠製造ライン・⁠建設現場・⁠ゲーム映像・⁠文書でのVLM活用

映像と現場の判断を伴う業務で、VLMの選定、検証、エッジでの実装、業務システムの設計に取り組んできました。提案資料・⁠社内記録が根拠の顧客は業種で紹介します。

対象・⁠テーマ 取り組み内容 自動車メーカー車載カメラの映像を使うサービスの先行開発VLM／エッジ処理／クラウドでの見守り／RAG・⁠追加学習／運用設計 車載カメラの映像に生成AIを使う先行プロトタイプとして、VLM、エッジでの処理、クラウドでの見守り、社内資料との照合と追加学習、運用の5つのテーマをまとめて提案し、ユースケースの検証とアーキテクチャの設計を進めています。全国展開を想定し、端末とクラウドの処理の分担、計算の費用、端末の選定、精度、応答の速さまで含めて設計しました。最初に汎用のVLMで実現できるかを確かめ、次に軽量なモデルと端末内の資料検索、追加学習を組み合わせて車載向けに最適化する2段階の進め方です。 モビリティカメラ映像からの危険の兆しの検知Phi-3.5-Vision／Phi-4-Multimodal／InternVL2.5／MiniCPM／Florence-2 夜間、雨、対向車、歩行者、前方の車など複数の状況をまとめて捉え、危険を音声で知らせる仕組みを実装・⁠検証しました。問いかけ方の調整、動画での追加学習、端末上のVLM、少量のデータでの学習、3Dで生成した映像での学習データの補完に取り組み、複数のモデルを比べています。従来の物体検知やセンサーでは捉えにくい、人の行動と環境が重なった状況の理解が中心です。 製造業（公開）製造ラインの画像から作業指示・⁠危険予知を通知LLaVA／NVIDIA Jetson Orin NX／シーメンス SIMATIC IPC LLaVA Edge Visionは、製造ラインのカメラ画像に対してVLMが説明文を生成し、作業員のタブレットやスマートフォンに作業指示や危険予知を通知する、工場向けのエッジ生成AIソリューションです。シーメンスのBox PCとNVIDIAのエッジ端末を使って開発しました。 建設会社施工管理の標準化に向けた安全設備の検知マルチモーダルAI／物体認識 建築現場の画像から層間の養生や親綱などの安全設備を検知し、対象に応じた指摘事項を出すマルチモーダルAIを設計しています。従来の物体認識では難しかった対象をVLMで補い、精度を高めた後は危険物を検知する業務アプリへ広げる計画です。熟練者の不足や品質のばらつきといった施工管理の課題に向けた取り組みです。 ゲーム会社ゲーム映像のレーティング審査の支援Phi-4-Multimodal／シーン分割・⁠フレーム抽出 ゲームの動画を場面ごとに分けてコマを取り出し、VLMで暴力表現などを判定する仕組みを設計しています。動画のアップロード、前処理、判定の問いかけ方、出力の形式、業務システムへの組み込みまでを含み、当社の不良品検知AIで培った画像の切り出しと判定の連携の経験を生かしています。 電機メーカー画像・⁠帳票を含む社内資料の活用Azure AI Content Understanding／Document Intelligence／VLM 画像、音声、動画、帳票を含むマルチモーダルの活用と、社内資料を使ったAIの回答の精度向上を整理し、支援の進め方として組み立てています。複雑な文書を文字に起こさず、画像のまま検索・⁠理解する方式も検討の対象にしています。
公開している関連の取り組み
産業用エッジ生成AIソリューション「LLaVA Edge Vision」を開発
エッジ生成AI・⁠製造 産業用エッジ生成AIソリューション「LLaVA Edge Vision」を開発 シーメンスとNVIDIAの技術を使い、製造ラインのカメラ画像から作業指示や危険予知を通知するソリューションを開発しました（2024年5月）。
NVIDIA Jetson Orin Nano上で稼働するSLMとVLMの検証
公開検証・⁠エッジ NVIDIA Jetson Orin Nano上で稼働するSLMとVLMの検証 オープンソースのVLM「LLaVA」を4ビットに軽量化して小型の端末で動かし、画像・⁠映像・⁠文章を現場で処理する検証を行いました（2024年3月）。

08/顧客価値

目視確認・⁠判断のばらつき・⁠見逃し・⁠記録づくりの負担の軽減と、役割別の効果

よくある課題 VLMでの対応 得られる価値 人の目での確認に時間がかかる VLMが画像・⁠映像を先に確かめ、気になる箇所だけを人に回す 確認の時間の短縮と、人が判断に集中できる体制 担当者によって判断がばらつく 判定の基準を問いかけとして定め、同じ基準で判定する 品質のそろった判定と、判断の根拠の記録 複数の要素が重なる危険を見逃す 天候・⁠明るさ・⁠人や物の動きを合わせて状況を判断する 事故や不具合の兆しへの早い気づき 基準が変わるたびにAIを作り直す 問いかけ方の変更と少量の追加学習で対応する 変更にかかる期間と費用の抑制 報告書・⁠指摘事項の作成が負担 判定の結果から説明文や指摘事項の下書きをつくる 記録づくりの時間の削減と、記録の抜け漏れの防止
現場の責任者 目視の確認や見回りの負担が減り、人は判断と対応に集中できます。
品質・⁠安全の管理部門 同じ基準での判定と記録がそろい、品質と安全の管理を標準化できます。
情報システム部門 クラウドと端末の分担、データの置き場所、モデルの更新を、全体の設計の中で管理できます。
経営企画・⁠DX推進 人手に頼る確認の業務を減らし、省人化と技能の継承を進められます。

09/業界ユースケース

製造・⁠自動車・⁠建設・⁠ゲーム・⁠物流・⁠インフラ点検・⁠小売・⁠文書業務での活用例と、向いている企業

業界 よくある状況 業務での使い道 製造 外観や作業の確認を人の目に頼り、熟練者が足りない 作業の状況の説明、作業指示や危険予知の通知、外観の確認（製造業向けAI） 自動車・⁠モビリティ 車載カメラの映像から、複雑な状況をその場で判断したい 危険の兆しの検知と音声での警告、車内の画面の切り替え 建設 施工写真の確認と安全の指摘に時間がかかり、品質がばらつく 安全設備の有無の確認、指摘事項の作成、施工管理の標準化 ゲーム・⁠映像 映像の表現の審査を、長時間の視聴に頼っている 場面の切り出しと、審査の基準に照らした事前の判定 物流・⁠倉庫 荷物の状態や作業の安全を、人が見回って確かめている 荷物や棚の状態の把握、ロボットや搬送車への指示 インフラ点検 点検の画像を見て、報告書をつくる作業が多い 劣化の箇所の説明、点検の報告書の下書き 小売 売り場の状態を、店員が見回って確かめている 棚の欠品や陳列の状態の把握（店舗のAIカメラの事例の知見を活用） 全業種（文書業務） 図面・⁠写真・⁠帳票を含む資料が、AIの回答に使われていない 図表ごと読み取る資料の検索と、AIの回答の根拠づけ
向いている企業 ・⁠カメラの画像・⁠映像を、人が見て判断している業務がある・⁠判定の基準が言葉で書かれている、または書き起こせる・⁠通信が不安定な現場や、データを外に出せない環境で使いたい・⁠判定の結果を、通知・⁠報告・⁠機器の制御までつなげたい
向きにくい企業 ・⁠決まった対象を高速に数えるだけで足りる（従来の画像認識AIが向く）・⁠業務の画像・⁠映像を集められない、または使う許可が得られない・⁠判定の誤りが許されず、人の確認を入れる余地がない

10/想定ROI

目視確認・⁠映像の審査・⁠施工写真の確認・⁠点検報告の作成時間の削減試算

業務 前提 導入前 導入後 削減 製造ラインの作業・⁠外観の目視確認 ライン1本、確認の作業 月160時間。VLMが先に確かめ、気になる場面だけ人が見る 月160時間 月64時間 −60% 施工写真の確認と指摘 現場1か所、写真の確認と指摘事項の作成 月40時間 月40時間 月20時間 −50% ゲーム映像の表現の事前確認 1タイトル、映像の視聴と記録 60時間。判定の候補の場面だけを人が確かめる 60時間 30時間 −50% 点検の報告書の作成 点検1件、画像の整理と報告書の作成 2時間 2時間 0.5時間 −75%
前提を置いた試算です。現行の作業時間と判定の精度は、検証の段階で実測し、対象の業務と端末の構成を決めます。

11/他の手段との違い

従来の画像認識AI・⁠汎用の生成AIサービスとの比較

観点 従来の画像認識AI 汎用の生成AIサービスをそのまま使う 当社のVLM実装 判断できること 決めた対象の検出・⁠数え上げ 幅広い状況を説明できるが、業務の基準とのずれが出やすい 業務の基準・⁠社内資料と照らした判定と理由 基準の変更 学習のやり直しが必要 指示の変更で対応できるが、結果が安定しにくい 問いかけの設計と少量の追加学習で、安定させて変更する 動かす場所 端末・⁠クラウドの両方 主にクラウド クラウドで検証し、必要に応じて端末へ移す データの扱い 環境の設計による 画像を外部のサービスに送る 端末内の処理やお客様の環境で、データの置き場所を設計する 業務への組み込み 検出の結果の連携が中心 人が画面で使う形が中心 業務アプリ・⁠通知・⁠機器の制御まで設計する 運用 精度の見直しは別途 サービスの仕様の変更の影響を受ける 評価・⁠見守り・⁠再学習・⁠記録を設計に含める

12/ガバナンス

映像データの扱い・⁠誤判定への備え・⁠評価の指標・⁠人の確認と記録

映像に写る人の情報の扱い 顔や車のナンバーなど、映像に写る個人の情報について、撮影の目的、保存の期間、ぼかしの処理、見られる人の範囲を決めます。
データを外に出さない構成 端末内での処理や、お客様のクラウドの環境での処理を選び、画像の置き場所を設計します。利用者の認証はMicrosoft Entra IDで管理できます。
誤判定への備え 見逃しと誤った警告のどちらを重く見るかを業務ごとに決め、重要な判定には人の確認を入れます。AIが実際にない内容を説明する「もっともらしい誤り」を抑える問いかけ方も設計します。
評価の指標をそろえる 判定の精度、見逃しと誤った警告の割合、位置の正確さ、処理の速さ、端末のメモリ、映像1時間あたりの処理の費用、明るさや天候ごとの性能、結果の安定を測ります。
行動の前の確認 機器や車両の制御につなぐ場合は、Physical AI Harnessの考え方で、AIの判断を実行の前に承認・⁠停止・⁠人の確認へ振り分けます。
記録と見直し 判定の結果と根拠を記録し、モデルの更新や基準の変更のたびに精度を確かめ直します。全社のルールはAIガバナンスとあわせて整えます。

13/当社について

NVIDIA・⁠Microsoft・⁠Armのパートナーとしてのエッジ生成AIの実装力

NVIDIAのパートナー 映像解析のNVIDIA Metropolisパートナー、NVIDIA Omniverse Partner Council Japanへの参画、NVIDIA Partner Networkの認定など、NVIDIAの技術を使った現場のAIの実装に取り組んでいます。
Microsoftのソリューションパートナー Azureの認定ソリューションパートナーとして、Microsoft FoundryやAzure OpenAI Serviceを使った車載エッジAIエージェントなどの開発を進めています。
Armのパートナープログラムへの参画 Arm AI Partner Programに参画し、省電力な端末に合わせたエッジAIを展開しています。
エッジ生成AIの早い時期からの取り組み 2024年から小型の端末でVLMを動かす検証を始め、シーメンス、NVIDIA、菱洋エレクトロとともにLLaVA Edge Visionを展示しました。2025年には次世代フィジカルAI市場への参入を発表しています。

14/はじめ方

対象業務の整理からクラウド検証・⁠現場展開までの5ステップのスタートプラン

STEP 1 対象業務と映像の整理 人が画像・⁠映像を見て判断している業務と、判定の基準、使える映像を整理します。
STEP 2 クラウドでの検証 高性能なVLMで判定できるかを確かめ、現行の作業時間と判定の精度を測ります。
STEP 3 モデルと構成の決定 精度、速さ、費用、データの扱いから、クラウドと端末の分担とモデルを決めます。
STEP 4 業務特化と現場での試行 問いかけ方の調整や追加学習で精度を高め、現場の端末や業務アプリで試します。
STEP 5 展開と運用 対象の拠点や業務を広げ、評価・⁠見守り・⁠再学習の仕組みで運用します。
まず試作で確かめたい場合 専門のエンジニアが伴走する2日間の集中開発HWS Agent Campで、画像を読み取って判断するAIの試作を短期間でつくれます。

15/関連ソリューション

Physical AI Harness

AIの判断を、物理世界へ安全につなぐ

Physical AI Harness. AIの提案する動作を実行前に承認・⁠停止・⁠人の確認へ振り分け、判断の記録を残すフィジカルAIの安全の基盤です。

NVIDIAソリューション

GPUからエッジAIまで、NVIDIAの技術で

NVIDIAソリューション. Jetson、Metropolis、Omniverseなどを使い、エッジAI・⁠映像解析・⁠デジタルツインを支援します。

エッジAI開発

現場で動くAIを、開発から展開まで

エッジAI開発. 映像解析・⁠音声・⁠センサーのエッジAIを、Jetsonなどの端末に合わせて開発します。

SLMアプリ開発

軽量な生成AIを、端末やオフラインで使う

SLMアプリ開発. Phi系などの小規模なモデルを業務向けに調整し、端末やオフラインの環境で動くアプリを開発します。

Microsoft Foundry AIエージェント開発

Azure上で、AIを作り運用する

Microsoft Foundry AIエージェント開発. モデルの選定・⁠評価・⁠セキュリティから、運用中の改善までを支援します。

Human-in-the-Loop

人の確認を、AIの流れに組み込む

Human-in-the-Loop. AIの判断に人の確認と承認を挟む業務の流れを設計します。

HWS Agent Camp

現場の業務を、2日間で試作する

HWS Agent Camp. 専門のエンジニアが伴走する2日間の集中開発で、AIのプロトタイプを構築します。

X-Tech FDE

対象業務と現場の条件を、先に設計する

X-Tech FDE. 対象業務、データ、権限、例外、品質の要件、導入と定着を、お客様とともに設計します。

16/よくあるご質問

Q. VLM（視覚言語モデル・⁠画像言語モデル）とは何ですか。 A. 画像や映像と文章をあわせて理解し、内容の説明や判定を文章で返すAIです。Vision-Language Modelの略で、文章だけを扱う生成AIに画像を理解する力を加えた、マルチモーダルAIの代表的な形です。
Q. 従来の画像認識AIとの違いは何ですか。 A. 従来の画像認識AIは決めた対象を見つけて数えることが得意です。VLMは、複数の要素が重なった状況の理解や、言葉で書かれた基準に照らした判断、判定の理由の説明ができます。両方を組み合わせて使うこともあります。
Q. マルチモーダルAIやLMMとは違うものですか。 A. マルチモーダルAIは、画像・⁠音声・⁠文章など複数の種類のデータを扱うAIの総称です。LMM（大規模マルチモーダルモデル）もほぼ同じ意味で使われます。VLMはその中で、主に画像・⁠映像と文章を扱うものを指します。
Q. 学習用の画像がたくさん必要ですか。 A. 多くの場合、まず既存のモデルへの問いかけ方を工夫して試します。精度が足りない場合に、業務の画像での追加学習や、3Dで生成した映像（合成データ）で補います。
Q. インターネットにつながらない現場でも使えますか。 A. 使えます。軽量なVLMをNVIDIA Jetsonなどの端末で動かせば、通信が不安定な現場やオフラインの環境でも判定できます。当社はJetson Orin Nano上でのVLMの検証を2024年から行っています。
Q. どのモデルを使いますか。 A. 特定のモデルに固定しません。Phi、LLaVA、InternVL、Qwen系などから、用途、精度、端末のメモリ、動画への対応、利用条件、費用で選びます。検証ではクラウドの高性能なモデルを使うこともあります。
Q. 誤った判定が心配です。 A. 見逃しと誤った警告のどちらを重く見るかを業務ごとに決め、評価の指標で測ります。重要な判定には人の確認を入れ、機器の制御につなぐ場合は実行の前の確認を設けます。
Q. 映像に写る個人の情報はどう扱いますか。 A. 撮影の目的、保存の期間、ぼかしの処理、見られる人の範囲を決め、必要に応じて端末内やお客様の環境で処理する構成にします。
Q. どこから始めればよいですか。 A. 人が画像・⁠映像を見て判断している業務を一つ選び、クラウドのVLMで判定できるかを短期間で確かめるところから始めます。試作から始めたい場合はHWS Agent Campもご利用いただけます。

VLMの活用に関するご相談

対象の業務と映像の整理、モデルの選定、クラウドでの検証、現場の端末での実装まで、貴社の状況に合わせてご提案します。

お問い合わせ