NVIDIA CUDA
GPUの性能とコストを最適化する実装力
CUDA(クーダ)は、
01/概要
NVIDIAのGPUでAIを速く・安く動かす土台。その上の仕組みを、現場で使える性能とコストに落とし込む
CUDA(クーダ)とは、
ただ、GPUを
CUDAは、
02/特徴
CUDAの特徴は、計算を分担させる力と、AI向けの部品がそろっていること
ここでは、
計算を大量に同時に進める
GPUに並ぶ数千の
AI向けの部品がそろっている
CUDAの
学習から推論、小型機まで同じ土台
データセンターの
組み合わせの相性に注意が要る
GPUの世代
03/注目される背景

AIの計算資源は足りず、電力の負担も大きい。限られたGPUを使い切る力が問われている
生成AIの
GPUの数と
04/仕組み
学習環境の構築、推論の最適化、エッジへの配信と運用の3段階で、GPUを使い切る
GPUを使った
学習環境の構築
GPUでAIを
推論の最適化
学習したAIを、
エッジへの配信と運用
できあがった
学習は大型GPU、
05/CUDA上の主要ソフトウェア
CUDAの上で動く8つの仕組みと、それぞれの使いどころ
CUDAは
TensorRT(テンサーアールティー)
AIモデルを、
当社の関わり:車載
TensorRT-LLM
文章を生成する
当社の関わり:NVIDIA AI Summitで
NIM(ニム)
AIモデルを、
当社の関わり:NIMを
DeepStream(ディープストリーム)
複数のカメラ映像を
当社の関わり:車載の
Jetson(ジェットソン)
工場・車・店舗に
NVIDIAの
Isaac・Omniverse
ロボットの
当社の関わり:ロボットの
CloudXR
GPUで描いた
当社の関わり:Azure
cuDNN・cuBLAS
AIの計算で
直接使う場面は
06/活用の論点
どこで動かすか、何を最適化するか。3つの問いに答えると進め方が決まる
GPUの使い方は、
AIをどこで動かしますか
クラウドの
何を最優先にしますか
反応の速さ、
どこまで自前で作りますか
NVIDIAの
3つの問いに
07/当社の支援内容
4つの支援メニューで、診断から全社展開まで
当社の支援は、
推論エンジニアリング
GPUでの
フィジカルAIの実行基盤
ロボット・
GPUでのモデル適応
データを外に
エッジからクラウドまでのGPU運用
学習・推論・
進め方は、
診断・試作
GPU環境と
最初の1周を構築
環境の構築と
回し続ける(運用・改善)
モデルの更新、
08/当社の特長
GPUより上の層から現場まで、実測で最適化する実装パートナー
ここでは、
ボトルネックを実測で見極める
小型機のJetson Orin Nanoで
言語を変える前に、実装を最適化する
自動車メーカーの
学習はGPU、本番はCPUと分ける設計
建設業の構造設計AIでは、
Microsoftの基盤と一体で運用まで
Azureの
09/顧客価値
課題ごとに、何がどう変わるか
次の4つの
課題:推論が遅く、GPUの費用がかさむ
変化:同じ
課題:環境の組み合わせが合わず、動かない
変化:CUDAと
課題:現場の小型機で動かない
変化:モデルを
課題:作ったAIを更新し続けられない
変化:端末の
10/ユースケース・適性

製造・建設・車載・店舗・XRの現場で、AIを機械の上で動かす
GPUとCUDAを
建設・設計
構造設計AIの
自動車・モビリティ
Jetson AGX Orin
小売
Jetson AGX Orinと
製造・ロボット
ロボットの
XR・デジタルツイン
Azure上の
ものづくり(小型言語モデル)
A100 GPUの
向いているお客様
AIを動かす
向きにくいお客様
GPUのカーネル
11/想定ROI
3つの業務で、年間約1,455万円の削減を見込む試算
次の図は、
12/ガバナンス・安全

データを外に出さず、更新と切り戻しを前提に運用する
データを外に出さない学習
機密性の高い
学習と本番の環境を分ける
学習用の環境と
更新と切り戻しを仕組みにする
端末のAIを
費用と電力の監視
GPUの利用時間と
13/当社について
Microsoft基盤上のAI開発と、エッジAIの実装を続けてきた
ヘッドウォータースは、
14/はじめ方
現状を測るところから、1つの業務で小さく始める
最初のご相談
どこでAIを
現状の測定(診断)
推論の速さ、
1つの業務で試作
改善の余地が
本番化と運用
効果を確かめたうえで
15/関連ソリューション・事例
GPUで動かすAIを、現場と業務につなぐ関連サービス
CUDAは、
16/よくあるご質問
- 推論が遅く、
GPUの利用料が 増え続けている - GPU環境の
構築で、バージョンの 組み合わせが 合わず動かない - Jetsonなど
現場の小型機で、 AIを実用的な 速さで動かしたい - データを外に
出さず、閉域の 環境でAIを 学習させたい - ロボット・
建機・車載で、 AIを機械の 上で安全に 動かしたい






