Microsoft-Decision-1
判断スコアリングモデルとEnterprise Decision OS

• エージェントの数と処理量に比例して、確認の件数が増える
• 担当者の経験によって、判断の基準が揺れる
• 承認待ちで、処理全体の速度が決まる
• 判断の理由と履歴が、業務データとして残りにくい

• 低リスクで高頻度の判断は、判断モデルが実行する
• 確信度が低い判断は、再評価か人の確認へ回す
• 高リスクの判断は、責任者が最終判断する
• スコアと修正履歴を記録し、基準の改善に使う

生成LLM

得意なこと：文章の生成、要約、書き換え、説明、対話

判断での位置付け：判断の理由を説明する場面や、判断後の文章作成を担います。判断1件ごとの遅延と費用は、判断モデルより大きくなります。

推論モデル

得意なこと：複雑な分析、計画、多段階の問題解決

判断での位置付け：判断の前提となる分析や計画を担います。定義済みの選択肢を大量に評価する用途では、過剰になります。

Structured Output付きLLM

得意なこと：指定した形式（JSONなど）での出力

判断での位置付け：出力の形式は揃いますが、選択肢ごとの確率を判断の根拠として使う設計には、別途の工夫が必要です。

ルール・プログラム

得意なこと：確定的な条件での計算、制約、安全制御

判断での位置付け：条件が明確な判断は、ルールで処理します。曖昧な入力の分類や優先順位付けは、判断モデルが補います。

人（Human in the Loop）

得意なこと：重大・不可逆・前例のない判断

判断での位置付け：高リスクの最終判断と例外対応を担います。判断モデルは、人に回す対象を絞り込む役割です。

判断モデル

得意なこと：定義済みの選択肢に対する、確率スコアの高速・低コストな算出

判断での位置付け：ルーティング、分類、優先順位付け、検証、ワークフロー制御を担い、結果を次の処理へ直接接続します。

「これは真か」を問う

Yes／Noの条件に対して、0から1の確率を返します。

例：ツール呼び出しが本番データに触れるか、返信が返金を約束していないか、文書にプロンプトインジェクションが含まれるか。

「どの選択肢か」を問う

固定の選択肢から1つを選び、すべての選択肢の確率を返します。

例：問い合わせを請求・技術・サポートのどの担当へ回すか、意図の分類、モデルやツールの選択。

「どの程度か」を問う

順序のある尺度（例：軽微・小・大・重大）に置き、各段階の確率を返します。

例：インシデントの重大度、キューの優先順位、AI回答の品質採点。

速度

判断は1つ前の判断に依存して連なるため、遅延が積み上がります。100ミリ秒の遅れが20回の連続判断で2秒になる、とMicrosoftは例示しています。

未知のタスクへの汎化

特定のベンチマークへの過学習を避けるため、学習から隔離した多数のベンチマーク（ルーティング、ランキング、長文、多言語、推論、安全性）で評価しています。

頑健性

言い換え、選択肢の並べ替え、書式の揺れがあっても、同じ判断になることが求められます。Microsoftは8種類の摂動で、判断が変わる割合の平均が1.3%と公表しています。

確率のキャリブレーション

確率はAPIの出力そのものです。90%と出た判断が、代表的なケースで約9割当たることが、実行・保留・確認を切り替える前提になります。

安全性

有害な依頼を見分けつつ、無害な依頼を不必要に止めないことが求められます。11のベンチマークの5,250件の依頼で評価したと公表されています。

モデル・エージェント・担当の振り分け

依頼の内容に応じて、品質・費用・遅延の要件に合うモデルを選びます。問い合わせを適切な担当部署やエージェントへ振り分けます。

入力・出力・インシデントの分類

意図の識別、フィードバックやSNS投稿のラベル付け、インシデントの種類と緊急度の分類を、一貫した基準で行います。

案件・候補・検索結果の順位付け

複数の候補や対応案件を評価して処理順を決めます。検索結果の関連度や、レコメンドの候補選択にも使えます。

AI回答・エージェント行動の採点

AIの回答を品質基準に照らして、採用・修正・却下に振り分けます。データ入力の妥当性確認や、コード・方針違反の検出にも使えます。

継続・停止・再試行・引き渡しの選択

エージェントが提案した次の行動を評価し、続行、停止、再試行、別のモデル・ツール・人への引き渡しを選びます。

リクエスト・出力・行動のリスク分類

リスクに応じて、許可・ブロック・エスカレーションを判断します。有害コンテンツの分類やフィルタリングにも使えます。

画面とタスクに基づく次の操作の選択

現在の画面とタスクをもとに、選択肢から次のインターフェース操作を選びます。Microsoftは、購入タスクの完了速度の比較を公開しています。

観測と制約に基づく動作の選択

観測、タスクの目標、動作上の制約から、あらかじめ定めたロボット動作の中から選びます。安全制御は多層構成で別に設計します。

仮説・化合物・実験の絞り込み

定義した基準に対して候補をスクリーニングし、さらに評価する順に優先付けします。

公平性

ベースモデルと学習データの偏りを反映することがあります。個人に関する判断では、スコアだけを根拠にしないでください。

表現への感度

質問や選択肢の言い回しと並び順で、スコアが変わることがあります。不適切な質問でも、スコアは返ります。

信頼性

キャリブレーションは、なじみのあるタスクで最も強くなります。説明は返らず、古い知識に基づく場合があります。

有害コンテンツ

安全フィルタとして使う場合、微妙な有害表現を見逃したり、無害な内容を有害と判定したりすることがあります。

判断の定義

何を判断するか、どの選択肢から選ぶか、何を優先するかを、業務の言葉で定義します。選択肢の説明の書き方で、出力が変わります。

判断基準の整備

優先順位、例外条件、前提条件、リスク許容度を、AIが参照できるデータにします。暗黙知を含む基準は、ヒアリングから構造化します。

閾値と品質ゲート

確率スコアと実際の正答率の関係を測り、自動実行・再評価・人への確認を切り替える水準を決めます。

モデルの使い分け

判断、生成、推論、検索、ルールの役割を分け、ワークフローの各工程にモデルを配置します。

ログと評価

判断ログ、確率スコア、人による修正履歴を保存し、更新時の回帰テストとEvalsで品質を確認します。

認証・データ接続

Microsoft Entra IDによる認証とアクセス制御、Fabricや企業データとの接続を、運用の統制と合わせて設計します。

人が担ってきた業務判断のAI化

エージェントの入力、処理結果、次の行動候補に対して、判断モデルが次の判断を実行できるかを検証します。

• 回答や成果物を採用できるか、社内規定や品質基準を満たすか
• 再検索・再生成・追加質問の要否、自動実行を続けるか
• 確率スコアにリスク・影響範囲・可逆性・権限・監査要件を組み合わせた切り替え

Agentic Work Flowのマルチモデル化

すべてを単一の高性能LLMに任せず、処理内容と実行環境に応じてモデルや技術を使い分けます。

• 正答率・完結率に加え、速度・費用・処理可能量を最適化
• データ管理、セキュリティ、監査可能性を含めた全体設計

SyncLect Data Intelligenceによる判断基準の整備

業務会話・ヒアリング・会議に存在する判断理由や例外対応を抽出し、オントロジーや構造化データへ変換します。

• 判断に必要な条件、選択肢、評価尺度の定義
• 通常処理・例外処理・人による確認の振り分け
• 正式な業務ルール、一時的な意見、検討中情報の分類
• 実行結果と人の修正内容の還元

Microsoft Foundryを中核とした企業実装

デプロイ、認証、API接続、ログ、評価、モデルルーティング、データ接続、ライフサイクル管理を、運用と統制の観点で設計します。

• Microsoft Entra IDを前提とした認証・アクセス制御
• Microsoft Fabricや企業データとの連携
• 判断ログ・確率スコア・修正履歴の保存、更新時の回帰テストとEvals

エッジAI・フィジカルAIへの適用

画像認識、音声、センサー、エッジAIが取得した状態情報に対し、クラウド側で次の行動候補を評価する構成を検討します。

• 正常・異常・要確認の判定、作業の継続・停止・再計画
• クラウド処理・エッジ処理・人への通知の振り分け
• 安全停止などの重要制御は、安全機構・制御プログラム・人の監督を含む多層構成

人の判断基準を、AI Readyにできる

SyncLect Data Intelligenceが、判断基準・判断理由・優先順位・例外対応・前提条件を会話から抽出し、AIが活用できるオントロジーや構造化データに変換します。インタビューを行うエージェントと、業務プロセスのオントロジーを抽出するエージェントを備えています。

Agentic Work Flowを、実業務で設計・評価・改善してきた

複数のAIエージェント、RAG、固定定義ロジック、評価プロセス、Human in the Loopを組み合わせ、約3万件のタスク実行と回答に対する評価（RAG評価ツール、自動集計・正誤判定ツール、人による目視評価の三段構え）で、正答率99%を達成しています。

Microsoft Foundryを中核に、実装・統制できる

Foundry、Fabric、Microsoft 365 Copilot、Copilot Studioなどの基盤と、企業固有の業務データを接続するエンタープライズAIを推進しています。AgentOpsラボなど、評価と運用の支援メニューも備えています。

デジタル業務から、エッジAI・ロボティクスまで

AI・IoT・ロボティクスに対応するマルチAIプラットフォーム「SyncLect」で、画像AI、音声AI、自然言語処理、エッジデバイスを組み合わせたシステムを開発してきました。エッジAIは1,000台以上の稼働実績があります。

事務センター・コンタクトセンター

問い合わせの振り分け、手続きの要否判定、回答の品質確認など、規程に基づく大量の判断を分類・採点します。

品質対応・設備保守

検査結果の正常・異常・要確認の判定、保全作業の優先順位、現場報告の分類を行います。

運行判断・異常時対応

運行状況やアラートを分類し、対応の優先度を評価して、担当や手順へ振り分けます。

問い合わせ・商品データ

顧客の意図の識別、レビューの分類、商品情報の確認、対応の優先順位付けを行います。

点検・監視

センサーと画像の状態情報をもとに、点検・保守の優先度と、現場へ回す対象を評価します。

申請・問い合わせの一次振り分け

申請の種類と担当課の振り分け、要確認案件の抽出を行います。人に関する決定は、人が行います。

インシデント対応

インシデントを種類と緊急度で分類し、適切なチームやワークフローへルーティングします。

• 判断の件数が多く、選択肢が定義できる業務がある
• 判断の基準が、規程・マニュアル・ベテランの経験として存在する
• Microsoft Foundry・Azure・Microsoft 365を利用している
• 判断の履歴を残し、基準を継続して改善する体制を作れる

• 判断の選択肢が定義できず、毎回内容が異なる
• 判断の件数が少なく、人が判断しても負担が小さい
• 個人に関する重大な決定を、モデルだけで行いたい
• ミリ秒単位の制御や、安全停止をモデル単体に任せたい

認証とアクセス制御

Microsoft Entra IDを前提に、判断モデルとデータへのアクセスを制御します。デプロイ権限と呼び出し権限を分けます。

判断ログの保存

入力、スコア、選択結果、人による修正履歴を保存し、判断の根拠を後から確認できるようにします。

品質ゲートと閾値

スコアの閾値と、再評価・人への確認の条件を、リスクの大きさに応じて決め、定期的に見直します。

回帰テストと評価

モデルや判断の定義を更新するときに、ラベル付きデータで回帰テストとEvalsを実施します。

人の最終判断

高リスク・不可逆の判断と、個人に関する重大な決定は、責任者が最終判断します。AIの関与は利用者に伝えます。

安全機構との分離

安全停止や設備の重要制御は、モデルに任せず、安全機構・制御プログラム・ルール・人の監督を含む多層構成にします。