タグ
hallucination
AIエージェントの誤答をどう止めるか。A&Aの品質ゲート設計
AIエージェントの誤答は、モデルを賢くするより、生成のあとに検証の工程を挟んで止めます。A&Aでは、AIが自分で点検し、別系統がもう一度検証し、公開の直前で人が承認する多段のゲートを走らせています。要点は、検証を答えを書いた本人に任せず、根拠のない数字と実在しない出典を機械で弾くことです。
続きを読む →小さな会社はなぜAI自動化で「事故・炎上」するのか — 3つの型と回避策
小さな会社がAI自動化で事故・炎上する型は主に3つ。①ガードレールなしの実行(本番データの削除)、②検証なしの提出(AIの誤りをそのまま出す)、③テストなしの公開(プロンプト攻撃で炎上)です。海外では本番データ2,396件超の削除、約8.6万ドルの制裁金、定価7.6万ドルのSUVを1ドルで売ると宣言する炎上が実際に起きています。
続きを読む →