AIエージェントの誤答をどう止めるか。A&Aの品質ゲート設計

AIエージェントの誤答は、モデルを賢くするより、生成のあとに検証の工程を挟んで止めます。A&Aでは、AIが自分で点検し、別系統がもう一度検証し、公開の直前で人が承認する多段のゲートを走らせています。要点は、検証を答えを書いた本人に任せず、根拠のない数字と実在しない出典を機械で弾くことです。

要点（TL;DR）

• 誤答は「賢いモデル」では消えない。生成のあとに検証の工程を挟んで、外に出る前に止める
• A&Aの品質ゲートは多段。①AIの自己点検 ②別系統による検証 ③人の承認 ④公開後の観測
• 一番効くのは「検証を生成者に任せない」こと。作った本人に採点させると誤りが素通りする
• 誤答には型がある。捏造・鮮度切れ・指示逸脱・自信過剰・出典偽造。型ごとに止めるゲートが違う
• 小さな会社ほど始めやすい。受入基準を1つ書き、検証を別工程にし、数字と出典に根拠リンクを義務づける

誤答は、モデルを賢くしても消えない

AIエージェントの誤答は、モデルの性能を上げても消えません。止められるのは、生成のあとに検証の工程を置いたときだけです。賢いモデルは平均的な正しさを底上げしますが、たまに自信ありげに間違える性質そのものは残ります。だから答えを1つ受け取って終わり、という使い方だと、その間違いがそのまま外に出ます。

Anthropic と OpenAI は、いずれもエージェント設計で「生成と検証を分ける」「危ない操作の前で人に戻す」ことを勧めています。Anthropicは、片方のAIが答えを作り、もう片方が評価とフィードバックを返す構成（評価と最適化のループ）を、効果的なエージェントの型のひとつに挙げ、まずは最も単純な構成から始めるべきだとしています。OpenAIも、ガードレールを何層かで重ね、リスクの高い操作や失敗したときにはAIが人へ制御を戻す設計を勧めています。両社に共通するのは、モデル1個の賢さに賭けず、工程で品質を作るという発想です。

A&Aは、この考え方を自社のエージェント運用にそのまま落としています。ここから先は、当社が実際に走らせている品質ゲートの中身です。海外事例の紹介ではなく、自分たちの実運用の記録として書きます。

A&Aが実際に走らせている品質ゲートの並び

A&Aの品質ゲートは、1枚の検査ではなく多段です。AIが回答案を生成し、そのAIが受入基準と照らして自己点検し、別系統がもう一度検証し、公開や不可逆な操作の直前で人が承認する。この4つの段を、日々のエージェント運用で常に通します。

自己点検は、AIに「この答えは頼まれたことに答えているか、根拠はあるか」を出力の前に確認させる工程です。これで軽い取りこぼしは減りますが、これだけでは足りません。自分の答えを自分で見る限界があるからです。だから次に、別系統の検証を置きます。別のプロンプト、できれば別のモデルに、同じ受入基準で採点させる。生成側が見落とした矛盾や、根拠の弱い断定は、ここで表に出ます。

最後の段が人の承認です。公開、対外送信、削除、送金といった、取り返しのつかない操作の前には、必ず人が立ちます。ここはAIの精度を上げても外せません。逆に、下書き・調査・社内向けの整理のように、やり直しの利く作業は、検証を通ったらそのまま進めます。公開のあとも、出力を記録して観測します。同じ誤りが二度出たら、それを弾く検査を1つ足す。ゲートは作って終わりではなく、事故のたびに厚くしていくものです。

検証は、答えを書いた本人にやらせない

品質ゲートで一番効くのは、検証を答えを書いた本人に任せないことです。同じAIに生成と採点をさせると、自分の答えを高く評価しがちで、思い込みの誤りに気づけません。人が自分の書いた文章の誤字を見落とすのと同じで、作った側は根拠の弱さが見えなくなります。

A&Aは、生成する系統と検証する系統を分けています。実装を担うエージェントと、その出力を受入基準と突き合わせる検証役を別に立て、検証役には別のモデルを使うこともあります。目的は多数決ではありません。生成側が持っていない視点をぶつけて、誤りを表に出すことです。検証役の指摘は、まず「本当にそれは誤りか」を疑ってから受け取ります。検証役自身も間違えるので、指摘を鵜呑みにせず、実際のデータで確かめてから直す。この往復で、独りよがりな正しさが削れていきます。

これは大きな仕組みではありません。1人で運用していても、生成と検証で別のプロンプト、別のスレッド、別のモデルに分けるだけで効きます。同じ頭に採点させないという一点が、誤答を止める設計の中心です。

誤答には型があり、型ごとに止め方が変わる

AIの誤答は、ひとくくりの「ハルシネーション」ではありません。型があり、型ごとに止めるゲートが変わります。A&Aが品質ゲートで弾いている誤答は、主に5つです。事実の捏造、情報の鮮度切れ、指示の逸脱、自信過剰、出典の偽造。上の表のとおり、捏造は根拠リンクと照合して無ければ出さず、鮮度切れは参照日と最新性を確認し、逸脱は受入基準と一つずつ突き合わせ、自信過剰は不確実な点の申告を義務づけ、偽造はURLの実在を機械で検証します。型に合わない検査をいくら重ねても、その型の誤りは通り抜けます。

なかでも当社が固く運用しているのが、このうち数字の根拠と出典に関わる2つです。まず、根拠のない数字は出しません。「効果が上がった」といった主張に具体的な数字を添えるときは、それがどこから来た数字か、実測なのか例示なのかを必ずラベルで示します。もう1つは出典です。AIはそれらしい体裁のURLを平気で作るので、記事や資料に載せる前に、そのURLが実在するかを機械で確かめます。実在しない出典は、内容が正しそうに見えても弾きます。数字と出典は、間違えたときに読み手の信頼を最も損なう場所だからです。

日本の1人社長・マイクロチームでは、何が違うのか

大企業のAI品質管理と、1人社長・数人のチームの品質ゲートは、別の問題です。違いは、受入基準がすでに1人の頭のなかにあること、そして検証役を自分が兼ねてしまいやすいことにあります。

大きな組織では、品質の基準を部門間で合意し、レビュー体制を組むこと自体が主題になります。小さな会社は逆で、何を良しとするかの基準は経営者の頭のなかにあります。これは強みです。「この答えは合格か」を判断する物差しを、会議を待たずにすぐ言葉にできる。大きな組織が最も苦労する基準づくりを、小さなチームは初めから持っています。だから最初の一手は、その頭のなかの基準を1つ書き出すことになります。

弱点もはっきりしています。1人だと、生成も検証も自分がやることになり、前の節で書いた「作った本人に採点させる」状態に自然と陥ります。忙しいほど、自分の下書きをそのまま出してしまう。ここを埋めるのがAIです。生成をAIに任せ、検証を別系統のAIにやらせ、自分は最後の一線、つまり公開と不可逆な操作の承認に集中する。手が足りないからこそ、検証の分離を人でなくAIで作る。これが小さなチームの品質ゲートの形です。品質を検証で守る工程は、そもそも溜めた知識の質を守る話でもあり、その土台についてはなぜAIエージェントは、ナレッジDBから作るべきなのかで扱っています。

品質ゲートを、最小構成でどう始めるか

品質ゲートは、大がかりな仕組みから始める必要はありません。最小構成は3つです。ここから始めれば、専門チームがなくても誤答は外に出る前に止まります。

1つ目は、受入基準を1つ言葉にすることです。任せたい業務で「この答えなら合格」と言える条件を、1行でいいので書き出します。基準がないと、検証しようにも何と照らせばいいかが決まりません。2つ目は、検証を生成と別の工程にすることです。同じAIに続けて採点させず、別のプロンプトか別のモデルに、その受入基準で確認させます。3つ目は、数字と出典に根拠リンクを義務づけることです。数字にはどこから来たかのラベルを、出典にはURLの実在確認を必ず付ける。

どこから任せるかは、失敗コストで選びます。やり直しの利く下書き・調査・整理から始め、公開や送金のような取り返しのつかない操作には、初めから人の承認を残す。承認をどこに置くかの線引きは、AIに任せる仕事と人が承認する仕事の線引きで具体的に扱っています。エージェントそのものの定義や自動化との違いが曖昧なら、先にAIエージェントとは何かを読むと、この品質ゲートの位置づけがはっきりします。

よくある質問（FAQ）

Q. AIの誤答をゼロにできますか? A. ゼロにはできません。止めるのは「誤ったまま外に出ること」です。生成のあとに検証と人の承認を挟み、やり直しの利く所は自動で直し、取り返しのつかない所は人が止めます。誤りが出ない前提ではなく、出ても外に届かない工程を作ります。

Q. 検証も同じAIにやらせては駄目ですか? A. 作った本人に採点させると、自分の答えを高く評価しがちで誤りが素通りします。別のプロンプト、できれば別系統のモデルに、受入基準と照らして検証させるのが基本です。生成と検証を分けることが、品質ゲートの一番効く一手です。

Q. 小さな会社でも品質ゲートは作れますか? A. 作れます。最小構成は3つ、受入基準を1つ言葉にする、検証を生成と別の工程にする、数字と出典に根拠リンクを義務づける。ここから始めれば、専門チームがなくても誤答は外に出る前に止まります。

---

出典・参考

• Anthropic「Building effective agents」：片方のLLMが生成し、もう片方が評価とフィードバックを返す「評価と最適化のループ」を効果的なエージェントの型のひとつに挙げ、まず最も単純な構成から始めるべきとする。https://www.anthropic.com/engineering/building-effective-agents
• OpenAI「A practical guide to building agents」：ガードレールを層状に重ね、リスクの高い操作や失敗時にはAIが人へ制御を戻す設計を推奨する。https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/
• 本記事の「多段の品質ゲート」「検証を生成者から分ける」「誤答の5つの型と止め方」は、上記2社の設計指針をもとに、A&Aが自社のエージェント運用で実際に走らせている工程をまとめたものです。

監修: Kazuya Hibara（Automate & Augment 代表） — 業務フロー再設計とAIエージェント常駐運用を専門とする。