問い合わせをAIで受ける前に、人に戻す条件を先に決める：回答率より誤った解決の負担を見る

A&Aの考え方

A&Aが小さな会社の経営者に勧めるのは、AI導入の判断を「AIが応答した件数の増加」ではなく、「後から人が拾い直す件の増減」で見ることです。回答率は増える方向にしか動きませんが、拾い直す件は減る方向にも増える方向にも動きます。どちらの方向で動いているかを、導入前に測れる仕組みを一緒に決めます。数字そのものを競争する話ではなく、事業に効くのがどちらの方向かを分けて考える話です。

A&Aの考え方

ここで注意したいのは、事例が示しているのは「Finが返せた率」と、それをどう伸ばしたかという運用の話であって、返せなかった半数近くをどんな条件で人に戻したか、あるいは間違えて返した件がどれくらいで、どのように検知したかは、この文書の主題ではないという点です。事例を読むことは、自社に同じ率を約束するためではなく、自社が測るべき数字を洗い出すために使います。小さな会社ほど、母数が少ないので率の見た目に振り回されやすくなります。

Anthropic ↗

A&Aの考え方

A&Aの見方では、Intercomのような大規模事例から取り出すべきは、率の目標値ではなく、「AIが答えた」「AIが人へ回した」「人が拾い直した」の三つを別々の指標として持ちうるという設計上の視点です。これらを一本の解決率にまとめてしまうと、後から人が拾い直したときの負担がどこにも表れません。

A&Aの考え方

この考え方を、小さな会社の問い合わせ受付にそのまま当てはめると、まず「何を聞かれたら人に戻すか」を書き出す作業から始まります。AIチャットの製品を選ぶ前に、社内の実際の問い合わせ履歴を1〜2週間分読み、返信を書いた本人が「一次担当者では判断してはいけない」と扱った件を印付けします。返金、キャンセル料、法令が絡む案内、既存顧客の契約条件の変更、身元確認が必要な問い合わせなどが典型です。ここに来た問い合わせは、AIの回答対象から外し、AIには受付と受信確認だけをさせる、と決めます。

A&Aの考え方

戻す条件を先に決めておくと、後で導入するAI製品の性能比較が「何を任せる範囲での比較か」に絞れます。「解決率90%」の製品が、任せない範囲まで無理に答えて解決率を稼いでいるなら、自社にとっての有効な数字は下がります。反対に、簡単なFAQだけを任せる前提であれば、任せた範囲での応答品質と、任せない範囲を人へ回すときの受け渡しの正確さの二点を確かめれば十分です。

A&Aの考え方

AIが受け付けた問い合わせは、三つの終わり方に分かれます。第一に、AIが答え、顧客が納得し、内容も社内のルールに沿っているもの。第二に、AIが答え、顧客はいったん納得して離脱したが、後から食い違いが分かるもの。第三に、AIが判断せず人へ回したもの。事業に効くのは、第一が増え、第二が減り、第三が「戻すべき件は確実に戻る」状態です。ベンダーの解決率は主に第一と第二の合計を分子に、第三を分母から抜くように定義される場合があり、比較の前提を確認しないと第二の見えづらさが残ります。

A&Aの考え方

第三の「人へ戻した件」も、単純に多い少ないでは判断できません。戻す件が少なくても、戻すときに顧客の発言、AIが提示した内容、参照した社内情報のどれかが失われていれば、人はもう一度同じ質問を顧客に返すことになります。これは顧客体験としては二重連絡になり、担当者の一件あたりの処理時間としては、AIがない場合よりむしろ長くなり得ます。「戻した件の平均処理時間」と「顧客への再質問回数」を、AI導入前の対応と並べて記録します。

A&Aの考え方

AI製品を導入する前に、社内で「戻すときに何が一緒に渡ればよいか」を1枚に整理しておきます。最低限として、顧客識別子、問い合わせ本文、AIが返した内容の全文、参照したナレッジ記事のID、AIが人へ戻すと判断した理由、想定される対応区分の候補、の6項目をひとまとまりで受け取れることを条件にします。この6項目が揃っていれば、担当者は顧客に再質問する前に、まず自社の記録内で状況を再現できます。

A&Aの考え方

受け渡しの様式が決まっていれば、AI製品の比較は「その様式で出力できるか」「その様式に情報が欠けたとき、どの項目が落ちるか」で行えます。多くのベンダーは自社の標準UIを持ちますが、標準UIの見た目ではなく、担当者が実際に読む形式で書き出せるかを確かめます。この確認は、AI側の設定変更で完結する場合と、社内の顧客管理ツール側の受け口を作る必要がある場合とに分かれます。後者を含む見積りにしておかないと、導入後に「戻ってはくるが読めない」状態が続きます。

A&Aの考え方

導入判断のための試験は、大規模なA/Bテストである必要はありません。1〜2週間、AIに任せる範囲を絞って動かし、その期間の問い合わせを三分類で数えます。同時に、任せない範囲に来た問い合わせがAI経由で誤って処理されなかったかを、無作為抜き取りで担当者が読み直します。抜き取りは全数の10〜20%で十分に傾向は見え、担当者の負担も抑えられます。

A&Aの考え方

試験の終わりに見るのは、応答率の変化だけではありません。第二の「後から検知される件」がゼロ、または導入前と同水準以下であること。第三の「戻された件」の平均処理時間が導入前より短いか、少なくとも同等であること。抜き取りで、任せない範囲の誤処理が見つからなかったこと。これらのうち一つでも満たさなければ、任せる範囲を狭めるか、受け渡し様式を作り直します。導入をやめる判断も、この段階でしておきます。

A&Aの考え方

A&Aへ問い合わせ設計の相談をいただく場合も、この試験の設計と、任せる・戻すの境界の言語化から始めます。既存のAI製品を否定するためではなく、その製品の得意な範囲で使い切るための境界です。人へ戻したときの負担が事業側の粗利を圧迫していないかを、導入から3ヶ月と6ヶ月の時点で見直します。関連記事「同じ問い合わせで手が止まる：Intercomに学ぶ対応余力の作り方」では、同じFin事例を、余力づくりの側から扱っています。