Cogmoチームでセールス＆マーケティングを担当している箱崎です。
日々、チャットボット導入をご検討のお客様とお話ししている中で、
「チャットボットのKPIはどのように考えればいいか分からない」
「稟議申請でKPIを求められて困っている」
などの声をよく頂きます。
ということで、今回は、チャットボットのKPIについて、
特に、AIチャットボットのKPIについて、書いていきたいと思います。
チャットボットのKPI、つまり、チャットボットを運用する上での重要指標は何かということですが、チャットボットを導入する目的を考えてみれば分かると思います。
チャットボットを導入する目的は、ユーザの自己解決率(数)を上げることです。
では、自己解決率（数）を上げることとは、どういうことでしょうか。
それは、
●正答率
●カバー率
この２つを上げることです。
そして、この２つがKPIになります。
そもそも、チャットボットの運用は、ユーザからの入力とチャットボットの発話（出力）のログに対して、正誤を確認し、誤答しているものを正答できるようにすることです。
運用についてはこちらをご確認ください。
AIチャットボットは導入後の運用がとにかく重要
では、指標について、ひとつずつみていきましょう。
まず、正答率です。
文字通り、正答の割合ですが、何に対する割合かがポイントです。
つまり、母数を何と捉えるか。
正答率の母数は「回答の用意がある入力」にするのが正しい捉えになります。
全入力に対しての正答の方が自然と思うかもしれませんが、
全入力だと、答える必要のないQや登録していないQも含まれ、
チャットボットはQAを登録していないと回答できませんので、
正確な捉えにならず、改善につなげにくくなります。
つまり、正答率は、回答の用意がある入力に対する正答の割合、で捉えておくとよいでしょう。
次に、カバー率です。
カバー率は、回答するべき入力に対して回答の用意がある入力の割合、です。
全入力に対してだと、遊び入力や答える必要のないQもありますので、
そういったノイズは除いた「回答するべき入力」を母数とする方が、
正確に捉えられます。
次に、何をするべきかが分かりやすくなります。
正答率やカバー率の数値によって、例えば、
・正答率は90％以上あるが、カバー率が70％の場合
⇒登録しているQAに対しては90％以上答えられているが、
そもそも回答するべきQAが登録されていないので、
新たにQAを登録することに注力する
・カバー率は90％以上あるが、正答率が70％の場合
⇒回答するべきQAは90％以上は登録されているので入力に対して、
きちんと回答できるようにチューニングに注力する
このように次のアクションが明確になるでしょう。
「正答率・カバー率の数値はどれくらいがいいのか？」
という声もよく頂きます。
公開前から決め打ちで設定するのもよいと思いますが、
使用用途、チャットボット化の内容、登録QA数によって数値は様々ですので、限定公開などを含めた公開後の自社の正答率・カバー率を確認した上で、設定する方が、実感値をもったKPIが設定できるのでよろしいかと思います。
次に、コールセンター／コンタクトセンターのチャットボットKPIについてみていきたいと思います。
コールセンターは顧客接点がTELのみ、コンタクトセンターはTEL以外にメール、FAQサイト、チャットボットや有人チャット（オペレータチャット）などの顧客接点があるという意味で区別されていますので、以降「コンタクトセンター」と記載を統一します。
どんな用途でも、チャットボット自体の精度は上げていくべきだと思いますので、ベースで「正答率」「カバー率」を把握していき、その上で、コンタクトセンターチャットボット特有の指標を持っておく必要があるでしょう。
では、なぜ、コンタクトセンターチャットボットには、特有の指標が必要なのでしょうか。
この場合、チャットボットが単体で使われるのではなく、コンタクトセンターにおけるTEL、メール、FAQサイト、有人チャット（オペレータチャット）などの顧客接点の一つとしてチャットボットが使われます。
そして、チャットボットを導入することでその企業の顧客接点に変化が生じるため、その変化に対する指標を把握する必要があります。
それでは、まず、コンタクトセンターにチャットボットを導入したことによって、顧客接点の変化をみていきましょう。
全ての顧客接点が変化するわけではないため、変化なしももちろんありますが、着目するのは、変化ありの顧客接点です。
顧客接点がどう変化したかは大きく「接点種別の変化」「接点時間の変化」でみていきます。
では、具体的にKPIのレベルでみていきましょう。
まず「接点種別の変化」の観点です。
①チャットボット対応件数
今までTELや有人チャット（オペレータチャット）で対応していたオペレータを介さずにチャットボットの自動応答で対応した件数を捉えることで、自動対応における顧客との接点量を把握します。
目標設定例としては、チャットボット対象領域における導入前の月間対応件数の○％、などと設定するのがよいでしょう。
チャットボット導入前もその他の顧客接点件数を計測していると思いますので、それも引き続き計測していき「接点種別の変化」を捉えるようにしましょう。
次に「接点時間の変化」の観点です。
②年代別呼量
チャットボット化の内容・設置場所や顧客のチャットボットとの相性などがあるため、チャットボットを導入したからといって、必ずしも呼量が削減されるとは限りません。
ただ、呼量は、オペレータ配置などにも影響する重要な要素ですので、例えば、チャットコミュニケーション率の高い20～40代など（以下グラフ参照）の呼量におけるチャットボット導入前後の比較をしていきましょう。
チャットコミュニケーションに慣れている20～40代お客様の呼量削減を見込む流れです。
繰り返しになりますが、企業と顧客の関係性は様々ですので、その企業と顧客にあった枠組みで設定するのがよいでしょう。
③オペレータ対応時間
チャットボットで答えきれないお問い合わせもあるため、オペレータが対応する顧客接点（TEL、メール、有人チャット）は引き続き残りますが、チャットボット導入前後での各顧客接点におけるオペレータ対応時間を把握します。
チャットボット経由のお客様の方が、基本的な内容を理解していることが想定され、その分、オペレータ対応時間が短くなることを見込む流れです。
TELの場合、チャットボットからのTELを区別し（チャットボットで表示するTELを変えるなど）、
チャットボット利用有無でオペレータ対応時間を比較しましょう。
④オペレータ応答率
こちらは接点がTELの場合です。
着信したTELに対して、オペレータが応答できた割合をチャットボット導入前後で比較します。
一定数のお客様がTELからチャットボットへ変更したことによって、
対応件数向上・溢れ呼改善を見込む流れです。
もし、ご質問などございましたら、お気軽にご連絡ください！