『Cogmo Blog(コグモ・ブログ)』:企業のAI導入・運用を行う中の人のホンネ

AIチャットボットの正答率ってどれくらい?よくある質問に回答します

作成者: ニシカワ|2022年11月1日

今回は営業シーンでよく聞かれるチャットボットのご相談(疑問点)をピックアップし、それに対する回答を用意しました。チャットボットの機能に関するご質問の他にも、導入後のプロジェクトの進め方など、様々な疑問点について掘り下げます。

AIチャットボットの正答率はどれくらいですか

回答:80%ぐらいです。

公開前の段階では回答精度100%でチャットボットをお渡しします。公開後は回答できる範囲(回答できる質問)を拡げていきます。ですので、回答精度は80%前後を1つの目標としてお伝えしています。50問に100%の精度で回答するよりも、100問に80%答えるほうが、正解を与える回数が多く、ユーザー目線での満足度が高まります。お客様のQAサンプルなどを拝見しつつ、最適な進め方を提案しています。

参考:AIシステムの精度と正答率はどこまで追求すべきか

AIチャットボットの導入メリットを教えてください

 回答:代表的なもので、業務の効率化、業務精度向上、自己解決率の向上などが挙げられます。

AIチャットボットは文章の揺らぎを吸収し、入力された文章の意味を理解して回答を返します。あいまいな質問の場合は、AIによるサジェストとして、入力候補を出し、ユーザーが求めている情報を絞り込む作業をチャットとの会話の中で行うことが可能です。単純な一問一答で解決するようなQA対応においてはAIを使う必要はありませんが、QAの内容が複雑な場合や自然文入力でのQA対応をスムーズに行いたい場合にはAIチャットボットが最適です。

運用の頻度はどれくらいですか

回答:最初は頻繁に、徐々にゆったりと、です。

リリース直後は想定していなかった質問が多く寄せられます。そういったことを考慮し、リリース直後の3ヶ月などは週に1回から少なくとも2週間に1回のペースで改善作業をし、リリースから時間が経ち、落ち着いた段階で徐々にペースを落とす、というのを推奨しております。

AIチャットボット導入後の運用は大変なのでしょうか

回答:楽ではないです。

精度の高いAIチャットボットを目指すうえで、学習が不可欠です。また、これは人の判断を介在させる必要があります。しっかりとチャットボットが答えられたもの・答えられなかったものを確認・判断し、学習を繰り返していきます。運用の進め方についてご興味ある方は弊社で行っている運用フローをよろしければご覧ください。

参考:AIチャットボットは導入後の運用がとにかく重要

AIチャットボットの運用がうまくいくコツは?

回答:回答精度だけを追求しないことです。

『Cogmo Attend』の導入企業さまは、定期的にログを見て、チューニング、賢く育てる、というサイクルをされてますが、QAが増えてきたタイミングで社内外の資産をうまく使えると運用工数を削減できます。FAQやマニュアルなどのリンクに飛ばしたり、ファイルの検索をして、吹き出しの中に検索結果を表示してしまう、などユーザの利便性を意識しつつも、運用側の工数削減も同時に目指していきます。

参考:AI検索システムとは、サイト内検索として活用できる?

チャットボットを導入したいがQAが整理されていない

回答:大きく分けて2パターンの進め方がございます。

  • チャットボット用に整理する
  • 整理せず既存情報資産をそのまま活かす

既にFAQサイトを持っているお客様やマニュアルを持っているというお客様は多くいらっしゃいます。そういった情報資産をチャットボットに移管しようとすると、そもそもどの情報を移管するのか、などの整理が必要になります。もちろん整理は必要な作業ですが、実際にチャットボットを実装してみると思ってもいなかった質問が寄せられるケースが多いです。ですので、運用者側でチャットボットに移管をするQAの見極めをしつつ、公開後に利用者の声を反映し、細かい調整を行っていく、という進め方が可能です。既存の情報資産を活用した事例もございます。

参考:関西電力様:AIチャットボット+AI検索 活用事例

チャットボット導入したいが、稟議を進めるのが難しい

回答:稟議・上申においてはKPIに対する考え方、またそれを社内でどう伝えるか、が重要です。

チャットボットを導入したとして、それに見合う効果が得られるのか、という点をいかにして伝えるかです。チャットボット導入を推進している方から、上申や稟議が難しい、というお話しをよく聞きます。担当者レベルではチャットボットに対しての理解が深まってきていますが、稟議を上げる(上申をする)となると、AIを入れたらそれが人の代替になるんだよね、最低でもそれぐらいの効果が出るんだよね、という話になるケースが多いです。

お問い合わせ対応工数削減という観点で、単純なチャットボット導入と人における対比は非常に難しいです。目的の情報に辿り着くまでの時間短縮や、教育コスト減、自己解決率の向上、新しい発見(会話ログに入ってくる自然文入力からのお困りごと把握)など数字に出てこない便利さ、というのも含めて稟議を進める必要があります。

ただ、実際の数値部分も重要な判断基準になると思いますので、各チャットボットベンダーの事例を参考にする、といったことも並列して行いましょう。

弊社の導入事例は下記よりご覧いただけます。

参考:Cogmoシリーズ 導入事例

チャットボットのUI上で注意するポイントは?

回答:実際にチャットボットを利用する目線で見てみましょう。

具体的な例を挙げてみます。

1. チャットボットを開いたときの文章量が多くて、読む気になれず閉じてしまった
例えばウィジェット型ですと、ただでさえ画面が小さいのに、その上、文章量が多いとなると、利用者は抵抗を覚えます。シナリオを設定しているとしたら、ボタン(選択肢)がファーストビューで表示されるか、といったところにも注意が必要です。

2. どういった用途で使うチャットボットが分からない

ひとつめの内容にも関係してきますが、チャットボットを開いたはいいものの、どういった質問をすればいいのか分からないと、そのまま閉じてしまうケースが多いです。それを防ぐためにも、具体的な使い方を提示してあげることが重要になります。

例)○○について分かりません。
といった形で質問をしてください。

などを加えるだけでもユーザーにとっては活用のイメージが湧きやすいです。 

3. 自然文で質問できない(もしくは著しく精度が低い)

ユーザーがチャットボット開いた時点で何を探すか、何を訪ねたいか、が明確になっている場合は良いのですが、いざチャットボットを使おうとなった場面で、目的の情報にどうやって辿り着けばいいのか迷ってしまう、そんなケースもあると思います。

シナリオ型で対象を絞り込んでいき、ユーザーのニーズを捉えていくのも有りだと思いますが、ユーザー目線だと分からないことを検索して、それに該当するような回答が提示される方が便利です。シナリオを辿る、という選択肢がありつつも、ある程度の精度で自然文での質問ができる方が良いです。