Cogmo Blog

AIチャットボットの運用を実際にお手伝いしてみた感想

目次

Cogmoチームでセールス&マーケティングを担当している杉山です。
今回は、実際に契約頂いているお客様の運用をお手伝いさせて頂いたので、
その際に体験した感想を書いていこうと思います。

なんで運用しないといけないのか!?

そもそも運用ってなんで必要なのか?
AIチャットボットを導入したら、それで終わりではないのかなど疑問に思うこともあると思います。運用の目的は、回答精度を上げる為です。
しかし弊社では、最初にご提供する際に回答精度を100%の形で納品いたします。
そこでまた新たに、回答精度100%のものに対してどうして運用が必要となるのか
という疑問が生まれます。
回答精度100%とは、QAリスト作成の際に記入して頂く、代表質問文と複数の類似質問文(サンプルセンテンス)には全て回答出来ることをいいます。
最初に設定した類似質問だけでなく、利用する方によって聞き方は様々あります。
利用する方の質問方法は、実際の会話ログを確認しないと気づけない部分になりますので、
毎月の運用を通して、チャットボットに学習させていき、回答精度を上げていきます。
また、あまり聞かれないと思い、回答を学習させてなかったが、チャットボットを公開したら、意外と質問してくる人が多くて、回答文を追加するということもあるので、
定期的に運用をしていくのはとても大切です。

実際に運用をお手伝いしてみた感想

実際にCogmoAttendをご契約して下さっているお客様の運用をお手伝いすることになりました。もともとCogmoAttendをご利用いただいておりましたが、自社内での運用方法では、社外用のチャットボットで、正答率が上がらずに悩まれている状況でしたので、お手伝いすることになりました。
運用方法手順として、まずはチャットボットで質問されている会話ログを抽出して、直接入力された質問の回答が合っているか、目視で確認します。
ここで間違った回答をしているものは、類似質問文に聞かれた質問方法やその質問に近い内容をチャットボットに学習させていきます。
私は一通りやってみて、ここが一番難しいなと思いました。
似ている回答文があると、違う方にヒットして回答を返してしまうことがあったので、
何度もサンプルセンテンスを変更し、似ている回答文は1つにまとめ混乱させないようにし、意図した回答返すまで、学習させることとテストを繰り返し行いました。
時間を取られてしまう上に登録されている会話の全体のことを考えて、学習させることが大変でした。
全体を通して、意外と運用改善するのは時間と労力がかかることがわかりました。
私自身運用の作業は嫌いではありませんでしたが、仕事の片手間だと、わざわざログを確認し改善案を考えてチャットボットに学習させる手順を踏む時間が取れず、疎かになってしまうのではないかなと思いました。

運用を頼んだ方が結果的にいいものがアウトプットできる

実際に、運用をお手伝いさせて頂いた企業様に運用についてお伺いした所、
やはり、自分のお仕事があるので、なかなかチャットボットの運用まで手を付けられず、
放置してしまっていたとお聞きました。
チャットボットの運用を担当して頂ける人材の確保ができるなら、自社運用でも問題ないと思いますが、他の仕事と併用してチャットボットを動かすのは、使えないチャットボットになる可能性が高いので、運用知識や経験豊富なチャットボットを取り扱っている会社に頼むべきだと思います。
予算の問題でなかなか、運用代行は委託できない、という場合もあるかもしれませんが、
Cogmoサービスにおいては、毎月委託するメニューだけではなく、スポット代行や隔月代行などイレギュラーな運用委託も
可能ですので、お気軽に相談頂ければと思います。

今回は以上になります。
運用代行の詳細について知りたい場合、
弊社のwebサイトのチャットボットにご質問して頂くか、
お気軽にお問い合わせして頂ければと思います。
お問い合わせはこちらから