2021/10/29
チャットボットの運用担当になったものの、実際に運用って何をすればいいのか分からないという方も多いのではないでしょうか？AIの知識やスキルもないのに、運用担当に任命されてしまった…と不安を抱える方も少なくありません。
手当たり次第に学習させても効率的な成果は得られません。ポイントを抑えて学習させることで、効率的に成果を得られるようになります。
今回は、チャットボット運用を任されてしまって不安な方、きちんと成果につながる運用を目指したい方に向けて、メンテナンスする際に、何をポイントに学習させるのか、学習させるべき対象の見つけ方と取るべきアクションの判断方法をわかりやすくご紹介します。
ユーザーのGood/Badを鵜呑みにするな！
きちんとログデータを見て判断
チャットボットの場合、ユーザーによる「Good（役に立った）」「Bad（役に立たなかった）」を指標にメンテナンスしていませんか？
もちろん、Bad評価がついているものは、最優先でメンテナンスが必要です。ただし、ユーザーによる評価は、必ず全員が評価してくれるとは限りませんし、評価内容が正しいとも限りません。特に、Bad評価が付いていると「誤回答だから追加学習が必要だ」と判断しがちですが、よくよくログを確認すると、回答の本質は合っているが、回答に書かれているリンク先が間違っていたなどのケースもあります。この場合は、追加学習ではなく回答の修正が必要になります。
では、Good評価が付いているものについてはいかがでしょうか？ Bad評価が付いているものだけをメンテナンスして、それ以外は何もしていなかった…という方も多いのではないでしょうか。
「Good」と評価されていても、実は「Bad」評価の場合もあります。例えば、ユーザーは、回答が得られたと思って「Good」と評価したものの、実際はユーザーの判断が間違っていたというケースです。
あくまでもユーザーによる評価は目安と考えて、チャットボット運用担当者が1件ずつログを見ながら「Good/Bad」を判断するようにしてください。
- ①そもそも全員が回答してくれるとは限らない
Good/Badの付いていないものに、学習が必要なものが含まれている可能性も…全ログデータを確認して、それぞれ適切なメンテナンスを実施 - ②Bad評価だが、誤回答が理由ではなく、回答の文章に間違いが含まれていたことが理由
追加学習ではなく、回答文章の修正が必要 - ③誤回答なのにユーザーの判断が間違えていてGood評価されることもある
Bad評価に修正して、メンテナンスを実施
Good評価でもきちんとメンテナンス！対象の見極め方と改善策
Bad評価のもののメンテナンスが完了したら、Good評価のものも忘れずにメンテナンスしましょう。
どこから手をつければいいの？Goodの評価なのに何をメンテナンスするの？と思うかもしれません。メンテナンス対象を見極める際のポイントはこの3つです。
①学習が足りているか？
学習量は、1つの回答に対して20パターンの質問の紐付けが基準になります。学習量が足りない場合は、追加学習を実施しましょう。特に、使用されているチャットボットが辞書機能を持っていない場合は、キーになるワードの類義語から質問文を追加したり、言い回しのパターンを追加することで、学習量を増やしていきます。
これ以上質問パターンを増やせない…という場合は、質問のアプローチを変えることもポイントです。例えば、「●●の申請方法が知りたい」という質問は、「●●の申請には承認が必要ですか？」という表現でも、紐づく回答は「●●の申請手続き」にまとめられます。ちょっと視点を変えて、質問パターンを用意してみてください。
「ほとんどのFAQで質問パターンは20以上紐づけられているから学習は十分できているよ」という場合もあるかと思います。FAQ1つ１つを見ると、20パターン以上の質問文が紐づけられているから問題ないと思うかもしれませんが、「全体の学習量のバランス」も重要になります。
例えば、チャットボット全体で、1つのFAQに対して50パターンの質問が紐づけられている場合、それに達していないFAQに対しては、たとえ20パターンの質問が紐づけられていても、全体で見るとそのFAQは「学習量が足りない」となります。
また、全体で平均30パターンの質問が紐づけられている場合、ある特定のFAQだけさらに追加学習をさせて50パターンの質問を紐づけてしまうと、他のFAQの回答の方が適切なのにもかかわらず、学習量の多いFAQの回答の方がヒットしてしまう可能性があります。
一部のFAQばかりに学習が偏らないように気をつけてください。
②確信度は80%以上あるか？
Good評価だとしても、確信度が80%以下の場合もあります。
その場合は、回答精度が不足している可能性が高いので、追加学習が必要になります。現状は正しい回答を返せていても、別の言い回しの質問や、FAQが増えた場合に、回答できなくなる可能性があるからです。
ただし、ある回答の確信度を上げると、回答としては正しいはずの別の回答の確信度が下がってしまう場合もあります。これは回答の内容が似ているからかもしれませんので、回答を統合することを検討しましょう。
③よくある質問のTOP50〜100までを対象にする
最後に、ほとんど質問のないものに対してメンテナンスをしても、手間と時間ばかりかかってしまい、あまり成果は得られません。よくある質問の上位のものからメンテナンスするようにしましょう。
他にも、年末調整などの季節性のあるものや、システムアップデートに関するものや新商品に関するものなどのイベント系のものがあれば、優先的にメンテナンスすると、効率的に成果が得られるようになります。
運用はアウトソースするのも1つ。自社にあったパートナーを探す
ここまでご紹介したように、チャットボット運用にはちょっとしたコツが求められます。さらに、FAQの内容が正しいか否かを判断できる人材も必要になります。
成果が得られる運用を実施するためには、メンテナンスすべきFAQをリストアップし、適切に対処する「チャットボット運用担当者」と、FAQの内容が正しいかを判断できる「FAQ担当者（チャットボット運用担当者と同じ人が担う可能性もあります）」を必ず配置してください。
社内に体制を用意できない場合は、アウトソースするのも1つの方法です。
「FAQ担当者」は社内に必ず必要になりますが、「チャットボット運用担当者」はスキルやノウハウを持つ外部サービスで補えます。
AIやチャットボットに関するノウハウが社内にない…と不安な場合は、将来的な内製化を目指して、外部の専門家からスキトラしてもらいながら力をつけていくこともできます。
もちろん、社内にチャットボット運用担当者は置かず、すべてアウトソースすることもできます。継続的にコストはかかってしまいますが、人員に限りがある場合はそれも1つの方法です。
自社の状況にあった外部サービス・パートナーを選びましょう。
チャットボット導入後のアンケートから見えてきた課題と改善策とは？「5分で解るAI導入のための解説書」を公開！
最後に、チャットボットの導入がうまくいってる企業がやっているコトを分かりやすく紹介したホワイトペーパーを無料配布しています。
AIの知識とノウハウを持つ専門チーム「CORPUS factory」が、レポートの出力やログデータの分析、改善策の提案など、運用担当者様が自信を持って対応できるようになるまで、サポートさせていただいています。ぜひ、チャットボット運用の参考にご活用ください。
