2021/11/30
チャットボットの導入では、実際の問い合わせ対応を請け負っていた部門などユーザー部門が中心にプロジェクトを進める一方で、「運用」となると突然、情報システム部門に声がかかるというケースが多くあります。
今回ご紹介するお客さまも、お問い合わせ業務を担当するカスタマーサポート部門が、電話でのお問い合わせ量の削減を目的にチャットボットの導入を進めていました。しかし、カスタマーサポート部門は「ITシステム」に関しては担当外。そこで、運用を含む「チャットボット担当」として情シス部門に白羽の矢が立ちました。
情シス部門では、チャットボットベンダーも参加するプロジェクト定例会議に参加することになったものの、学習データの作り方や導入後のメンテナンスなどに不安があったため、AIのスキル/ノウハウを持つ技術チームが運用をサポートするS&Iの「CORPUS factory」にお声がけいただきました。
ベンダー任せにせず、自分たちで学習データのメンテナンスができるように伴走！
多くのチャットボットでは、公開時の学習データはチャットボットベンダーと共に作成するケースがほとんどです。チャットボットベンダーからの指示の下、学習データを作成していくことになりますが、コストと時間のバランスで、理想とする精度を満たせるような学習データを用意できないこともあります。
今回のお客さまも、公開前のユーザーテストの結果、当初予定していた学習データだけでは、十分な回答精度とは判断できず、追加で学習データを登録することになりました。また、サービスイン後にも、季節性のある問い合わせや新商品に関する問い合わせは、運用の中で拡充していかなければなりません。将来的に学習データを自分たちで作成・メンテナンスできるようになる必要がありました。
そこで、CORPUS factoryでは、学習データ作成作業を単純に請け負うのではなく、将来的にメンテナンス作業を内製化できるようになることを目標に、情シス部門の運用チームをサポートさせていただきました。
CORPUS factoryでは、「お客さま自身で自走できるようになる」ために以下の3つのポイントを理解してもらいながら、成功体験を導き出していきます。一緒に成功体験を積み重ねることで、実際のメンテナンス作業のやり方を習得してもらうとともに、お客さまが自信を持って対応できる判断力を高めていきます。
① チャットボットサービス自体の理解
一口にチャットボットと言っても、選定したサービスによって、辞書設定や選択肢設定、学習機能などさまざまな違いがあります。導入するチャットボットに「どんな機能があって、何を準備して、どんな学習データを作成する必要があるか」をきちんと理解することが重要です。
専門用語だらけのチャットボットベンダーからの説明だけでは理解が追いつかないという場合も、CORPUS factoryの担当者が一緒に説明を受け、確認すべきポイントの整理やサービス仕様の確認などを主導し、サポートします。
② サービスイン判定のKPIの理解
チャットボットの回答精度の良し悪しや、サービスインを判断する基準はどこなのかを理解することです。回答精度は一般的に80%が目安と言われています。しかし、評価する人によって質問の質が変わるため、場合によっては80%に満たないと判断されることもあります。
例えば、チャットボットの学習データを用意したチャットボットベンダーや情シス担当者は、FAQの内容やチャットボットが答えられる範囲を熟知しているため、チャットボットが答えられる/答えやすい質問をしてしまいます。そのため、高く評価される傾向があります。
しかし、ユーザー部門の方は、チャットボットが学習している範囲に関係なく、実際に寄せられる質問でテストします。そうすると、チャットボットが答えられる範囲外の質問も多くなるため、思っていたような回答が得られないと低く評価される傾向があります。さらに、ユーザー部門の方は、質問に対する回答を熟知しているため、回答内容の品質によってもさらに厳しく評価される可能性もあります。
このように、誰が評価するかによっても回答精度は変わってきます。一般的な基準はどのくらいなのか、精度評価の方法をアドバイスしながら、お客さまにあったKPIを設定していきます。
③ 適切な学習データ量の理解
サービスイン時の回答精度は80%が基準になるとご紹介しましたが、サービスイン直後は一時的に回答精度が下がる傾向があります。公開後の定期的なメンテナンスで、回答精度を上げていかなければなりませんので、「こうやれば精度が上がる」というポイントを事前に理解・把握しておく必要があります。
CORPUS factoryでは、初期学習データの構築の際に、基本的な学習データの作成方法を基礎からきっちり学んでいただきます。さらに、運用フェーズでは、ログの見方から、学習させるべきものはどれかを判断し、追加学習の計画・実行まで、指南役として支援させていただきます。
繰り返しメンテナンスを実施することで、回答精度が上がるのを体感いただけるため、少しずつ、チャットボットの運用に自信を持っていいただけるようになります。
ToDoリストから在るべき運用体制を提案！タスクが見えているから組織変更があってもスムーズに対応可能に
サービスイン後も新しいFAQの追加や一定の回答精度を保つためにメンテナンスが必要になるため、「運用体制」を整えておかなければなりません。
ただし、単純に担当者を配置するだけでは、人事異動や組織変更がある度に1から構築しなければならなかったり、いつのまにかその作業ができる人がいなくなってしまっていた…ということも起こり得ます。
CORPUS factoryでは、評価方法、FAQ追加、学習方法を整理した上で、運用フェーズでの作業項目を洗い出します。洗い出した各作業にかかるワークロードを検討し、在るべき運用体制のフレームを先に定義します。あとは、出来上がったフレームに担当者を割り振っていくだけ。各担当者はやるべきことが明確になるので、日々のメンテナンス作業はもちろん、メンバー変更がある場合も引き継ぎがスムーズになります。
今回のお客さまの場合も、運用が始まるタイミングで組織変更が予定されていたため、割ける人員、メンバーが未定でしたが、先に運用体制のフレームが出来上がっていたため、組織決定と併せてスムーズな体制組が可能になりました。
チャットボットベンダーとの円滑なコミュニケーションが成功の鍵！
チャットボット導入をスムーズに進めるためには、チャットボットベンダーとの円滑なコミュニケーションが重要になります。
例えば、チャットボットベンダーはサービスの説明はできますが、追加すべきFAQの内容はお客さまにしか判断できません。導入するチャットボットが備えている機能やベンダーからの報告に対して、その回答精度が妥当なのかを判断し、追加学習などの対策を計画・決めるのはお客さま自身です。
ベンダーはお客さまの判断をもって次のアクションを実行するため、きちんと内容を理解し、コミュニケーションを取っていかないと、プロジェクト全体に遅れが生じる可能性があります。
しかし、AIのスキルやノウハウがないと、なかなか判断が難しいこともあります。そこで、CORPUS factoryは、相談役としてプロジェクトに参加することで、円滑なプロジェクト推進を支援しています。
今回のお客さまの場合も、チャットボットベンダーとの定例会に参加し、プロジェクトを進める上で、お客さまが理解しなければならないポイントや確認すべき事項などをアドバイスさせていただきました。
お客さまからは、「分からないことをそのままにせず、相談しながら納得して進められた」との満足いただいています。
AI運用に関するお悩み相談会を開催しています！
CORPUS factoryでは、お客さまのご状況やリソースなどに応じた最適なプランでチャットボットの導入から運用体制の構築までをサポートしています。ちょっとしたお悩みでもまずはお気軽にご相談ください！
