Whataburger: LLMを利用して顧客の声を把握

Whataburgerはもともと、直近6か月のオンライン内部カスタマーレビューのトレンドを示す可視性の高いダッシュボードを導入済みでした。そこに今話題の生成AIを組み入れるために、Whataburgerの分析チームは、このダッシュボードのもとになるデータセットを大規模言語モデル（LLM）で生成できるようにしたいと考えました。

Whataburgerがこれをどのように実現し、Dataikuがその仕組みにどう役立っているかを、同社のRamon Avendano氏（エンタープライズ情報ソリューション担当シニアマネージャー）、Chase Thompson氏（データサイエンスおよびビジネスインサイト担当マネージャー）、Margarita Shultz氏（クラウドサービス担当シニア情報アーキテクト）にお聞きしました。同社はこのソリューションによって、レビューの経時的なトレンドを把握するためのセンチメント分析を実行するだけでなく、ダッシュボードを経営陣に簡単に共有し、うまくいっている部分と改善すべき部分をすばやく見極められるようになりました。

ソリューションの詳細

Dataikuを導入する前、WhataburgerはシンプルなBag-of-Wordsアプローチによるセンチメント分析を行っていました。このアプローチでは、テキストを表現する手法として、文書中の単語の出現頻度を算出し、単語の分布を示す数値ベクトルを作成し、そのベクトルを機械学習モデルに入力して、センチメントを分類します。問題は、このBag-of-Words（直訳すると「単語袋」）アプローチでは、単語の順序を無視し、単語の出現頻度や有無だけを考慮するという点です。

以前のWhataburgerは、このアプローチを使って個々のレビューにカテゴリーを割り当て、極性スコア（正または負の値）を付与し、キーワードを抽出したうえで、その情報をダッシュボードに流し込んでいました。この旧式でやや大雑把なBag-of-Wordsアプローチは、Whataburgerにとっては問題がありました。なぜなら、この方式では文中の単語だけを見るからです。例えば、レビューの文中に「悪い」という単語が含まれていれば、それがどんな文脈であっても、レビュー全体が「否定的」と分類されていました。また、Bag-of-Wordsアプローチは手動でのメンテナンスが必要で、カスタマーレビューのカテゴリー分類を正しく保つために、アナリストがたびたび修正を行う必要がありました。

そこでWhataburgerはDataikuを導入し、既存のダッシュボードに表示するデータセットをLLMで生成することにしました。これにより、文中のセンチメントを正しく把握できるようになりました。さらに、このプロセスはノーコードで実現されるため、技術知識のあるエキスパートだけでなく、より多くのユーザーが利用できるようになりました。また、LLMを利用することで、レビューのカテゴリーを追加または削除したいときに、パイプラインの変更やコーディングをしなくても、プロンプトを調整するだけで簡単に対応できるようになりました。

さまざまなLLMの比較：どのLLMが最適か？

このユースケースのユニークな点は、有料LLMやプライベートLLMも含め、さまざまなLLMをDataikuのインフラストラクチャー上で比較し、どれが最もふさわしいかをテストできたことです。WhataburgerとDataikuは共同で、いくつかの無料LLM（主にDollyとFalcon）とGPTを試しました。

DollyとFalconは、微調整なしでは実用レベルの成果が得られず、複雑なプロンプトの指示にも対応できませんでした。新しいカテゴリーをたびたび作成してしまうなどの問題もありました。最終的に選ばれたのはGPTでした。GPTは、1つのクエリーで3つの質問に対応できたからです。ただ、他のモデルでは正しくできていたカテゴリー分類がうまくいかず、適切な出力形式に従っていない場合もよくありました。

DataikuはこのテストをPrompt Studiosで実施しました。Prompt Studiosは高機能の開発環境で、プロンプトのテストと反復的修正、プロンプトの比較、さまざまなLLMの比較を実行でき、さらに、プロンプトをレシピとしてデプロイし、大規模なバッチ生成を行うこともできます。Prompt Studiosを利用することで、LLMが好ましい結果を返しているかをWhataburgerが確認しながら、修正を繰り返すことが可能になりました。以前のアプローチでは、正確性を確認する手段は一切ありませんでした。

多くの場合、有料モデルにはそれだけの価値があります。有料モデルはすぐに優れたパフォーマンスを発揮し、微調整は不要で、基盤となるインフラストラクチャーを気にかける必要もありません。この点は、オープンソースモデルを使うときに過小評価されがちなコストです。LLMを試してから選択できる環境があれば、企業にとっては大きな時間の節約になります。できる限り早い段階で、この点を見極めることが重要です。 Pierre Pfennig氏 Dataiku、EMEA地域データサイエンス担当VP

ビジネスインパクト：数千件のレビューをLLMにもとづくダッシュボードで精査

Whataburgerが取り扱うレビューの数は合計1,500万件以上に達し、毎週1万件以上の新しいオンラインレビューが主にソーシャルメディアから追加されます。そのため、同社が調査・分析すべきデータの量は膨大なものになります。この課題を解決するのがDataikuです。Dataikuにもとづく、視覚的でコーディング不要で簡単に管理できるソリューションによって、レビューを吟味する時間を確保し、顧客体験の向上につなげることができます。