金融サービス規制機関であるFinancial Services Regulatory Authority of Ontario（FSRA）は、住宅ローンブローカー、生命保険および健康保険代理店、信用組合、年金制度、ファイナンシャルプランナー、ファイナンシャルアドバイザーなどを監督します。規制機関として将来を考慮していますが、消費者保護が決して脅かされることのないよう、常に注意しています。
FSRAは、組織全体で分析とAIを民主化し、AIガバナンスのフレームワークを導入し、AIを活用した業務アプリケーションを開発することを目指していましたが、その過程で数え切れないほどの障害に直面しました。
FSRAには次のものが欠けていました。
- AIを管理するメカニズム
- 異種データソースを統合し、分析するためのツール
- インターネットベースのバックグラウンドチェックを自動化して、生産性を向上させ、重要なデータに効果的にアクセスする機能
- これらすべての作業を実行するための一元管理されたデータサイエンスプラットフォーム
そこでDataikuの出番です。
Dataikuで障害を克服する
FSRAは、この組織の業務、IT、データサイエンスなどの分野のプロを結び付けることができる、包括的なデータサイエンスプラットフォームを必要としていました。そして、総合的な機能、柔軟性、ユーザーフレンドリーなインターフェースからDataikuを選びました。
FSRAのチームは、次のような戦術的課題に取り組むため、AIを活用した初の業務アプリケーションを開発する必要がありました。
- 何千もの申請に対してインターネットベースのバックグランドチェックを手作業で実施していたが、申請数の増加によって続けることが困難になり、自動化する必要があった。
- 既存のプロセスを長期にわたり維持することができなくなり、自動化、スケーラビリティ、具体的な業務基準に基づく総合的なバックグラウンドチェックが必要になった。
- 旧式の異種データベースが多数あり、スキーマ、フォーマット、非構造化データ入力がそれぞれ異なるため、データを効率的かつ効果的に統合、分析することが困難だった。
- 各データベースを個別に手作業で検索してから検索結果を結合する必要があり、生産性が大幅に低下していた。
- 非構造化データソースはデータベース内のコメントフィールドに埋め込まれていることが多く、ソースがわかっていても実際には有益な情報にアクセスできないため、FSRAがそのデータに効果的にアクセスして利用することが難しかった。
- 外部および内部のデータソースから得たリスクシグナルをすべて網羅して一元管理していなかったため、全リスクを正確に評価し、情報に基づいて判断を下すことが非常に困難だった。
Dataikuを導入したことで、固有表現抽出にはSpacy、埋め込みにはWord2Vecなどの事前学習済みAIモデルを利用し、チームはさまざまなウォッチリストやチェック用のカスタム検索機能を開発しました。また、モデルをトレーニングするためのカスタムのキーワード辞書も作成しました。AIモデルをトレーニングし、固有のリスク基準に基づいて検索結果をフィルタリングすることにより、プロセスを自動化し、スケーラビリティを大幅に向上させました。
Dataikuを使うことで、大規模言語モデル（LLM）が利用しやすくなり、従来のAIモデルでは達成できなかった自然言語理解の問題に取り組めるようになりました。この機能を利用して、FSRAは自然言語分析に基づく意思決定を行えるようになりました。
さらに、DataikuではPythonとRをネイティブにサポートしているため、開発者は短時間でコードを作成し、サードパーティーAPIを利用し、多数のタスクを実行するためのカスタムのレシピや関数を開発できるようになりました。これまでは、必然的にはるかに大掛かりな開発やテストが必要でした。ひと目でわかるDataikuのインターフェースのおかげで、開発チームは通常よりはるかにスピーディーにモデルの開発、テスト、監査を行うことができました。
さまざまなソースからリスクシグナルを集約するため、FSRAはDataikuの機能を利用してデータの統合、クレンジング、変換を行いました。チームは、インターネット、社内データベース、申請者が提出したメディアなどのデータを含む、構造化データと非構造化データから得たリスクシグナルを一元的に把握できるようにしました。これらのシグナルを集約し、総合的に扱うことにより、「意思決定支援」機能で明確なわかりやすいリスクインジケーターを提供し、意思決定をサポートしたのです。
Dataikuは本質的にコラボレーションに適しているため、これらの機能をシームレスに統合し、一貫性がある包括的なソリューションを構築することができました。プロジェクト全体を通してラボレーションが促進され、さまざまな役割のユーザーがやり取りして、開発プロセスに貢献できるようになりました。
最後に、DataikuはAIの説明可能性、監督のしやすさ、独立型のAIガバナンスの提供を重視しており、新たに作成したAIガバナンスフレームワークを運用できるようにするというFSRAのニーズに適していました。このフレームワークは、データサイエンス、機械学習（ML）、AIに関するFSRAのポリシーとガイドラインを説明するものです。
詳細な成果
Dataikuの導入は、FSRAの日常業務を大きく変えました。業務プロセスに多大な影響を与え、効率化、意思決定の強化、規制監督の改善につながったのです。戦術面で達成された主な成果は次のとおりです。
- 手作業による申請の審査に比べ、80%時間を短縮
- これまでは人手が必要だった、150を越えるリスクシグナルの検索を自動化
- パイロットから本番稼働までのソリューションをわずか12週間で展開
Dataikuによって実現された、FSRA初のAIを活用したアプリケーション（意思決定支援ポータル、「DSP」）で、バックグラウンドチェック、データ統合、ドキュメント分析が大幅に改善されました。インターネットベースのバックグラウンドチェックの自動化により、手作業によるプロセスが能率化されて、より包括的なバックグラウンドチェックをよりスピーディーに行えるようになりました。多様なデータソースを統合して一元化したことで、データのアクセシビリティーと生産性が向上し、業務が最適化されました。
さらに、DSPが提供する透明性と説明可能性、スキルアップや人脈作りの機会を通じて、チームの効率が高まり、技術スタックの効率が向上し、リスク管理とガバナンスが改善されました。Dataikuを利用してモデルとアルゴリズムの内部のしくみを可視化することで、展開の透明性が確保されました。モデルの結果を理解し、解釈することができるので、FSRAのステークホルダーの間に自信と信頼が生まれました。
Dataikuで手作業のプロセスを自動化し、高度なAI機能を提供することができたため、規制に関する複雑な業務に必要な時間と労力が大幅に減り、スピードとアジリティーが高まりました。その結果、FSRAは規制の変更や業界のダイナミクスにすぐに対応し、業務効率を最大化できるようになりました。全体として、DataikuはFSRAの効率とコンプライアンスを著しく強化するのに役立ちました。
生成AIへの段階的アプローチ
FSRAのAI/MLアーキテクトであるMaurice Chang氏は、業務、変革、テクノロジー部門のステークホルダーと協力して、このテクノロジーを展開するための段階的アプローチを構築しました。金融サービスの規制にChatGPTを利用するという計画を発表するだけではネガティブな反応が生じる可能性があるので、その代わりに本番環境ですでに問題なく業務部門が利用しているDSPに、上述の150のリスクシグナルを含めて拡張し、シンプルな生成AIのユースケースから始めました。
このユースケースでは、Canadian Legal Information Instituteから検索した特定の事例要約に被告、被告人、または上訴人という語句が含まれているかどうか、という新しいリスクシグナルを1つだけ追加しました。事例要約は非構造化データなので、従来の自然言語処理手法ではこのようにシンプルな「イエスかノーか」というシグナルを確実に生成することができませんでした。そこで利用したのがGPTです。
職員がマッチングしたデータを使用し、フィードバックを提供し、品質に満足して信頼できるようになってから、チームはそれを実現したのが生成AIであるということを公にし始めました。最初のユースケースによって生成AIへの先入観はなくなり、受け入れられるようになりました。職員は、この新しいテクノロジーで日常業務の品質とスピードを向上させることができるというビジョンに理解を示しました。ユーザーとユースケースの数は数か月のうちに急増し、チームは引き続き生成AIの他のユースケースを試しています。
AIによるカルチャーの変化
Dataikuの導入により、FSRA内ではデータサイエンスとAIのためのツールとリソースに幅広くアクセスできる個人が増えました。現在は、ビジネスアナリストがデータサイエンスに関する活動に直接従事できるので、効率が向上し、業務のプロとITのプロがより効果的にコラボレーションできるようになっています。FSRAは、この新たな関わりを活用してデータサイエンスとAIの可能性を探り、これらのテクノロジーの潜在的な影響とメリットを業務部門に実証することができました。
さらに、FSRAのData Science Labは、エンタープライズMLOps機能を取り込むことで大きな恩恵を受けています。Dataiku内でMLモデルとプロセスを操作可能にする機能を利用すると、データサイエンスワークフローのさまざまな側面をより適切に管理できるようになりました。
このため、Data Science Labの生産性が向上しただけでなく、組織全体でのAIシステムの展開と管理がスムーズになりました。
これらの機能を利用することで、FSRAは構築したAIガバナンスフレームワークを簡単に実装して監視し、AIテクノロジーを用いたアプリケーションを組織の目標や規制と確実に合致させることができます。