パイプラインが落ち込んだとき、スコアリングモデルは最後に監査されることがほとんどです。チームはシーケンスを見直し、ICPの定義を再検討し、新しいメッセージをテストします。モデルは一度作れば静かに動き続けるインフラのように感じられ、おそらく問題ないだろうと手つかずのままになります。
私たちがチームに入り込んで支援するたびに分かるのは、モデルは問題ないどころか、その原因がほぼ必ず一か所にたどり着くということです。それは、モデルの構築に使われ、今も参照し続けているエンリッチメントデータです。リードスコアリングのデータ品質は上流の問題であり、営業担当者がスコアを目にする前に、すでにモデルを誤らせてしまいます。
リードスコアリングのデータ品質はエンリッチメントから始まる
標準的な構成は次のとおりです。リードが入り、エンリッチメントツールが項目を付与し、スコアリングモデルがそれらの項目を読み取って数値を割り当てます。スコアリングのロジック自体は、たいてい妥当に見えます。企業属性の適合度、エンゲージメントのシグナル、ICPに対する役職のマッチングなどです。しかし、ツールが付与した企業属性データはどうでしょうか。多くの場合、それらの項目値の30-40%が誤っているか、古いか、実態と一致していません。
これは憶測ではありません。スコアリングモデルを構築または再構築する前に、サンプルのアカウントでデータ監査を行うと実際に見つかることです。従業員数のレンジが1段階ずれている。業種タグが企業の実際の事業と合っていない。役職が、組織の実際の構造を反映しない職位レベルに対応付けられている。エンリッチメントツールはドメインを照合してレコードを取得しましたが、取得したのは別の企業のレコードか、2年前には正確だったレコードでした。
良くも悪くも、多くのチームがこれに気づくのは、スコア付きのリードが実際に電話した際の実態と合わないとSDRが不満を言い始めたときです。土台となる問題を見つけるには、遅すぎるシグナルです。
静かに進む誤りの継承
チームがつまずきやすいのは、スコアリングモデルが悪いデータを一度使うだけではないという点です。モデルは悪いデータをパターンとして引き継ぎます。たとえば、エンリッチメントツールが従業員数50-200名の企業を体系的にエンタープライズと誤分類していて、モデルがその同じ誤ったタグ付けを含む過去のコンバージョンで学習されていた場合、モデルは誤ったシグナルを予測因子として学習してしまいます。
その結果、リードスコアリングのデータ品質の問題が、学習データとリアルタイムの推論データの両方を汚染します。今後のエンリッチメントフィードを修正しても、モデルの重みは古い誤分類を反映したままです。私たちが話を聞く購入担当者は、これを緩やかなドリフトとして語ることがよくあります。「最初の6か月はスコアリングがうまく機能していたのに、そのうち取りこぼしが出始めた」というものです。多くの場合、それは市場行動の変化ではありません。蓄積したエンリッチメントの誤りが、大量のデータの中で表面化しているのです。
私の見方では、これは誤差が積み重なっていく問題です。誤った項目は、1件の誤ったスコアを生むだけではありません。以降のすべてのリードに作用するモデルに、誤ったパターンが埋め込まれてしまいます。この仕組みが重要なのは、スコアリング基準を調整してもリードスコアリングのデータ品質は直せないからです。基準に入力されるデータそのものを直す必要があります。
リードスコアリングのデータ品質に必要なこと
ここには2つの監査があります。関連してはいますが、同じ作業ではありません。
1つ目はエンリッチメント監査です。モデルはどの項目に依存しているか。それらの項目の精度は、サンプル全体でどの程度か。CRMから100-200件のアカウントを抽出し、エンリッチされた値を検証可能な情報源と照合して、従業員数、業種分類、本社所在地、技術スタック、元のコンタクトの職位レベルといった項目ごとに誤り率を測定します。これはスコアリングモデルを構築する前に、そして再構築する前には必ず行ってください。
2つ目はモデル監査です。過去のデータでコンバージョンを予測する項目はどれか、そして単に予測しそうに感じられるだけの項目はどれかを見極めます。多くのスコアリングモデルは、良いリードとはこういうものだという誰かの直感をもとに作られています。この2つの監査を合わせると、リードスコアリングのデータ品質の実用的な定義が得られます。適切な項目があり、その項目に正確なデータが入っていて、重視する成果に照らして検証されている状態です。
これを自動的に解決してくれるベンダーはありません。AIネイティブなものを含め、エンリッチメントツールはマッチ率を掲げていますが、マッチ率と項目の精度は別の数字です。レコードの90%をマッチさせても、付与した値の40%が誤っていることはあり得ます。あるフラクショナルRevOpsコンサルティング会社は、90日間の支援の後に予測精度が約40%向上したと主張しており、適したクライアントであればそれは信じられます。ただし、その改善はほぼ必ず、予測ロジックそのものではなく、予測に入力されるデータから始まっています。
いまでは、まさにこうしたデータとスコアリングの全面見直しを含むシステム再構築について、固定スコープの料金を公開しているRevOps企業もあります。これにより、購入側は作業内容の範囲を見積もりやすくなります。
私たちがこの領域で支援に入るときに行うこと
最初の2週間は、ほとんどの場合スコアリングモデルの中では作業しません。作業はデータの中で行います。サンプルを抽出し、エンリッチメント監査を実施し、モデルがどの項目を読み取っているかを整理して、抜き取り検査で誤り率がどうなっているかを確認します。
継続的な精度チェックを自動化する方法について、申し分のない答えは持ち合わせていません。エンリッチメントの精度は、企業が変化し、ツールが情報源を更新するにつれて低下します。そして、ほとんどのエンリッチメントAPIには、信頼できるリアルタイムの精度シグナルが組み込まれていません。私たちが見つけた最善の方法は、重み付けの高い項目について四半期ごとにサンプルレビューを行い、あわせてスコア上位のアクティブなアカウントの鮮度チェックを行うことです。
2つ目は、スコアリングモデルを、手作業でクレンジングしたデータではなく、お使いのツールが実際に生成するエンリッチメントデータを使ったホールドアウトセットでテストすることです。検証済みの企業属性でモデルを構築し、その後、付与されたデータに対して展開すると、入力の分布が異なる前提でモデルを作ったことになります。リードスコアリングのデータ品質とは、モデルが学習時に見るデータが、誤りも含めて、推論時に見るデータと一致していることを意味します。
私たちが受ける「スコアリングがうまく機能していない」という相談の多くは、ここに行き着きます。スコアリングのロジックは問題ないことが多いのです。問題なのは、その下にあるCRMのデータ衛生です。そして、同じ壊れた土台の上にスコアリング基準をさらに積み上げるのではなく、データ層を直すことが、作業の落としどころになる傾向があります。
この課題に取り組んでいる方は、RevOpsシステムについて公開している分析とフレームワークをご覧ください。スコアリングを再構築する前に、データとエンリッチメントの監査にどう取り組むかを紹介しています。リードスコアリングのデータ品質は、多くのチームにとって出発点であり、最も飛ばされやすい部分でもあります。