食べログ3.8問題を受けて 〜食べログスコアとの付き合い方〜

データ分析

食べログ3.8問題について、たまたま手持ちの収集済みデータがあったため、分析をかけてみた。

ちなみに食べログ3.8問題の元記事はこちら。

こちらの記事を要約すると、

  • 食べログは「評価3.8以上の店舗は年会費を払わなければ3.6に下げられる」という噂についてデータから検証
  • もし上の噂が正しく、食べログが評価を恣意的に操作している場合、店舗の評価点の分布が歪むはず
  • 地域を大阪または東京に限定し、評価数が一定数以上ある店舗1200店舗について評価点の分布を確かめたところ、評価点3.8以上の点で極端に度数が減り、かつ3.6付近で不自然なピークがあることを確認
  • 上の結果から、噂に矛盾しない結果となった

というもの。

この結果を受けてTwitter界隈ではおおいに盛り上がり、食べログ3.6最強説まで生まれるようになっている(これは、本来食べログ3.8以上の評価を受けている店舗が、有料会員でないか、あるいはなんらかの不透明な根拠により3.6に強制的に評価を落とされているのでは、という噂の信頼性が上がったためである。)

しかし、記事を見ていて以下の疑問が残った。それは、

「逆に、本来低評価であるはずの店舗が、有料会員である、あるいはなんらかの不透明な根拠により評価が3.6に引き上げられているケースもあるのではないか」

というものである。もしこの仮説が正しいとすれば事態はより深刻で、食べログ3.6最強説を信じたユーザーが飛んだトバッチリを受けることにもなりかねない。そこで、この記事ではここを可能な範囲で検証してみたい。

と、その前にまずは食べログの店舗スコアの計算方法を確認していきたい。

食べログのスコアリングについて

食べログの店舗のスコアは、ユーザーのつけた評価を単純に平均したものではない。食べログの公式ページ(https://tabelog.com/help/score/)によれば、細かい計算方法は公開されていないものの、大きく以下により店舗の評価点を決定している、とある。

  1. ユーザー影響度を加味

  2. 評価が集まらないと点数が上がらない

上述の基準に沿った非公開のアルゴリズムにより、ユーザーの評価点に様々な調整を施して、

  • 店舗のTOP500前後が、店舗スコア 4.0~
  • 店舗のTOP3%が、店舗スコア3.5 ~ 4.0
  • その他約97%が、店舗スコア3.0 ~ 3.5

となるように調整しているものと見られる。

この「調整している」部分がキモで、これはつまり、食べログは非公開のアルゴリズムにより、間接的に店舗スコアを操作できることを意味する。

但し、食べログは以下のように、「有料店舗であるかどうか」については店舗スコア算出に影響しない、と説明している。

食べログでは飲食店向けに有料の集客サービスを提供していますが、
有料集客サービスを利用しているかどうかが点数に影響することは一切ありません。
点数はあくまでもユーザー評価をもとに算出された数値であり、ユーザーのお店選びを更に便利にする、という食べログのポリシーに沿って継続的なアップデートを行っています。

しなしながら我々庶民はアルゴリズムの不透明さ故に、そこを判断する事が出来ない。
「一切ありません」と言われれば、そこをできる範囲で検証したくなるのが人の性。
そこで、本記事では参考記事を出発点に、更にもう少し突っ込んだ分析を行ってみたい。

参考記事と、本記事での調査方法の違い

大きく以下の点で違いを持たせた。

  1. データ量を強化
  2. 食べログスコアに加えて、ユーザー評価との比較を追加

まずデータ量については、参考記事ではエリアが東京・大阪で評価数が一定数以上の1200店舗を対象としていたが、本記事では全店舗(約80万)を対象とする。

更に食べログが非公開のアルゴリズムにより算出したスコアに加えて、ユーザーの評価点を店舗毎に集計したデータも用意し、食べログスコアとユーザー評価点との間の乖離を調べることとする。

データは公開されている情報を収集して使用した。

検証

まずは食べログスコアを算出する元となっているはずの、ユーザーのレビュー評点を店舗毎に集計したデータを見ていくことにする。これが所謂食べログによる操作前の生データとなる。

ユーザーのレビュー評点について店舗の度数分布を確認したところ、下のようにおおよそレビュー評点3.46付近を平均とする正規分布をなしていることが分かる。3.0, 3.5, 4.0など0.5刻みの部分の評価が多いのは、恐らくユーザーがキリのいい数値で評価する癖があるか、またはUI(例えば0.5刻みの星で入力させる等)による影響と思われる。尚下のヒストグラムは昼評価を図示しているが、夜評価も分布の形はほとんど変わらない。

食べログユーザー評点の度数分布

このユーザー評点を、食べログサイドが非公開のアルゴリズムにより、3.0~5.0の範囲に変換したスコア(食べログスコア)の分布は以下の通りである。

変換前の分布とは大きく異なり、べき分布のような形となっている(食べログ公式発表の通り、約97%は食べログスコア3.5未満であるのは概ね間違いなさそうだ)。

この縮小された図からも、3.5~3.6付近で不自然なピークがあることははっきり見て取れる。

さて、次に考えたいのは、この3.5〜3.6付近の不自然なピークが何を意味するか、ということだ。
つまり、

  • 本来3.5の価値がない店舗が(何らかの理由で)下駄を履いて3.5〜になっている
  • 本来3.8~の価値がある店舗が(何らかの理由で)低く評価されて3.5~に落とされている

の2点の可能性が考えられる。

そこで、ユーザーの評点と食べログスコアとの散布図を取ってみた(この地点で、対象とする店舗は100件以上の評点を持つ店舗数約10000件に限定した)。それが以下の図である。

上の図の見方だが、まず横軸は食べログのスコア(3.0~上限は4.0で切った)、縦軸は生のユーザー評価値の平均である(1.0~5.0)。オレンジの線は傾きが分かりづらいがy=xの補助線であり、つまりオレンジの線より上側の店舗はユーザー評価が高いが食べログスコアは低めの店舗を示し、オレンジより下の線はユーザー評価は低いが食べログスコアは高くなっている店舗を示す。

つまり、我々が気をつけるべきは上の図で下に突き出している部分の割合が多い食べログスコア帯で、このスコア帯では何らかの理由により、ユーザーに不評な店舗に手心が加えられている可能性が高い(それが直接的であれ、間接的であれ)。

さて、上の点に注意して、もう一度この散布図を眺めてみることにする。

すると、3.6付近で下にガクッと落ちているように見える。しかし同時にやや上にも広がっているようにも見え、この図ではこれ以上のことは分かりづらい。

そこで、食べログスコアを0.1刻みに分割し、(1)店舗数と、(2)ユーザーの高評価割合(=オレンジ線より上の面積 / 下の面積)で割合を出してまとめてグラフにしてみたところ、以下のようになった。

見方は、横軸が食べログスコアを0.1刻みで刻んだもの、縦軸は左が店舗数(青の棒グラフ)、右がユーザーの高評価割合(オレンジの折れ線グラフ)を示す。特筆すべきはやはり、3.5~3.6帯の不自然なまでに突出した店舗数だが、ここについては既に分かっていることなので割愛する。今回新たに見えた面白いことは、高評価ユーザの割合が高い=信頼性が高いという前提に立つならば、

  • 食べログスコア3.0~3.3くらい、また3.7~3.9くらいは、高評価ユーザの占める割合が高い→比較的信頼できるかも?
  • 食べログスコア3.4〜3.6くらいは、ユーザーの評価点平均が食べログスコアを下回っている上に、店舗数が異常値であり、かなり注意が必要と思われる(もちろん頑張ってる店も多いだろうが過大評価されてる店も多そう)

という結論が、取り敢えず導き出せそうである。食べログスコア3.0前半では、食べログをそもそも使っていないが隠れた名店も多いイメージなので、個人的な直感とも整合する。

最後に、今回のデータを元に考えられる仮説(あくまで仮説です!)を挙げるとすると、

  • 「非会員3.8以上の評点スコアを一律に3.6に調整している」かはやや疑問。
    調整前の母集団が恐らくべき分布であることを考慮すると、そもそも3.8以上ある店舗数はそう多くないはずで、それらが3.6辺りにこれだけの影響を及ぼすとは考えづらいため
  • (上と同様にべき分布を想定した上で)ユーザーの高評価が3.3くらいから落ち込み始めることからも、「3.8の店舗が不当に下げられて3.6に調整」よりも「本来3.3~くらいの実力の一部の店舗が(何らかの理由で)下駄を履かされている」仮説の方が説得力がありそう
  • または別の可能性として、母集団と評価件数TOP10000で分布に大きな差が出ることから、食べログスコア3.5くらいまでは評価件数の多さが重要なファクター(評価の良し悪しよりも、評価件数の方が重要視されている)という仮説も考えられる

念のために、上のグラフの元になっている表を貼り付けておく。

店舗スコア 店舗数 高評価ユーザの割合
3.0〜3.1 173 0.84
3.1~3.2 278 0.85
3.2~3.3 310 0.74
3.3~3.4 306 0.57
3.4~3.5 328 0.42
3.5~3.6 6481 0.43
3.6~3.7 1014 0.84
3.7~3.8 280 0.77
3.8~3.9 153 0.67
3.9~4.0 132 0.52

最後までお付き合いいただき有難うございました。

コメント

タイトルとURLをコピーしました