より良いオンラインレビューシステムの設計

アイデアを簡単に

オンラインレビューは、消費者が製品やサービスを選択する方法を変換しています：私たちは、休暇を計画するためにトリップアドバイザー、医者を見つけるためにZocdoc、そして新しいレストランを見つけるためにYelpに目を向けます。 レビューシステムは、AmazonやAirbnbなどのオンラインマーケットプレイスでも中心的な役割を果たしています。 より広義には、スタンフォード—ヘルスケアから米国最大の10の小売業者のうちの九に至るまで、ますます多くの組織が、顧客が自分の製品について学ぶのを助けるためにレビュー生態系を維持しています。

よく管理され、レビューシステムは、同様に買い手と売り手のための価値を作成します。 信頼できるシステムは、消費者に、新しい本や地元のレストランでの夕食かどうかにかかわらず、比較的未知の製品を購入する必要がある自信を与 たとえば、私たちの一人（Mike）による調査では、Yelpの評価が高いほど売上が高くなることがわかりました。 この効果は、評判があまり確立されていない独立した企業にとってより大きくなります。 たとえば、評価により、Uberはパフォーマンスの悪いドライバーをサービスから削除することができ、消費財の生産者に提供を改善するためのガイダンスを与

しかし、すべての繁栄のレビューシステムのために、他の多くは不毛であり、レビュアーも他のユーザーも引き付けません。 そして、いくつかは多くのレビューを蓄積しますが、彼らの情報性に消費者の信頼を構築するために失敗します。 たとえば、プラットフォーム上のレビューがすべて肯定的である場合、人々は評価されている項目がすべて高品質であると仮定するか、システムが良いものと悪いものを区別するのを助けることができないと結論づけるかもしれません。 レビューは、経験の不完全なスナップショットを提供する場合、誤解を招く可能性があります。 詐欺的または利己的なレビューは、信頼を構築するためのプラットフォームの努力を妨げる可能性があります。 MikeとGeorgios Zervasの調査によると、評判が低迷している場合や競争が特に激しい場合、企業はレビュー詐欺に従事する可能性が特に高いことがわかりました。

多くのレビューシステム障害の背後には、これらのシステムを構築することは管理上の課題ではなく技術的な課題であるという共通の前提があ ビジネスリーダーは、多くの場合、システムの背後にある技術に多額の投資をしますが、積極的にコンテンツを管理することができず、一般的な問題 デザインの選択が不十分なことの影響は深刻な場合があります: これは、旅行者が（レビューに大きく傾いている）ホストが評判を確立するための方法なしでAirbnbを信頼することを想像するのは難しい、または買い物客がレ 学者として、HyunjinとMikeは、いくつかのオンラインプラットフォームが成功する一方で、他のプラットフォームが失敗するデザインの選択肢を研究し、Yelpや他の企業と協力してこの面で支援してきました（HyunjinはYelpの経済学研究インターンでもあります）。 そして、10年以上にわたりYelpのCOOとして、Geoffはreview ecosystemがローカルサービスに関する世界の主要な情報源の1つになるのを助けました。

近年、より堅牢なレビューおよび評判システムにつながる可能性のある設計の選択を検討する研究が増えています。 私たちの研究、教育、企業との協力に基づいて、この記事では、発生する可能性のある問題と、一般的な落とし穴を避けるのに役立つインセンティブとデザイ これらの問題のそれぞれをより詳細に見て、それらに対処する方法を説明します。

十分なレビューがない

Yelpが始まったとき、それは定義上、新しいプラットフォームでした—ゴーストタウンで、レビュアーや読者はほとんどいませんでした。 多くのレビューシステムは、彼らが出始めている場合は特に、レビューの不足を経験します。 ほとんどの人が購入を通知するためにレビューを読むが、ほんの一部は、彼らが使用する任意のプラットフォーム上でレビューを書きます。 この状況は、レビュープラットフォームが強力なネットワーク効果を持っているという事実によって悪化している：読者が少ない世界でレビューライターを引

我々は、適切な数のレビューを生成するのに役立つ三つのアプローチを提案する：システムのシード、インセンティブの提供、および関連製品をプールしてレビューを一緒に表示する。 アプローチの適切な組み合わせは、システムがその成長軌道上にある場所、個々の製品の数、システム自体の目標などの要因に依存します。

初期段階のプラットフォームは、レビュアーの雇用や他のプラットフォームからのレビューの描画を検討することができます（パートナーシップを通じ、適切な帰属 新しい都市のユーザーがYelpを訪れて自分のレビューを投稿するのに十分な価値を生み出すために、同社はパートタイムの”スカウト”の有料チームを募集し、プラット 他の企業にとって、レビューに特化したプラットフォームとの提携は、独自のレビューエコシステムを作成したい人や、レビューを表示したいが、独自のプラッ AmazonやMicrosoftなどの企業は、Yelpや他のプラットフォームからレビューを引き出してサイトを作成します。

独自のレビューエコシステムを成長させようとしているプラットフォームでは、活動を奨励するために確立されたブランドを必要としないため、初期段階でレビューを播種することは特に有用である。 しかし、多くの製品やサービスはコストがかかる可能性があり、得られるレビューは有機的に生成されたコンテンツとは異なる場合があるため、目標に応じて一部のプラットフォームはシードを超えて迅速に移行することで恩恵を受ける可能性があります。

プラットフォームのユーザーにレビューや評価を投稿する動機を与えることは、スケーラブルな選択肢であり、コミュニティの感覚を作り出すこともで あなたが使用するインセンティブは財政的かもしれません：2014年にAirbnbはレビューと引き換えに2 25クーポンを提供し、レビュー率の6.4％の増加を見ました。 しかし、現物の贈り物やステータスシンボルなどの非金融的インセンティブは、特にあなたのブランドが十分に確立されている場合、レビュー担当者にも動機付けを与える可能性があります。 Googleのローカルガイドプログラムでは、ユーザーはレビューの作成、写真の追加、コンテンツの修正、質問への回答など、プラットフォームに何かを投稿するたびにポイ これらのポイントは、早期アクセスから新しいGoogle製品、Googleドライブストレージの無料1TBアップグレードに至るまでの報酬に変換できます。 多作、高品質のレビュアーのYelpの”エリート分隊”は、他の特典の中で、プライベートパーティーやイベントへの招待と一緒にプラットフォーム上で特別な指定を受け

金融インセンティブは、大規模な製品配列を持っている場合は挑戦になることができます。 しかし、より大きな懸念は、彼らがうまく設計されていない場合、金融と非金融の両方のインセンティブは、他の顧客を助けない速いがずさんなレビ

レビュー単位を見直すことで、複数の商品に単一のコメントを適用することができます。 例えば、Yelpでは、サロンスペースを共有するヘアスタイリストは、単一のサロンリストの下で一緒にレビューされます。 この集計は、任意の単一のスタイリストのレビューがビジネスのページに表示されるため、Yelpは、特定のビジネスのために蓄積することができますレビ なお、多くの大広間がスタイリスト間の規則的な解約を経験するので、大広間の評判はスタイリストのそれ潜在的な顧客にとって少なくとも同様に重 同様に、レビュープラットフォームは、販売されたすべての製品を分離するのではなく、（eBayのように）売り手をレビューするようにユーザーに求めることによ

レビューシステムに製品をプールするかどうか、そしてどのようにプールするかを最初から決定することは、プラットフォームが何であるかを確立するた （ここはスタイリストやサロンについて学ぶ場所ですか？)プールすることは有用な方法でプールするべきより多くの項目があるので、あなたのプロダクトスペースが広がると同時に特に魅力的になる。

しかし、このアプローチのリスクは、より多くのレビューを達成するために製品をプールすると、特定の製品について必要な情報を顧客に提供できな たとえば、サロンで各スタイリストを訪問した経験がかなり異なっているかどうか、あるスタイリストのレビューが別のスタイリストの潜在的な顧客

Amazonの書店でのレビューのプールは、読者が購入したい本の形式を考慮に入れています。 同じタイトルのテキスト版（ハードカバー、ペーパーバック、Kindle）のレビューは一緒に表示されますが、オーディオブックはAudibleブランドの下で別々にレビューされます。 本の内容について学びたいと思う顧客のためにすべての可聴周波および物理的な本のための検討をプールすることは有利である。 しかし、オーディオ制作の品質とナレーターに関する情報はオーディオブックの購入者にとって重要な要素であるため、これらのレビューを別々に保つことに

これらの戦略はすべて、レビュー不足を克服するのに役立ち、より多くの読者がプラットフォームの恩恵を受け、関与するようになるにつれて、コンテン しかし、プラットフォームはレビューの量だけでなく、システムの選択バイアスやゲームの影響を受ける可能性のある情報性も考慮する必要があります。

選択バイアス

オンラインレビューを書いたことがありますか？ もしそうなら、何がその特定の機会にコメントすることにしましたか？ 調査によると、レビューを残すユーザーの決定は、多くの場合、経験の質に依存することが示されています。 いくつかのサイトでは、顧客は彼らの経験が良かった場合、レビューを残すためにlikelierかもしれません;他の人には、それが非常に良いか非常に悪い場合に いずれの場合も、結果として得られる評価は選択バイアスに苦しむ可能性があります。 たとえば、満足している人だけがレビューを残すと、評価は人為的に膨張します。 企業がレビューを残すために幸せな顧客だけを微調整すると、選択バイアスがさらに顕著になる可能性があります。

EBayは2011年に売り手のスコアが疑わしいと気づいたとき、選択バイアスの挑戦に遭遇しました：サイト上のほとんどの売り手は99％以上の肯定的な評価を 同社はエコノミストのChris NoskoとSteven Tadelisと協力し、ユーザーは良い経験の後にレビューを残すことがはるかに好ましいことを発見しました：サイト上で完了した約4400万の取引のうち、わずか0.39％が否定的なレビューや評価を持っていましたが、実際の「紛争チケット」を持っていたのは2倍以上（1％）であり、悪い経験を暗示する売り手とのメッセージを交換するようバイヤーに促したのは7倍以上（3％）でした。 バイヤーが売り手を見直すことに決めたかどうかは、実際には、その売り手の評価よりも将来の苦情のより良い予測因子であり、したがって品質のよ

EBayは、評価者の選択バイアスを修正し、より明確に高品質の売り手を区別することによって、バイヤーの経験と販売を改善できると仮定しました。 これは、売り手のスコアを（肯定的な評価の割合ではなく）肯定的な評価を生成した売り手の取引のすべての割合として再定式化しました。 この新しい測定はスコアの配分の相当な広がりとの67%の中央値をもたらし、新しいスコアに露出された潜在的な顧客は場所で戻って、別の購入を

同様の方法でプラットフォーム上のスコアをプロットすることで、評価が歪んでいるかどうか、問題の深刻さ、追加のデータが修正に役立つかどうかを調 どのようなレビューシステムでも、直面する可能性が最も高いバイアスを軽減するように細工することができます。 最初の質問からユーザーがレビューを入力するときに取得するメッセージまで、レビュープロセス全体が、ユーザーに偏った方法で行動する機会を提供します。 デザインの選択を試してみると、レビュー担当者の自己選択の偏りや、ユーザーが特定の方法で評価する傾向を減らす方法を示すのに役立ちます。

より重いアプローチでは、ユーザーは別の購入を行う前に購入を確認する必要があります。 しかし、慎重に踏む：これは、プラットフォームから一部の顧客を駆動することができ、顧客がデフォルトとして使用する非情報的な評価の洪水につな このため、多くの場合、プラットフォームは選択バイアスを最小限に抑えるための他の方法を探します。

プライベートコメントを許可します。

経済学者のJohn HortonとJoseph Goldenは、フリーランサーのレビューサイトUpworkで、雇用者はフリーランサーとの否定的な経験の後に公開レビューを残すことに消極的であったが、Upworkだけが見ることができるフィードバックを残すことに開放されていたことを発見した。 (悪い経験を個人的に報告した雇用者はまだ時間の最大級の公共のフィードバックにほぼ20%を与えた。 これにより、ユーザーがレビューを残すことを望んでいたかどうか、問題のあるフリーランサーについての重要な情報がUpworkに提供され、フリーランサーの一致を示唆 集計されたフィードバックは、それが関連する追加情報であったことを示す、雇用の決定をシフトしました。

より一般的には、人々が残すレビューは、彼らがそれらを残すように求められている方法と時期に依存します。 プラットフォームは、ユーザーがレビューするかどうかを決定する環境のさまざまな側面を慎重に設計することで、レビューの偏りを最小限に抑えることがで このアプローチは、cass SunsteinとRichard Thaler（Nudge：Improving Decisions About Health、Wealth、およびHappinessの著者）によって造語された用語で、プロンプトの表現方法からユーザーに与えられるオプションの数に

Yelpで実行したある実験では、ユーザーにレビューを残すよう促すメッセージを変更しました。 一部のユーザーは、一般的なメッセージ”次のレビューが待っています”を見ましたが、他のユーザーは地元企業が発見されたり、他の消費者が地元企業を見つけ 後者のグループは長いレビューを書く傾向があることがわかりました。

詐欺的で戦略的なレビュー

売り手は、レビューが実際の顧客によって残されたふりをしながら、自分自身のために肯定的なレビューや競合他社のために否定的なレビューを残すことによって、彼らの評価を高めるために（非倫理的に）試みることがある。 これはastroturfingとして知られています。 より多くの影響力のあるプラットフォームは、より多くの人々がastroturfしようとします。

アストロターフィングができる消費者への害のために、政策立案者と規制当局が関与してきました。 2013年、当時のニューヨーク州司法長官であったEric Schneidermanは、動機の一部として私たちの研究を引用して、それに対処するための作戦に従事しました。 シュナイダーマンの事務所は、オンラインプラットフォーム上で偽のレビューを書くのを助けた19社との契約を発表し、練習を停止し、虚偽の広告や欺瞞的なビジネス慣行を含む料金のために多額の罰金を支払うことを要求した。 しかし、万引きと同様に、企業は単に法執行機関に頼ることはできません。 MikeがGeorgios Zervasと書いた論文で議論されているように、Yelpを含むいくつかの企業は、偽のレビューを残そうとしている企業を特定して対処するためにスティング操作を実行しています。

買い手と売り手がお互いを評価し、相手からより高い評価を引き出すために彼らのレビューを作るときに関連する課題が発生します。 あなたがAirbnbに滞在した最後の時間を考えてみましょう。 その後、あなたはホストのレビューを残すように求められました。 2014年までは、ホストが行う前にあなたのレビューを残した場合、彼または彼女はあなたについて何を書くかを決定する前にそれを読むことがで 結果は？ あなたは否定的なレビューを残す前に二度考えるかもしれません。

プラットフォーム設計の選択とコンテンツのモデレーションは、詐欺的で戦略的なレビューの数を減らす上で重要な役割を果たしています。

レビュアーのためのルールを設定します。

デザインの選択は、誰がレビューできるか、誰のレビューを強調するかを決定することから始まります。 たとえば、Amazonは、レビューが商品の確認済み購入者からのものである場合にアイコンを表示し、消費者が潜在的に詐欺的なレビューのために画面を助ける エクスペディアはさらに進み、そのプラットフォームを介して予約したゲストのみがそこにレビューを残すことができます。 Dina Mayzlin、Yaniv Dover、Judith Chevalierの調査によると、このような政策は詐欺的なレビューの数を減らすことができることが示されています。 同時に、誰がレビューを残すかについてのより厳しい規則は、本物のレビューとレビュアーの数を大幅に減少させる鈍器になる可能性があります。 プラットフォームは、潜在的な偽物を減らすことの利点が、正当なレビューを減らすコストを上回るかどうかを決定する必要があります。

プラットフォームはまた、レビューを提出し、表示することがで Nonreviewersが査読者よりも体系的に悪い経験を持っていたことを認識した後、Airbnbはゲストとホストの間の相互レビューを阻止し、より完全なフィードバックを可能にするために”同時明らかに”ルールを実装しました。 プラットフォームは、ゲストとホストの両方がそれらを提供し、レビューする能力が期限切れになるまで期限を設定するまで、評価を表示しなくな 同社がこの変更を行った後、Andrey Fradkin、Elena Grewal、David Holtzによる調査では、ゲストとホストの両方の平均評価が低下し、レビュー率が増加したことがわかりました。

モデレーターを呼び出します。

あなたのシステムの設計の選択がどれほど良いものであっても、あなたは問題に遭遇することになります。 スパムは入れることができる。 悪い俳優は、システムをゲームしようとすることができます。 二年前に非常に関連していたレビューは時代遅れになる可能性があります。 そして、いくつかのレビューは他のレビューよりも便利です。 例えば、非購入者からのレビューは除外することができますが、残っているものの中には誤解を招くものもあれば、有益ではないものもあります。 節度は、誰が書いたのか、いつ書かれたのかだけでなく、その内容に基づいて誤解を招くレビューを排除することができます。

コンテンツのモデレーションには、従業員、コミュニティ、アルゴリズムの3つのフレーバーがあります。 従業員のモデレーター（コミュニティマネージャーと呼ばれることが多い）は、サービスを積極的に使用し、他のユーザーとオンラインで対話し、不適切なコンテンツを削除し、経営陣にフィードバックを提供する日々を過ごすことができます。 このオプションは最もコストがかかりますが、何が機能しているのか、何が機能していないのかをすばやく理解し、サイトに表示されるものを常に誰かが管理していることを確認するのに役立ちます。

コミュニティモデレーションにより、すべてのユーザーは、人為的に膨張したレビューからスパムやその他の種類の虐待に至るまで、貧弱なコンテン Yelpのは、ユーザーが他のレビュアーに嫌がらせや他のいくつかのビジネスについてのように見えるレビューについての懸念を提出するために投稿するこ Amazonは、各レビューが役に立つか役に立たないかをユーザーに尋ね、そのデータを使用して、最初に表示されるレビューを選択し、特に役に立たないレビューを抑制し しかし、多くの場合、コンテンツの品質にフラグを立てるのはごく一部のユーザーだけなので、コミュニティフラグシステムを機能させるためには、従事しているユーザーのクリティカルマスが必要です。

コンテンツをモデレートするための第三のアプローチは、アルゴリズムに依存しています。 Yelpの推奨ソフトウェアは、毎日各レビューに関する数十の要因を処理し、より目立つように”推奨”として表示されているレビューを変化させます。”2014年に同社は、書かれたレビューの75％未満が任意の時点で推奨されたと述べました。 Amazon、Google、TripAdvisorは、プラットフォームから問題のあるコンテンツを削除するレビュー品質のアルゴリズムを実装しています。 アルゴリズムはもちろん、バイナリ分類を超えて、代わりに各評価にどのくらいの重みを置くかを評価することができます。 MikeはDaisy Dai、Ginger Jin、Jungmin Leeと論文を執筆し、格付けの集約問題を探り、各格付けに重みを割り当てることが、基礎となるレビュープロセスの課題を克服するのにどのように役立つかを強調しています。

それをすべてまとめる

他の人の経験は、常に製品の品質に関する重要な情報源でした。 例えば、American Academy of Family Physiciansは、人々が医師について学び、推奨事項を得るために友人や家族に目を向けることを示唆しています。 レビュープラットフォームは、それが簡単に群衆の知恵を活用すること、このプロセスを加速し、体系化しています。 オンラインレビューは、顧客、プラットフォーム、および政策立案者にとって同様に有用でした。 たとえば、yelpのデータを使用して、高級化の期間中に地域がどのように変化するかを理解することから、最低賃金の引き上げがビジネス成果に与える影 しかし、レビューが消費者、売り手、そしてより広範な人々に役立つためには、レビューシステムを管理する人々は、彼らが行うデザインの選択と、ユーザーの経験を最