Navrhování lepších online kontrolních systémů

Idea ve stručnosti

online recenze mění způsob, jakým si spotřebitelé vybírají produkty a služby: obracíme se na TripAdvisor, abychom naplánovali dovolenou, Zocdoc najít lékaře a Yelp najít nové restaurace. Kontrolní systémy hrají ústřední roli také na online tržištích, jako jsou Amazon a Airbnb. Obecněji řečeno, rostoucí počet organizací-od Stanfordské zdravotní péče po devět z 10 největších amerických maloobchodníků-nyní udržuje revizní ekosystémy, aby zákazníkům pomohl dozvědět se o jejich nabídkách.

spravováno dobře, systém kontroly vytváří hodnotu pro kupující i prodávající. Důvěryhodné systémy mohou spotřebitelům poskytnout důvěru, kterou potřebují ke koupi relativně neznámého produktu, ať už novou knihu nebo večeři v místní restauraci. Například výzkum jednoho z nás (Mike) zjistil, že vyšší hodnocení Yelpu vede k vyšším prodejům. Tento efekt je větší pro nezávislé podniky, jejichž pověst je méně dobře zavedená. Recenze také vytvářejí smyčku zpětné vazby, která poskytuje dodavatelům cenné informace: například hodnocení umožňují Uberu odstranit špatně fungující ovladače ze své služby a mohou poskytnout výrobcům spotřebního zboží pokyny pro zlepšení jejich nabídky.

ale pro každý prosperující systém recenzí je mnoho dalších neplodných a nepřitahuje recenzenty ani jiné uživatele. A někteří shromažďují mnoho recenzí, ale nedokáží vybudovat důvěru spotřebitelů v jejich informativnost. Pokud jsou například recenze na platformě pozitivní, lidé mohou předpokládat, že hodnocené položky jsou vysoce kvalitní—nebo mohou dojít k závěru, že jim systém nemůže pomoci odlišit dobré od špatného. Recenze mohou být zavádějící, pokud poskytují neúplný snímek zkušeností. Podvodné nebo samoobslužné recenze mohou bránit úsilí platforem o budování důvěry. Výzkum Mikea a Georgiose Zervase zjistil, že podniky se obzvláště pravděpodobně zapojí do podvodů s recenzemi, když jejich pověst bojuje nebo je obzvláště intenzivní konkurence.

za mnoha selháními systému se skrývá společný předpoklad: že budování těchto systémů představuje spíše technologickou výzvu než manažerskou. Obchodní lídři často investují do technologie za systémem, ale nedokáží aktivně spravovat obsah, což vede k běžným problémům. Důsledky špatných rozhodnutí o návrhu mohou být závažné: Je těžké si představit, že by cestovatelé důvěřovali Airbnb, aniž by si hostitelé mohli vytvořit reputaci (která se silně opírá o recenze), nebo že by zákazníci mohli Amazon navigovat hladce bez recenzí. Jako akademici Hyunjin a Mike zkoumali možnosti designu, které vedou některé online platformy k úspěchu, zatímco jiné selhávají, a spolupracovali s Yelp a dalšími společnostmi, aby jim pomohli na této frontě (Hyunjin je také ekonomickým výzkumným stážistou v Yelpu). A jako COO Yelpu po více než deset let, Geoff pomohl jeho reviznímu ekosystému stát se jedním z dominantních zdrojů informací o místních službách na světě.

v posledních letech rostoucí skupina výzkumu zkoumala možnosti návrhu, které mohou vést k robustnějším systémům přezkumu a reputace. V návaznosti na náš výzkum, výuka, a práce se společnostmi, tento článek zkoumá rámce pro správu revizního ekosystému-osvětluje problémy, které mohou nastat, a pobídky a možnosti designu, které mohou pomoci vyhnout se běžným nástrahám. Podíváme se na každou z těchto otázek podrobněji a popíšeme, jak je řešit.

nedostatek recenzí

když Yelp začal, byla to podle definice nová platforma-město duchů, s několika recenzenty nebo čtenáři. Mnoho recenzních systémů má nedostatek recenzí, zejména když začínají. Zatímco většina lidí čte recenze, aby informovala o nákupu, jen malý zlomek píše recenze na jakékoli platformě, kterou používají. Tuto situaci zhoršuje skutečnost, že recenzní platformy mají silné síťové efekty: je obzvláště obtížné přilákat autory recenzí ve světě s několika čtenáři, a obtížné přilákat čtenáře ve světě s několika recenzemi.

navrhujeme tři přístupy, které mohou pomoci vygenerovat dostatečný počet recenzí: osazení systému, nabídka pobídek a sdružování souvisejících produktů, aby se jejich recenze zobrazovaly společně. Správná kombinace přístupů závisí na faktorech, jako je to, kde je systém na své růstové trajektorii, kolik jednotlivých produktů bude zahrnuto a jaké jsou cíle pro samotný systém.

očkování recenze.

platformy v rané fázi mohou zvážit najímání recenzentů nebo čerpání recenzí z jiných platforem (prostřednictvím partnerství a s řádným přiřazením). Vytvořit dostatečnou hodnotu pro uživatele v Novém Městě, aby mohli začít navštěvovat Yelp a přispívat vlastními recenzemi, společnost najala Placené týmy „skautů“ na částečný úvazek, kteří by přidali osobní fotografie a recenze na několik měsíců, dokud se platforma nezachytí. Pro ostatní podniky, partnerství s platformami, které se specializují na recenze, může být také cenné-jak pro ty, kteří chtějí vytvořit svůj vlastní ekosystém recenzí, tak pro ty, kteří chtějí zobrazit recenze, ale nemají v úmyslu vytvořit vlastní platformu. Společnosti jako Amazon a Microsoft přitahují recenze z Yelpu a dalších platforem, aby naplnily své stránky.

pro platformy, které chtějí rozvíjet svůj vlastní recenzní ekosystém, mohou být recenze semen užitečné zejména v raných fázích, protože nevyžadují zavedenou značku, která by motivovala aktivitu. Velké množství produktů nebo služeb však může být nákladné a recenze, které získáte, se mohou lišit od organicky generovaného obsahu, takže některé platformy—v závislosti na jejich cílech—mohou těžit z rychlého přechodu za setí.

nabídka pobídek.

motivovat uživatele vaší platformy, aby přispívali recenzemi a hodnoceními, může být škálovatelná možnost a může také vytvořit pocit komunity. Pobídka, kterou používáte, může být finanční: v roce 2014 Airbnb nabídla kupón ve výši 25 USD výměnou za recenze a zaznamenala 6, 4% nárůst sazeb za recenze. Nefinanční pobídky—například věcné dary nebo symboly stavu—však mohou také motivovat recenzenty, zejména pokud je vaše značka dobře zavedená. V programu místních průvodců společnosti Google získávají uživatelé body kdykoli přispějí k platformě-psaní recenze—přidání fotografie, Oprava obsahu nebo zodpovězení otázky. Tyto body mohou převést na odměny od včasného přístupu k novým produktům Google až po bezplatnou aktualizaci 1TB úložiště Disku Google. Yelpův „elitní tým“ plodný, vysoce kvalitní recenzenti dostávají na platformě zvláštní označení spolu s pozvánkami na soukromé večírky a akce, mimo jiné výhody.

finanční pobídky se mohou stát výzvou, pokud máte velké pole produktů. Větší obavou však může být, že pokud nejsou navrženy dobře, finanční i nefinanční pobídky se mohou vymstít tím, že přimějí uživatele k naplnění systému rychlými, ale nedbalými recenzemi, které nepomáhají ostatním zákazníkům.

sdružování produktů.

tím, že přehodnotíte jednotku přezkumu, můžete provést jeden komentář, který se vztahuje na více produktů. Na Yelpu, například, kadeřníci, kteří sdílejí salonní prostor, jsou přezkoumáváni společně pod jediným seznamem salonů. Tato agregace výrazně zvyšuje počet recenzí, které může Yelp nashromáždit pro danou firmu, protože na stránce firmy se objeví recenze jakéhokoli stylisty. Navíc, protože mnoho salonů zažívá pravidelné stloukání mezi svými stylisty, pověst salonu je pro potenciálního zákazníka přinejmenším stejně důležitá jako pověst stylisty. Podobně, recenze platformy může být schopen generovat více užitečné recenze tím, že žádá uživatele, aby přezkoumala prodejců (jako na eBay), spíše než oddělovat každý prodaný produkt.

rozhodování od samého počátku, zda a jak sdružovat produkty v systému kontroly, může být užitečné, protože určuje, o čem je platforma. (Je to místo, kde se můžete dozvědět o stylistech nebo o salonech?) Sdružování se stává obzvláště atraktivní, jak se váš produktový prostor rozšiřuje, protože máte více položek, které můžete užitečnými způsoby sdružovat.

Sean McCabe

rizikem pro tento přístup je však to, že sdružování produktů k dosažení více recenzí nemusí poskytnout vašim zákazníkům informace, které potřebují o konkrétní nabídce. Zvažte například, zda je zkušenost s návštěvou každého stylisty v salonu zcela odlišná a zda by přezkoumání jednoho stylisty bylo relevantní pro potenciální zákazníky jiného.

Amazon sdružuje recenze ve svém knihkupectví a bere v úvahu formát knihy, kterou si čtenář chce koupit. Recenze textových vydání stejného titulu (hardback, paperback a Kindle) se objevují společně, ale audiokniha je přezkoumávána samostatně pod značkou Audible. Pro zákazníky, kteří se chtějí dozvědět o obsahu knih, by bylo prospěšné sdružovat recenze všech zvukových a fyzických knih. Ale protože kvalita produkce zvuku a informace o vypravěči jsou významnými faktory pro kupující audioknih, může být přínosem pro udržení těchto recenzí odděleně.

všechny tyto strategie mohou pomoci překonat nedostatek recenzí, což umožňuje, aby se vývoj obsahu stal soběstačnějším, protože více čtenářů těží z platformy a zapojuje se do ní. Platformy však musí vzít v úvahu nejen objem recenzí, ale také jejich informativnost—což může být ovlivněno předpojatostí výběru a hraním systému.

výběrové zkreslení

už jste někdy napsali online recenzi? Pokud ano, co vás přimělo se k této konkrétní příležitosti vyjádřit? Výzkum ukázal, že rozhodnutí uživatelů zanechat recenzi často závisí na kvalitě jejich zkušeností. Na některých stránkách mohou být zákazníci pravděpodobnější, že zanechají recenze, pokud byly jejich zkušenosti dobré; na jiných, pouze pokud to bylo velmi dobré nebo Velmi špatné. V obou případech mohou výsledná hodnocení trpět předpojatostí výběru: nemusí přesně představovat celou škálu zkušeností zákazníků s produktem. Pokud pouze spokojení lidé opustí recenze, například hodnocení budou uměle nahuštěna. Výběrové zkreslení může být ještě výraznější, když podniky pošťuchují pouze spokojené zákazníky, aby zanechali recenzi.

EBay se setkal s výzvou předpojatosti výběru v roce 2011, když si všiml, že skóre jeho prodejců bylo podezřele vysoké: většina prodejců na webu měla více než 99% pozitivní hodnocení. Společnost spolupracovala s ekonomy Chrisem Noskem a Stevenem Tadelisem a zjistila, že uživatelé jsou mnohem pravděpodobnější, že zanechají recenzi po dobré zkušenosti: z přibližně 44 milionů transakcí, které byly na webu dokončeny, mělo pouze 0, 39% negativní recenze nebo hodnocení, ale více než dvakrát tolik (1%) mělo skutečný „sporný lístek“ a více než sedmkrát tolik (3%) přimělo kupující k výměně zpráv s prodejci, což znamenalo špatnou zkušenost. To, zda se kupující rozhodli přezkoumat prodávajícího, bylo ve skutečnosti lepším prediktorem budoucích stížností—a tedy lepším zástupcem kvality-než hodnocení prodávajícího.

EBay předpokládal, že by to mohlo zlepšit zkušenosti kupujících a tím i prodej tím, že opraví zkreslení výběru hodnotitelů a jasněji odliší prodejce vyšší kvality. Přeformuloval skóre prodávajícího jako procento všech transakcí prodávajícího, které generovaly kladné hodnocení (místo procenta kladných hodnocení). Toto nové opatření přineslo medián 67% s podstatným rozšířením v distribuci skóre—a potenciální zákazníci, kteří byli vystaveni novým skóre, se častěji než kontrolní skupina vrátili a provedli další nákup na webu.

vykreslením skóre na vaší platformě podobným způsobem můžete zjistit, zda jsou vaše hodnocení zkreslená, jak závažný může být problém a zda vám další údaje mohou pomoci opravit. Jakýkoli systém kontroly může být vytvořen tak, aby zmírnil zaujatost, které s největší pravděpodobností čelí. Celý proces kontroly – od počátečního dotazu po zprávy, které uživatelé dostávají při psaní recenzí-poskytuje příležitost přimět uživatele, aby se chovali méně zaujatými způsoby. Experimentování s výběrem designu může pomoci ukázat, jak snížit zaujatost při vlastním výběru recenzentů, stejně jako jakoukoli tendenci, kterou uživatelé musí Hodnotit určitým způsobem.

vyžadují recenze.

těžší přístup vyžaduje, aby uživatelé zkontrolovali nákup před provedením dalšího. Ale opatrně: to může některé zákazníky vyřadit z platformy a může vést k záplavě neinformativních hodnocení, která zákazníci používají jako výchozí hluk a jiný druh chyby ve vašich recenzích. Z tohoto důvodu platformy často hledají jiné způsoby, jak minimalizovat zkreslení výběru.

povolit soukromé Komentáře.

ekonomové John Horton a Joseph Golden zjistili, že na webu Freelancer review Upwork se zaměstnavatelé zdráhali opustit veřejné recenze po negativní zkušenosti s freelancerem, ale byli otevřeni zanechání zpětné vazby, kterou viděl pouze Upwork. (Zaměstnavatelé, kteří nahlásili špatné zkušenosti soukromě, stále poskytovali nejvyšší možnou zpětnou vazbu veřejnosti téměř 20% času.) To poskytlo Upwork důležité informace-o tom, kdy uživatelé byli nebo nebyli ochotni zanechat recenzi, a o problematických nezávislých pracovnících-že by mohl použít buď ke změně algoritmu, který navrhl zápasy na volné noze, nebo k poskytnutí souhrnné zpětné vazby o nezávislých pracovnících. Souhrnná zpětná vazba posunula rozhodnutí o náboru, což naznačuje, že se jedná o relevantní doplňující informace.

návrh vyzve opatrně.

obecněji, recenze, které lidé opustí, závisí na tom, jak a kdy jsou požádáni, aby je opustili. Platformy mohou minimalizovat zkreslení v recenzích promyšleným navrhováním různých aspektů prostředí, ve kterém se uživatelé rozhodnou, zda přezkoumají. Tento přístup, často označovaný jako choice architecture-termín vytvořený Cassem Sunsteinem a Richardem Thalerem (autoři Nudge: zlepšování rozhodnutí o zdraví, bohatství a štěstí) – se vztahuje na vše, od toho, jak jsou formulovány výzvy, až po to, kolik možností je uživateli dáno.

V jednom experimentu, který jsme spustili na Yelpu, jsme změnili zprávy vyzývající uživatele k zanechání recenze. Někteří uživatelé viděli obecnou zprávu „další recenze čeká,“ zatímco jiní byli požádáni, aby pomohli místním podnikům objevit se nebo jiným spotřebitelům najít místní podniky. Zjistili jsme, že druhá skupina měla tendenci psát delší recenze.

podvodné a strategické recenze

prodejci se někdy snaží (neeticky) zvýšit své hodnocení tím, že zanechají pozitivní recenze pro sebe nebo negativní pro své konkurenty, zatímco předstírají, že recenze zanechali skuteční zákazníci. Toto je známé jako astroturfing. Čím je platforma vlivnější, tím více lidí se bude snažit astroturfovat.

kvůli škodě pro spotřebitele, kterou může astroturfing způsobit, se politici a regulátoři zapojili. V roce 2013 se Eric Schneiderman, tehdejší generální prokurátor v New Yorku, zapojil do operace, která jej řešila—jako součást motivace uvedl náš výzkum. Schneidermanova kancelář oznámila dohodu s 19 společnostmi, které pomohly psát falešné recenze na online platformách, vyžadující, aby zastavili praxi a zaplatili statnou pokutu za poplatky, včetně falešné reklamy a podvodných obchodních praktik. Ale, jako u krádeží v obchodech, podniky se nemohou jednoduše spolehnout na vymáhání práva; aby se vyhnuli nástrahám falešných recenzí, musí také nastavit vlastní ochranu. Jak je uvedeno v článku, který Mike napsal s Georgiosem Zervasem, některé společnosti, včetně Yelpu, provozují operace sting, aby identifikovaly a oslovily společnosti, které se snaží zanechat falešné recenze.

související výzva vzniká, když se kupující a prodávající navzájem hodnotí a vytvářejí své recenze, aby získali vyšší hodnocení od druhé strany. Zvažte, kdy jste naposledy zůstali v Airbnb. Poté jste byli vyzváni, abyste zanechali recenzi hostitele, který byl také požádán, aby vám zanechal recenzi. Až do roku 2014, pokud jste recenzi opustili dříve, než to hostitel udělal, mohl si ji přečíst, než se rozhodl, co o vás napsat. Výsledek? Možná si dvakrát rozmyslíte, než opustíte negativní recenzi.

výběr designu platformy a moderování obsahu hrají důležitou roli při snižování počtu podvodných a strategických recenzí.

nastavte pravidla pro recenzenty.

možnosti designu začínají rozhodnutím, kdo může zkontrolovat a jehož recenze zvýraznit. Například Amazon zobrazí ikonu, pokud je recenze od ověřeného kupujícího produktu, což může spotřebitelům pomoci prověřit potenciálně podvodné recenze. Expedia jde dále a umožňuje pouze hostům, kteří si rezervovali prostřednictvím své platformy, nechat tam recenzi. Výzkum Dina Mayzlin, Yaniv Dover a Judith Chevalier ukazuje, že taková politika může snížit počet podvodných recenzí. Přísnější pravidla o tom, kdo může recenzi zanechat, mohou být zároveň tupým nástrojem, který výrazně snižuje počet skutečných recenzí a recenzentů. Platforma musí rozhodnout, zda přínos snížení potenciálních padělků převyšuje náklady na méně legitimních recenzí.

platformy také rozhodují o tom, kdy mohou být recenze odeslány a zobrazeny. Poté, co si Airbnb uvědomila, že nereviewers mají systematicky horší zkušenosti než recenzenti, zavedla pravidlo „simultánní odhalení“, aby odradila vzájemné recenze mezi hosty a hostiteli a umožnila úplnější zpětnou vazbu. Platforma již nezobrazuje hodnocení, dokud je host i hostitel neposkytnou, a nestanoví lhůtu, po které vyprší platnost kontroly. Poté, co společnost provedla tuto změnu, výzkum Andrey Fradkin, Elena Grewal, a David Holtz zjistil, že průměrné hodnocení pro hosty i hostitele pokleslo, zatímco míra hodnocení se zvýšila—což naznačuje, že recenzenti se méně báli opustit zpětnou vazbu po špatné zkušenosti, když byli chráněni před odplatou.

zavolejte moderátory.

bez ohledu na to, jak dobré jsou možnosti návrhu vašeho systému, musíte narazit na problémy. Spam může vklouznout dovnitř. Špatní herci se mohou pokusit hrát systém. Recenze, která byla mimořádně důležitá před dvěma lety, mohou být zastaralá. A některé recenze jsou mnohem užitečnější než jiné. Lze vyloučit například recenze od nekupujících, ale i některé z těch, které zůstávají, mohou být zavádějící nebo méně informativní. Moderování může eliminovat zavádějící recenze na základě jejich obsahu, nejen kvůli tomu, kdo je napsal nebo kdy byly napsány.

moderování obsahu přichází ve třech příchutích: zaměstnanec, komunita a algoritmus. Moderátoři zaměstnanců (často nazývaní komunitní manažeři) mohou trávit své dny aktivním používáním služby, interakcí online s ostatními uživateli, odstraňováním nevhodného obsahu a poskytováním zpětné vazby vedení. Tato možnost je nejnákladnější, ale může vám pomoci rychle pochopit, co funguje a co ne, a zajistit, aby někdo vždy spravoval to, co se na webu objevuje.

moderování komunity umožňuje všem uživatelům pomoci odhalit a označit špatný obsah, od uměle nahuštěných recenzí po spam a jiné druhy zneužívání. Yelp má jednoduchou ikonu, kterou mohou uživatelé zveřejnit, aby předložili obavy z recenze, která obtěžuje jiného recenzenta nebo se zdá, že jde o nějaké jiné podnikání. Amazon se ptá uživatelů, zda je každá recenze užitečná nebo neužitečná, a používá tato data k výběru recenzí, které se zobrazí jako první, a k potlačení zvláště neužitečných. Často jen malá část uživatelů bude označovat kvalitu obsahu, nicméně, takže kritické množství zapojených uživatelů je zapotřebí, aby systémy označování komunity fungovaly.

třetí přístup k moderování obsahu se opírá o algoritmy. Software doporučení Yelpu denně zpracovává desítky faktorů o každé recenzi a mění recenze, které jsou výrazněji zobrazeny jako „doporučené“.“V roce 2014 společnost uvedla, že v daném okamžiku bylo doporučeno méně než 75% písemných recenzí. Amazon, Google a TripAdvisor implementovaly algoritmy kvality kontroly, které odstraňují urážlivý obsah ze svých platforem. Algoritmy mohou samozřejmě jít nad rámec binární klasifikace a místo toho posoudit, jak velkou váhu umístit na každé hodnocení. Mike napsal článek s Daisy Dai, Ginger Jin, a Jungmin Lee, který zkoumá problém agregace hodnocení, zdůraznění toho, jak přiřazení závaží každému hodnocení může pomoci překonat výzvy v procesu základního přezkumu.

dát to všechno dohromady

zkušenosti ostatních byly vždy důležitým zdrojem informací o kvalitě produktu. Americká akademie rodinných lékařů například navrhuje, aby se lidé obrátili na přátele a rodinu, aby se dozvěděli o lékařech a získali doporučení. Revizní platformy tento proces urychlily a systematizovaly, což usnadňuje proniknutí do moudrosti davu. Online recenze byly užitečné pro zákazníky, platformy, a tvůrci politik. Použili jsme například data Yelp, abychom se podívali na problémy od pochopení toho, jak se sousedství mění během období gentrifikace, až po odhad dopadu zvýšení minimální mzdy na obchodní výsledky. Aby však recenze byly užitečné-spotřebitelům—prodejcům a širší veřejnosti-lidé, kteří spravují kontrolní systémy, musí pečlivě přemýšlet o tom, jaké možnosti designu dělají a jak co nejpřesněji odrážet zkušenosti uživatelů.