Design af bedre online Anmeldelsessystemer

idea in Brief

online-anmeldelser ændrer den måde, forbrugerne vælger produkter og tjenester på: Vi henvender os til TripAdvisor for at planlægge en ferie, til at finde en læge og Yelp for at finde nye restauranter. Anmeldelsessystemer spiller også en central rolle på online markedspladser som f.eks. Mere bredt opretholder et stigende antal organisationer—lige fra Stanford Health Care til ni af de 10 største amerikanske detailhandlere—nu gennemgangsøkosystemer for at hjælpe kunderne med at lære om deres tilbud.

administreret godt, et gennemgangssystem skaber værdi for både købere og sælgere. Pålidelige systemer kan give forbrugerne den tillid, de har brug for til at købe et relativt ukendt produkt, hvad enten det er en ny bog eller middag på en lokal restaurant. For eksempel fandt forskning fra en af os (Mike), at højere Yelp-ratings fører til højere salg. Denne effekt er større for uafhængige virksomheder, hvis omdømme er mindre veletableret. Anmeldelser opretter også en feedbacksløjfe, der giver leverandører værdifuld information: for eksempel giver ratings Uber mulighed for at fjerne dårligt fungerende drivere fra sin service, og de kan give producenter af forbrugsvarer vejledning til forbedring af deres tilbud.

men for hvert blomstrende gennemgangssystem er mange andre ufrugtbare og tiltrækker hverken korrekturlæsere eller andre brugere. Og nogle samler mange anmeldelser, men undlader at opbygge forbrugernes tillid til deres informativitet. Hvis anmeldelser på en platform for eksempel alle er positive, kan folk antage, at de varer, der vurderes, alle er af høj kvalitet—eller de kan konkludere, at systemet ikke kan hjælpe dem med at skelne det gode fra det dårlige. Anmeldelser kan være vildledende, hvis de giver et ufuldstændigt øjebliksbillede af oplevelser. Svigagtige eller selvbetjente anmeldelser kan hæmme platformernes bestræbelser på at opbygge tillid. Undersøgelser foretaget af Mike og Georgios har vist, at virksomheder er særligt tilbøjelige til at engagere sig i revisionssvindel, når deres omdømme kæmper, eller konkurrencen er særlig intens.

bag mange systemfejl ligger en fælles antagelse: at opbygning af disse systemer repræsenterer en teknologisk udfordring snarere end en ledelsesmæssig. Virksomhedsledere investerer ofte meget i teknologien bag et system, men undlader aktivt at styre indholdet, hvilket fører til almindelige problemer. Konsekvenserne af dårlige designvalg kan være alvorlige: Det er svært at forestille sig, at rejsende ville stole på Airbnb uden en måde for værter at etablere et ry (som læner sig stærkt på anmeldelser), eller at shoppere kunne navigere som problemfrit uden anmeldelser. Som akademikere har Hyunjin og Mike undersøgt de designvalg, der fører nogle online platforme til at lykkes, mens andre fejler og har arbejdet med Yelp og andre virksomheder for at hjælpe dem på denne front (Hyunjin er også en økonomiforskningspraktikant hos Yelp). Og som COO for Yelp i mere end et årti, Geoff hjalp sit gennemgangsøkosystem med at blive en af verdens dominerende informationskilder om lokale tjenester.

i de senere år har en voksende mængde forskning undersøgt de designvalg, der kan føre til mere robuste gennemgangs-og omdømmesystemer. Trækker på vores forskning, undervisning, og arbejde med virksomheder, denne artikel udforsker rammer til styring af et gennemgangsøkosystem—kaster lys over de problemer, der kan opstå, og de incitamenter og designvalg, der kan hjælpe med at undgå almindelige faldgruber. Vi vil se nærmere på hvert af disse spørgsmål og beskrive, hvordan vi skal løse dem.

ikke nok anmeldelser

da Yelp begyndte, var det per definition en ny platform—en spøgelsesby med få korrekturlæsere eller læsere. Mange gennemgangssystemer oplever mangel på anmeldelser, især når de starter. Mens de fleste læser anmeldelser for at informere et køb, skriver kun en lille brøkdel anmeldelser på enhver platform, de bruger. Denne situation forværres af det faktum, at gennemgangsplatforme har stærke netværkseffekter: det er især vanskeligt at tiltrække gennemgangsforfattere i en verden med få læsere og vanskeligt at tiltrække læsere i en verden med få anmeldelser.

vi foreslår tre tilgange, der kan hjælpe med at generere et tilstrækkeligt antal anmeldelser: såning af systemet, tilbyde incitamenter og samle relaterede produkter for at vise deres anmeldelser sammen. Den rigtige blanding af tilgange afhænger af faktorer som hvor systemet er på dets vækstbane, hvor mange individuelle produkter der vil blive inkluderet, og hvad målene er for selve systemet.

Seeding anmeldelser.

tidlige platforme kan overveje at ansætte korrekturlæsere eller tegne anmeldelser fra andre platforme (gennem et partnerskab og med korrekt tilskrivning). For at skabe nok værdi for brugere i en ny by til at begynde at besøge Yelp og bidrage med deres egne anmeldelser, rekrutterede virksomheden betalte hold af deltids “spejdere”, der ville tilføje personlige fotos og anmeldelser i et par måneder, indtil platformen blev fanget. For andre virksomheder kan partnerskab med platforme, der specialiserer sig i anmeldelser, også være værdifuldt—både for dem, der ønsker at oprette deres eget gennemgangsøkosystem, og for dem, der ønsker at vise anmeldelser, men ikke har til hensigt at oprette deres egen platform. Virksomheder som Microsoft henter anmeldelser fra Yelp og andre platforme for at udfylde deres sider.

for platforme, der ønsker at dyrke deres eget gennemgangsøkosystem, kan seeding-anmeldelser være særligt nyttige i de tidlige stadier, fordi det ikke kræver, at et etableret brand tilskynder til aktivitet. Et stort antal produkter eller tjenester kan dog gøre det dyrt, og de anmeldelser, Du får, kan afvige fra organisk genereret indhold, så nogle platforme—afhængigt af deres mål—kan drage fordel af hurtigt at bevæge sig ud over såning.

tilbyder incitamenter.

at motivere din platforms brugere til at bidrage med anmeldelser og vurderinger kan være en skalerbar mulighed og kan også skabe en følelse af fællesskab. Det incitament, du bruger, kan være økonomisk: i 2014 tilbød Airbnb en kupon på $25 til gengæld for anmeldelser og oplevede en stigning på 6,4% i gennemgangsfrekvenserne. Ikke-finansielle incitamenter—såsom gaver i naturalier eller statussymboler-kan dog også motivere korrekturlæsere, især hvis dit brand er veletableret. I Googles Local Guides-program optjener brugerne point, når som helst de bidrager med noget til platformen—skriver en anmeldelse, tilføjer et foto, korrigerer indhold eller besvarer et spørgsmål. De kan konvertere disse point til belønninger lige fra tidlig adgang til nye Google-produkter til en gratis 1 TB-opgradering af Google Drive-lager. Yelps” elitegruppe ” af produktive korrekturlæsere af høj kvalitet modtager en særlig betegnelse på platformen sammen med invitationer til private fester og begivenheder, blandt andre frynsegoder.

økonomiske incitamenter kan blive en udfordring, hvis du har et stort produktarray. Men en større bekymring kan være, at hvis de ikke er designet godt, kan både økonomiske og ikke-finansielle incitamenter slå tilbage ved at få brugerne til at udfylde systemet med hurtige, men sjusket anmeldelser, der ikke hjælper andre kunder.

Pooling produkter.

ved at genoverveje revisionsenheden kan du få en enkelt kommentar til at gælde for flere produkter. På Yelp, for eksempel, frisører, der deler salonplads, gennemgås sammen under en enkelt salonliste. Denne sammenlægning øger i høj grad antallet af anmeldelser, som Yelp kan samle for en given virksomhed, fordi en gennemgang af en enkelt stylist vises på virksomhedens side. Da mange saloner desuden oplever regelmæssig churn blandt deres stylister, er salonens omdømme mindst lige så vigtigt for den potentielle kunde som stylistens. Tilsvarende kan gennemgangsplatforme muligvis generere mere nyttige anmeldelser ved at bede brugerne om at gennemgå sælgere (som på eBay) i stedet for at adskille hvert solgt produkt.

det kan være nyttigt at beslutte fra starten, om og hvordan man samler produkter i et gennemgangssystem, fordi det fastlægger, hvad platformen handler om. (Er dette et sted at lære om stylister eller om saloner?) Pooling bliver særlig attraktiv, da dit produktrum udvides, fordi du har flere ting at samle på nyttige måder.

Sean McCabe

en risiko for denne tilgang er imidlertid, at pooling af produkter for at opnå flere anmeldelser muligvis ikke giver dine kunder de oplysninger, de har brug for om et bestemt tilbud. Overvej for eksempel, om oplevelsen af at besøge hver stylist i salonen er helt anderledes, og om en gennemgang af en stylist ville være relevant for potentielle kunder hos en anden.

Amasons samling af anmeldelser i sin boghandel tager højde for formatet på den bog, en læser ønsker at købe. Anmeldelser af tekstudgaver af samme titel (hardback, paperback og Kindle) vises sammen, men lydbogen gennemgås separat under Audible-mærket. For kunder, der ønsker at lære om indholdet af bøgerne, ville det være gavnligt at samle anmeldelser for alle lyd-og fysiske bøger. Men fordi lydproduktionskvalitet og information om fortælleren er vigtige faktorer for lydbogskøbere, der kan være en fordel ved at holde disse anmeldelser adskilt.

alle disse strategier kan hjælpe med at overvinde en gennemgangsmangel, så indholdsudvikling bliver mere selvbærende, efterhånden som flere læsere drager fordel af og engagerer sig i platformen. Platforme skal dog ikke kun overveje mængden af anmeldelser, men også deres informativitet—som kan påvirkes af selektionsforstyrrelse og spil i systemet.

Selection Bias

har du nogensinde skrevet en online anmeldelse? Hvis ja, hvad fik dig til at beslutte at kommentere den særlige lejlighed? Forskning har vist, at brugernes beslutninger om at forlade en anmeldelse ofte afhænger af kvaliteten af deres oplevelse. På nogle steder, kunder kan være mere tilbøjelige til at give anmeldelser, hvis deres oplevelse var god; på andre, kun hvis det var meget godt eller meget dårligt. I begge tilfælde kan de resulterende ratings lide af selektionsforstyrrelse: de repræsenterer muligvis ikke nøjagtigt hele spektret af kundernes oplevelser af produktet. Hvis kun tilfredse mennesker forlader anmeldelser, for eksempel vil vurderinger blive kunstigt oppustet. Selektionsforstyrrelse kan blive endnu mere udtalt, når virksomheder kun skubber glade kunder til at skrive en anmeldelse.

EBay stødte på udfordringen med udvælgelsesforstyrrelse i 2011, da det bemærkede, at sælgernes score var mistænkeligt høje: de fleste sælgere på siden havde over 99% positive ratings. Virksomheden arbejdede sammen med økonomerne Chris Nosko og Steven Tadelis og fandt ud af, at brugerne var meget mere tilbøjelige til at skrive en anmeldelse efter en god oplevelse: af omkring 44 millioner transaktioner, der var afsluttet på stedet, havde kun 0,39% negative anmeldelser eller vurderinger, men mere end dobbelt så mange (1%) havde en faktisk “tvistbillet”, og mere end syv gange så mange (3%) havde bedt købere om at udveksle meddelelser med sælgere, der indebar en dårlig oplevelse. Hvorvidt købere besluttede at gennemgå en sælger eller ej, var faktisk en bedre forudsigelse for fremtidige klager—og dermed en bedre fuldmagt for kvalitet—end sælgerens vurdering.

EBay antog, at det kunne forbedre købernes oplevelser og dermed salget ved at korrigere for raters valgforstyrrelse og tydeligere differentiere sælgere af højere kvalitet. Det omformulerede sælgerresultater som procentdelen af alle sælgers transaktioner, der genererede positive ratings (i stedet for procentdelen af positive ratings). Denne nye foranstaltning gav en median på 67% med betydelig spredning i fordelingen af scoringer—og potentielle kunder, der blev udsat for de nye scoringer, var mere tilbøjelige end en kontrolgruppe til at vende tilbage og foretage endnu et køb på stedet.

ved at plotte scorerne på din platform på en lignende måde kan du undersøge, om dine vurderinger er skæve, hvor alvorligt problemet kan være, og om yderligere data kan hjælpe dig med at løse det. Ethvert gennemgangssystem kan udformes for at afbøde den bias, det mest sandsynligt står over for. Hele gennemgangsprocessen—fra den første anmodning til de meddelelser, brugerne får, når de skriver deres anmeldelser-giver mulighed for at skubbe brugerne til at opføre sig på mindre partiske måder. Eksperimentering med designvalg kan hjælpe med at vise, hvordan man reducerer bias i korrekturlæserens selvvalg såvel som enhver tendens, som brugerne har til at bedømme på en bestemt måde.

Kræv anmeldelser.

en mere hårdhændet tilgang kræver, at brugerne gennemgår et køb, før de foretager et andet. Men træd forsigtigt: dette kan køre nogle kunder væk fra platformen og kan føre til en oversvømmelse af ikke—informative vurderinger, som kunderne bruger som standard-skaber støj og en anden slags fejl i dine anmeldelser. Af denne grund ser platforme ofte efter andre måder at minimere selektionsforstyrrelse på.

Tillad private kommentarer.

økonomerne John Horton og Joseph Golden fandt ud af, at arbejdsgivere på freelancer-gennemgangsstedet var tilbageholdende med at forlade offentlige anmeldelser efter en negativ oplevelse med en freelancer, men var åbne for at give feedback, som kun Uarbejde kunne se. (Arbejdsgivere, der rapporterede dårlige erfaringer privat, gav stadig den højest mulige offentlige feedback næsten 20% af tiden.) Dette gav oparbejde med vigtige oplysninger-om, hvornår brugerne var eller ikke var villige til at forlade en anmeldelse og om problematiske freelancere—at det kunne bruge enten til at ændre algoritmen, der foreslog freelancer-kampe eller til at give samlet feedback om freelancere. Samlet feedback skiftede ansættelsesbeslutninger, hvilket indikerer, at det var relevant yderligere information.

Design beder omhyggeligt.

mere generelt afhænger de anmeldelser, som folk forlader, af, hvordan og hvornår de bliver bedt om at forlade dem. Platforme kan minimere bias i anmeldelser ved omhyggeligt at designe forskellige aspekter af miljøet, hvor brugerne beslutter, om de skal gennemgå. Denne tilgang, ofte omtalt som choice architecture—et udtryk opfundet af Cass Sunstein og Richard Thaler (forfatterne af Nudge: forbedring af beslutninger om sundhed, rigdom og lykke)—gælder for alt fra hvordan prompter formuleres til hvor mange muligheder en bruger får.

i et eksperiment, vi kørte på Yelp, varierede vi meddelelserne, der fik brugerne til at forlade en anmeldelse. Nogle brugere så den generiske meddelelse” næste anmeldelse venter”, mens andre blev bedt om at hjælpe lokale virksomheder med at blive opdaget eller andre forbrugere med at finde lokale virksomheder. Vi fandt ud af, at sidstnævnte gruppe havde tendens til at skrive længere anmeldelser.

svigagtige og strategiske anmeldelser

sælgere prøver undertiden (uetisk) at øge deres ratings ved at efterlade positive anmeldelser for sig selv eller negative for deres konkurrenter, mens de foregiver, at anmeldelserne blev efterladt af rigtige kunder. Dette er kendt som astroturfing. Jo mere indflydelsesrige platformen, jo flere mennesker vil forsøge at astroturf.

på grund af den skade for forbrugerne, som astroturfing kan gøre, er politikere og regulatorer blevet involveret. I 2013 deltog Eric Schneiderman, daværende statsadvokat, i en operation for at løse det—med henvisning til vores forskning som en del af motivationen. Schneidermans Kontor annoncerede en aftale med 19 virksomheder, der havde hjulpet med at skrive falske anmeldelser på online platforme, der krævede, at de stoppede praksis og betalte en stor bøde for afgifter, herunder falsk reklame og vildledende forretningspraksis. Men, som med butikstyveri, virksomheder kan ikke bare stole på retshåndhævelse; for at undgå faldgruberne ved falske anmeldelser, de skal også oprette deres egen beskyttelse. Nogle virksomheder, herunder Yelp, kører sting-operationer for at identificere og adressere virksomheder, der forsøger at efterlade falske anmeldelser.

en relateret udfordring opstår, når købere og sælgere vurderer hinanden og udarbejder deres anmeldelser for at fremkalde højere ratings fra den anden part. Overvej sidste gang du boede i en Airbnb. Bagefter blev du bedt om at give en anmeldelse af værten, som også blev bedt om at give en anmeldelse af dig. Indtil 2014, Hvis du forlod din anmeldelse, før værten gjorde det, kunne han eller hun læse den, før han besluttede, hvad han skulle skrive om dig. Resultatet? Du tænker måske to gange, før du forlader en negativ anmeldelse.

valg af Platformdesign og moderering af indhold spiller en vigtig rolle for at reducere antallet af falske og strategiske anmeldelser.

sæt regler for korrekturlæsere.

designvalg begynder med at beslutte, hvem der kan gennemgå, og hvis anmeldelser der skal fremhæves. Et ikon, når en anmeldelse er fra en verificeret køber af produktet, hvilket kan hjælpe forbrugerne med at screene for potentielt svigagtige anmeldelser. Vi går videre og tillader kun gæster, der har reserveret via sin platform, at skrive en anmeldelse der. Undersøgelser foretaget af Dina, Yaniv Dover og Judith Chevalier viser, at en sådan politik kan reducere antallet af falske anmeldelser. På samme tid, strengere regler om, hvem der kan efterlade en anmeldelse, kan være et stumt instrument, der markant mindsker antallet af ægte anmeldelser og korrekturlæsere. Platformen skal beslutte, om fordelen ved at reducere potentielle forfalskninger overstiger omkostningerne ved at have færre legitime anmeldelser.

platforme bestemmer også, hvornår anmeldelser kan indsendes og vises. Efter at have indset, at ikke-seere systematisk havde dårligere oplevelser end korrekturlæsere, implementerede Airbnb en “samtidig afsløring” – regel for at afskrække gensidige anmeldelser mellem gæster og værter og give mulighed for mere komplet feedback. Platformen viser ikke længere vurderinger, før både gæsten og værten har givet dem og sætter en frist, hvorefter evnen til at gennemgå udløber. Efter at virksomheden foretog denne ændring, fandt undersøgelser foretaget af Andrey Fradkin, Elena Greval og David Holts, at den gennemsnitlige bedømmelse for både gæster og værter faldt, mens gennemgangsgraden steg—hvilket antydede, at korrekturlæsere var mindre bange for at give feedback efter en dårlig oplevelse, da de var afskærmet fra gengældelse.

ring til moderatorerne.

uanset hvor gode dit systems designvalg er, er du bundet til at løbe ind i problemer. Spam kan glide ind. Dårlige skuespillere kan forsøge at spille systemet. Anmeldelser, der var yderst relevante for to år siden, kan blive forældede. Og nogle anmeldelser er bare mere nyttige end andre. Udelukkes, men selv nogle af dem, der er tilbage, kan være vildledende eller mindre informative. Moderering kan fjerne vildledende anmeldelser på baggrund af deres indhold, ikke kun på grund af hvem der skrev dem, eller når de blev skrevet.

indhold moderering kommer i tre varianter: medarbejder, fællesskab og algoritme. Medarbejdermoderatorer (ofte kaldet community managers) kan bruge deres dage aktivt på at bruge tjenesten, interagere online med andre brugere, fjerne upassende indhold og give feedback til ledelsen. Denne mulighed er den dyreste, men den kan hjælpe dig med hurtigt at forstå, hvad der fungerer, og hvad der ikke fungerer, og sikre, at nogen til enhver tid administrerer det, der vises på siden.

Fællesskabsmoderering giver alle brugere mulighed for at hjælpe med at få øje på og markere dårligt indhold, fra kunstigt oppustede anmeldelser til spam og andre former for misbrug. Yelp har et simpelt ikon, som brugerne kan sende for at indsende bekymringer om en anmeldelse, der chikanerer en anden korrekturlæser eller ser ud til at handle om en anden virksomhed. spørger brugerne, om hver anmeldelse er nyttig eller uhensigtsmæssig, og anvender disse data til at vælge, hvilke anmeldelser der vises først og til at undertrykke særligt uhensigtsmæssige. Ofte er det kun en lille brøkdel af brugerne, der markerer kvaliteten af indholdet, imidlertid, så der er behov for en kritisk masse af engagerede brugere for at få community-markeringssystemer til at fungere.

den tredje tilgang til moderering af indhold er afhængig af algoritmer. Yelps anbefalingsprogram behandler snesevis af faktorer om hver anmeldelse dagligt og varierer de anmeldelser, der vises mere fremtrædende som “anbefalet.”I 2014 sagde virksomheden, at færre end 75% af de skriftlige anmeldelser blev anbefalet til enhver tid. Google, TripAdvisor og Google har implementeret algoritmer, der fjerner krænkende indhold fra deres platforme. Algoritmer kan selvfølgelig gå ud over en binær klassificering og i stedet vurdere, hvor meget vægt der skal placeres på hver rating. Mike har skrevet et papir med Daisy Dai, Ginger Jin, og Jungmin Lee, der udforsker vurderingsaggregationsproblemet, fremhæve, hvordan tildeling af vægte til hver vurdering kan hjælpe med at overvinde udfordringer i den underliggende gennemgangsproces.

at sætte det hele sammen

andres erfaringer har altid været en vigtig kilde til information om produktkvalitet. American Academy of Family Physicians foreslår for eksempel, at folk henvender sig til venner og familie for at lære om læger og få anbefalinger. Gennemgangsplatforme har accelereret og systematiseret denne proces, hvilket gør det lettere at udnytte publikums visdom. Online anmeldelser har været nyttige for både kunder, platforme og politikere. Vi har brugt Yelp-data, for eksempel, at se på spørgsmål, der spænder fra at forstå, hvordan kvarterer ændrer sig i perioder med gentrificering til at estimere virkningen af mindstelønstigninger på forretningsresultater. Men for at anmeldelser skal være nyttige-for forbrugere, sælgere og for den bredere offentlighed—skal de mennesker, der administrerer gennemgangssystemer, tænke nøje over de designvalg, de træffer, og hvordan de mest nøjagtigt afspejler brugernes oplevelser.