Designing Better Online Review Systems

Idea lyhyesti

nettiarvostelut muuttavat kuluttajien tapaa valita tuotteita ja palveluita: käännymme TripAdvisorin puoleen suunnitellaksemme lomaa, Zocdocin puoleen etsiäksemme lääkäriä ja Yelpin puoleen etsiäksemme uusia ravintoloita. Arvostelujärjestelmillä on keskeinen rooli myös verkkokaupan markkinapaikoilla, kuten Amazonilla ja Airbnb: llä. Laajemmin, kasvava joukko organisaatioita-aina Stanford Health Care yhdeksän 10 suurin Yhdysvaltain vähittäiskauppiaat – nyt ylläpitää review ekosysteemit auttaa asiakkaita oppimaan tarjontaansa.

hyvin hoidettu, Arvostelujärjestelmä luo arvoa niin ostajille kuin myyjillekin. Luotettavat järjestelmät voivat antaa kuluttajille tarvitsemansa luottamuksen ostaa suhteellisen tuntematon tuote, olipa kyseessä uusi kirja tai illallinen paikallisessa ravintolassa. Esimerkiksi erään meistä (Mike) tekemässä tutkimuksessa havaittiin, että korkeammat Yelp-luokitukset johtavat korkeampaan myyntiin. Tämä vaikutus on suurempi riippumattomille yrityksille, joiden maine ei ole yhtä vakiintunut. Arviot luovat myös palauteryöpyn, joka tarjoaa toimittajille arvokasta tietoa: esimerkiksi luokitukset antavat Uberille mahdollisuuden poistaa huonosti suoriutuneet kuljettajat palvelustaan, ja ne voivat antaa kuluttajatuotteiden tuottajille ohjeita tarjontansa parantamiseksi.

mutta jokaiseen kukoistavaan arvostelujärjestelmään monet muut ovat karuja, eivätkä houkuttele sen enempää arvostelijoita kuin muitakaan käyttäjiä. Ja jotkut keräävät monia arvioita, mutta eivät rakenna kuluttajien luottamusta heidän informatiivisuuteensa. Jos esimerkiksi kaikki arvostelut alustalla ovat positiivisia, ihmiset saattavat olettaa, että arvosteltavat kohteet ovat kaikki korkealaatuisia—tai he voivat päätellä, että järjestelmä ei voi auttaa heitä erottamaan hyvää pahasta. Arviot voivat olla harhaanjohtavia, jos ne antavat puutteellisen tilannekuvan kokemuksista. Vilpilliset tai omatoimiset arvostelut voivat haitata alustojen pyrkimyksiä rakentaa luottamusta. Mike ja Georgios Zervasin tutkimuksissa on havaittu, että yritykset syyllistyvät arvosteluhuijauksiin erityisen todennäköisesti silloin, kun niiden maine kärsii tai kilpailu on erityisen kovaa.

monien tarkistusjärjestelmävikojen taustalla on yleinen oletus: näiden järjestelmien rakentaminen on pikemminkin tekninen haaste kuin johtamisen haaste. Yritysjohtajat investoivat usein voimakkaasti järjestelmän takana olevaan teknologiaan, mutta eivät hallitse sisältöä aktiivisesti, mikä johtaa yhteisiin ongelmiin. Huonojen suunnitteluvalintojen seuraukset voivat olla vakavia: On vaikea kuvitella, että matkustajat luottaisivat Airbnb ilman tapa isännät luoda maine (joka nojaa voimakkaasti arvosteluja), tai että ostajat voisivat navigoida Amazon saumattomasti ilman arvosteluja. Akateemikkoina Hyunjin ja Mike ovat tutkineet suunnitteluvalintoja, jotka johtavat joihinkin verkkoalustoihin menestymään, kun taas toiset epäonnistuvat, ja he ovat työskennelleet Yelpin ja muiden yritysten kanssa auttaakseen heitä tällä rintamalla (Hyunjin on myös taloustieteen tutkimusharjoittelija Yelpissä). Ja kuten COO Yelp yli vuosikymmenen ajan, Geoff auttoi sen review ekosysteemi tullut yksi maailman hallitseva tietolähteitä paikallisista palveluista.

viime vuosina kasvava tutkimusjoukko on tutkinut suunnitteluvalintoja, jotka voivat johtaa vankempiin arvostelu-ja mainejärjestelmiin. Hyödyntäen tutkimus -, opetus—, ja työskennellä yritysten kanssa, tässä artikkelissa tarkastellaan puitteet hallintaan tarkastelun ekosysteemi-valottaa kysymyksiä, joita voi syntyä ja kannustimia ja suunnittelu valintoja, jotka voivat auttaa välttämään yhteisiä sudenkuoppia. Tarkastelemme kutakin näistä asioista tarkemmin ja kuvataan, miten niihin puututaan.

ei tarpeeksi arvosteluja

kun Yelp alkoi, se oli määritelmällisesti uusi alusta—aavekaupunki, jolla oli vain vähän arvostelijoita tai lukijoita. Monet arvostelujärjestelmät kokevat arvostelujen puutteen, varsinkin kun ne ovat aloittamassa. Vaikka useimmat ihmiset lukevat arvosteluja ilmoittaakseen ostoksesta, vain pieni osa kirjoittaa arvosteluja millä tahansa käyttämällään alustalla. Tilannetta pahentaa se, että arvostelualustoilla on voimakkaita verkostovaikutuksia: arvostelijoiden houkutteleminen on erityisen vaikeaa maailmassa, jossa on vähän lukijoita, ja lukijoiden houkutteleminen on vaikeaa maailmassa, jossa on vähän arvosteluja.

ehdotamme kolmea lähestymistapaa, jotka voivat auttaa luomaan riittävän määrän arvosteluja: järjestelmän kylvämistä, kannustimien tarjoamista ja siihen liittyvien tuotteiden yhdistämistä arvostelujen näyttämiseksi yhdessä. Oikea yhdistelmä lähestymistapoja riippuu tekijöistä, kuten missä järjestelmä on sen kasvu kehityskaari, kuinka monta yksittäistä tuotetta on mukana, ja mitkä ovat tavoitteet järjestelmän itse.

kylvökatsauksia.

alkuvaiheen alustat voivat harkita arvostelijoiden palkkaamista tai arvostelujen ottamista muilta alustoilta (kumppanuuden kautta ja asianmukaisella nimeämisellä). Luodakseen tarpeeksi arvoa käyttäjille uudessa kaupungissa, jotta he voisivat alkaa käydä Yelpissä ja antaa omia arvostelujaan, yhtiö värväsi maksullisia tiimejä osa-aikaisia ”partiolaisia”, jotka lisäisivät henkilökohtaisia kuvia ja arvosteluja muutamaksi kuukaudeksi, kunnes alusta tarttui. Muille yrityksille kumppanuus arvosteluihin erikoistuneiden alustojen kanssa voi myös olla arvokasta—sekä niille, jotka haluavat luoda oman arvosteluekosysteeminsä että niille, jotka haluavat näyttää arvosteluja, mutta eivät aio luoda omaa alustaansa. Yritykset, kuten Amazon ja Microsoft vetää arvosteluja Yelp ja muut alustat kansoittaa niiden sivustoja.

alustoille, jotka haluavat kasvattaa omaa arvosteluekosysteemiään, kylvöarvostelut voivat olla alkuvaiheessa erityisen hyödyllisiä, koska toiminnan kannustamiseen ei tarvita vakiintunutta brändiä. Kuitenkin suuri määrä tuotteita tai palveluja voi tehdä siitä kallista, ja arvostelut, että saat voi poiketa luonnonmukaisesti tuotettua sisältöä, joten jotkut alustat—riippuen niiden tavoitteista—voivat hyötyä nopeasti siirtyä Kylvö.

tarjoaa kannustimia.

alustasi käyttäjien motivointi arvosteluihin ja arvosteluihin voi olla skaalautuva vaihtoehto ja se voi myös luoda yhteisöllisyyttä. Käyttämäsi kannustin saattaa olla taloudellinen: vuonna 2014 Airbnb tarjosi 25 dollarin kupongin vastineeksi arvosteluista ja näki 6,4 prosentin kasvun arvostelumäärissä. Myös muut kuin taloudelliset kannustimet—kuten luontoissuoritukset tai statussymbolit-voivat motivoida arvostelijoita, varsinkin jos brändisi on vakiintunut. Googlen Local Guides-ohjelmassa käyttäjät ansaitsevat pisteitä aina, kun he antavat jotain alustalle—arvostelun kirjoittamisesta, valokuvan lisäämisestä, sisällön korjaamisesta tai kysymykseen vastaamisesta. Ne voivat muuntaa nämä pisteet palkkioiksi, jotka vaihtelevat varhaisesta pääsystä uusiin Google-tuotteisiin ja Google Drive-tallennustilan ilmaiseen 1TB-päivitykseen. Yelpin tuotteliaista, laadukkaista arvostelijoista koostuva ”eliittijoukko” saa lavalla erikoisnimityksen sekä kutsuja yksityisiin juhliin ja tapahtumiin, muun muassa etuisuuksiin.

taloudelliset kannustimet voivat muodostua haasteeksi, jos on laaja tuotevalikoima. Mutta suurempi huolenaihe voi olla, että jos niitä ei ole suunniteltu hyvin, sekä taloudelliset että ei-taloudelliset kannustimet voivat kostautua houkuttelemalla käyttäjiä kansoittamaan järjestelmän nopeilla mutta huolimattomilla arvosteluilla, jotka eivät auta muita asiakkaita.

tuotteiden yhdistäminen.

tarkastelemalla uudelleen tarkasteluyksikköä, voit tehdä yhden huomautuksen koskemaan useita tuotteita. Esimerkiksi Yelpissä kampaamotilaa jakavat hiusstylistit arvostellaan yhdessä yhden kampaamolistauksen alle. Tämä yhdistäminen lisää suuresti arvostelujen määrää Yelp voi koota tietyn liiketoiminnan, koska arvostelu tahansa stylisti näkyy yrityksen sivulla. Lisäksi koska monet salongit kokevat säännöllisesti kirnuilua stylistiensä keskuudessa, kampaamon maine on potentiaaliselle asiakkaalle vähintään yhtä tärkeä kuin stylistin. Samoin, arvostelu alustat voivat pystyä tuottamaan enemmän-hyödyllisiä arvosteluja pyytämällä käyttäjiä tarkistamaan myyjiä(kuten eBay) sen sijaan erottaa jokaisen myydyn tuotteen.

jo alusta alkaen voi olla hyödyllistä päättää, yhdistetäänkö tuotteet arviointijärjestelmään ja miten, koska siinä määritellään, mistä alustassa on kyse. (Onko tämä paikka oppia stylistit tai salongit?) Yhdistämisestä tulee erityisen houkuttelevaa, kun tuotetila laajenee, koska sinulla on enemmän kohteita yhdisteltävänä hyödyllisillä tavoilla.

Sean McCabe

riskinä tälle lähestymistavalle on kuitenkin se, että tuotteiden yhdistäminen arvostelujen lisäämiseksi ei välttämättä Anna asiakkaillesi heidän tarvitsemiaan tietoja mistään tarjonnasta. Mieti esimerkiksi, onko kokemus jokaisen kampaamon stylistin vierailusta aivan erilainen ja olisiko yhden stylistin arvostelulla merkitystä toisen potentiaalisille asiakkaille.

Amazon kerää kirjakaupassaan arvosteluja, joissa otetaan huomioon, millaisen kirjan lukija haluaa ostaa. Arviot saman otsikon tekstiversioista (kovakantinen, paperback ja Kindle) ilmestyvät yhdessä, mutta äänikirja tarkistetaan erikseen, Audible-brändin alla. Asiakkaille, jotka haluavat oppia kirjojen sisällöstä, kaikkien ääni-ja fyysisten kirjojen arvostelujen yhdistäminen olisi hyödyllistä. Mutta koska äänituotannon laatu ja tiedot kertojasta ovat merkittäviä tekijöitä äänikirjan ostajille, voi olla etu pitää nämä arviot erillään.

kaikki nämä strategiat voivat auttaa voittamaan arvosteluvajeen, jolloin sisällönkehityksestä tulee omavaraisempaa, kun useammat lukijat hyötyvät alustasta ja sitoutuvat siihen. Alustojen on kuitenkin otettava huomioon paitsi arvostelujen määrä myös niiden informatiivisuus-johon voi vaikuttaa valinnan vinous ja Järjestelmän pelaaminen.

Valintaharha

Oletko koskaan kirjoittanut verkkoarvostelua? Jos olet, niin mikä sai sinut esittämään huomautuksesi tuossa nimenomaisessa tilanteessa? Tutkimusten mukaan käyttäjien päätökset jättää katselmus riippuvat usein heidän kokemuksensa laadusta. Joillakin sivustoilla asiakkaat saattavat olla todennäköisempiä jättämään arvosteluja, jos heidän kokemuksensa oli hyvä; toisilla vain, jos se oli erittäin hyvä tai erittäin huono. Kummassakin tapauksessa tuloksena olevat luokitukset voivat kärsiä valintaharhasta: ne eivät välttämättä kuvaa tarkasti asiakkaiden kaikkia kokemuksia tuotteesta. Jos vain tyytyväiset ihmiset jättävät esimerkiksi arviot, katsojaluvut paisuvat keinotekoisesti. Valinnan vinouma voi tulla vieläkin selvemmäksi, kun yritykset tönäisevät vain tyytyväisiä asiakkaita jättämään katsauksen.

EBay kohtasi valintaharhaisuuden haasteen vuonna 2011, kun se huomasi, että sen myyjien pisteet olivat epäilyttävän korkeat: useimmilla sivuston myyjillä oli yli 99% positiivisia arvosanoja. Yhtiö työskenteli taloustieteilijät Chris Nosko ja Steven Tadelis ja totesi, että käyttäjät olivat paljon likeler jättää tarkastelun jälkeen hyvä kokemus: noin 44 miljoonaa liiketoimia, jotka oli saatu päätökseen sivustolla, vain 0,39% oli negatiivisia arvosteluja tai luokitukset, mutta yli kaksi kertaa niin monta (1%) oli todellinen ”riita lippu,” ja yli seitsemän kertaa niin monta (3%) oli saanut ostajat vaihtaa viestejä myyjien kanssa, joka vihjasi huono kokemus. Se, päättivätkö ostajat tarkistaa myyjän, oli itse asiassa parempi ennustaja tulevista valituksista—ja siten parempi laadun arvioija—kuin myyjän luokitus.

EBay hypoteesi, että se voisi parantaa ostajien kokemuksia ja siten myynti korjaamalla raters’ valinta bias ja selkeämmin erottaa laadukkaampia myyjiä. Se muotoili myyjän pisteet prosenttiosuutena kaikista myyjän liiketoimista, jotka tuottivat positiivisia luokituksia (positiivisten luokitusten prosenttiosuuden sijaan). Tämä uusi toimenpide tuotti 67%: n mediaanin, jolla oli huomattava hajonta pisteiden jakelussa—ja potentiaaliset asiakkaat, jotka altistuivat uusille pisteille, palasivat todennäköisemmin kuin verrokkiryhmä ja tekivät toisen ostoksen sivustolla.

piirtämällä alustasi pisteet samalla tavalla voit tutkia, ovatko arvosanasi vääristyneet, kuinka vakava ongelma voi olla ja auttavatko lisätiedot sinua korjaamaan sen. Mikä tahansa tarkistusjärjestelmä voidaan muotoilla lieventämään puolueellisuutta, jota se todennäköisimmin kohtaa. Koko tarkasteluprosessi-alkuperäisestä pyynnöstä viesteihin, joita käyttäjät saavat kirjoittaessaan arvostelujaan-tarjoaa mahdollisuuksia töniä käyttäjiä käyttäytymään vähemmän puolueellisesti. Kokeilemalla suunnittelu valintoja voi auttaa osoittamaan, miten vähentää harhaa arvostelijoiden itsevalinta sekä kaikki taipumus käyttäjien on arvostella tietyllä tavalla.

vaativat tarkistuksia.

raskaampi lähestymistapa vaatii käyttäjiä tarkistamaan ostoksen ennen uuden tekemistä. Mutta edetä varovasti: tämä voi ajaa jotkut asiakkaat pois alustalta ja voi johtaa tulva noninformative luokitukset, että asiakkaat käyttävät oletuksena luoda melua ja erilainen virhe arvioita. Tästä syystä alustat etsivät usein muita tapoja minimoida valinnan vinouma.

sallitaan Yksityiset Kommentit.

taloustieteilijät John Horton ja Joseph Golden havaitsivat, että freelancer review-sivustolla Upwork työnantajat olivat haluttomia jättämään julkisia arvioita sen jälkeen, kun heillä oli negatiivinen kokemus freelancerista, mutta olivat avoimia jättämään palautetta, jonka vain Upwork pystyi näkemään. (Työnantajat, jotka kertoivat huonoista kokemuksista yksityisesti, antoivat edelleen korkeimman mahdollisen julkisen palautteen lähes 20% ajasta.) Tämä tarjosi Upwork tärkeitä tietoja – milloin käyttäjät olivat tai eivät olleet valmiita jättämään arvostelu, ja noin ongelmallisia freelancers-että se voisi käyttää joko muuttaa algoritmia, joka ehdotti freelancer ottelut tai antaa kooste palautetta freelancers. Kokonaispalaute siirsi palkkauspäätöksiä, mikä osoitti, että se oli relevanttia lisätietoa.

suunnittelu vaatii huolellisesti.

yleisemmin ihmisten jättämät arviot riippuvat siitä, miten ja milloin heitä pyydetään jättämään ne. Alustat voivat minimoida arviointien vinouden suunnittelemalla harkitusti ympäristön eri osa-alueita, joissa käyttäjät päättävät arvostelusta. Tämä lähestymistapa, usein kutsutaan valinta arkkitehtuuri-termi keksi Cass Sunstein ja Richard Thaler (kirjoittajat Nudge: parantaa päätöksiä terveyttä, vaurautta ja onnea)—koskee kaikkea siitä, miten kehotteet ovat muotoiltu, kuinka monta vaihtoehtoa käyttäjälle annetaan.

yhdessä Yelpissä ajamassamme kokeessa vaihdoimme viestejä, jotka kehottivat käyttäjiä jättämään arvostelun. Jotkut käyttäjät näkivät yleisen viestin ”Seuraava arvostelu odottaa”, kun taas toisia pyydettiin auttamaan paikallisia yrityksiä löytämään tai muita kuluttajia löytämään paikallisia yrityksiä. Huomasimme, että jälkimmäisellä ryhmällä oli tapana kirjoittaa pidempiä arvosteluja.

vilpilliset ja strategiset arvostelut

myyjät yrittävät joskus (epäeettisesti) kohottaa katsojalukujaan jättämällä positiivisia arvioita itselleen tai negatiivisia kilpailijoilleen teeskennellen, että arviot ovat oikeiden asiakkaiden jättämiä. Tätä kutsutaan astroturfingiksi. Mitä vaikutusvaltaisempi foorumi, sitä enemmän ihmiset yrittävät astroturf.

astroturffauksen kuluttajille aiheuttaman haitan vuoksi päättäjät ja sääntelyviranomaiset ovat sekaantuneet asiaan. Vuonna 2013 Eric Schneiderman, silloinen New Yorkin osavaltion oikeusministeri, aloitti operaation sen käsittelemiseksi—vedoten tutkimukseemme osana motivaatiota. Schneidermanin toimisto ilmoitti tehneensä sopimuksen 19 yrityksen kanssa, jotka olivat auttaneet väärien arvostelujen kirjoittamisessa verkkoalustoille, vaatien heitä lopettamaan käytännön ja maksamaan mojovan sakon maksuista, kuten väärästä mainonnasta ja petollisista liiketoimintakäytännöistä. Mutta kuten myymälävarkauksien kohdalla, yritykset eivät voi luottaa vain lainvalvontaan; välttääkseen väärennettyjen arvostelujen sudenkuopat niiden on myös perustettava omat suojansa. Kuten jutussa, jonka Mike kirjoitti Georgios Zervasin kanssa, jotkut yritykset, mukaan lukien Yelp, suorittavat peiteoperaatioita tunnistaakseen ja osoittaakseen yrityksiä, jotka yrittävät jättää väärennettyjä arvosteluja.

asiaan liittyvä haaste syntyy, kun ostajat ja myyjät arvioivat toisiaan ja laativat arvostelunsa saadakseen toiselta osapuolelta korkeampia arvosanoja. Mieti, milloin viimeksi asuit Airbnb: ssä. Jälkeenpäin sinua kehotettiin jättämään arvostelu juontajasta, jota myös pyydettiin jättämään arvostelu sinusta. Vuoteen 2014 asti, jos jätit arvostelusi ennen juontajaa, hän pystyi lukemaan sen ennen kuin päätti, mitä kirjoittaa sinusta. Mikä oli tulos? Saatat miettiä kahdesti ennen kuin jätät negatiivisen arvostelun.

alustojen suunnitteluvalinnoilla ja sisällön kohtuullistamisella on tärkeä rooli vilpillisten ja strategisten arvostelujen määrän vähentämisessä.

Aseta arvostelijoille säännöt.

Suunnitteluvalinnat alkavat siitä, että päätetään, kuka saa arvostella ja kenen arvosteluja korostaa. Esimerkiksi Amazon näyttää kuvakkeen, kun arvostelu on tuotteen varmennetulta ostajalta, mikä voi auttaa kuluttajia seulomaan mahdollisesti vilpillisiä arvioita. Expedia menee pidemmälle ja sallii vain alustansa kautta varanneet asiakkaat jättää arvostelun sinne. Dina Mayzlinin, Yaniv Doverin ja Judith Chevalierin tutkimukset osoittavat, että tällainen politiikka voi vähentää vilpillisten arvioiden määrää. Samalla tiukemmat säännöt siitä, kuka saa jättää arvostelun, voivat olla tyly väline, joka vähentää merkittävästi aitojen arvostelijoiden ja arvostelijoiden määrää. Alustan on päätettävä, onko mahdollisten väärennösten vähentämisestä koituva hyöty suurempi kuin vähemmän perusteltujen arvostelujen kustannukset.

alustat päättävät myös, milloin arvosteluja voidaan lähettää ja näyttää. Huomattuaan, että ei-arvostelijoilla oli systemaattisesti huonompia kokemuksia kuin arvostelijoilla, Airbnb toteutti ”simultaneous reveal” – säännön, jonka tarkoituksena oli estää vieraiden ja isäntien keskinäiset arvostelut ja mahdollistaa täydellisempi palaute. Alusta ei enää näytä luokituksia ennen kuin sekä vieras että isäntä ovat antaneet ne ja asettaa määräajan, jonka jälkeen arvostelukyky päättyy. Kun yritys teki tämän muutoksen, Andrei Fradkinin, Elena Grewalin ja David Holtzin tutkimus havaitsi, että sekä vieraiden että isäntien keskimääräinen luokitus laski, kun taas arvostelumäärät nousivat—mikä viittaa siihen, että arvostelijat pelkäsivät vähemmän jättää palautetta huonon kokemuksen jälkeen, kun he olivat suojassa kostolta.

Soita moderaattoreille.

vaikka järjestelmäsi suunnitteluvalinnat olisivat kuinka hyviä tahansa, törmäät väistämättä ongelmiin. Roskapostia voi livahtaa sisään. Huonot näyttelijät voivat yrittää peluuttaa systeemiä. Arviot, jotka olivat erittäin merkityksellisiä kaksi vuotta sitten, saattavat vanhentua. Ja jotkut arviot ovat vain hyödyllisempiä kuin toiset. Esimerkiksi ei-ostajilta saadut arviot voidaan sulkea pois, mutta jopa osa jäljelle jäävistä voi olla harhaanjohtavia tai vähemmän informatiivisia. Kohtuus voi poistaa harhaanjohtavat arvostelut niiden sisällön perusteella, ei vain sen perusteella, kuka ne on kirjoittanut tai milloin ne on kirjoitettu.

Sisältömalttia on kolmea makua: työntekijä, yhteisö ja algoritmi. Työntekijöiden moderaattorit (joita kutsutaan usein yhteisöjohtajiksi) voivat viettää päivänsä aktiivisesti käyttämällä palvelua, vuorovaikutuksessa verkossa muiden käyttäjien kanssa, poistamalla sopimatonta sisältöä ja antamalla palautetta johdolle. Tämä vaihtoehto on kallein, mutta se voi auttaa sinua nopeasti ymmärtämään, mikä toimii ja mikä ei ja varmistaa, että joku hallitsee mitä näkyy sivustolla kaikkina aikoina.

yhteisöllinen kohtuus antaa kaikille käyttäjille mahdollisuuden auttaa havaitsemaan ja merkitsemään huonoa sisältöä, keinotekoisesti paisutetuista arvosteluista roskapostiin ja muuhun väärinkäyttöön. Yelpissä on yksinkertainen kuvake, jonka käyttäjät voivat lähettää lähettääkseen huolia arvostelusta, joka ahdistaa toista arvostelijaa tai näyttää koskevan jotain muuta liiketoimintaa. Amazon kysyy käyttäjiltä, onko jokaisesta arvostelusta hyötyä vai ei, ja käyttää näitä tietoja valitakseen, mitkä arvostelut näytetään ensin ja tukahduttaakseen erityisen hyödyttömät. Usein vain pieni osa käyttäjistä kuitenkin liputtaa sisällön laadun puolesta, joten tarvitaan kriittinen massa sitoutuneita käyttäjiä, jotta yhteisön liputusjärjestelmät toimisivat.

kolmas lähestymistapa sisällön moderointiin nojaa algoritmeihin. Yelpin suositusohjelmisto käsittelee kymmeniä tekijöitä jokaisesta arvostelusta päivittäin ja vaihtelee arvosteluita, jotka ovat näkyvämmin esillä muodossa ”recommended.”Vuonna 2014 yhtiö sanoi, että alle 75% kirjallisista arvosteluista oli suositeltu milloinkin. Amazon, Google ja TripAdvisor ovat ottaneet käyttöön tarkistuslaatuisia algoritmeja, jotka poistavat loukkaavaa sisältöä alustoiltaan. Algoritmit voivat tietenkin ylittää binääriluokituksen ja sen sijaan arvioida, kuinka paljon painoarvoa kullekin luokitukselle annetaan. Mike on kirjoittanut Daisy Dain, Ginger Jinin ja Jungmin Leen kanssa tutkielman, jossa tutkitaan luokituksen aggregointiongelmaa ja korostetaan, miten painojen antaminen kullekin luokitukselle voi auttaa voittamaan haasteita taustalla olevassa tarkistusprosessissa.

kaiken kaikkiaan

muiden kokemukset ovat aina olleet tärkeä tiedonlähde tuotteiden laadusta. Esimerkiksi American Academy of Family Physicians ehdottaa, että ihmiset kääntyisivät ystävien ja perheen puoleen saadakseen tietoa lääkäreistä ja saadakseen suosituksia. Arvostelualustat ovat nopeuttaneet ja systematisoineet tätä prosessia, mikä helpottaa yleisön viisauden hyödyntämistä. Nettiarvioinneista on ollut hyötyä niin asiakkaille, alustoille kuin päättäjillekin. Olemme käyttäneet Yelp-tietoja esimerkiksi tarkastellaksemme asioita, jotka vaihtelevat sen ymmärtämisestä, miten lähiöt muuttuvat keskiluokkaistumisen aikana, minimipalkkakorotusten vaikutuksen arvioimiseen liiketoiminnan tuloksiin. Mutta jotta arvosteluista olisi hyötyä-kuluttajille, myyjille ja laajemmalle yleisölle—arvostelujärjestelmiä hallinnoivien ihmisten on mietittävä huolellisesti suunnitteluvalintoja, joita he tekevät ja miten käyttäjien kokemuksia voidaan mahdollisimman tarkasti heijastaa.