Zijn gebruikerstesten te vertrouwen?

Dpreview verwees gisteren naar een wetenschappelijk onderzoek. Dan moet het wel interessant zijn! Het gaat over de betrouwbaarheid van on-line consumentenreviews (camera reviews, lens reviews, printer reviews), zoals de reviews op Kieskeurig.nl (“voor en door consumenten”).  In het artikel: Deceptive Reviews: The Influential Tail“, dat je als pdf kan downloaden, beschrijven Eric Anderson (Northwestern University) en Duncan Simester (MIT) hun onderzoek. De titel van het artikel verwijst naar het misleidende effect van een beparkt aantal negatieve gebruikersreviews.

Ze komen tot een paar verrassende conclusies. Allereerst geven ze aan dat negatieve reviews veel meer invloed hebben dan positieve reviews. Ook ontdekten ze dat 5% van de reviews geschreven door “gebruikers” die het product niet hadden gekocht, significant negatiever waren dan de andere reviews. Ze maken aannemelijk dat deze negatieve reviews worden geschreven door gebruikers die het betreffende merk een warm hart toedragen, in plaats van fanboys van een concurrerend merk. Ook kunnen ze een aanatal andere mogelijke verklaringen voor een negatieve review uitsluiten.  (“We are able to rule out several alternative explanations for the low rating effect. The effect cannot be attributed to item differences, reviewer differences, gift recipients, customers misidentifying items, unobserve d transactions , or differences in the timing of the reviews .“)

Omdat je de schrijver van een consumentenreview van een camera of lens niet kent, is het lastig om het commentaar op waarde te schatten. Maar als je af wilt gaan op een camerareview of lensreview van gebruikers, besteedt dan de meeste aandacht aan de negatieve recensies. Houdt in gedachten dat de score die zo’n reviewer geeft overdreven laag is, maar let goed op de inhoudelijke argumenten. Die zouden wel eens waardevolle aandachtspunten kunnen opleveren.