Hier wurde untersucht, ob Crowdsourcing-Plattformen wie Amazon Mechanical Turks dazu geeignet sind, einen Usability Test einer Website durchzuführen.

Ließe sich das Konzept verallgemeinern, hätte das wahnsinnige Vorteile! Es können sehr viele Leute erreicht werden, diese sind im Vergleich sehr günstig und zu guter Letzt geht durch parallele Ausführung auch alles schneller. Für klassische Usability Tests müssen zuerst Teilnehmer gefunden werden, die etwa eine Stunde Zeit haben. Diese wollen selbstverständlich Fahrtkosten und Zeit zumindest annähernd ersetzt bekommen. Der Test wird in einem Labor durchgeführt, das heißt immer nur einer gleichzeitig. Die ganze Geschichte wird zusätzlich teuer, weil in einem iterativen (nutzerzentrierten) Designprozess beliebig viele Tests durchgeführt werden müssen: So oft bis es passt.

We compared a single round of each type of test looking at a largely static website. While crowdsourcing tapped into a larger pool of respondents, feedback received from crowd workers was both shorter and less useful than that from lab test participants (…) Paper

Also doch nicht der Messias. Außerdem müssen im Fragebogen Kontrollfragen gegen Spammer untergebracht werden. Aber für frühe Phasen der Entwicklung, wo auch schon grobe Ergebnisse helfen, ist es eine Option, denke ich.