Vorhersagemärkte sollen Ihnen Wahrscheinlichkeiten und keine Ergebnisse geben. Die reale Welt ist unsicher, und @Polymarket quantifiziert diese Unsicherheit mit Wahrscheinlichkeiten. Wenn es also nicht heißt: "Polymarket hat X vorhergesagt und X ist passiert/nicht passiert" – wenn es nur Wahrscheinlichkeiten ausgibt – wie misst man dann, wie vorhersagekräftig Polymarket tatsächlich ist? Statistiker haben bereits ein Werkzeug dafür, das Brier-Score genannt wird. Brier-Scores sagen Ihnen im Grunde: "Wenn Sie sagen, dass ein Ergebnis ~60% wahrscheinlich ist, passieren diese Dinge dann 60% der Zeit?" Dasselbe gilt für 10%, dasselbe für 90% und so weiter. So sieht das für Polymarket aus, @Dune-Dashboard von @alexmccullaaa 👇 Für Brier-Scores gilt: Je kleiner, desto besser. Alles unter 0,1 ist im Allgemeinen fantastisch. (Sportwettenlinien liegen normalerweise bei etwa 0,2). Der Brier-Score von Polymarket beträgt 0,056, was bedeutet, dass es extrem genau darin ist, korrekte Wahrscheinlichkeiten zu ermitteln. Fazit: Polymarket ist sehr genau, aber es ist subtil, was das bedeutet und wie es gemessen wird.
wishful_cynic
wishful_cynic17. Okt., 13:17
I think people are very confused about prediction markets “accuracy” Prime example is US elections. No, polymarket did not “predict Trump winning”. It was more accurate (!) than other sources. In order to have a claim you have predicted something you can’t say “Trump is 60% likely to win”, you have to say “Trump will win” (or have a claim that is very close to 100%, which 60% is just not, it’s still more of a coin flip)
Zusatz--technisch gesehen ist das, was ich im OP beschrieben habe, Kalibrierung, während der Brier-Score auch die Schärfe misst (d.h. macht das Modell zuversichtliche Vorhersagen oder schätzt es, um bessere Ergebnisse zu erzielen). Für die mathematisch Interessierten wird der Brier-Score als MSE der vorhergesagten Wahrscheinlichkeiten berechnet.
145,66K