Das deutsche Panzerproblem hat mir sehr gut gefallen.Es zeigt, wie Daten, die normalerweise als irrelevant angesehen werden, in der Hand eines Statistikers zu wertvollen Informationen werden.Außerdem mochte ich das Gesetz der kleinen Zahlen und den Basiszinsfehler.

R gegen Sally Clark ist ein berühmter Fall, in dem eine Frau wegen Mordes verurteilt wurde, weil dem Gericht Statistiken und Wahrscheinlichkeitsgrundsätze nicht bekannt waren.

Aber wenn ich das sagen muss, was mich am meisten beeindruckt hat, als ich anfing, Statistik zu studieren, dann ist das Regression zum Mittelwert, was auch der statistischen Regression den Namen gab (auch wenn das so isteine ganz andere Sache).Der Nobelpreisträger (für Wirtschaftswissenschaften, auch wenn er Psychologe ist) Daniel Kahneman erzählte in einer faszinierenden Anekdote, wie er erkannte, wie eine Regression des Mittelwerts Menschen zu falschen Überzeugungen führen kann.

Edit: Eine andere sehr interessante Geschichte, die mir gerade in den Sinn gekommen ist und die Wichtigkeit fehlender Daten betrifft, ist die von Abraham Wald und den Einschusslöchern von Kriegsflugzeugen.

Um zu veranschaulichen, wo gewöhnliche Intuition versagt , ist das Monty Hall-Paradoxon ein guter Anfang.

Wenn Sampling Teil Ihres Kurses ist, ist es schwer, Dewey schlägt Truman

Ein weiterer interessanter Fall, wie falsches Glücksspiel verlaufen kann, ist das Beispiel des Monte Carlo Casino.

Bei einem Roulette-Spiel im Monte Carlo Casino am 18. August 1913 fiel der Ball 26 Mal hintereinander schwarz.Dies war ein äußerst ungewöhnliches Ereignis: Die Wahrscheinlichkeit, dass eine Sequenz von Rot oder Schwarz 26 Mal hintereinander auftritt, liegt bei 1 zu 66,6 Millionen, vorausgesetzt, der Mechanismus ist unvoreingenommen.Zu dieser Zeit verloren die Spieler Millionen von Franken beim Wetten gegen Schwarz, was fälschlicherweise darauf hinwies, dass der Streifen ein Ungleichgewicht in der Zufälligkeit des Rades verursachte und dass ihm ein langer Streifen Rot folgen musste.

Gambler's Trugschluss und Gambler's Ruine geben eine gute Erklärung für dieses Beispiel.

Ich finde das false-positive Paradoxon bemerkenswert, weil es so kontraintuitiv ist. Ein gutes Beispiel:

Cancer-Screening der Allgemeinbevölkerung erhöht die Lebenserwartung nicht, , obwohl eindeutig Leben gerettet werden, da einige Krebsarten frühzeitig erkannt werden und besser behandelt werden können. Die US-amerikanische Task Force für Präventivdienste empfahl 2009 entsprechend kein Routine-Screening für Frauen im Alter von 40 bis 49 Jahren.

Dies ist gutes Unterrichtsmaterial, da es sich um ein nicht triviales Beispiel aus dem wirklichen Leben handelt, das fast jeden irgendwann in seinem Leben betrifft. Es gibt einen Artikel des National Cancer Institute hier.

Die Argumentation lautet wie folgt:

• Die Anzahl der Krebserkrankungen ist gering, so dass die "Anzahl der zur Behandlung benötigten" (lesen: Bildschirm) groß ist.
• Die Tests sind ziemlich zuverlässig. Die niedrige Inzidenzrate führt jedoch zu einer großen absoluten falsch positiven Zahl mit der Folge einer großen Anzahl unnötiger Biopsien (> 90% sind falsch positiv).
• Krebserkrankungen fallen in eine der folgenden Untergruppen:
  1. Aggressive Krebsarten, die den Patienten töten, egal was passiert.
  2. Langsame Krebserkrankungen, die den Patienten nicht töten, bevor er an anderen Ursachen stirbt. Das Erkennen dieser Fälle wird als Überdiagnose bezeichnet. Aus dem USPSTF-Dokument: "Selbst mit der konservativen Schätzung, dass 1 von 8 Brustkrebsfällen überdiagnostiziert wird, für jede Frau, die einen Brusttod vermeidet Krebs durch Screening werden 2 bis 3 Frauen unnötig behandelt. "

Nur Klasse 4 profitiert vom Screening auf Kosten einer großen Anzahl unnötiger Krankenhausbesuche, unnötiger Biopsien und vieler schlafloser Nächte.All dies sind kleine, aber messbare Gesundheitsrisiken, die sich über die zur Behandlung erforderliche große Anzahl ansammeln und den sehr realen Nutzen für die kleine Anzahl in Teilmenge 4 überwiegen.

Benfords Gesetz:

Hier beschrieben. Ziffern erscheinen nicht mit einheitlicher Häufigkeit vor Zahlen, sondern folgen einem bestimmten Muster: Ziffer 1 ist mit einer Wahrscheinlichkeit von 30% am wahrscheinlichsten die erste Ziffer, gefolgt von 2 (Wahrscheinlichkeit 17,6%), und so weiter am. Das folgende Bild (aus Wikipedia) zeigt die Häufigkeit jeder Ziffer am Anfang jeder Zahl in einigen natürlich vorkommenden Datensätzen:

Es gibt bestimmte Bedingungen, unter denen das Gesetz gilt (z. B. sollten sich die Daten über mehrere Skalen erstrecken, sodass Dinge wie die Größe von Menschen nicht förderfähig sind), aber sie sind recht allgemein gehalten.

Die vielleicht überraschendste Anwendung ist die Betrugserkennung. Dies basiert auf der Annahme, dass Menschen, die versuchen, Zahlen herzustellen, dazu neigen, die Ziffern gleichmäßig zu verteilen, was gegen Benfords Gesetz verstößt.

Ich erinnere mich, als ich dies einer Klasse erklärte, und in der Pause kam einer der Schüler auf eine Buchhaltungstabelle seiner Firma, in der er versucht hatte, meine Ansprüche zu validieren. Es hat funktioniert :)

Zipfs Gesetz

Hier beschrieben: Die Häufigkeit eines Wortes in einem Korpus ist umgekehrt proportional zu seinem Rang. Was überrascht, ist, dass diese Beziehung für jeden Korpus gilt, selbst für alte Sprachen, die noch nicht übersetzt wurden. Ein interessantes Video, in dem mehr darüber erklärt wird, warum dieses Muster möglicherweise gilt, ist hier. Das folgende Bild zeigt Rang (horizontal) und Häufigkeit (vertikal) in einer Log-Log-Skala für die ersten 10 Millionen Wörter in 30 Wikipedias ( Quelle). Beachten Sie, dass das Gesetz eine gerade Linie vorhersagen würde:

Diese beiden Gesetze sind mächtig und kontraintuitiv. In dem Sinne, dass sie das Verständnis der Welt über Statistiken verbessern, können sie als "statistische Gewinne" bezeichnet werden.

Mein Lieblingsbeispiel als Beispiel dafür, wie fehlerhafte Statistiken langfristige Konsequenzen haben können, wenn sie zur Steuerung der Regierungspolitik verwendet werden, ist der groß angelegte Eisenbahnvandalismus, der als Beeching Axe bekannt ist . Dies ergab sich aus einem Verkehrsminister mit engen Beziehungen zur Straßenbauindustrie ( Ernest Marples), der einen Experten für die Petrochemieindustrie ( Richard Beeching) anstellte, um festzustellen, welche Teile der Briten Das Eisenbahnnetz machte Verluste und sollte daher beschnitten werden.

Ungefähr 4000 Streckenmeilen wurden als direkte Folge gesperrt, was sich direkt positiv auf die Nachfrage nach Straßen auswirkte (und unweigerlich einen Großteil der heutigen Überlastung). Weitere Schließungen wurden bis in die 1980er Jahre fortgesetzt, einschließlich der wichtigen und vor relativ kurzer Zeit modernisierten Woodhead-Route über die Pennines, und nur mit dem Fall der Settle & Carlisle-Linie gestoppt, die einst der nördliche Teil des Mittellandes gewesen war Hauptstrecke der Eisenbahn.

Es ist vielleicht bemerkenswert, dass Marples später aus dem Land geflohen ist, um der Strafverfolgung wegen Steuerbetrugs zu entgehen. Zu dieser Zeit gab es auch den Verdacht auf Interessenkonflikte, da er seinen 80-prozentigen Anteil an seinem früheren Straßenbau von Marples Ridgeway (wie gesetzlich durch seine Ernennung zum Minister vorgeschrieben) an seine Frau verkauft hatte, was es ihm leicht machte um sie später wieder zu erwerben.

Eine gute Quelle zu diesem Thema ist "Ich habe versucht, eine Eisenbahn zu betreiben" von Gerard Fiennes.

Die hier auftretenden statistischen Fehler waren größtenteils darauf zurückzuführen, dass das Problem zu eng gefasst wurde. Die Stationen der Nebenstrecken wurden besucht, um ihre Einnahmen zu überprüfen und Verkehrserhebungen durchzuführen. Der saisonale Verkehr, der die Strecke benutzte und dessen Fahrkarten an anderer Stelle im Land verkauft wurden, wurde jedoch ignoriert. In vielen Fällen wurden die Kosten durch veraltete Arbeitspraktiken erhöht, die hätten rationalisiert werden können. Diese Option wurde jedoch bei der Auswahl der vollständig geschlossenen Leitungen nicht berücksichtigt. Dies führte auch dazu, dass einige Strecken, deren Verluste nur gering waren und die den Eisenbahnen insgesamt indirekt zugute kamen, durch den "Netzwerkeffekt", Ziele ohne Änderung des Modus erreichen zu können, in die Sperrliste aufgenommen wurden.

Diese Fehler wurden im späteren Serpell-Bericht wiederholt, der ein noch drastischeres Abschlussprogramm vorschlug, das jedoch glücklicherweise abgelehnt wurde.

Heute steigt die Nachfrage im Eisenbahnverkehr in Großbritannien stark an, und die Strecken werden neu gebaut und wiedereröffnet, um die Nachfrage zu befriedigen. Einige Linien, die durch die Bemühungen von Beeching und Marples geschlossen wurden, wären äußerst vorteilhaft, wenn sie noch heute existieren würden.

Gute Qualitätssicherung!hier meine zwei Cent: Es geht hauptsächlich darum, wie Korrelation sehr verdächtig sein kann und einige traditionelle Methoden, um sie herauszufinden:

https://www.tylervigen.com/spurious-correlations

https://en.wikipedia.org/wiki/Anscombe%27s_quartet

https://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient

Um es ein wenig näher zu erläutern: Der Kanon für Korrelation und Kausalität in der modernen Statistik ist sicherlich Judea Perl.Nielsens (Web-) Buch bietet eine gute Rezension:

http://www.michaelnielsen.org/ddi/if-correlation-doesnt-imply-causation-then-what-does/

Ich weiß nicht, ob dies als "Intuition fehlt" gilt, sondern eine "naive Analyse liefert eine kontraintuitive und irreführende Antwort".

Einer meiner Statistikprofessoren stellte eine Studie zum Zusammenhang zwischen Rauchen und FEV bei jungen Studenten vor.

FEV kann als Maß für das Lungenvolumen angesehen werden. Als der Professor die Daten zum ersten Mal vorstellte, fragte er, wie die Beziehung aussehen würde. Wir alle dachten, dass Rauchen mit einem niedrigeren FEV verbunden sein würde. Bei den Daten stimmte das jedoch nicht! In der Tat hatten Raucher größere FEV als Nichtraucher. Wurde diese Klasse von einem Raucher verweigert?

Dann analysierte er die Daten erneut, diesmal jedoch altersbereinigt. Damit haben wir gesehen, was wir erwartet hatten: einen negativen Einfluss des Rauchens auf die FEV. Dies lag daran, dass Raucher viel häufiger ältere Schüler als jüngere Schüler waren. Während sich das Rauchen negativ auf das FEV auswirkte, war es nicht so sehr, dass es den Anstieg des FEV vollständig vom Erwachsenwerden ausschloss.

Einen Link zu einem Rundgang durch die Daten in R finden Sie hier.

Das Versäumnis, den Zusammenhang zwischen der Starttemperatur und der Auswirkung der Starttemperatur auf die O-Ringe des Space Shuttles zu zeigen, führte kurz nach dem Start zum katastrophalen Ausfall der Columbia. Eine Übersicht über das Problem finden Sie hier.

In den letzten anderthalb Jahren hat Bloomberg News die Tesla 3-Produktion unter Verwendung mehrerer Datenquellen regelmäßig geschätzt.Sie haben diese Arbeit gerade beendet, aber ich denke, die Geschichte ist interessant.