Ich werde einen Anfängerfehler (in dieser Antwort) und möglicherweise einen Fehler präsentieren, der von erfahreneren Leuten begangen wurde.

Sehr oft sehe ich sogar auf dieser Website Leute, die beklagen, dass ihre Daten nicht normal verteilt sind und daher T-Tests oder lineare Regression nicht in Frage kommen.Noch seltsamer ist, dass die Leute versuchen werden, ihre Wahl für die lineare Regression zu rationalisieren, weil ihre Kovariaten normal verteilt sind .

Ich muss Ihnen nicht sagen, dass es bei Regressionsannahmen um die bedingte Verteilung geht, nicht um die marginale.Mein absoluter Lieblingsweg, um diesen Denkfehler zu demonstrieren, ist , im Wesentlichen einen T-Test mit linearer Regression zu berechnen, wie ich es hier tue.

Post-hoc-Leistungsanalyse

Das heißt, mithilfe der Leistungsanalyse nach Abschluss einer Studie und nicht zuvor und insbesondere Einfügen der geschätzten Effektgrößenschätzung, Stichprobengröße usw.

Einige Leute haben die Intuition, dass eine Post-hoc-Leistungsanalyse informativ sein könnte, weil sie erklären könnte, warum sie ein nicht signifikantes Ergebnis erzielt haben. Insbesondere denken sie, dass ihr Versagen, ein signifikantes Ergebnis zu erzielen, nicht bedeutet, dass ihre Theorie falsch ist. Stattdessen ist es vielleicht nur so, dass die Studie nicht groß genug oder nicht effizient genug war, um den Effekt zu erkennen. Eine Post-hoc-Leistungsanalyse sollte also auf eine geringe Leistung hinweisen, und wir können nur die geringe Leistung dafür verantwortlich machen, oder?

Das Problem ist, dass die Post-Hoc-Leistungsanalyse keine neuen Informationen hinzufügt. Es ist eine einfache Transformation des bereits berechneten p-Werts. Wenn Sie ein nicht signifikantes Ergebnis erhalten, ist es eine mathematische Notwendigkeit, dass die Post-Hoc-Leistung gering ist. Umgekehrt ist die Post-hoc-Leistung genau dann hoch, wenn der beobachtete p-Wert klein ist. Post-hoc-Macht kann daher die oben erwähnte hoffnungsvolle Argumentation möglicherweise nicht unterstützen.

Hier ist eine andere Möglichkeit, über das konzeptionelle Problem mit diesen Arten von Post-Hoc-Power-Übungen (PHP) nachzudenken - die folgende Passage stammt aus diesem Artikel von Russ Lenth:

Beachten Sie, dass das Problem hier nicht das chronologische Problem ist, eine Leistungsanalyse nach Abschluss der Studie durchzuführen. per se - es ist möglich, eine nachträgliche Leistungsanalyse auf diese Weise durchzuführen ist informativ und sinnvoll, indem einige der beobachteten Statistiken variiert werden, um beispielsweise abzuschätzen, was passiert wäre, wenn Sie die Studie auf eine andere Weise durchgeführt hätten. Das Hauptproblem bei der "Post-hoc-Leistungsanalyse", wie in diesem Beitrag definiert, besteht darin, bei der Leistungsanalyse einfach all der beobachteten Statistiken einzustecken. Die überwiegende Mehrheit der Zeit, in der jemand dies tut, wird das Problem, das er zu lösen versucht, besser gelöst, indem nur eine Art Konfidenzintervall um seine beobachtete Effektgrößenschätzung berechnet wird. Das heißt, wenn jemand argumentieren möchte, dass der Grund, warum er die Null nicht abgelehnt hat, nicht darin besteht, dass seine Theorie falsch ist, sondern nur darin, dass das Design höchst suboptimal war, besteht eine statistisch fundiertere Methode, um dieses Argument vorzubringen, darin, das Vertrauen zu berechnen Intervall um ihre beobachtete Schätzung und weisen darauf hin, dass es zwar 0 enthält, aber auch große Effektgrößenwerte enthält - im Grunde ist das Intervall zu breit, um sehr viel über die wahre Effektgröße zu schließen, und daher keine sehr starke Bestätigung.

Die Idee, dass etwas, weil es statistisch nicht signifikant ist, nicht interessant ist und ignoriert werden sollte.

Removing Outliers

Es scheint, dass viele Personen die Idee haben, dass sie Datenpunkte, die einige Standardabweichungen vom Mittelwert entfernt sind, nicht nur können, sondern sollten ignorieren.Selbst wenn kein Grund zu der Annahme besteht, dass die Beobachtung ungültig ist oder eine bewusste Rechtfertigung für die Identifizierung / Entfernung von Ausreißern vorliegt, wird diese Strategie häufig als Grundvoraussetzung für die Datenvorverarbeitung angesehen.

Keine Probleme beim Testen mehrerer Hypothesen.

Nur weil Sie keinen t.test für 1.000.000 Gene durchführen, heißt das nicht, dass Sie davor sicher sind.Ein Beispiel für ein Feld, das besonders auftaucht, sind Studien, in denen ein Effekt getestet wird, der davon abhängig ist, dass ein vorheriger Effekt signifikant ist.Oft identifizieren die Autoren in Experimenten einen signifikanten Effekt von etwas und setzen dann voraus, dass es signifikant ist, und führen dann weitere Tests durch, um es besser zu verstehen, ohne sich auf diesen prozeduralen Analyseansatz einzustellen.Ich habe kürzlich einen Artikel speziell über die Verbreitung dieses Problems in Experimenten gelesen, Testen mehrerer Hypothesen in der experimentellen Ökonomie, und es war eine ziemlich gute Lektüre.

Regression zum Mittelwert ist ein weitaus häufigeres Problem als oft angenommen.

Es ist auch eines dieser Dinge, das eigentlich recht einfach ist, aber bei näherer Betrachtung ziemlich nebulös zu sein scheint, und dies ist teilweise auf die enge Art und Weise zurückzuführen, wie es normalerweise gelehrt wird. Manchmal wird es ausschließlich auf Messfehler zurückgeführt, und das kann ziemlich irreführend sein. Es wird häufig in Bezug auf Extremereignisse "definiert". Wenn beispielsweise eine Variable abgetastet und ein Extremwert beobachtet wird, ist die nächste Messung tendenziell weniger extrem. Dies ist jedoch auch irreführend, da dies impliziert, dass es sich um dieselbe Variable handelt, die gemessen wird. RTM kann nicht nur entstehen, wenn sich die nachfolgenden Maßnahmen auf verschiedene Variablen beziehen, sondern auch für Maßnahmen, bei denen es sich nicht einmal um wiederholte Maßnahmen zum gleichen Thema handelt. Zum Beispiel erkennen einige Leute RTM an der ursprünglichen "Entdeckung" von Galton, der erkannte, dass die Kinder großer Eltern ebenfalls groß, aber weniger groß als ihre Eltern sind, während Kinder kleiner Eltern ebenfalls klein, aber weniger klein als ihre Eltern sind .

Grundsätzlich ist RTM eine Folge der unvollständigen Korrelation zwischen zwei Variablen. Daher sollte es nicht darum gehen, wann RTM auftritt, sondern darum, wann RTM nicht auftritt. Oft sind die Auswirkungen gering, aber manchmal kann dies zu völlig falschen Schlussfolgerungen führen. Sehr einfach ist die Beobachtung eines "Placebo-Effekts" in klinischen Studien. Eine andere subtilere, aber möglicherweise viel schädlichere ist die Schlussfolgerung von "Wachstumspfaden" in Lebensverlaufsstudien, in denen implizit eine Konditionierung des Ergebnisses stattgefunden hat.

Dies scheint eine niedrig hängende Frucht zu sein, aber die schrittweise Regression ist ein Fehler, den ich selbst bei einigen Statistikleuten ziemlich häufig sehe.Auch wenn Sie einige der sehr gut geschriebenen Antworten auf dieser Website nicht gelesen haben, die sich mit dem Ansatz und seinen Fehlern befassen, denke ich, wenn Sie sich nur einen Moment Zeit genommen haben, um zu verstehen, was passiert (dass Sie im Wesentlichen mit dem testenDaten, die die Hypothese generiert haben) Es wäre klar, dass schrittweise eine schlechte Idee ist.

Bearbeiten: Diese Antwort bezieht sich auf Inferenzprobleme.Vorhersage ist etwas anderes.In meinen eigenen (begrenzten) Experimenten scheint schrittweise in Bezug auf RMSE mit anderen Methoden vergleichbar zu sein.

Gleichsetzen eines hohen $ R ^ 2 $ span> mit einem "guten Modell" (oder gleichwertig beklagen - oder im Fall von Schiedsrichtern von Papieren kritisieren - dies $ R ^ 2 $ span> ist "zu" niedrig). Weitere Diskussionen werden bereitgestellt, z. hier und hier.

Wie allgemein anerkannt werden sollte, nimmt die Anzahl von $ R ^ 2 $ span> zu (genauer gesagt, nie ab, siehe hier) Regressoren im Modell und können daher immer gleich 1 gemacht werden, indem ausreichend viele Potenzen und Interaktionsterme in das Modell aufgenommen werden (siehe die zugehörige Abbildung unten). Das ist natürlich eine sehr schlechte Idee, da das resultierende Modell stark überpasst und daher sehr schlecht aus der Stichprobe vorhergesagt wird.

Wenn Sie etwas auf sich selbst zurückführen, ist $ R ^ 2 $ span> konstruktionsbedingt 1 (da Residuen Null sind), aber Sie haben natürlich nichts gelernt . Lob für hohe $ R ^ 2 $ span> in ähnlichen Aufbauten (z. B. das diesjährige BIP als Funktion des Vorjahres, das angesichts von Wachstumsraten von rund 2% liegt mehr oder weniger gleich) ist keine Seltenheit.

Umgekehrt kann eine Regression mit einem kleinen $ R ^ 2 $ span> sehr interessant sein, wenn der Effekt, der für diesen $ R ^ 2 $ span> ist eine, auf die Sie tatsächlich reagieren können (dh die kausal ist).

  # R ^ 2 erhöht sich auch dann, wenn Sie auf reines Rauschen zurückgreifen
n <-15
Regressoren <-n-1 # genug, da wir auch eine Konstante anpassen werden
y <rnorm (n)
X <-Matrix (rnorm (Regressoren * n), ncol = Regressoren)

collectionR2s <-rep (NA, Regressoren)
für (i in 1: Regressoren) {
  collectionR2s [i] <- Zusammenfassung (lm (y ~ X [, 1: i])) $ r.squared
}}
Plot (1: Regressoren, Sammlung R2s, col = "lila", pch = 19, Typ = "b", lwd = 2)
abline (h = 1, lty = 2)
 

Sie haben eine nette Antwort auf eine, die ich vor einigen Wochen gepostet habe.

Falsche CLT-Anweisung entlarven

Falsche Behauptung: Der zentrale Grenzwertsatz besagt, dass die empirische Verteilung gegen eine Normalverteilung konvergiert.

Wie die Antworten auf meine Frage zeigen, ist diese Behauptung absolut absurd (es sei denn, die Bevölkerung ist normal), aber die Antworten sagen mir auch, dass dies ein weit verbreitetes Missverständnis ist.

"Ein komplexes Modell ist besser als ein einfaches".Oder eine Variation davon: "Wir brauchen ein Modell, das Nichtlinearitäten modellieren kann."

Besonders oft in Prognosen zu hören.Es gibt ein starkes Vorurteil, dass ein komplexeres Modell besser prognostiziert als ein einfaches.

Das ist sehr oft nicht der Fall.

Das Vergessen dieses Bootstrappings erfordert besondere Sorgfalt bei der Untersuchung von Verteilungen nicht zentraler Größen (z. B. zum Schätzen ihrer Konfidenzintervalle), obwohl dies von Anfang an bekannt war.

Statistische Inferenz mit einer - mit Sicherheit - voreingenommenen Convenience-Stichprobe.(Und sich dann hauptsächlich um Normalität kümmern, anstatt sich mit Voreingenommenheit zu befassen ...)

ARIMA !!! - ein Wunderwerk theoretischer Genauigkeit und mathematischer Eleganz, das für realistische Geschäftszeitreihen fast unbrauchbar ist.

Ok, das ist übertrieben: ARIMA und ähnliche Modelle wie GARCH sind gelegentlich nützlich. Aber ARIMA ist bei weitem kein so allgemeines Modell, wie die meisten Leute zu glauben scheinen.

Die meisten kompetenten Data Scientists und ML Engineers, die Generalisten sind (in dem Sinne, dass sie sich nicht auf Zeitreihenprognosen oder Ökonometrie spezialisiert haben) sowie MBA-Typen und Personen mit soliden allgemeinen statistischen Hintergründen, verwenden standardmäßig ARIMA als Basismodell für ein Zeitreihenprognoseproblem. Meistens bleiben sie dabei. Wenn sie es gegen andere Modelle bewerten, ist es normalerweise gegen exotischere Entitäten wie Deep Learning Models, XGBoost usw.

Andererseits halten sich die meisten Zeitreihenspezialisten, Supply-Chain-Analysten, erfahrenen Analysten für Nachfrageprognosen usw. von ARIMA fern. Das akzeptierte Basismodell und das, das immer noch sehr schwer zu schlagen ist, ist Holt-Winters oder Triple Exponential Smoothing. Siehe zum Beispiel "Warum der gedämpfte Trend funktioniert" von E S Gardner Jr. & E McKenzie. Über die akademische Prognose hinaus verwenden viele Prognoselösungen für Unternehmen in der Nachfrageprognose und im Bereich der Lieferkette immer noch einige Variationen von Holt-Winters. Dies ist keine Unternehmensträgheit oder schlechtes Design, es ist einfach so, dass Holt-Winters oder Damped Holt-Winters immer noch der beste Gesamtansatz in Bezug auf Robustheit und durchschnittliche Gesamtgenauigkeit ist.

Eine kurze Geschichtsstunde:

Hier könnte etwas Geschichte nützlich sein: Exponential Smoothing-Modelle, Simple ES, Holts Modell und Holt-Winters wurden in den 50er Jahren entwickelt. Sie erwiesen sich als sehr nützlich und pragmatisch, waren jedoch vollständig "ad-hoc". Sie hatten keine zugrunde liegende statistische Theorie oder erste Prinzipien - sie waren eher ein Fall von: Wie können wir Zeitreihen in die Zukunft extrapolieren? Gleitende Durchschnitte sind ein guter erster Schritt, aber wir müssen dafür sorgen, dass der gleitende Durchschnitt besser auf aktuelle Beobachtungen reagiert. Warum fügen wir nicht einfach einen $ \ alpha $ span> -Parameter hinzu, der der jüngsten Beobachtung mehr Bedeutung beimisst? - So wurde die einfache exponentielle Glättung erfunden. Holt und Holt-Winters waren einfach die gleiche Idee, aber der Trend und die Saisonalität wurden aufgeteilt und dann mit ihren eigenen gewichteten gleitenden Durchschnittsmodellen geschätzt (daher der zusätzliche $ \ beta $ span > und $ \ gamma $ span> -Parameter). Tatsächlich sind in den ursprünglichen Formulierungen von ES die Parameter $ \ alpha $ span>, $ \ beta $ span>, und $ \ gamma $ span> wurden manuell ausgewählt, basierend auf ihrem Bauchgefühl und ihrem Domänenwissen.

Noch heute muss ich gelegentlich auf Anfragen vom Typ reagieren. "Die Verkäufe für diese bestimmte Produktsparte sind sehr reaktiv. Können Sie bitte den automatisierten Modellauswahlprozess überschreiben und den $ \ alpha $ span> bis 0,95 für uns" (Ahhh - ich denke mir - warum setzen Sie es dann nicht auf eine naive Prognose? Aber ich bin ein Ingenieur, also Ich kann einem Geschäftsmann so etwas nicht sagen.

Wie auch immer, ARIMA, das in den 1970er Jahren vorgeschlagen wurde, war in gewisser Weise eine direkte Reaktion auf Exponential Smoothing-Modelle. Während Ingenieure ES-Modelle liebten, waren Statistiker von ihnen entsetzt. Sie sehnten sich nach einem Modell, das zumindest theoretisch gerechtfertigt war. Und genau das haben Box und Jenkins getan, als sie ARIMA-Modelle entwickelten. Anstelle des Ad-hoc-Pragmatismus von ES-Modellen wurde der ARIMA-Ansatz von Grund auf unter Verwendung solider erster Prinzipien und äußerst strenger theoretischer Überlegungen entwickelt.

Und ARIMA-Modelle sind in der Tat sehr elegant und theoretisch überzeugend. Selbst wenn Sie in Ihrem ganzen Leben noch nie ein einziges ARIMA-Modell für die Produktion einsetzen, empfehle ich jedem, der sich für Zeitreihenprognosen interessiert, etwas Zeit zu widmen, um die Theorie hinter der Funktionsweise von ARIMA vollständig zu verstehen, da dies eine sehr gute Wirkung hat Verständnis, wie sich Zeitreihen im Allgemeinen verhalten.

Aber ARIMA hat sich empirisch nie gut geschlagen, siehe hier. Hyndman schreibt (und zitiert andere):

Viele der Diskussionsteilnehmer scheinen von ARIMA-Modellen begeistert zu sein. „Es ist jedoch erstaunlich für mich, dass nach all dieser Übung beim Identifizieren von Modellen, Transformieren usw. die autoregressiven gleitenden Durchschnitte so schlecht herauskommen. Ich frage mich, ob es teilweise daran liegen könnte, dass die Autoren den Rückwärtsprognoseansatz nicht verwenden, um die anfänglichen Fehler zu erhalten. “ - W. G. Gilchrist

„Es fällt mir schwer zu glauben, dass Box-Jenkins bei richtiger Anwendung tatsächlich schlechter sein kann als so viele einfache Methoden“. - Chris Chatfield

Manchmal degenerierte die Diskussion, um die Kompetenz der Autoren in Frage zu stellen: „Warum geben empirische Studien manchmal unterschiedliche Antworten?Es mag von der ausgewählten Stichprobe von Zeitreihen abhängen, aber ich vermute, dass es eher von den Fähigkeiten des Analytikers abhängt… diese Autoren sind mit einfachen Verfahren besser vertraut als mit Box-Jenkins. “- Chris Chatfield

Wenn ARIMA eine gute Leistung erbringt, geschieht dies nur, weil die ausgewählten Modelle Exponential Smoothing-Modellen entsprechen (es gibt einige Überschneidungen zwischen der ARIMA-Familie und der ES-Familie für $ ARIMA (S., d, q) $ span> mit niedrigen Werten von $ p $ span>, $ d $ span>,und $ q $ span> - siehe hier und hier für Details).

Ich erinnere mich, dass ich einmal mit einem sehr intelligenten Business-Prognostiker zusammengearbeitet habe, der einen starken statistischen Hintergrund hatte und unglücklich darüber war, dass unser Produktionssystem exponentielle Glättung verwendete, und wollte, dass wir stattdessen zu ARIMA wechseln. Also haben er und ich zusammengearbeitet, um einige ARIMA-Modelle zu testen. Er teilte mir mit, dass es in seinen früheren Jobs informelle Erkenntnisse darüber gab, dass ARIMA-Modelle niemals die Werte $ p $ span>, $ d $ span> oder $ q $ span> höher als 2. Ironischerweise bedeutete dies, dass die von uns getesteten ARIMA-Modelle alle mit oder identisch waren sehr nah an ES-Modellen. Es ist jedoch nicht die Schuld meines Kollegen, dass er diese Ironie verpasst hat. Die meisten Materialien für Einsteiger und MBA-Absolventen zur Modellierung von Zeitreihen konzentrieren sich signifikant oder vollständig auf ARIMA und implizieren (auch wenn sie dies nicht ausdrücklich sagen), dass es das Ende aller statistischen Prognosen ist. Dies ist wahrscheinlich ein Überbleibsel der Denkweise, auf die sich Hyndman in den 70er Jahren bezog, als Experten für akademische Prognosen in ARIMA "verliebt" waren. Darüber hinaus ist das allgemeine Framework, das ARIMA- und ES-Modelle vereint, eine relativ junge Entwicklung und wird nicht immer in Einführungstexten behandelt. Es ist auch mathematisch wesentlich komplexer als die Grundformulierungen von ARIMA- und ES-Modellen (Ich muss gestehen, dass ich meinen Kopf noch nicht vollständig darum gewickelt habe).

Ok, warum schneidet ARIMA so schlecht ab?
Mehrere Gründe, die in keiner bestimmten Reihenfolge aufgeführt sind:

• ARIMA erfordert Polynomtrends: -Differenzierung wird verwendet, um den Trend aus einer Zeitreihe zu entfernen, damit er stationär ist, sodass autoregressive Modelle anwendbar sind. Siehe diesen vorherigen Beitrag für Details. Betrachten Sie eine Zeitreihe $$ Y (t) = L (t) + T (t) $$ span> mit $ L $ span> das Level und $ T $ span> der Trend (das meiste, was ich sage, gilt auch für saisonale Zeitreihen, aber der Einfachheit halber werde ich mich daran halten nur der Falltrend). Das Entfernen des Trends führt dazu, dass eine Transformation angewendet wird, die $ T (t) $ span> einer Konstanten $ T = c $ . Intuitiv ist die Differenzierungskomponente von ARIMA das diskrete Zeitäquivalent der Differenzierung. Das heißt, für eine diskrete Zeitreihe $ Y $ span> mit einer äquivalenten kontinuierlichen Zeitreihe $ Y_c $ span> Die Einstellung $ d = 1 $ span> ( $ Y_n '= Y_n - Y_ {n-1} $ span>) ist Entspricht der Berechnung von $$ \ frac {dY_c} {dt} $$ span> und der Einstellung von $ d = 2 $ span> entspricht $$ \ frac {d ^ 2Y_c} {dt ^ 2} $$ span> usw. Überlegen Sie nun, durch welche Art von kontinuierlichen Kurven Konstanten umgewandelt werden können sukzessive Differenzierung? Nur Polynome der Form $ T (t) = a_nt ^ n + a_ {n-1} t ^ {n-1} ... + a_1t + a_0 $ span> (nur? Es ist eine Weile her, seit ich Analysis studiert habe ...) - Beachten Sie, dass ein linearer Trend der Sonderfall ist, in dem $ T (t) = a_1t + a_0 $ span> . Bei allen anderen Kurven führt keine Anzahl aufeinanderfolgender Differenzierungen zu einem konstanten Wert (Berücksichtigung und Exponentialkurve oder Sinuswelle usw.). Gleiches gilt für die diskrete Zeitdifferenzierung: Sie wandelt die Reihe nur dann in eine mittlere stationäre um, wenn der Trend polynomisch ist. Aber wie viele reale Zeitreihen haben einen Polynomtrend höherer Ordnung ( $ n>2 $ span>)? Sehr wenige, wenn überhaupt. Daher ist die Auswahl einer Reihenfolge $ d>2 $ span> ein Rezept für eine Überanpassung (und manuell ausgewählte ARIMA-Modelle passen tatsächlich häufig über). Und für Trends niedrigerer Ordnung, $ d = 0,1,2 $ span>, befinden Sie sich im exponentiellen Glättungsgebiet (siehe auch hier die Äquivalenztabelle hier).

Hyndman erwähnt dies (mit stärkeren Worten als meine) in dem oben genannten Artikel:

Dies zeigt eine weit verbreitete Ansicht (auch heute noch), dass es ein einzelnes Modell gibt, das den Datenerzeugungsprozess beschreibt, und dass es die Aufgabe eines Prognostikers ist, ihn zu finden. Dies erscheint mir offensichtlich absurd - echte Daten stammen aus Prozessen, die viel komplizierter, nicht linearer und nicht stationärer sind als jedes Modell, das wir uns erträumen könnten - und George Box selbst lehnte es bekanntermaßen ab und sagte: „Alle Modelle sind falsch, aber einige sind falsch nützlich ”.

But was ist mit den 'guten' ARIMA-Tools?

An dieser Stelle wird auf einige moderne Tools und Pakete hingewiesen, die ARIMA verwenden und in den meisten vernünftigen Zeitreihen (nicht zu laut oder zu spärlich) sehr gut funktionieren, z. B. auto.arima () aus dem R Forecast-Paket oder BigQuery ARIMA. Diese Tools basieren in der Tat auf ausgeklügelten Modellauswahlverfahren, mit denen sichergestellt werden kann, dass die ausgewählten $ p-, d-, q $ span> -Aufträge optimal sind (BigQuery ARIMA verwendet ebenfalls) weitaus ausgefeiltere Saisonalitäts- und Trendmodellierung als die Standardmodelle ARIMA und SARIMA). Mit anderen Worten, sie sind weder die ARIMA Ihrer Großeltern (noch die, die in den meisten einführenden Texten für Hochschulabsolventen gelehrt wird ...) und generieren normalerweise Modelle mit einem niedrigen $ p, d, q $ span> Werte sowieso (nach richtiger Vorverarbeitung natürlich). Jetzt, wo ich darüber nachdenke, kann ich mich nicht erinnern, jemals auto.arima () für eine arbeitsbezogene Zeitreihe verwendet und $ p, d, q > 1 $ erhalten zu haben span>, obwohl ich einmal mit auto.arima () in der Zeitreihe Air Passengers den Wert $ q = 3 $ span> erhalten habe.

Conclusion

Lernen Sie traditionelle ARIMA-Modelle ein und aus, aber verwenden Sie sie nicht.Halten Sie sich an Zustandsraummodelle (unglaublich anspruchsvolle Nachkommen von ES) oder verwenden Sie moderne automatisierte ARIMA-Modellpakete (die ohnehin Zustandsraummodellen unter der Haube sehr ähnlich sind).

Was bedeutet ein p-Wert?

ALERT AN NEUKOMMER: DIESES ANGEBOT IST EXTREM FALSCH

“Die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, duh!Komm schon, Dave, du bist ein professioneller Statistiker, und das ist Statistik 101. "

Ich verstehe den Reiz dieses einen, und es wäre wirklich schön, ein einfaches Maß für die Wahrscheinlichkeit der Nullhypothese zu haben, aber nein.

Es ist keine reine Statistik, sondern eher eine statistische Modellierung im großen Sinne, aber ein sehr häufiges Missverständnis, das ich auch in einigen Universitätskursen gehört habe, ist, dass zufällige Wälder nicht überpassen können b>.

Hier ist eine Frage, bei der sie genau das gestellt haben, und ich habe versucht zu erklären, warum dies nicht wahr ist und woher dieses Missverständnis kommt.

Wenn Sie Änderungen analysieren, ist es in Ordnung, Änderungswerte zu erstellen ( Follow-up - Basislinie oder eine prozentuale Änderung gegenüber der Basislinie) und diese dann auf Basislinie zu regressieren.Es ist nicht (mathematische Kopplung).ANCOVA wird häufig als der beste Ansatz vorgeschlagen, und dies kann im Fall einer Randomisierung in Gruppen der Fall sein, beispielsweise in klinischen Studien. Wenn die Gruppen jedoch unausgewogen sind, wie dies in Beobachtungsstudien häufig der Fall ist, kann ANCOVA auch voreingenommen sein. P.>

Insbesondere in der medizinischen Gemeinschaft und etwas seltener in der Psychologie wird die "Änderung gegenüber dem Ausgangswert" normalerweise analysiert, indem die Änderung als Funktion von Kovariaten modelliert wird. Doug Altman und Martin Bland haben ein wirklich großartiges Papier darüber, warum dies wahrscheinlich keine gute Idee ist, und argumentieren, dass eine ANVOCA (nach der Messung ~ Kovariaten + Basislinie) besser ist.

Frank Harrell leistet auch hervorragende Arbeit, um einige versteckte Annahmen hinter diesem Ansatz zusammenzustellen.

Sie erkennen nicht, inwieweit funktionale Formannahmen und Parametrisierungen Informationen in Ihrer Analyse kaufen.In der Wirtschaft erhalten Sie diese Modelle, die wirklich interessant erscheinen und Ihnen eine neue Möglichkeit bieten, potenziell einen interessierenden Effekt zu identifizieren. Manchmal lesen Sie sie jedoch und stellen fest, dass das Modell ohne diese letzte Normalitätsannahme, die Ihnen die Punktidentifizierung ermöglichte, unendliche Grenzen identifiziert.und so gibt Ihnen das Modell wirklich nichts Hilfreiches.

Menschen gehen oft davon aus, dass der einheitliche Prior nicht informativ ist.Dies ist normalerweise falsch.

Angenommen, Kontrolle für Kovariaten entspricht der Beseitigung ihrer kausalen Auswirkungen - dies ist falsch.

Das ursprüngliche Beispiel von Pearl ist das der Qualifikationen, des Geschlechts und der Einstellung. Wir hoffen, dass sich Qualifikationen auf die Einstellung auswirken, und möchten wissen, ob das Geschlecht dies auch tut. Das Geschlecht kann sich auf die Qualifikation auswirken (z. B. ungleiche Bildungschancen).

Wenn ein durchschnittlicher Mann mit einer bestimmten Ausbildung eher eingestellt wird als eine durchschnittliche Frau, die zufällig das gleiche Bildungsniveau hat, ist das ein Beweis für Sexismus, oder? Falsch.

Die Schlussfolgerung des Sexismus wäre nur gerechtfertigt, wenn es keine Störfaktoren zwischen Qualifikation und Einstellung gäbe. Im Gegenteil, es kann sein, dass die Frauen, die zufällig das gleiche Bildungsniveau hatten, aus wohlhabenden Familien stammten und der Interviewer aus diesem Grund gegen sie voreingenommen war.

Mit anderen Worten, Steuern für Kovariaten können Hintertürpfade öffnen. In vielen Fällen ist Kontrolle für das Beste, was wir tun können, aber wenn andere Hintertürpfade wahrscheinlich existieren, sollten die Beweise für kausale Schlussfolgerungen als schwach angesehen werden.

Die Idee, dass, weil wir ein "durchschnittliches" Ergebnis im Auge haben, eine Folge von Daten, die entweder unter oder über dem Durchschnitt liegt, bedeutet, dass ein bestimmtes Ergebnis "fällig" ist.

Die Beispiele sind Dinge wie das Würfeln, bei denen eine große Anzahl von "keine sechs" -Ergebnissen beobachtet wird - sicherlich ist bald eine sechs fällig!

Die Faustregel, dass die Standardabweichung $ S $ span> einer normalen Stichprobe sinnvoll als Stichprobenbereich angenähert werden kann $ D $ span> geteilt durch $ 4 $ span> (oder $ 5 $ span> oder $ 6). $ span>

  n = 100
set.seed (2020)
s = replizieren (10 ^ 5, sd (rnorm (n)))
set.seed (2020) # wieder dieselben Proben
d = replizieren (10 ^ 5, diff (Bereich (rnorm (n))))
Mittel (d / s)
[1] 5.029495
Zusammenfassung (d / s)
   Mindest. 1. Qu. Median Mean 3rd Qu. Max.
  3.581 4.678 4.984 5.029 5.330 7.756
 / code> 

Mein Lieblingsstatistikfehler: Permutieren von Features anstelle von Samples in einem Permutationstest.In der Genomik ist es üblich, eine große Liste von differentiell exprimierten oder differentiell methylierten oder differentiell zugänglichen Genen (oder ähnlichen) zu erhalten.Oft ist dies voll von unbekannten Gegenständen, da niemand die Literatur zu allen 30.000 menschlichen Genen kennt, geschweige denn zu Transkriptvarianten oder nicht-kodierenden Regionen.Daher ist es üblich, diese Listen mithilfe von Tools wie Enrichr zu interpretieren, um die Überlappung mit Datenbanken biologischer Systeme oder früheren Experimenten zu testen.

Die meisten dieser Analysen ergeben p-Werte unter der Annahme, dass Merkmale (Gene oder Transkripte) unter einer Nullhypothese austauschbar sind.Diese Nullhypothese ist viel restriktiver als es zunächst scheint, und ich habe noch nie einen Fall gesehen, in dem sie a) biologisch realistisch ist oder b) durch irgendeine Art von Diagnose verteidigt wird.

(Glücklicherweise gibt es Tools, die diesen Fehler nicht machen. Suchen Sie nach MAST oder CAMERA.)

Verwenden von Interaktions- (Produkt-) Begriffen in Regressionen ohne Verwendung krummliniger (quadratischer) Begriffe.

Vor ein paar Jahren habe ich darüber nachgedacht (nachdem ich einige Artikel (in den Bereichen Wirtschaft / Management) gesehen hatte, die dies taten), und mir wurde klar, dass die Ergebnisvariable im Quadrat des Quadrats von abhängt Einige oder alle Variablen im Modell, diese sind jedoch nicht enthalten, und stattdessen ist eine Interaktion im untersuchten Modell enthalten. Der Forscher kann feststellen, dass die Interaktion einen Effekt hat, während dies tatsächlich nicht der Fall ist.

Ich habe dann gesucht, ob es eine wissenschaftliche Arbeit gibt, die sich damit befasst, und ich habe eine gefunden (könnte mehr sein, aber das habe ich gefunden): https://psycnet.apa.org/fulltext/1998-04950-001.html

Man könnte sagen, dass es sich um einen Anfängerfehler handelt und dass ein echter Statistiker wissen sollte, dass er zuerst versuchen sollte, alle Begriffe und Interaktionen eines bestimmten Grades in die Regression einzubeziehen. Dennoch scheint dieser spezifische Fehler in vielen Bereichen, in denen Statistiken angewendet werden, recht häufig zu sein, und der oben verlinkte Artikel zeigt die irreführenden Ergebnisse, zu denen er führen kann.

„Korrelation bedeutet keine Kausalität.“

Dies ist eine wahre Aussage.Selbst wenn es eine Ursache gibt, könnte dies in die entgegengesetzte Richtung gehen, wie behauptet wird.

Was ich gesehen habe, ist, dass, wenn die Korrelation unbequem ist, die Leute dies so verstehen, dass Korrelation Kausalität ausschließt.

Ich sehe keine professionellen Statistiker, die diesen Fehler machen, aber ich habe gesehen, dass Menschen diesen Ausdruck verwenden, um in ihrer Analyse quantitativ und streng zu klingen, nur um die Bedeutung zu verpfuschen.

Ich stimme für "Spezifikationstests", z. B. den White-Test auf Heteroskedastizität, den Hausman-Test usw. Diese sind in der Ökonometrie und anderswo so häufig, dass viele Leute glauben, sie würden eher die tatsächliche Definition der getesteten Annahmen als einebedeutet, sie zu bewerten.Sie würden denken, die jüngsten ASA-Aussagen zu p-Werten hätten die Begeisterung für diese Methoden gedämpft.Eine Google-Gelehrten-Suche nach „Hausman-Test“ liefert jedoch 17.200 Ergebnisse seit 2019 und 8.300 seit 2020;das heißt, sie verblassen nicht.

Using statistische Signifikanz (normalerweise bei $ 1 \% $ span>, $ 5 \% $ span> oder $ 10 \% $ span>) von erklärenden Variablen / Regressoren als Kriterium bei der Modellbildung für erklärende oder prädiktive Zwecke.

In explanatory modelling sind sowohl der Gegenstand als auch die statistische Validität erforderlich. siehe z.B. der probabilistische Reduktionsansatz zur Modellbildung von Aris Spanos, beschrieben in "Auswirkungen der Modellauswahl und Fehlspezifikationstests auf die Inferenz: Probabilistischer Reduktionsansatz (Aris Spanos)" und die darin enthaltenen Referenzen. Die statistische Validität von Parameterschätzern setzt voraus, dass bestimmte statistische Annahmen von den Daten erfüllt werden. Z.B. Für OLS-Schätzer in linearen Regressionsmodellen ist dies unter anderem Homoskedastizität und Null-Autokorrelation von Fehlern. Es gibt entsprechende Tests, die auf Modellreste angewendet werden müssen, um einen Einblick zu erhalten, ob die Annahmen auf bestimmte Weise verletzt werden. T Es gibt jedoch keine Annahme, dass die erklärenden Variablen statistisch signifikant sind. Viele Praktiker wenden jedoch die statistische Signifikanz einzelner Regressoren oder Gruppen davon als Kriterium für die Modellvalidität bei der Modellbildung an, genau wie sie die oben genannten diagnostischen Tests anwenden. Nach meiner Erfahrung ist dies eine ziemlich übliche Praxis, aber sie ist ungerechtfertigt und daher eine schlechte Idee.

In predictive Modelling kann eine Variablenauswahl auf der Grundlage der statistischen Signifikanz sinnvoll sein.Wenn die Wahrscheinlichkeit einer Out-of-Sample-Wahrscheinlichkeit maximiert werden soll, impliziert die AIC-basierte Merkmalsauswahl einen Grenzwert, der einem $ p $ span> -Wert von etwa $ 16 \% $ span>.Die häufig verwendeten Schwellenwerte für $ 1 \% $ span>, $ 5 \% $ span> und $ 10 \% $ span> sind für die meisten Zwecke nicht optimal.Verwenden Sie daher die statistische Signifikanz erklärender Variablen auf gemeinsamen Ebenen von $ 1 \% $ span>, $ 5 \% $ span> und $ 10 \% $ span> als Auswahlkriterium ist auch bei der prädiktiven Modellbildung eine schlechte Idee.

Post-Auswahlinferenz, d. h. Modellbildung und Inferenz für denselben Datensatz, bei dem die Inferenz nicht die Modellbildungsphase berücksichtigt.

Either: Bei einem Datensatz und keinem vorgegebenen Modell wird ein Modell basierend auf den im Datensatz gefundenen Mustern erstellt.
Or: Bei einem Datensatz und einem Modell wird das Modell häufig als unzureichend befunden.Das Modell wird basierend auf den Mustern im Datensatz angepasst.
Then: Das Modell wird für Inferenzen wie das Testen der Signifikanz von Nullhypothesen verwendet.
TDas Problem: Die Inferenz kann nicht zum Nennwert genommen werden, da sie aufgrund der Modellierungsphase vom Datensatz abhängig ist.Leider wird diese Tatsache in der Praxis oft vernachlässigt.

Aufruf der Assertionswahrscheinlichkeit vom Typ I als "Fehlerrate vom Typ I", wenn es sich weder um eine Rate noch um die Wahrscheinlichkeit eines Fehlers handelt.Es ist die Wahrscheinlichkeit, einen Effekt geltend zu machen, wenn kein Effekt vorliegt.

Aufruf der Assertionswahrscheinlichkeit vom Typ I als "falsch positive Rate", wenn es sich nicht um die Wahrscheinlichkeit eines falsch positiven Ergebnisses handelt.Es ist die Wahrscheinlichkeit, einen Effekt zu behaupten, wenn eine Behauptung eines Effekts per Definition falsch ist.Die Wahrscheinlichkeit eines falschen + Ergebnisses ist die Wahrscheinlichkeit, dass ein Effekt nicht vorhanden ist, vorausgesetzt, der Beweis + war für einen solchen Befund.Dies ist eine Bayes'sche hintere Wahrscheinlichkeit, nicht $ \ alpha $ span>.

Der Gedanke, dass die Steuerung von $ \ alpha $ span> mit der Begrenzung von Entscheidungsfehlern zu tun hat.

Untersuchen des t-Tests für jede Variable in einer Regression, nicht jedoch der F-Tests für mehrere Variablen.

In vielen Bereichen, in denen Statistiken angewendet werden, ist es üblich, eine Regression mit vielen Kovariaten zu verwenden, um die Auswirkung der Kovariaten auf die interessierenden Ergebnisse zu bestimmen.

In diesen Untersuchungen wird häufig der t-Test für jede der Kovariaten verwendet, um festzustellen, ob diese Variable einen Einfluss auf das Ergebnis hat oder nicht.

(Ich lege die Frage beiseite, wie ein Kausalzusammenhang ("Effekt") identifiziert werden kann - nehmen wir zunächst an, dass es vernünftige Identifizierungsannahmen gibt. Oder alternativ ist der Forscher nur daran interessiert, eine Korrelation zu finden, die ich gerade finde es ist einfacher, von einem "Effekt" zu sprechen)

Es könnte sein, dass es zwei oder mehr Variablen gibt, die etwas stark korreliert sind. Infolgedessen führt die Einbeziehung beider Variablen in die Regression zu einem hohen p-Wert in jedem ihrer t-Tests, wobei jedoch ihr kombinierter Beitrag zu untersucht wird Das Modell unter Verwendung eines F-Tests kann zu dem Schluss kommen, dass diese Variablen oder zumindest eine davon einen großen Beitrag zum Modell leisten.

Einige Untersuchungen prüfen dies nicht und ignorieren daher möglicherweise einige sehr wichtige Faktoren, die sich auf die Ergebnisvariable auswirken, da sie nur T-Tests verwenden.

1. Ich bin der Meinung, dass sehr einfache Statistiken nicht so intuitiv sind wie grundlegende Schulphysik. Oder vielleicht gibt es eine viel intuitivere Basis, aber ich habe haven nicht kennengelernt.

2. Die Statistik sagt uns, ob es eine Korrelation gibt, nicht die mechanisms der Kausalität. And Korrelation impliziert keine Kausalität. Um zu sagen, warum zwei Phänomene miteinander verbunden sind, hat man keine andere Möglichkeit, als die Ursache zu finden. Manchmal wird jedoch in Vorlesungen oder Seminaren im Klassenzimmer usw. die Bedeutung der Statistik so beschrieben, dass der falsche Eindruck entsteht, dass die Statistik zur Bestimmung des Kausalzusammenhangs verwendet wird.

3. Misuse of statistics geschieht (absichtlich oder unbeabsichtigt), weil die Statistik den Ort dafür bietet. Wenn die Dinge langwierig und kompliziert sind; und die intuitive Grundlage hinter diesen strengen Behandlungen wird nicht verstanden; Es kann Bereiche für konzeptionelle Irrtümer oder konzeptionelle Fehler geben.

4. A wenig Lernen ist gefährlich, insbesondere wenn es um statistische Begriffe geht; weil statistische Begriffe und Grafiken absichtlich missbraucht werden könnten, um eine " damn lie" in die offensichtliche Wahrheit zu bringen.

ol>

Durchführen einer logistischen Regression mit proportionalen Gewinnchancen.

Eine gewöhnliche logistische Regression erzeugt nur dann korrekte Klassenwahrscheinlichkeiten, wenn die beiden Klassen normal verteilt sind und dieselbe Varianz aufweisen.Es ist bereits ungewöhnlich genug, dies zu überprüfen.

Bei proportionalen Gewinnchancen kann diese Bedingung jedoch niemals erfüllt werden.Wenn die Klassen $ A $ span> und $ BC $ span> zufällig gleiche Varianzen aufweisen, sind die Klassen $ AB $ span> und $ C $ span> können sie nicht haben (außer in einem pathologischen Fall, in dem sie sich vollständig überlappen).