Frage:
Warum i.i.d. ist die konservativste Verteilungsannahme
gc5
2018-02-20 09:28:28 UTC
view on stackexchange narkive permalink

Ich lese Statistisches Umdenken (Abschnitt 4.3).

Wenn über die i.i.d. Annahme zur Erstellung eines linearen Regressionsmodells - ohne zu wissen, ob Verteilungswerte korreliert sind, sagt der Autor:

Die Reflexion eines Augenblicks sagt uns, dass dies im physischen Sinne kaum jemals wahr ist. Unabhängig davon, ob dieselbe Entfernung wiederholt gemessen oder eine Population von Höhen untersucht wird, ist es schwer zu argumentieren, dass jede Messung unabhängig von den anderen ist. Zum Beispiel werden Höhen innerhalb von Familien aufgrund von Allelen korreliert, die durch kürzlich geteilte Vorfahren geteilt wurden.

Der i.i.d. Die Annahme muss jedoch nicht unangenehm erscheinen, solange Sie sich daran erinnern, dass die Wahrscheinlichkeit innerhalb des Golems [des Modells] und nicht außerhalb der Welt liegt. Die i.i.d. Bei der Annahme geht es darum, wie der Golem seine Unsicherheit darstellt. Es ist eine erkenntnistheoretische Annahme. [...] Es geht nicht darum zu sagen, dass Erkenntnistheorie die Realität übertrumpft, sondern dass in Unkenntnis solcher Korrelationen die konservativste zu verwendende Verteilung i. D. ist [...]

Darüber hinaus gibt es viele Arten von Korrelationen, die wenig oder gar nichts mit der Gesamtform einer Verteilung zu tun haben, sondern nur die genaue Reihenfolge beeinflussen, in der Werte angezeigt werden. Zum Beispiel haben Schwesternpaare stark korrelierte Höhen. Die Gesamtverteilung der weiblichen Körpergröße bleibt jedoch nahezu normal. In solchen Fällen, d.h. bleibt trotz Ignorieren der Korrelationen vollkommen nützlich.

Warum ist i.i.d. die konservativste Verteilungsannahme? Weil es keine zusätzlichen Annahmen in das Modell einführt?

"Konservativ" ist selten ein genau definierter Begriff, hängt vom Kontext ab und ist normalerweise subjektiv.Seine Bedeutung kann die logische Negation dessen sein, was Sie denken könnten, abhängig von der Perspektive des Sprechers.
@whuber, danke.Ich habe die Frage aktualisiert, um Ihre Zweifel zu klären.
Ein weiterer Punkt zur Nomenklatur: "i.i.d."ist keine Verteilung, sondern ein Aspekt der gemeinsamen Verteilung einer Folge von Zufallsvariablen.
Schließlich denke ich, dass die meisten (alle?) Statistiker zustimmen würden, dass, wenn eine bekannte Abhängigkeitsstruktur in den Daten vorhanden ist, die am besten geeignete Analyse diese Abhängigkeit in irgendeiner Weise kontrolliert.Und wenn diese Varianzstruktur unbekannt ist, hat das Modell für unabhängige Daten einen hohen Grad an Relevanz, aber das Ignorieren der Abhängigkeit ist eine Einschränkung.
@AdamO danke für den Hinweis, ich beabsichtigte Verteilungsannahme.
Nach dem Lesen des bereitgestellten Textes steht dies in engem Zusammenhang mit [dieser Frage] (https://stats.stackexchange.com/questions/283098/combining-non-independent-priors), die ich gestellt habe.Mir ist nicht klar, dass iid * am * konservativsten ist, aber zumindest ist es normalerweise sehr übermäßig konservativ (d. H. Über Staatssicherheit).
@Cliff Das ist ein Teil des Problems, das ich mit dem Wort "konservativ" habe: In vielen Zusammenhängen wird es als * anti * konservativ angesehen, über etwas zu sicher zu sein.Beispielsweise wird ein Verfahren, das dazu neigt, zu niedrige p-Werte zu erzeugen ("Sicherheit über Zustände"), normalerweise als das Gegenteil von "konservativ" angesehen (wobei "konservativ" natürlich als Tendenz verstanden wird, eine Nullhypothese nicht abzulehnen).Alles in allem scheint "konservativ" ein Wort zu sein, das beim sorgfältigen Schreiben am besten vermieden wird.Seine Funktion im Zitat scheint ein Versuch zu sein, das Fehlen nützlicher Argumente zu verbergen.
@whuber: stimmt voll und ganz zu, dass "konservativ" nicht einfach ist.Selbst unter meiner Interpretation dessen, was sie meiner Meinung nach bedeuten, glaube ich immer noch nicht, dass die Aussage zu 100% wahr ist.Vielmehr ist es * oft * der Fall, dass die iid-Annahme mit einem Posterior endet, das über die Gewissheit hinausgeht, als wenn wir eine komplexere vernünftige Abhängigkeitsstruktur in Betracht gezogen hätten.Aber sicherlich gibt es auch * einige * Abhängigkeitsstrukturen, die zu * mehr * Sicherheit führen als die iid-Annahme.
@whuber: tatsächlich ... nachdem ich es noch einmal gelesen habe, denke ich, dass der Autor das Gegenteil von dem sagt, was ich beim ersten Mal gedacht habe: "Zumindest wenn wir iid annehmen, sollten wir keinen zu engen Seitenzahn haben".Wie in meinem letzten Kommentar angegeben, denke ich nicht nur, dass dies nicht immer richtig ist, ich denke, dass es meistens falsch ist.
Drei antworten:
Aksakal
2018-02-21 20:48:23 UTC
view on stackexchange narkive permalink

Ich denke, die Verwendung eines Wortes konservativ hier ist gelinde gesagt interessant. Ich bin es gewohnt zu sagen, dass es die stärkste Annahme ist, die am schwersten zu beweisen ist, dass sie gilt, und ehrlich gesagt die, die wahrscheinlich am leichtesten verletzt wird.

Es ist die Annahme, auf die man am einfachsten aufbauen kann, wenn man die Regressionstheorie lehrt. Sie müssen sich nicht um Korrelationen und die damit verbundenen Probleme kümmern. Sie können CLT einfach anwenden, um die asymptotischen Varianzen von Parametern usw. zu erhalten.

Sie werden feststellen, wie einfach es ist, mit i.i.d. Fehler, sobald Sie über Zeitreihen sprechen. Plötzlich stellen Sie fest, dass die Annahmen, die in der Querschnittsanalyse einigermaßen vernünftig sind, normalerweise nicht in Zeitreihen gelten. Selbst in der Querschnittsanalyse brauchen Sie nicht wirklich Unabhängigkeit und kommen mit einer geschwächten Annahme davon, z. siehe Gauß-Markov-Theorem.

Für mich ist es semantisch besser, ein Wort konservativ zu verwenden, wenn auf die schwächste Annahme verwiesen wird, dh die, die in den meisten Situationen gelten sollte , nicht der stärkste, der selten oder nie gilt. Ich würde i.i.d. Nehmen Sie die liberalste an, weil sie Sie auch von der Notwendigkeit befreit, sich mit allen Korrelations- und Abhängigkeitsproblemen zu befassen, und Sie diese wunderbare ideale Welt unabhängiger Fehler aufbauen können. Ich könnte auch die IID-Annahme outlandish

nennen
+1, ich betrachte "konservativ" als Modelle mit der geringsten Anzahl von Parametern / am wenigsten flexibel.
gung - Reinstate Monica
2018-02-21 21:57:43 UTC
view on stackexchange narkive permalink

(Ich muss beachten, dass ich das Buch nicht gelesen habe und daher diese Passage möglicherweise falsch interpretiere oder unangemessen kritisiere. Das heißt ...)

Ich denke nicht, dass das richtig ist.

  1. Die Standardregressionsannahme von i.i.d. Fehler beziehen sich nicht auf die Grundgesamtheit, aus der die Daten stammen. Es geht um die Daten, die Sie verwenden, um das Modell anzupassen. Das heißt, niemand sollte jemals glauben, dass alle menschlichen erwachsenen weiblichen Höhen, die jemals existiert haben oder existieren werden, unabhängig voneinander sind. Sie können unter anderem aufgrund gemeinsamer Gene nicht sein. Es ist jedoch durchaus möglich und oft durchaus vernünftig (IMHO), sich vorzustellen, dass die Daten in Ihrer Stichprobe unabhängig sind, z. B. wenn Sie eine Gruppe junger Frauen haben, die alle nicht miteinander verwandt sind. In diesem Fall kann es in Ordnung sein, ein Modell anzupassen, das davon ausgeht, dass die Daten unabhängig sind.
  2. Die Bedeutung der Annahme der Unabhängigkeit hängt nicht von der Form der Bevölkerungsverteilung ab. Während dies von der Art der Unabhängigkeit und der Schätzung des Modells abhängen kann, ist es häufig der Fall, dass die mittleren Schätzungen unvoreingenommen sind, selbst wenn die Daten nicht unabhängig sind. Stattdessen geht es in der Regel um die angemessene Breite eines Konfidenzintervalls um diesen geschätzten Mittelwert (oder in einem anderen Rahmen um die Richtigkeit des p-Werts aus einem Test dieses Parameters).
  3. ol>

    Wie aus dem Auszug hervorgeht, scheint mir der Kommentar falsch zu sein. Ich bin nicht in erster Linie ein Bayesianer und bin mit Bayes'schen Statistiken wesentlich weniger ausgefeilt. Daher ist es möglich, dass es eine alternative Bayes'sche Formulierung oder Interpretation dafür gibt, so dass sich die iid-Annahme nur auf die gesamte mögliche (unendliche) Bevölkerung und speziell auf ihre bezieht gestalten. Das ist mir aber nicht bewusst.

AdamO
2018-02-21 22:15:53 UTC
view on stackexchange narkive permalink

Eine mögliche Interpretation von "konservativ" ist im Zusammenhang mit statistischen Tests. Konservative Tests lehnen die Nullhypothese seltener ab als sie sollte. Ein Beispiel für einen konservativen Test ist der Fisher's Exact Test: Die tatsächliche falsch positive Fehlerrate ist aufgrund der diskreten Verteilung des Odds Ratio unter Permutationen der Tabellenwerte geringer als die Nenngröße des Tests.

Bei der linearen Regression testen wir häufig die Hypothese, dass einer oder mehrere der Regressionsparameter 0 sind. Wenn die Fehler nicht tatsächlich IID sind, ist die optimale Lösung aufgrund des Gauß-Markov-Theorems, wie @Aksakal erwähnt, die Umkehrung Varianzgewichtete kleinste Quadrate. Die naive Verwendung ungewichteter kleinster Quadrate verzerrt die Schätzungen nicht, wenn das mittlere Modell wahr ist. Das Fehlen einer Gewichtung wirkt sich auf die Teststufe der Regressionsparameter aus. Der Test mit ungewichteten kleinsten Quadraten kann konservativ oder antikonservativ sein.

Wenn Beobachtungen nicht gemessene Quellen für Abhängigkeit oder Heteroskedastizität aufweisen, erzeugt der robuste Sandwich-Varianzschätzer aus verallgemeinerten Schätzgleichungen Standardfehler, die konsistent sind und Tests mit dem richtigen Niveau erzeugen. Ich würde argumentieren, dass, wenn wir Verstöße gegen Modellannahmen diskutieren, die GEE erwähnt werden sollte. Das GEE hat nichts damit zu tun, konservativ zu sein, sondern korrekte Schlussfolgerungen zu ziehen.

Mit Gauss-Markov brauchen Sie keine IID-Fehler, die sphärischen Fehler mit Exogenität funktionieren einwandfrei.In diesem Zusammenhang würde ich sagen, dass Gauß-Markov konservativer ist, da es weniger Annahmen erfordert und in mehr Situationen als IID funktioniert
@Aksakal in der Tat, wie ich sagte, impliziert der Gauß-Markov-Satz, dass wir mit der inversen Varianzmatrix gewichten sollten, um den besten linearen unverzerrten Schätzer zu erhalten.Das hat nichts mit Konservativität zu tun, sondern mit Optimalität.Die Herausforderung besteht natürlich darin, dass Sie die Kovarianz * kennen * müssen, um angemessen zu gewichten.


Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...