Frage:
Wenn eine Statistik keine Bedeutung aufzeigt, muss ich die Leistung dafür berechnen?
stan
2011-06-20 12:06:07 UTC
view on stackexchange narkive permalink

Nach dem in dieser Frage beschriebenen Design und den Daten habe ich eine einfache Einweg-ANOVA mit wiederholten Messungen (RM) innerhalb der Probanden durchgeführt und einige signifikante p-Werte gefunden. Ich habe dann nicht-orthogonale post-hoc Tukey-HSD-Tests angewendet, und als ich signifikante Ergebnisse erhielt, habe ich die Holm-Bonferroni-Korrektur (1979) angewendet. Immer wenn einige p-Werte die FWER-Korrektur überlebten, berechnete ich 95% CIs und den Mittelwert für die zugehörigen paarweisen Vergleiche.

Meine Frage lautet: Wenn ich bei keinem der oben genannten Schritte ein signifikantes Ergebnis beobachte, Muss ich eine Leistungsanalyse für die RM-ANOVA durchführen, Tukeys HSD-Test oder Holm-Bonferroni anpassen oder muss ich einfach die Ergebnisse der RM-ANOVA melden, ohne dies zu tun? Die Leistungsanalyse?

Das Problem ist, dass ich erst nach meinen Experimenten in die Biostatistik eintauche und leider vorher keine Leistungsanalyse durchgeführt habe.

Ich habe versucht, Ihre Frage neu zu formulieren und einen anschaulicheren Titel bereitzustellen. Bitte überprüfen Sie, ob ich die ursprüngliche Bedeutung nicht geändert habe.
@chl danke für die Bearbeitung :). aber im Teil * "Ich habe 95% CIs und Mittelwert für die zugehörigen paarweisen Vergleiche berechnet" * habe ich 95% CI und Mittelwert für jede verglichene Gruppe gemacht. Ich erinnerte mich jedoch daran, dass der Unterschied zwischen den verglichenen Mitteln abhängiger Gruppen und dem 95% -KI für den Unterschied angemessen ist. Du hast also recht! Aber wie berechnet man es in R?
@chl Ich habe den Titel geändert ... Wahrscheinlich ist es OK ...
Vier antworten:
#1
+15
Freya Harrison
2011-06-20 17:02:54 UTC
view on stackexchange narkive permalink

Die Hardline-Ansicht zur Post-Hoc-Leistungsberechnung lautet: Tun Sie es nicht, da es sinnlos ist. Russ Lenth von der University of Iowa hat einen Artikel zu diesem Thema hier (Er hat auch ein amüsant facettenreiches Java-Applet für Post-hoc-Power auf seiner Website).

Weitere Diskussionen und Referenzen finden Sie auch auf S. 2 in dem Artikel, der G * Power3 beschreibt: http://www.psycho.uni-duesseldorf.de/abteilungen/aap/gpower3/download-and-register/Dokumente/GPower3- BRM-Paper.pdf (pdf)
@Freua: Nach einer positiven ANOVA-Antwort führen wir Post-hocs durch, um die Signifikanz zu überprüfen, oder? Ich habe auch einen [Artikel] (http://beheco.oxfordjournals.org/content/14/3/446.full) von N.Colegrave & G.D.Ruxton in Betracht gezogen. Als Anfänger kann ich sagen, dass es viele "Aber" gibt :). Schließlich können wir über (Nicht-) Parameter spekulieren
#2
+7
Aaron left Stack Overflow
2011-06-21 06:26:34 UTC
view on stackexchange narkive permalink

Abgesehen davon hängt Tukey's nicht davon ab, ob die ANOVA-Ergebnisse signifikant sind. Sie können signifikante paarweise Unterschiede aufweisen, auch wenn die ANOVA insgesamt nicht signifikant ist.

Wenn Sie also Tukey-korrigierte paarweise Vergleiche durchführen möchten, müssen Sie nicht zuerst die Gesamtsignifikanz überprüfen . Wenn Sie die Tukey-Vergleiche erst ausführen, nachdem Sie einen signifikanten Gesamt-p-Wert erhalten haben, korrigieren Sie zu viel.

(Ich bin zuversichtlich, dass dies bei regulärer ANOVA der Fall ist; es ist möglich, dass dies bei wiederholten oder nicht wiederholten Messungen der Fall ist -orthogonalität passiert etwas anderes; möchte sich jemand einschalten?)

Schließlich, um Freya zuzustimmen, aber ein wenig mehr Anleitung zu geben, anstatt eines Post-hoc-Leistungstests, wäre eine vernünftigere Sache zu melden seien Sie die Konfidenzintervalle; Sie zeigen genau, wie groß der Unterschied ist, den Ihr Experiment hätte feststellen können. Dies ist normalerweise das, wonach Menschen suchen, wenn sie ohnehin einen Post-hoc-Leistungstest wünschen.

Danke für deine Antwort. Das interessiert mich, weil einige Lehrbücher sagen, dass die Tukey-HSD-Vergleiche nicht durchgeführt werden sollten, wenn der Gesamttest nicht signifikant ist. Ich habe einige Simulationen durchgeführt, die gezeigt haben, dass die Tukey-HSD-Konfidenzintervalle unabhängig von der Signifikanz des Gesamttests die richtige Abdeckung aufweisen. Daher verstehe ich die Empfehlung, sie nur zu verwenden, wenn der Gesamttest signifikant ist, nicht ganz. Ich werde interessiert sein, einige andere Meinungen zu hören.
Auf jeden Fall bei der Meldung von CIs. Der von @stan zitierte Artikel von Colegrave & Ruxton enthält eine schöne Erklärung, die ich zitieren werde: "Was uns interessiert, ist die Beschreibung der möglichen Effektgrößen, die von den uns vorliegenden Daten unterstützt werden, und der mögliche Effekt Größen, die nicht unterstützt werden. [...] Wenn der Test nicht signifikant war, liegt das Konfidenzintervall für die Effektgröße bei Null. Die Breite dieses Konfidenzintervalls gibt jedoch einen Hinweis auf die Wahrscheinlichkeit, dass die tatsächliche Effektgröße Null ist. "
#3
+1
Susie
2012-05-26 09:48:20 UTC
view on stackexchange narkive permalink

Die meisten Lehrbücher argumentieren, dass es nur richtig ist, ein Post-hoc wie Tukey's nur mit einem signifikanten f durchzuführen. Wenn Sie einen geplanten Vergleich basierend auf der Theorie wählen würden, wäre ein nicht signifikantes F in Ordnung ... Tukey's ist ein ziemlich konservativer Test, der normalerweise keine Signifikanz zeigt, wenn f nicht signifikant ist. Welchen Wert verwenden Sie für das mittlere Quadrat innerhalb, um Tukeys zu berechnen? Die Konfidenzintervalle sollen auch ein mittleres Quadrat mit separaten Varianzschätzungen verwenden.

Danke für deine Antwort. Entschuldigung, ich bin mir nicht sicher, ob ich die Frage verstanden habe ... Ich verwende SAS mit Standardeinstellungen, einschließlich für das mittlere Quadrat ... Gibt es Fortschritte über Tukeys HSD hinaus?
#4
+1
RioRaider
2012-08-01 06:27:46 UTC
view on stackexchange narkive permalink

Eine weitere gute Diskussion der Fallstricke der Post-hoc-Leistungsschätzung findet sich in:

Gerard, P. D., D. R. Smith und G. Weerakkody. 1998. Grenzen der retrospektiven Leistungsanalyse. Journal of Wildlife Management 62: 801-807 [ Link].



Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...