Für die Zwecke dieser Antwort gehe ich davon aus, dass das Ausschließen dieser wenigen Teilnehmer völlig gerechtfertigt war, aber ich stimme Patrick zu, dass dies ein Problem ist.

Es gibt keinen signifikanten Unterschied zwischen p ~ 0,05 oder p = 0,06. Der einzige Unterschied besteht darin, dass die Konvention darin besteht, erstere als äquivalent zu "wahr" und letztere als äquivalent zu "falsch" zu behandeln. Diese Konvention ist schrecklich und nicht zu rechtfertigen. Die Debatte zwischen Ihnen und Ihrem Professor läuft darauf hinaus, eine Faustregel zu bilden, um mit der Willkür der Grenze von p = 0,05 umzugehen. In einer vernünftigeren Welt würden wir nicht so viel Wert auf winzige Schwankungen einer Stichprobenstatistik legen.

Oder um es bunter auszudrücken:

... sicherlich liebt Gott die .06 fast so sehr wie die .05. Kann es irgendeinen Zweifel geben, dass Gott die Stärke der Beweise für oder sieht? gegen die Null als eine ziemlich kontinuierliche Funktion der Größe von p? ”

Geben Sie also an, dass p = 0,06 ist. Die Zahl selbst ist in Ordnung, es ist wichtig, wie sie anschließend beschrieben und interpretiert wird. Beachten Sie, dass "signifikant" und "nicht signifikant" irreführende Begriffe sind. Sie müssen darüber hinausgehen, um Ihre Ergebnisse genau zu beschreiben.

Außerdem empfehle ich Ihnen, die Antworten auf Was bedeuten p-Werte und t-Werte in statistischen Tests?

In Ihrer Frage werden sehr viele Fragen aufgeworfen, daher werde ich versuchen, Antworten auf alle von Ihnen aufgeworfenen Fragen zu geben. Um einige dieser Probleme klar zu formulieren, ist es wichtig, zu Beginn festzustellen, dass ein p-Wert ein kontinuierliches Maß für Beweise gegen die Nullhypothese ist (zugunsten der angegebenen Alternative), aber wenn wir Vergleichen Sie es mit einem festgelegten Signifikanzniveau, um eine Schlussfolgerung aus der "statistischen Signifikanz" zu ziehen. Wir unterteilen dieses kontinuierliche Beweismaß in ein binäres Maß

Es macht keinen Sinn, den Leuten zu sagen, dass das Ergebnis in einer Stichprobe von 71 nicht signifikant ist, aber es ist in einer Stichprobe von 77 signifikant.

Sie müssen entscheiden, welches dieser beiden Beispiele tatsächlich das richtige ist - d. h., es ist angemessen, sechs Datenpunkte aus Ihren Daten zu entfernen. Aus Gründen, die auf dieser Site häufig erläutert wurden (z. B. hier und hier), ist es eine schlechte Idee, "Ausreißer" zu entfernen, die nicht auf eine falsche Aufzeichnung von Beobachtungen zurückzuführen sind. Wenn Sie also keinen Grund zu der Annahme haben, dass dies der Fall ist, ist es wahrscheinlich angebracht, alle 77 Datenpunkte zu verwenden. In diesem Fall ist es nicht sinnvoll, etwas über die von Kirschen gepflückte Teilstichprobe von 71 Daten zu sagen Punkte.

Beachten Sie hier, dass das Problem nichts mit dem Problem der statistischen Signifikanz zu tun hat. Es ist durchaus sinnvoll, dass das Ergebnis verschiedener Hypothesentests (z. B. der gleiche Test mit verschiedenen Daten) unterschiedlich sein kann. Daher gibt es keinen Grund, es als problematisch anzusehen, dass es in einem Fall statistisch signifikante Beweise für die alternative Hypothese gibt. aber nicht in der anderen. Dies ist eine natürliche Folge eines binären Ergebnisses, das durch Zeichnen einer Linie von "Signifikanz" in einem kontinuierlichen Beweismaß erhalten wird.

Bei der Interpretation eines Trends ist es wichtig, die Ergebnisse mit den Ergebnissen in der Literatur zu verknüpfen. Obwohl wir hier einen schwachen Trend finden, stimmt dieser Trend mit zahlreichen Studien in der Literatur überein, die signifikante Korrelationen in diesen beiden Variablen finden.

Wenn Sie dies tun möchten, sollten Sie eine Metaanalyse durchführen, um alle Daten in der Literatur zu berücksichtigen. Die bloße Tatsache, dass es andere Literatur mit anderen Daten / Beweisen gibt, ist keine Rechtfertigung dafür, die Daten in diesem Dokument anders zu behandeln, als Sie es sonst tun würden. Führen Sie Ihre Datenanalyse anhand der Daten in Ihrem eigenen Papier durch. Wenn Sie befürchten, dass Ihr eigenes Ergebnis eine Abweichung von der Literatur ist, beachten Sie diese anderen Beweise. Sie können dann entweder eine ordnungsgemäße Metaanalyse durchführen, bei der alle Daten (Ihre und die andere Literatur) berücksichtigt werden, oder Sie können Ihren Leser zumindest auf den Umfang der verfügbaren Daten aufmerksam machen.

Hier ist die Antwort meines Vorgesetzten: Ich würde anders argumentieren: Wenn es in der Stichprobe von 71 nicht mehr signifikant ist, ist es zu schwach, um gemeldet zu werden. Wenn es ein starkes Signal gibt, sehen wir es auch in der kleineren Stichprobe. Soll ich dieses "nicht signifikante" Ergebnis nicht melden?

Die Entscheidung, keine Daten zu melden , weil sich die statistischen Ergebnisse von anderer Literatur unterscheiden, ist eine terrible, schreckliche, statistisch bankrotte -Praxis. In der statistischen Theorie gibt es eine Menge Literatur, die vor dem Problem der Publikationsverzerrung warnt, das auftritt, wenn Forscher zulassen, dass das Ergebnis ihrer statistischen Tests ihre Entscheidung beeinflusst, ihre Daten zu melden / zu veröffentlichen. In der Tat ist die Publikationsverzerrung aufgrund von Publikationsentscheidungen, die auf der Grundlage von p-Werten getroffen werden, der Fluch der wissenschaftlichen Literatur. Es ist wahrscheinlich eines der größten Probleme in der wissenschaftlichen und akademischen Praxis.

Unabhängig davon, wie "schwach" die Beweise für die alternative Hypothese sind, enthalten die von Ihnen gesammelten Daten Informationen, die gemeldet / veröffentlicht werden sollten.Es fügt der Literatur 77 Datenpunkte hinzu, für was auch immer das wert ist.Sie sollten Ihre Daten und den p-Wert für Ihren Test angeben.Wenn dies keinen statistisch signifikanten Beweis für den untersuchten Effekt darstellt, dann sei es so.

Im Allgemeinen macht das Ändern der Daten, die in einen Test eingegeben wurden, die Verwendung von Hypothesentests zum Auffinden signifikanter Effekte ungültig. Wenn Sie mit der Bearbeitung der Daten beginnen und den Test erneut ausführen, um festzustellen, welche Änderungen Sie erzielen können, können Sie fast jedes gewünschte Ergebnis erzielen. Stellen Sie sich vor, was passieren würde, wenn Sie 6 Teilnehmer entfernen und Ihre Entdeckung dadurch bedeutender wird. Ich würde dringend empfehlen, dies zu lesen: http://www.stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf, da hier die Probleme, die bei der Analyse auftreten können, ausführlich diskutiert werden Entscheidungen werden getroffen, nachdem die Daten und die Tatsache gesehen wurden, dass dies die übliche Interpretation von p-Werten ungültig macht.

Meine Frage in diesem Fall lautet also wie folgt: Was ist die Motivation, diese Teilnehmer zu entfernen? Basierte es nur auf der Ergebnismetrik (d. H. Diese 6 Teilnehmer hatten den stärksten Effekt)? Oder gab es einen Grund für diese Teilnehmer (die Aufgaben wurden nicht korrekt ausgeführt, die Einreisebestimmungen wurden nicht erfüllt usw.)?

Um p-Werte zur Erörterung der Signifikanz zu verwenden, sollten diese Entscheidungen vor dem Ausführen Ihres statistischen Tests und nicht danach getroffen worden sein. Daher würde ich die Ergebnisse mit den 77 Teilnehmern so melden, wie Sie es ursprünglich getan haben, und die Kommentare Ihrer Vorgesetzten ignorieren.

Ich möchte hier nur wiederholen: Es ist nicht wahr, dass eine kleinere Stichprobe den gleichen Effekt zeigen muss, wenn Sie die Einschluss- / Ausschlussentscheidungen basierend auf dem Anzeigen der Daten treffen.

Nein, vertraue dem p-Wert nicht.

1 Es wird nicht angezeigt, ob Sie einen Effekt haben oder nicht.

• Das Hauptproblem sollte sein, ob der von Ihnen gemessene Effekt (die Effektgröße ) relevant ist oder nicht. Sie sagen, dass Sie $ \ rho = 0,21 $ span> gemessen haben und dass dies in Ihrem Bereich wichtig ist. Dann sollten Sie es melden.

  Der p-Wert ist eher ein Indikator für die Genauigkeit Ihres Experiments. Wenn Ihr Experiment entweder aufgrund des großen Rauschens oder aufgrund der kleinen Stichprobengröße nicht genau ist, kann es auch ohne einen Effekt zu einem Effekt im Rauschen kommen (der p-Wert gibt an, wie wahrscheinlich es ist).

  In Ihrem Fall, der Korrelation, wird der p-Wert häufig basierend auf der Statistik $$ t = \ rho \ sqrt {\ frac {n-2} {1 berechnet - \ rho ^ 2}} $$ span> Wird mit $ \ nu = n-2 $ span> Freiheitsgraden t-verteilt, wenn bestimmte Annahmen a richtig sind (dazu später mehr).

  Dies bedeutet, dass der p-Wert mit der gemessenen Korrelation und der Stichprobengröße zusammenhängt. Mal sehen, wie das aussieht:

  

  Die Grafik zeigt, wie die Signifikanz sowohl von der gemessenen Korrelation als auch von der Stichprobengröße abhängt (die Linien sind Konturlinien für p-Werte 0,001, 0,01, 0,02, 0,05, 0,1). Beachten Sie Folgendes: Für den gleichen gemessenen Effekt (z. B. eine Korrelation von 0,21) können Sie je nach Experiment (Stichprobengröße) unterschiedliche Signifikanz haben. (Wenn die Signifikanz "nicht gut genug" ist, kann dies vom Experiment abhängen.)

  Es wäre falsch zu sagen, dass es keinen Effekt gibt (beim Messen von $ \ rho = 0,21 $ span>) nur weil Sie keine Bedeutung über einer beliebigen Ebene hatten. Stattdessen sollten Sie den Schluss ziehen, dass möglicherweise einen Effekt hat, aber die Signifikanz zeigt an, dass Ihr Experiment wiederholt / verfeinert werden muss (verbesserte Genauigkeit), um sicherer zu sein.

• Die Korrelation ist nur eine Möglichkeit, um auszudrücken, dass ein Effekt vorliegt. Es ist nur auf lineare Beziehungen beschränkt. Möglicherweise haben Sie eine starke (nichtlineare) Beziehung zwischen Ihren Variablen, aber immer noch eine geringe Korrelation (und wenn dies eine Rolle spielt, haben Sie noch mehr Gründe, sich weniger um den p-Wert zu kümmern)

  Machen Sie eine Handlung, um besser zu sehen, was los ist. Sehen Sie mehr hier: Anscombe's Quartett

2 Die zugrunde liegenden Annahmen für die Berechnung sind möglicherweise falsch.

• Die Berechnung des p-Werts einer Korrelation ist nicht eindeutig. Es gibt verschiedene Möglichkeiten. Wenn Sie die zuvor erwähnte t-Statistik verwenden, gehen Sie davon aus, dass die beiden Variablen unabhängige, nicht korrelierte normalverteilte Variablen sind. Möglicherweise haben Sie stattdessen eine andere Verteilung für Ihre Daten (z. B. einige breitere Schwänze). In diesem Fall ist eine Bootstrap-Methode möglicherweise besser.

  Beispiel. Lassen Sie Ihre Daten zwei identische unabhängige verteilte Bernoulli-Variablen sein (mit $ p_ {succes} = 0.05 $ span>). Lassen Sie uns diese Situation simulieren und sehen, wie die p-Werte verteilt sind (es sollte eine gleichmäßige Verteilung sein).

  

  Diese verteilten Bernoulli-Variablen sind nichts, auf das man normalerweise eine Korrelation und Berechnung des p-Werts anwenden würde. Es ist jedoch ein einfaches Modell für Fälle, in denen Sie eine kontinuierliche Verteilung haben, die eine multimodale Verteilung ist.

  Sie können ähnliche Simulationen mit verschiedenen Variablen durchführen. Im Allgemeinen unterschätzen die beobachteten p-Werte die wahre Wahrscheinlichkeit (sagen wir, ein p-Wert unter x% tritt in der Realität häufiger auf als x% der Fälle). Ihr berechneter p-Wert p = 0,06 unterschätzt möglicherweise den wahren p-Wert (wenn Sie die t-Verteilung verwenden und die Annahmen nicht richtig sind).

Philosophisch

Außerdem ist der Unterschied zwischen p = 0,05 und p = 0,06 nicht sehr relevant. Es ist jedoch etwas schwierig zu sagen, bei welchem ​​Wert eine „Grenze“ zwischen Ja / Nein-Signifikanz besteht. Dies hängt mit dem Sorites-Paradoxon zusammen. Mein Standpunkt ist, dass es eine Art falsche Dichotomie ist, zu bedenken, dass es eine Grenze gibt. Das Konzept der p-Werte und der Signifikanz ist nicht schwarz und weiß (und die auferlegten Grenzen, die unrealistisch sind, werden in der Praxis sehr willkürlich sein).

Übe

• Leistungsanalyse Normalerweise vermeiden Sie diese Probleme, indem Sie im Voraus berechnen, welche Art von Probe Sie benötigen, um im erwarteten Bereich genau messen zu können Effektgrößen.

• Zweiseitige T-Tests. Neben dem Testen der Nullhypothese (entsprechen meine Daten / Experimente) der Nullhypothese oder können sie der Nullhypothese entgegenwirken, können Sie auch prüfen, ob Ihre Daten / Experimente der alternativen Hypothese entsprechen. Dies geschieht mit den zweiseitigen T-Tests. Sie können die Situation haben, dass Ihre Daten weder (signifikant) mit der Nullhypothese (keine Wirkung) noch mit einer alternativen Hypothese (ein Mindestmaß an Wirkung) nicht übereinstimmen.

• Idealerweise melden Sie alle Ihre Werte. Und nicht nur die bedeutenden. (aber vielleicht meinen Sie mit "den Wert melden" so etwas wie "den Wert im Text diskutieren")

Im Allgemeinen sollten Sie sich nicht dafür entscheiden, Ergebnisse auf der Grundlage der Bedeutung oder der Übereinstimmung mit Ihren Zielen zu melden.

Ich stimme Ihnen zu, dass sich ein p-Wert von 0,06 nicht wesentlich von 0,04 unterscheidet (wie andere angegeben haben, ist ein p-Wert eine kontinuierliche Zusammenfassung der beobachteten Daten " kompatibel "mit der spezifischen Nullhypothese und kleinerem p-Wert bedeutet geringere Kompatibilität). Daher liefern beide (.04 vs .06) milde (in einer typischen Beobachtungsstudie sehr milde) Beweise, die der Nullhypothese widersprechen, und die Alpha-Schwelle ist keine magische Zahl.

Zweitens ist Ihr Berater bei der Interpretation von "..." eindeutig falsch . Sie sollten angeben, dass zwischen diesen beiden Variablen keine Korrelationen bestehen. Der p-Wert ist nicht signifikant. '"Dies ist ein Fehler, mangelnde Bedeutung als "keine Beziehung / Korrelation" zu interpretieren. Bitte beachten Sie mindestens Punkt 6. Dies ist ein rudimentärer logischer Irrtum, der verallgemeinert wird als "Fehlen von Beweisen gleich Beweisen von Fehlen", von dem wir wissen, dass es aus verschiedenen Gründen falsch ist, von denen einer das Problem der Induktion ist.

Ihr Berater sollte am besten die folgende Referenz lesen.

https://link.springer.com/article/10.1007/s10654-016-0149-3#Sec2

EDIT: In dieser Antwort wird davon ausgegangen, dass dies, wie geschrieben, ein Beispiel für eine Datenerfassungsübung war. Kommentare zeigen jedoch, dass sich hier ein ganz anderes Szenario abspielt.

Dies ist ein umgekehrtes Beispiel für Münchhausens statistisches Raster. Die Frage lautet dann: Wie viele Probanden muss ich entfernen, bevor das Ergebnis statistisch nicht mehr signifikant ist? Und die Antwort ist (wenn ich absichtlich Beobachtungen mit hohem Einfluss / hoher Hebelwirkung entfernen kann) nicht so viele! Dies sollte es sein, eine ideale Studie wird entsprechend ihrer Effektgröße betrieben. Wenn ich zum Beispiel möchte, dass 90% Leistung die Nullhypothese auf der Ebene von 0,05 ablehnt, sollte ich mit meiner Berechnung der Stichprobengröße sehr zufrieden sein, wenn ich nach Durchführung meines Versuchs die Null nur auf dieser Ebene ablehne . Jede Probe weniger und ich kann die Null nicht ablehnen. Jede Probe im Übermaß und ich habe zu viel Geld oder Zeit für mein Studium ausgegeben.

Das Entfernen von Beobachtungen verringert die Leistung. Das ist nicht interessant.

Ich würde antworten, dass die Löschdiagnose nützlich ist, um Beobachtungen mit hohem Hebel und hohem Einfluss zu identifizieren. Ohne eine vorgeplante Analyse, um diese Beobachtungen zu entfernen, sind die Ergebnisse jedoch bedeutungslos.

Darf ich Ihre Frage wie folgt umformulieren: "Soll ich den p-Wert bei der Schätzung der Korrelation angeben ?" Ich würde diese Frage mit "Nein" beantworten: Geben Sie stattdessen ein Konfidenzintervall für Ihre gemessene Korrelation an!

Dadurch wird deutlich, ob Ihre Ergebnisse mit den in der Literatur angegebenen Ergebnissen kompatibel sind (überprüfen Sie einfach, ob diese Ergebnisse in Ihr Konfidenzintervall fallen). Wenn andererseits Ihr p-Wert der Hypothese $ H_0: \, r = 0 $ span> 0,06 beträgt und der anderer Studien weniger als 0,05 beträgt, ist dies der Fall bedeutet nicht, dass Ihr Ergebnis den anderen Studien widerspricht.

Zur Bemerkung Ihres Vorgesetzten: Die Korrelation in Ihrem Fall ist so gering (0,21), dass Sie eine große Stichprobengröße benötigen, um ein Konfidenzintervall ohne Null zu erhalten. Sie können die kleinste Korrelation immer "statistisch signifikant" machen, indem Sie einfach die Stichprobengröße erhöhen. Je kleiner die Korrelation ist, desto größer muss jedoch die Stichprobengröße sein, um sie "signifikant" zu machen. Deshalb würde ich nicht den p-Wert, sondern den gemessenen Wert mit einem Konfidenzintervall angeben. Es scheint mir, dass Ihre Ergebnisse mit den anderen Studien übereinstimmen, wenn sie auch eine lediglich schwache positive Korrelation aufweisen.

Danksagung: Ich bin nicht der erste, der diese Empfehlung abgibt ;-)

Ich stimme Ihrem Berater teilweise zu.Manchmal sind sogar statistisch signifikante Ergebnisse überhaupt nicht signifikant zu melden.

Sie müssen sich überlegen, ob die Stichprobenkorrelation groß genug ist, um eine aussagekräftige Aussage zu treffen.Nehmen wir als Extremfall an, dass die wahre Korrelation tatsächlich 0,01 beträgt.Wenn Sie genügend Teilnehmer haben, können Sie immer noch einen sehr kleinen p-Wert erhalten (da er nicht Null ist!).Je nach Kontext kann eine Korrelation von 0,01 jedoch nichts bedeuten.In Ihrem Fall kann die wahre Korrelation ungleich Null sein, ist aber immer noch zu klein, um von 71 Stichproben erfasst zu werden.Ich denke, ein besseres Diskussionsthema mit dem Berater ist, ob die Effektgröße groß genug ist, um nicht darüber zu berichten, ob der Test statistisch signifikant ist.