Frage:
Anspruch auf Gültigkeit des negativen Befundes einer Studie
user4045
2012-09-21 10:42:58 UTC
view on stackexchange narkive permalink

Für eine Krankheit, an der ich interessiert bin, haben fünf oder sechs veröffentlichte Forschungsarbeiten einen Zusammenhang zwischen Veränderungen der Genexpression und dem Vorhandensein der Krankheit gezeigt. Alle diese diagnostischen Biomarker-Studien wurden jedoch mit einer geringen Anzahl von Fällen (15-30) und Kontrollen (15-30) durchgeführt, und die Überschneidungen zwischen ihren Listen potenzieller Biomarker sind minimal. Die Fälle und Kontrollen werden anhand klinisch relevanter Kriterien definiert.

Wir haben kürzlich eine relativ große, multi-institutionelle Studie mit 80 Fällen und 80 Kontrollen abgeschlossen, um dies zu untersuchen. Alle klinischen Proben wurden zusammen als Charge in einer der Einrichtungen verarbeitet. Analysen unserer Daten legen nahe, dass kein Zusammenhang zwischen Genexpression und Krankheit besteht. Verwenden Sie Daten aus einer der veröffentlichten Studien, die dieselbe Genexpressionsmesstechnik wie diese Studie verwendeten, um die Effektgröße mit dem SSPA R-Paket basierend auf moderierten t-Statistiken gemäß limma R-Paket, diese Studie hat eine Potenz von ~ 92% bei Alpha = 0,10.

Von uns durchgeführte Analysen sind:

  1. unbeaufsichtigtes hierarchisches Clustering basierend auf verschiedenen Arten von Entfernungsmessungen (subjektive Bewertung)

  2. Hauptkomponentenanalyse; traditionelle und Matrix-Diagramme (subjektive Bewertung)

  3. verschiedene Arten von Zwei-Gruppen-Tests zur differentiellen Expression von Genen (Signifikanzschwelle von 0,05 für P-Werte, angepasst für falsche Entdeckung)

  4. Klassifizierungs- / Vorhersageanalysen mit Auslass- und Monte-Carlo-Kreuzvalidierungen unter Verwendung von SVM- (Linear Kernel Support Vector Machines) und TSP-Methoden (Top-Scoring Pair); Bei SVM basiert die Variablenauswahl auf differenziellen Ausdrucksmaßen. TSP erfordert keine differentielle Expression (Genauigkeitsraten in diesen Analysen liegen im Bereich von 45% bis 55%)

  5. Bestätigung des Fehlens einer differentiellen Expression für einige der Gene, die in früheren Studien als mutmaßliche Krankheitsmarker identifiziert wurden, nach Quantifizierung der Genexpression unter Verwendung einer anderen Technologie (reverse Transkriptions-PCR anstelle eines Hybridisierungs-Microarrays)

    6. ol>

    Reichen diese aus, um auf den negativen Befund unserer Studie zu vertrauen, dass Genexpressionsmessungen nicht für die Krankheitsdiagnose verwendet werden können? Gibt es eine andere Art der subjektiven oder objektiven Bewertung des Ausdrucksdatensatzes, die ich durchführen sollte?

    Ich verstehe die üblichen Vorbehalte für solche Schlussfolgerungen. Beispielsweise kann es Untergruppen von Fällen geben, in denen Krankheitsmarker vorhanden sein können oder die Sensitivität oder Spezifität der Messtechnik möglicherweise nicht ausreichend waren, um einige echte Markergene aufzunehmen.

    Vielen Dank Sie.

Zwei antworten:
Fomite
2012-09-21 11:35:14 UTC
view on stackexchange narkive permalink

"Reichen diese aus, um Vertrauen in den negativen Befund unserer Studie zu haben?" - Dies hängt davon ab, was Sie unter "Vertrauen haben" verstehen. Kannst du weggehen und sagen "Die Assoziation ist negativ, wir sind hier fertig". Nein. Sie können sicher sein, dass Sie nach mehrmaliger Betrachtung keine Assoziation in Ihren Daten feststellen.

Aber Vertrauen in den negativen Befund als Spiegelbild der "Wahrheit"? Nicht wirklich. Das Vertrauen, das man in seine Ergebnisse haben sollte, hängt nicht von der Menge an Analysen ab, die Sie darauf werfen. Man könnte zum Beispiel immer ausgefeiltere Regressionstechniken verwenden, um ihren Datensatz auf völlig neue und neuartige Weise zu betrachten. Wenn ihre Probanden jedoch falsch klassifiziert sind oder eine wichtige verwirrende Variable übersehen haben, haben sie einfach ein beeindruckendes Volumen von falsche Ergebnisse.

Es gibt auch andere Überlegungen. Ihre Studie ist möglicherweise nicht ausreichend. Kleinere Studien sind weniger unterversorgt, aber es ist möglich, sowohl unterversorgt als auch glücklich zu sein. In ähnlicher Weise kann es einfach zu zufälligen Abweichungen kommen. Bei einer Reihe von Studien, die sich mit einem positiven Effekt von "Capital-T Truth, God's Eye View" befassen, werden immer noch negative oder Null-Ergebnisse gefunden. Es ist möglich, dass Sie eine dieser Studien durchgeführt haben.

Wenn wir jedoch davon ausgehen, dass Ihre Daten korrekt erfasst wurden und die Verzerrung durch Fehlklassifizierungen und Verwechslungen minimal ist, können Sie sich auf Ihre Befund für Ihre Studienpopulation, und Sie können sicher sein, dass Ihre Befunde darauf hindeuten, dass die Assoziation negativ ist. Eine schiere Masse an Analysen zu einer einzelnen Studienpopulation liefert jedoch keine Beweise.

Vielen Dank für die Kommentare. Ich habe der Frage hinzugefügt, dass dies eine multi-institutionelle Studie mit klinisch rationalen Kriterien für die Definition von Fällen und Kontrollen ist. Ich habe auch Ergebnisse der Leistungsanalyse geliefert. Ich verstehe den größeren Punkt, den Sie ansprechen, aber die Gutachter der Studie werden sicherlich gerne die Ergebnisse einiger Arten von Analysen kennen. Beispielsweise wird definitiv eine differentielle Expressionsanalyse erwartet.
+1 für einige gute Kommentare, aber ich denke, es kann mehr gesagt werden und einige Dinge, die ich im Sinn habe, sind positiv und konstruktiv.
Michael R. Chernick
2012-09-21 15:49:14 UTC
view on stackexchange narkive permalink

Das ist eine wirklich gute Frage! Negative Studien müssen häufiger in der Literatur veröffentlicht werden, um die Publikationsverzerrung zu verringern oder zu beseitigen. Ich finde es gut, dass Sie so viele nachdenkliche Analysen durchgeführt haben.

EpiGrad bietet in seiner Antwort einige gute Vorbehalte. Ich denke jedoch, dass es ein Glas gibt, das in Betracht gezogen werden sollte. Eine Sache, die ich auf Ihrer Liste nicht gesehen habe, war eine Metaanalyse. Ich denke, Sie könnten eine machen und sollten alle gut konzipierten und vergleichbaren Studien hinzufügen (mit negativen oder positiven Ergebnissen). Wenn die Analyse zu einer negativen Schlussfolgerung führt, stärkt dies Ihrer Meinung nach Ihren Fall.

Auch nach der Tradition ist das negative Ergebnis beim Testen klassischer Hypothesen die Nullhypothese und die Alternative das positive Ergebnis, das der Prüfer versucht statistische Rückschlüsse zu ziehen, um diese Nullhypothese abzulehnen. Studien sind auf Stichprobengrößen ausgelegt, die die Leistung maximieren (was es wahrscheinlich macht, dass Sie die Nullhypothese ablehnen, wenn Ihre Alternative korrekt ist).

In pharmazeutischen klinischen Studien erteilt die FDA manchmal die Zulassung von Arzneimitteln, die dies sind gezeigt, dass sie einer Kontrolle nicht unterlegen sind (oder in anderen Fällen, wie der Zulassung eines Generikums, gleichwertig). Diese Studien beinhalten die Umkehrung der Null- und Alternativhypothesen. Diese Studien sind darauf ausgerichtet, Minderwertigkeit (oder Nichtäquivalenz) abzulehnen. Wenn Sie die Daten auf diese Weise betrachten und eine Nullhypothese ablehnen können, dass der Biomarker funktioniert, wird dies meiner Meinung nach die gültige Kritik von EpiGrad überwinden.

Weil der Neyman-Pearson-Ansatz zur Prüfung von Hypothesen durch Überlegungen zur Stichprobengröße gesteuert wird lehnen Sie die Nullhypothese durch die Kraft des Tests ab und dienen nicht dazu, den Nullhypothesenstatistiker zu "beweisen". Warnen Sie Benutzer immer, dass Sie nicht zu dem Schluss kommen sollten, dass die Null akzeptiert wird, wenn die Nullhypothese nicht abgelehnt wird. Durch das Umschalten von Null und Alternative wird dieses Problem behoben.

Ich danke Ihnen für den wertvollen Einblick, wie die Hypothese einer Studie formuliert ist. Für das Szenario, das ich in der Frage habe, ist keine biologische / mechanistische Grundlage bekannt, um Genexpressionsmuster mit dem Vorhandensein der Krankheit zu verbinden. Die Beobachtungen der anderen Studien legen diesen Zusammenhang nahe (aufgrund dessen die größere Studie durchgeführt wurde), bieten jedoch keine mechanistische Grundlage. Basierend auf experimentellen Fakten gibt es Möglichkeiten, die man miteinander verknüpfen kann, um eine mechanistische Grundlage für die Verbindung zu erraten, aber es ist ebenso leicht, eine solche Verbindung in Zweifel zu ziehen.
@user4045 Sehen Sie keine Möglichkeit, eine vernünftige Metaanalyse durchzuführen?
Die vorherigen Studien quantifizierten die Expression einer unterschiedlichen Anzahl von Genen unter Verwendung verschiedener Arten von Technologien. Außerdem sind die Messwerte mit diesen Technologien nicht absolut und technologiespezifisch (daher bedeutet der gleiche Wert von 100 für das Expressionsniveau eines Gens unterschiedliche Dinge in den verschiedenen Studien). Dies macht es sehr schwierig, alle Datensätze zu einem zu kombinieren (für eine große Stichprobengröße). Die Studien berichten über eine Liste von Genen mit Biomarker-Potenzial (basierend auf der unterschiedlichen Expression zwischen Fällen und Kontrollen). Ich habe solche Listen verglichen.
@user4045 Obwohl in Situationen wie diesen nicht viel verwendet, kann der Fisher-Kombinationstest verwendet werden. Wenn Sie nicht damit vertraut sind, müssen Sie die einzelnen p-Werte für die verschiedenen Studien verwenden (Sie müssen also nicht einmal denselben Test anwenden oder sehr ähnliche Designs haben) und einen kombinierten p-Wert berechnen. Ich denke wirklich, was wichtig ist, ist, dass sie im Grunde die gleiche Hypothese in Ihrem Fall im Allgemeinen testen, ob es einen Zusammenhang zwischen der Genexpression für Ihr bestimmtes Gen und dem Vorliegen der Krankheit in dem Subjekt gibt oder nicht.
Die Idee ist, dass unter der Nullhypothese jeder berechnete p-Wert eine Zufallsvariable ist, die eine Funktion der Teststatistik ist, aber eine gleichmäßige Verteilung auf [0,1] aufweist. Wir hätten dann, dass -2lnp $ _i $ ein zentrales Chi-Quadrat mit 2 df für jedes i ist. Wir gehen davon aus, dass die Studien unabhängig sind (daher wurden in zwei oder mehr Studien keine gemeinsamen Daten analysiert), und nehmen dann an, dass alle Nullhypothesen wahr sind. Summieren Sie diese unabhängigen Chi-Quadrate und Sie haben eine Chi-Quadrat-Verteilung für diese Statistik mit 2k Freiheitsgraden, wobei k ist die Anzahl der Studien.
Michael, vielen Dank für den Vorschlag (und die Erklärung der Gründe), Informationen über mehrere Tests derselben Nullhypothese mit dem kombinierten Wahrscheinlichkeitstest von Fisher usw. zu kombinieren.
Wenden Sie diesen Chi-Quadrat-Test an und lehnen Sie die zusammengesetzte Nullhypothese ab, dass alle einzelnen Nullhypothesen wahr sind. Sie können daraus schließen, dass mindestens eine Nullhypothese falsch ist. Der p-Wert, den Sie für diesen Test berechnen, ist auch der kombinierte p-Wert von Fisher.
Ich bin mir nicht sicher, ob dies für die Umkehrung der Null und der Alternative in den einzelnen Studien funktioniert oder nicht. Da die anderen Studien möglicherweise ihre p-Werte nicht durch Umkehren von Null und Alternative erhalten haben, müssten die Daten aller Studien erneut analysiert werden, um einen konsistenten Satz von p-Werten zu erhalten, bei denen Null und Alternative umgeschaltet werden.
@user4045 Vielen Dank und bitte beachten Sie meine nachfolgenden Kommentare dazu.
Wenn Publikationsbias ein Problem darstellt (zusammen mit methodischen Unterschieden zwischen der aktuellen Forschung und früheren Forschungen), bin ich verblüfft über den Vorschlag, eine Metaanalyse durchzuführen. Wie wäre das gültig? Was könnte es möglicherweise zeigen, wenn man bedenkt, dass die aktuelle Studie (stark) den vorherigen zu widersprechen scheint? Es scheint mir, dass jede Metaanalyse dieser Studie nur schaden würde, wenn sie ihre Ergebnisse mit denen mischt, die sie ersetzen soll.
@whuber Ein sehr wichtiger Schlüssel für eine Metaanalyse ist die Auswahl der geeigneten Studien. Die aktuelle Studie widerspricht anderen. Das OP weiß möglicherweise in einigen Fällen warum und kann möglicherweise ein rationales Argument dafür zusammenstellen, welche Studien einbezogen werden sollen und welche nicht. Wenn die Studien richtig ausgewählt werden, verbessert eine Metaanalyse die Dinge, da sie die Synthese guter Daten aus diesen verschiedenen Studien berücksichtigt. Wir sollten nicht davon ausgehen, dass die Schlussfolgerungen der neuen Studie korrekt sind. Wenn die Ergebnisse nach einer gut durchdachten Metaanalyse erhalten bleiben, sind die Beweise stärker.
Dieses Szenario sollte zu einer besseren Veröffentlichungschance und vor allem zu einer größeren Akzeptanz durch einen potenziell Skeptiker bei den Mitgliedern seiner medizinischen Forschungsgemeinschaft führen.
Danke für die Erklärung, aber ich verstehe die Logik immer noch nicht. Es scheint zwei mögliche Situationen zu geben: (1) Die neue Studie widerspricht sogar ausgewählten älteren. Die Metaanalyse wird kein Licht darauf werfen: Sie wird wahrscheinlich nur nicht schlüssig sein. (2) Die neue Studie stimmt mit älteren überein. Aber wie hilft das, wenn die älteren vor allem durch Publikationsbias auf die Welt aufmerksam gemacht worden wären? Und es scheint, basierend auf den Informationen in der Frage, dass Fall (2) sowieso kontrafaktisch ist. (Ich freue mich über Ihren nachfolgenden Kommentar zur Veröffentlichung * Psychologie *.)
Wenn andererseits die Metaanalyse mit den anderen Studien übereinstimmt, kann es Grund geben, über die Schlussfolgerung zu zögern, dass keine Wirkung vorliegt. In Wissenschaft und Statistik führt die Kumulierung guter experimenteller Daten zu wissenschaftlichen Fortschritten.
Hier ist eine Analogie, von der ich hoffe, dass sie gut ist. Die Kaltfusion wurde von zwei Wissenschaftlern entdeckt, die ein Laborexperiment durchführten. Das Papier, das die Existenz von Kaltfusion behauptete, wurde veröffentlicht und löste eine Schockwelle in der Gemeinschaft der Physiker aus und begeisterte die Öffentlichkeit. Mehrere nachfolgende Experimente, die versuchten, das Experiment zu replizieren, konnten den Effekt jedoch nicht messen. Kalte Fusion wird jetzt als widerlegt angesehen.
@whuber Ich hätte in meinen Ausführungen hinzufügen sollen, dass, wenn es keine Studien gibt, die als seriös angesehen werden könnten und ein rationales Einschlusskriterium erfüllen, zumindest bis zukünftige Studien keine Metaanalyse durchführen können. Ich denke, angesichts dieser Aussage sind wir uns wahrscheinlich wirklich einig.


ⓘ
Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...