Es gibt eine Möglichkeit, die Konsequenzen für die Leistung außerhalb der Stichprobe abzuschätzen, vorausgesetzt, der Entscheidungsprozess in der Modellierung kann angemessen in einen automatisierten oder halbautomatisierten Prozess umgewandelt werden. Dies dient dazu, den gesamten Modellierungsprozess bei mehreren Bootstrap-Neuabtastungen des Datensatzes zu wiederholen. Dies ist ungefähr so ​​nah wie möglich an der Schätzung der Leistung des Modellierungsprozesses außerhalb der Stichprobe.

Erinnern Sie sich an das Bootstrap-Prinzip.

Die Grundidee des Bootstrappings besteht darin, dass die Inferenz über eine Population aus Probendaten (Probe → Population) modelliert werden kann, indem die Probendaten erneut abgetastet werden und eine Inferenz über eine Probe aus erneut abgetasteten Daten (Resampling → Probe) durchgeführt wird. Da die Population unbekannt ist, ist der wahre Fehler in einer Stichprobenstatistik gegenüber ihrem Populationswert unbekannt. In Bootstrap-Resamples ist die 'Population' tatsächlich die Stichprobe, und dies ist bekannt; Daher ist die Qualität der Inferenz der "wahren" Stichprobe aus neu abgetasteten Daten (neu abgetastet → Stichprobe) messbar.

Wenn Sie nach diesem Prinzip den vollständigen Modellbildungsprozess bei mehreren Bootstrap-Neuabtastungen der Daten wiederholen und dann die Leistung jedes resultierenden Modells anhand des vollständigen Datensatzes testen, erhalten Sie eine vernünftige Schätzung der Generalisierbarkeit in Bezug auf Ihre Leistung Der Modellierungsprozess für den gesamten Datensatz kann für die ursprüngliche Grundgesamtheit gelten. Wenn es in Ihrem Beispiel also ein quantitatives Kriterium für die Entscheidung gab, dass eine quadratische statt einer linearen Modellierung des Prädiktors bevorzugt werden soll, verwenden Sie dieses Kriterium zusammen mit allen anderen Schritten der Modellierung für jede erneute Stichprobe. P. >

Es ist offensichtlich am besten, ein solches Daten-Snooping zu vermeiden. Es schadet nicht, Dinge wie die Verteilung von Prädiktoren oder Ergebnisse allein zu betrachten. Sie können die Assoziationen zwischen Prädiktoren betrachten, um verwandte Prädiktoren zu einzelnen zusammenfassenden Kennzahlen zu kombinieren. Sie können das Fachwissen als Leitfaden verwenden. Wenn Ihr Ergebnis beispielsweise streng positiv ist und einen Messfehler aufweist, von dem bekannt ist, dass er proportional zum gemessenen Wert ist, ist eine Protokolltransformation aus theoretischen Gründen sinnvoll. Diese Ansätze können zu Datentransformationen führen, die nicht durch Betrachtung der Prädiktor-Ergebnis-Beziehungen kontaminiert werden.

Ein weiterer nützlicher Ansatz besteht darin, mit einem hochflexiblen Modell zu beginnen (vorausgesetzt, das Modell ist nicht dem Risiko einer Überanpassung ausgesetzt) ​​und sich von diesem Modell zu einem sparsameren Modell zurückzuziehen. Mit einem kontinuierlichen Prädiktor können Sie beispielsweise mit einer Spline-Anpassung mit mehreren Knoten beginnen und dann eine Varianzanalyse verschachtelter Modelle mit zunehmend weniger Knoten durchführen, um festzustellen, wie wenige Knoten (bis auf einen einfachen linearen Term) statistisch nicht unterscheidbare Ergebnisse liefern können .

Frank Harrells Kursnotizen und Buch bieten detaillierte Anleitungen für eine zuverlässige Modellierung ohne Daten-Snooping. Der obige Prozess zur Validierung des Modellierungsansatzes kann auch hilfreich sein, wenn Sie ein Modell ohne Schnüffeln erstellen.

Hier ist eine grundlegende Antwort aus Sicht des maschinellen Lernens.

Je komplexer und umfangreicher die von Ihnen betrachtete Modellklasse ist, desto besser können Sie jeden Datensatz anpassen, aber desto weniger Vertrauen können Sie in die Leistung außerhalb der Stichprobe haben. Mit anderen Worten, je wahrscheinlicher es ist, dass Sie sich an Ihre Probe anpassen.

Beim Daten-Snooping wird ein möglicherweise sehr großer und flexibler Modellraum durchsucht. Die Wahrscheinlichkeit, ein Modell zu finden, das überpasst, wird also wahrscheinlicher.

Wir können beweisen, dass dies nicht geschieht (mit hoher Wahrscheinlichkeit unter Bedingungen), wenn der Modellraum im Vergleich zur Datensatzgröße ausreichend begrenzt ist.

...

Die Unterscheidung zwischen Daten-Snooping und prinzipieller Untersuchung kann also so gut sein wie: der Raum von Modellen, den man a priori berücksichtigen möchte.

Nehmen wir zum Beispiel an, der Autor findet keine quadratische Anpassung, also wechseln sie zu Kubik, Quartik, ... und schließlich finden sie ein Polynom vom Grad 27, das gut passt, und behaupten, dass dies die Daten wirklich modelliert. Erzeugungsprozess. Wir wären sehr skeptisch. Ähnliches gilt, wenn sie versuchen, beliebige Teilmengen der Variablen logarithmisch zu transformieren, bis eine Anpassung erfolgt.

Nehmen wir andererseits an, der Plan ist, nach Cubics aufzugeben und zu sagen, dass der Prozess auf diese Weise nicht erklärbar ist. Der Raum für Polynome mit höchstens 3 Grad ist ziemlich begrenzt und strukturiert. Wenn also tatsächlich eine kubische Anpassung entdeckt wird, können wir ziemlich sicher sein, dass dies kein Zufall ist.

...

Eine Möglichkeit, "falsche Entdeckung", wie wir sie oft nennen, generell zu verhindern, besteht darin, sich a priori auf einen bestimmten eingeschränkten Satz von Modellen zu beschränken. Dies ist analog zur Vorregistrierung von Hypothesen in einer experimentellen Arbeit.

In der Regression ist der Modellraum bereits recht begrenzt, daher müsste man meiner Meinung nach viele verschiedene Tricks ausprobieren, bevor das Risiko besteht, eine falsche Beziehung zu entdecken, es sei denn, der Datensatz ist klein.

Das iterative Finden des besten Analysemodells, das zu Daten mit einem Fehlerterm passt, ist innerhalb der Einschränkungen akzeptabel, die in dem Artikel , den Sie zitieren erläutert werden.

Aber vielleicht fragen Sie sich, wie effektiv ein solches Modell ist, wenn Sie es verwenden, um Daten außerhalb der Stichprobe vorherzusagen, die nicht zur Generierung des Modells verwendet wurden. Wenn anzunehmen ist, dass der zur Berechnung des Modells verwendete Datengenerierungsmechanismus und der Mechanismus zur Generierung der neuen Daten identisch sind, ist die Verwendung des erhaltenen Modells nicht falsch.

Aber Sie haben vielleicht eine berechtigte Skepsis gegenüber dieser Behauptung, die zum Kern der frequentistischen Statistik gehört. Während Sie das Modell entwickeln, erhalten Sie die Parameter, die am besten zu den Daten passen. Um ein besseres Modell zu erhalten, fügen Sie mehr Daten hinzu. Dies hilft jedoch nicht, wenn Sie Datenpunkte hinzufügen, von denen Sie nicht wissen, ob sie zu demselben Datengenerierungsmechanismus gehören, der für die Entwicklung des Modells verwendet wurde.

Hier geht es darum, wie wahrscheinlich es ist, dass die neuen Datenpunkte zu demselben Mechanismus gehören. Dies führt Sie direkt zur Bayes'schen Analyse, mit der Sie die Wahrscheinlichkeitsverteilung der Parameter des Modells bestimmen und sehen, wie sich diese Verteilung ändert, wenn Sie weitere Daten hinzufügen. Eine einführende Erklärung der Bayes'schen Analyse finden Sie hier. Eine schöne Erklärung der Bayes'schen Regression finden Sie unter hier.

Hier ist eine Antwort aus physikalischer Sicht. Wenn Sie übermäßig "anpassen", werden Sie möglicherweise Daten schnüffeln. Wenn Sie jedoch so "modellieren", wie wir es in der Physik meinen, dann tun Sie tatsächlich das, was Sie tun sollen.

Wenn Ihre Antwortvariable Dezibel ist und Ihre erklärenden Variablen Dinge wie Leistungsaufnahme und Materialeigenschaften sind, dann würden Sie es falsch machen, wenn Sie nicht im Protokollbereich modellieren würden. Dies kann ein Exponentialmodell oder eine Protokolltransformation sein.

Viele natürliche Phänomene führen zu nicht normalen Verteilungen. In diesen Fällen sollten Sie entweder eine Analysemethode verwenden, mit der Sie diese Verteilungsstruktur (Poisson-Regression, negatives Binomial, logarithmisch linear, lognormal usw.) einbeziehen oder die Daten unter Berücksichtigung der Varianz und transformieren können Kovarianzstruktur.

Auch wenn Sie kein Beispiel aus der Literatur haben, das die Verwendung einer bestimmten, nicht normalen Verteilung belegt, können Sie Ihre Behauptung mit einer minimalen Erklärung begründen, warum diese Verteilung physikalisch sinnvoll sein könnte, oder durch a Übergewicht ähnlich verteilter Daten, über die in der Literatur berichtet wird, als ich denke, dass Sie berechtigt sind, diese gegebene Verteilung als Modell zu wählen.

Wenn Sie dies tun, modellieren Sie, passen nicht und daher kein Daten-Snooping.

Wir haben die Daten unser Modell beeinflussen lassen.

Nun, alle Modelle basieren auf Daten. Das Problem ist, ob das Modell aus Trainingsdaten oder Testdaten erstellt wird. Wenn Sie anhand der Diagramme der Trainingsdaten entscheiden, welche Art von Modell Sie untersuchen möchten, handelt es sich nicht um Daten-Snooping.

Im Idealfall sollten alle Metriken, die die Genauigkeit eines Modells beschreiben, aus vollständig "sauberen" Daten abgeleitet werden, dh Daten, von denen der Modellgenerierungsprozess in keiner Weise abhängig ist. Hier besteht eine Spannung: Je mehr Daten Sie für Ihr Modell trainieren, desto genauer kann es sein. Dies bedeutet jedoch auch, dass weniger Daten zur Validierung vorhanden sind.

Der Unterschied zwischen dem Trainieren eines Modells und der Auswahl zwischen zwei Modellen anhand ihrer Validierungswerte ist in gewissem Sinne eher eine Frage des Grades als der Art. Es kann jedoch ein sehr großer Grad sein. Wenn Sie zwischen zwei verschiedenen Modellen wählen, führt die Betrachtung der Validierungsergebnisse zu höchstens einem Datenverlust. Wenn Sie jedoch immer mehr Hyperparameter hinzufügen, kann die Unterscheidung zwischen diesen und regulären Parametern unscharf werden.

Während Sie ein Modell erstellen, sollten Sie schrittweise von der Exploration, bei der Sie die Anpassung Ihres Modells an die Trainingsdaten so weit wie möglich priorisieren, zur Validierung übergehen, bei der Sie die Schätzung anhand der Stichprobengenauigkeit priorisieren. Wenn Sie absolut sicher sein möchten, dass Sie sich nicht mit Daten-Snooping beschäftigen, sollten Sie jemanden finden, der Ihr Modell mit Daten ausführt, auf die Sie keinen Zugriff haben.