Das Argument ist einfach: Wenn Sie ein Modell erstellen, möchten Sie, dass dieses Modell für NEUE, UNSICHTBARE Daten effizient ist, oder? Andernfalls benötigen Sie kein Modell.

Dann muss Ihre Bewertungsmetrik, beispielsweise Genauigkeit und Rückruf, eine Vorstellung davon geben, wie gut sich Ihr Modell bei unsichtbaren Daten verhält.

Wenn Sie nun dieselben Daten auswerten, die Sie für das Training verwendet haben, werden Ihre Präzision und Ihr Rückruf verzerrt (mit ziemlicher Sicherheit höher als sie sollten), da Ihr Modell die Daten bereits gesehen hat.

Angenommen, Sie sind Lehrer und schreiben eine Prüfung für einige Schüler. Wenn Sie ihre Fähigkeiten bewerten möchten, geben Sie ihnen Übungen, die sie bereits gesehen haben und die sie noch auf ihren Schreibtischen haben, oder neue Übungen, die von dem, was sie gelernt haben, inspiriert sind, sich aber von ihnen unterscheiden?

Aus diesem Grund müssen Sie zur Auswertung immer einen völlig unsichtbaren Testsatz aufbewahren. (Sie können auch Kreuzvalidierung verwenden, aber das ist eine andere Geschichte.)

@jpl hat hier eine gute Erklärung für die Ideen geliefert. Wenn das, was Sie wollen, nur eine Referenz ist, würde ich ein solides, einfaches Lehrbuch verwenden. Einige angesehene Bücher, die sich mit der Idee der Kreuzvalidierung befassen und erklären, warum dies wichtig ist, könnten sein:

• Harrell, F. (2010). Regressionsmodellierungsstrategien: Mit Anwendungen auf lineare Modelle, logistische Regression und Überlebensanalyse . Springer.

• Hastie, T., Tibshirani, R., & Friedman, J. (2011). Die Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage . Springer.

  und / oder

• James, G., Witten, T., Hastie, T., & Tibshirani, R. (2013). Eine Einführung in das statistische Lernen: mit Anwendungen in R . Springer.

Wenn Sie den gesamten Trainingssatz validieren, ist Ihr ideales Modell dasjenige, das nur die Daten speichert. Nichts kann es übertreffen.

Sie sagen, dass "dies realistisch gesehen kein Modell ist, das nur die Daten speichert". Aber warum bevorzugen Sie andere Modelle? Dies ist der Punkt meiner Reduktion auf die Absurdität der Validierung aller Daten: Der Hauptgrund, warum Sie das Modell nicht mögen, das sich alles merkt, was es gesehen hat, ist, dass es überhaupt nicht verallgemeinert wird. Was soll es bei einer Eingabe tun, die es nicht gesehen hat? Sie möchten also ein Modell, das im Allgemeinen funktioniert, und nicht nur das, was es gesehen hat. Die Art und Weise, wie Sie diesen Wunsch nach einer guten Arbeit mit unsichtbaren Daten codieren, besteht darin, die Validierungsdaten so einzustellen, dass sie genau die unsichtbaren Daten sind.

Wenn Sie jedoch wissen, dass Ihre Trainingsbeispiele die wahre Verteilung vollständig darstellen, fahren Sie fort voraus und validieren Sie mit ihnen!

Entgegen den Behauptungen in Ihrem letzten Absatz ist das von Ihnen zitierte Zitat nicht "eindeutig falsch" und diese "bestimmte Bewertungsstrategie" hat "mit überpassenden Modellen" zu tun. Überanpassung bedeutet eher die Anpassung (das Rauschen) der bereitgestellten Trainingsbeispiele als die statistischen Beziehungen allgemeiner Daten. Wenn Sie anhand der gesehenen Daten validieren, bevorzugen Sie Modelle, die für Rauschen geeignet sind, anstatt solche, die mit unsichtbaren Daten gut funktionieren.

Hier ist meine einfache Erklärung.

Wenn wir die Realität modellieren, möchten wir, dass unsere Modelle nicht nur vorhandene Fakten erklären, sondern auch die neuen Fakten vorhersagen können. Der Out-of-Sample-Test soll dieses Ziel emulieren. Wir schätzen (trainieren) das Modell anhand einiger Daten (Trainingssatz), versuchen dann, Vorhersagen außerhalb des Trainingssatzes zu treffen und vergleichen die Vorhersagen mit der Holdout-Stichprobe.

Dies ist natürlich nur eine Übung zur Vorhersage, nicht die reale Vorhersage, weil die Holdout-Stichprobe tatsächlich bereits beobachtet wurde. Der eigentliche Vorhersage-Test findet nur statt, wenn Sie das Modell für die Daten verwenden, die noch nicht beobachtet wurden. Sie haben beispielsweise ein Programm für maschinelles Lernen für Werbung entwickelt. Erst wenn Sie es in der Praxis einsetzen und seine Leistung beobachten, wissen Sie sicher, ob es funktioniert oder nicht.

Trotz der Einschränkung des Trainings- / Holdout-Ansatzes ist es dennoch informativ. Wenn Ihr Modell nur im Beispiel funktioniert, ist es wahrscheinlich überhaupt kein gutes Modell. Diese Art des Testens hilft also dabei, schlechte Modelle auszusortieren.

Eine andere Sache, an die Sie sich erinnern sollten: Nehmen wir an, Sie haben eine Schulung / Validierung des Modells durchgeführt. Wenn Sie das Modell jedoch verwenden möchten, werden Sie das Modell wahrscheinlich für den gesamten Datensatz schätzen. Wie zutreffend sind in diesem Fall die Ergebnisse der Validierung des Modells außerhalb der Stichprobe, die anhand der Trainingsstichprobe geschätzt wurde?

Andere haben Ihre früheren Absätze beantwortet, also lassen Sie mich Ihren letzten ansprechen. Die Gültigkeit Ihres Punktes hängt von der Interpretation von "Bewertung" ab. Wenn es im Sinne eines endgültigen Durchlaufs nicht sichtbarer Daten verwendet wird, um einen Eindruck davon zu vermitteln, wie gut das von Ihnen ausgewählte Modell in Zukunft voraussichtlich funktionieren wird, ist Ihr Punkt korrekt.

Wenn "Bewertung" verwendet wird Mehr im Sinne eines "Test" -Sets - das heißt, die Ergebnisse des Trainings mehrerer Modelle zu bewerten, um eines auszuwählen - führt die Auswertung der Trainingsdaten zu einer Überanpassung.

Alle anderen Antworten (insbesondere im Zusammenhang mit Überanpassung) sind sehr gut, aber ich möchte nur eines hinzufügen. Die Natur von Lernalgorithmen besteht darin, dass durch das Training sichergestellt wird, dass sie "etwas" Gemeinsames über die Daten lernen, denen sie ausgesetzt sind. Was wir jedoch nicht direkt sicher sein können, ist genau, welche Merkmale der Trainingsdaten sie tatsächlich lernen. Bei der Bilderkennung ist es beispielsweise sehr schwierig, sicher zu sein, ob ein trainiertes neuronales Netzwerk gelernt hat, wie ein Gesicht aussieht, oder etwas anderes, das den Bildern innewohnt. Ein ANN hätte sich beispielsweise merken können, wie die Hemden, Schultern oder Haare aussehen.

Die Verwendung eines separaten Satzes von Testdaten (vom Training nicht gesehen) ist jedoch eine Möglichkeit, das Vertrauen in Sie zu erhöhen Sie können sich darauf verlassen, dass ein Modell mit realen / unsichtbaren Daten erwartungsgemäß funktioniert. Das Erhöhen der Anzahl der Stichproben und der Variabilität der Merkmale hilft ebenfalls. Mit Merkmalsvariabilität ist gemeint, dass Sie mit Daten trainieren möchten, die so viele Variationen aufweisen, die noch für jede Stichprobe zählen.

Wenn Sie beispielsweise wieder Gesichtsdaten verwenden, möchten Sie jedes einzelne Gesicht auf so vielen verschiedenen Hintergründen wie möglich und mit so vielen Variationen in Bezug auf Kleidung, Beleuchtung, Haarfarbe, Kamerawinkel usw. wie möglich anzeigen. Dies hilft sicherzustellen, dass, wenn der ANN "Gesicht" sagt, es wirklich ein Gesicht ist und keine leere Wand im Hintergrund, die die Antwort ausgelöst hat.

Hastie et al. haben ein gutes Beispiel im Zusammenhang mit der Kreuzvalidierung, das meiner Meinung nach auch hier gilt. Betrachten Sie eine Vorhersage mit einer extrem hohen Anzahl von Prädiktoren für Daten, bei denen die Prädiktoren und Ergebnisse alle unabhängig voneinander verteilt sind. Nehmen wir zum Zwecke der Argumentation an, dass alles Bernoulli mit p = 0,5 ist.

Wenn Sie über genügend Variablen verfügen, verfügen Sie über einige Prädiktoren, mit denen Sie die Ergebnisse perfekt vorhersagen können. Bei neuen Daten gibt es jedoch keine Möglichkeit, eine perfekte Genauigkeit zu erzielen.

Dies ist nicht genau das Gleiche wie in Ihrem Fall, zeigt jedoch ein Beispiel, bei dem Ihre Methode Sie wirklich in die Irre führen kann .