In der Originalversion dieser Antwort fehlte der Punkt (da erhielt die Antwort einige negative Stimmen). Die Antwort wurde im Oktober 2015 festgelegt.

Dies ist ein etwas kontroverses Thema.

Es wird oft behauptet, dass LOOCV eine höhere Varianz aufweist als der $ k $ -fache Lebenslauf. und das ist so, weil die Trainingssätze in LOOCV mehr Überlappungen haben. Dies macht die Schätzungen aus verschiedenen Falten abhängiger als im $ k $ -Falten-Lebenslauf, so die Argumentation, und erhöht somit die Gesamtvarianz. Siehe zum Beispiel ein Zitat aus The Elements of Statistical Learning von Hastie et al. (Abschnitt 7.10.1):

Welchen Wert sollten wir für $ K $ wählen? Mit $ K = N $ ist der Kreuzvalidierungsschätzer für den wahren (erwarteten) Vorhersagefehler ungefähr unvoreingenommen, kann jedoch eine hohe Varianz aufweisen, da die "Trainingssätze" von $ N $ einander so ähnlich sind.

Siehe auch ein ähnliches Zitat in der Antwort von @BrashEquilibrium (+1). Die akzeptierten und am besten bewerteten Antworten in Varianz und Voreingenommenheit bei der Kreuzvalidierung: Warum weist ein ausgelassener Lebenslauf eine höhere Varianz auf? geben die gleiche Begründung.

Beachten Sie jedoch, dass Hastie et al. Geben Sie keine Zitate an, und obwohl diese Argumentation plausibel klingt, würde ich gerne einige direkte Beweise dafür sehen, dass dies tatsächlich der Fall ist. Eine Referenz, die manchmal zitiert wird, ist Kohavi 1995, aber ich finde sie in dieser speziellen Behauptung nicht sehr überzeugend.

MOREOVER, hier sind zwei Simulationen Dies zeigt, dass LOOCV entweder die gleiche oder sogar eine etwas geringere Varianz als der 10-fache Lebenslauf aufweist:

• https://stats.stackexchange.com/a/357572.
• Bietet der $ K $ -fache Lebenslauf mit $ K = N $ (LOO) die Schätzungen der MOST- oder LEAST-Variablen, und welche Rolle spielt "Stabilität"?.
• Siehe auch das unter https://stats.stackexchange.com/a/252031 verlinkte Dokument. Es heißt, dass es ein "Missverständnis" ist, dass LOOCV eine hohe Varianz aufweist.

Von Eine Einführung in das statistische Lernen

Wenn wir LOOCV ausführen, werden die Ausgaben von $ n $ span> angepasste Modelle, von denen jedes auf einem nahezu identischen Satz von Beobachtungen trainiert wird; Daher sind diese Ausgaben stark (positiv) miteinander korreliert. Wenn wir dagegen einen $ k $ span> -fachen Lebenslauf mit $ k<n $ span> ausführen, werden die Ausgaben gemittelt von $ k $ span> angepassten Modellen, die etwas weniger miteinander korreliert sind, da die Überlappung zwischen den Trainingssätzen in jedem Modell kleiner ist. Da der Mittelwert vieler stark korrelierter Größen eine höhere Varianz aufweist als der Mittelwert vieler nicht so stark korrelierter Größen, weist die aus LOOCV resultierende Testfehlerschätzung tendenziell eine höhere Varianz auf als die aus $ k $ span> -facher Lebenslauf.

Zusammenfassend lässt sich sagen, dass mit der Auswahl von ein Kompromiss zwischen Bias und Varianz verbunden ist $ k $ span> in $ k $ span> -fache Kreuzvalidierung. In Anbetracht dieser Überlegungen führt man normalerweise eine $ k $ span> -fache Kreuzvalidierung mit $ k = 5 $ span> durch oder $ k = 10 $ span>, da empirisch gezeigt wurde, dass diese Werte Schätzungen der Testfehlerrate ergeben, die weder unter einer übermäßig hohen Vorspannung noch unter einer sehr hohen Varianz leiden.

• In einfachen Fällen denke ich, dass die Antwort lautet: Der Mittelwert (über alle Testfälle und alle Falten) hat die gleiche Varianz für die $ k $ -Faltung und die LOO-Validierung.

• Einfach bedeutet hier: Modelle sind stabil, sodass jedes der Ersatzmodelle $ k $ oder $ n $ dieselbe Vorhersage für dieselbe Stichprobe ergibt (Gedankenexperiment: Ersatzmodelle mit großem unabhängigen Testsatz testen.)

• Wenn die Modelle nicht stabil sind, wird die Situation komplexer: Jedes der Ersatzmodelle hat seine eigene Leistung Sie haben also zusätzliche Varianz. In diesem Fall sind alle Wetten offen, unabhängig davon, ob LOO oder $ k $ -fold mehr zusätzliche Varianz * aufweist. Sie können jedoch den $ k $ -fachen Lebenslauf iterieren und den Mittelwert über alle Testfälle und alle $ i \ times k $ Ersatzmodelle ziehen, um diese zusätzliche Varianz zu verringern. Für LOO gibt es keine solche Möglichkeit: Die $ n $ -Ersatzmodelle sind alle mögliche Ersatzmodelle.

• Die große Varianz ist normalerweise auf zwei Faktoren zurückzuführen :

• kleine Stichprobengröße (wenn Sie sich nicht in einer Situation mit kleiner Stichprobengröße befänden, würden Sie sich keine Sorgen um Varianz machen ;-)).
• Fehlermaß mit hoher Varianz. Alle Klassifizierungsfehler vom Typ Testfall unterliegen einer hohen Varianz. Dies ist eine grundlegende Eigenschaft der Schätzung von Brüchen durch Zählen von Fällen. Regressionsfehler wie MSE verhalten sich in dieser Hinsicht viel harmloser.

Bei Klassifizierungsfehlern gibt es eine Reihe von Artikeln, in denen die Eigenschaften von untersucht werden verschiedene Resampling-Validierungsschemata, in denen Sie auch Abweichungen sehen, z. B.:

• Kohavi, R.: Eine Studie zur Kreuzvalidierung und zum Bootstrap für die Genauigkeitsschätzung und Modellauswahl, Mellish, CS ( Hrsg.) Verfahren zur künstlichen Intelligenz 14. Internationale gemeinsame Konferenz, 20. - 25. August 1995, Montréal, Québec, Kanada, Morgan Kaufmann, USA, 1137 - 1145 (1995).
• Wir haben ein sehr ähnliches Verhalten für schwingungsspektroskopische Daten beobachtet:
  Beleites, C.; Baumgartner, R.; Bowman, C.; Somorjai, R.; Steiner, G.; Salzer, R. & Sowa, M. G.: Varianzreduktion bei der Schätzung von Klassifizierungsfehlern unter Verwendung spärlicher Datensätze, Chemom Intell Lab Syst, 79, 91-100 (2005).

(Ich denke, ähnliche Papiere als auch für Regressionsfehler existieren können, aber ich bin von ihnen nicht bewusst)

* ein LOO erwarten kann habe weniger Varianz, da die Ersatzmodelle mit mehr Fällen ausgebildet werden, aber zumindest für bestimmte Arten von Klassifizierungsmodellen, LOO verhält sich nicht sehr gut.

In LOOCV gibt es keine Falten wie bei der k-Fold Cross-Validierung (tatsächlich können sie als Falten bezeichnet werden, sind aber bedeutungslos). In LOOCV belässt es eine Instanz aus dem gesamten Datensatz für Testdaten und verwendet alle anderen Instanzen für das Training. In jeder Iteration bleibt also eine Instanz aus dem Datensatz zum Testen übrig. In einer bestimmten Iteration der Auswertung befindet sich also nur eine Instanz in den Testdaten und der Rest in den Trainingsdaten. Aus diesem Grund haben Sie gesehen, dass alle Trainingsdatensätze alle gleich sind die Zeit.

Bei der K-fachen Kreuzvalidierung mithilfe von Stratifizierung (eine erweiterte Methode zum Ausgleichen des Datensatzes, um sicherzustellen, dass jede Klasse in allen Stichproben ungefähr den gleichen Anteil darstellt) Wir können die Varianz der Schätzungen reduzieren.

Da LOOCV nur eine Instanz zum Testen verwendet, kann es keine Stratifizierung anwenden. Daher weist LOOCV eine höhere Varianz bei Fehlerschätzungen auf als die k-fache Kreuzvalidierung.

Es ist, als würde man einen Test mit nur einer Frage machen - es ist viel mehr Erfolg und Misserfolg.

Dies ist eine intuitive Erklärung der Standardabweichung einer Instanz gegenüber der eines Mittelwerts - der Punktzahl Bei einer Reihe von Instanzen ist die Varianz geringer.

Hier sind einige weitere Details.