Im Gegenteil, mehr Daten sind fast immer besser bei der Verallgemeinerung auf unsichtbare Daten.Je mehr Beispiele für den Datengenerierungsprozess vorhanden sind, desto näher kommen die Modellvorhersagen denen der Bevölkerung.Immerhin hat Ihr Modell einen größeren Teil der Bevölkerung gesehen

Wenn alle Hyperparameter konstant gehalten werden sollten, bedeuten hypothetisch mehr Daten mehr Schritte entlang des Gradienten bei gleicher Lernrate, was tatsächlich leichter zu einer Überanpassung führen könnte.Wenn Sie jedoch entsprechend regulieren, die richtige Lernrate usw. auswählen, ist dies kein Problem.

Wenn jedoch die neuen und alten Daten nicht aus derselben Verteilung stammen, kann dies durch einfaches Hinzufügen weiterer Daten nicht behoben werden.Sie sollten sich wahrscheinlich mit Über- / Unterabtastung oder anderen Methoden befassen, je nachdem, was genau Sie unter einer anderen Feature-Verteilung verstehen.

Die Tatsache, dass Datensatz B "eine andere Merkmalsverteilung aufweist als Datensatz A", macht die Frage ziemlich mehrdeutig. Es ist gleichbedeutend mit der Frage, wie gut ein für Problem A trainiertes neuronales Netz an Problem B arbeiten wird - es gibt keine endgültige Antwort. Aber ja, es ist möglich, dass das Training mit mehr Proben aus Datensatz A die Leistung Ihres neuronalen Netzes in Datensatz B verschlechtert.

Ein Beispiel dafür ist, wenn Sie Ihr neuronales Netz auf simulierte Daten trainieren und anhand von Daten aus der "realen Welt" validieren. Da die simulierten Daten die realen Daten nicht perfekt darstellen, kann das neuronale Netz Muster in den simulierten Daten lernen, die sich nicht auf die reale Welt verallgemeinern lassen. In diesem Fall gibt es wahrscheinlich eine Trainingssatzgröße, die Ihre Leistung im Validierungssatz optimiert, und zusätzliche Trainingspunkte verringern die Validierungsgenauigkeit. Dies ist jedoch kein guter Weg, um Dinge zu erledigen.

Dieses Problem ist nicht das, worauf sich Überanpassung normalerweise bezieht, aber es hat einen analogen Charakter (möglicherweise kann jemand anderes mit einem genauen Begriff dafür helfen).

Ja, das kann es.Eine Möglichkeit besteht darin, dass alle Beispiele in Datensatz A ähnlich sind, sodass Ihr Klassifikator diesen Datensatz möglicherweise überpasst und in Datensatz B möglicherweise schlechter funktioniert. Dies kann durchaus der Fall sein, wenn Sie die in A sehr häufigen, aber fast nicht vorhandenen Funktionen anpassenin B.

Eine andere Möglichkeit besteht darin, dass Sie die gleichen Funktionen von A und B überanpassen. Wenn Sie mehr Stichproben zu A hinzufügen, wird dieser Datensatz weniger voreingenommen, aber der Klassifikator funktioniert bei B schlechter.

Dies ist nicht spezifisch für neuronale Netze.

Einige theoretische Überlegungen.

Das Buch "Probabilistisches Lernen" besagt, dass "Neural Netzwerke mit einer verborgenen Schicht sind universell konsistent, wenn die Parameter sind gut gewählt. "Sie bedeuten, dass die Fehlerrate mit der Größe des Trainingssatzes gegen unendlich gegen den Fehler des Bayes-Klassifikators konvergiert.

Das Buch "Maschinelles Lernen verstehen" gibt eine Schätzung der VC-Dimension der Klasse der Hypothesen von NN.Die Verwendung des Fundamental Theorem of Learning kann eine Vorstellung davon geben, wie groß ein Trainingssatz sein soll, um die gewünschte Genauigkeit zu erzielen.Normalerweise ist es riesig.

Keines dieser Ergebnisse bedeutet, dass die Genauigkeit besser ist, wenn Sie den Trainingssatz um das Zehnfache erhöhen. Es bedeutet nur, dass die Ergebnisse letztendlich besser werden, wenn Sie Ihren Trainingssatz auf unbestimmte Zeit erhöhen.Aber dann sagen sie nicht, wie man die "gut gewählten" Parameter auswählt. Ja, eine 10-fache Vergrößerung der Daten kann aus theoretischer Sicht zu schlechteren Ergebnissen führen.

Die Daten in Ihren Trainings- und Testsätzen können als h (x) + Rauschen modelliert werden. In diesem Zusammenhang ist das Rauschen die Variabilität Ihrer Trainings- und Testdaten, die nicht durch ein gängiges (theoretisch optimales) Modell h (x) erklärt wird. Das Wichtigste dabei ist, dass zum Beispiel, wenn Ihre Trainings- und Testsätze aus völlig unterschiedlichen Verteilungen abgetastet werden, ALLE Ihre Daten Rauschen sind, auch wenn sowohl Trainings- als auch Testsatzdaten für sich genommen sehr gut strukturiert sind. In diesem Fall passt sogar ein Modell mit 1 oder 2 Parametern sofort über - unabhängig davon, wie viele Datenpunkte Sie in Ihrem Trainingssatz haben!

Mit anderen Worten: Je größer das Rauschen in Ihren Daten ist, desto einfacher ist die Überanpassung und desto einfacher ist die Verwendung des Modells. Mit beispielsweise Gaußschem Rauschen erhöht das Erhöhen der Datenmenge in Ihrem Trainingssatz das Daten-Rausch-Verhältnis und verringert die Überanpassung. Wenn Ihre Trainings- und Testdaten aus (geringfügig) unterschiedlichen Verteilungen stammen, trägt eine Erhöhung der Datenmenge nicht dazu bei, diese Geräuschquelle zu verringern! Das Daten-Rausch-Verhältnis bleibt gleich. Es werden nur andere Rauschquellen eliminiert (z. B. Messrauschen, falls zutreffend).

Eine Erhöhung der Datenmenge kann eine Überanpassung nur verschlimmern, wenn Sie fälschlicherweise auch die Komplexität Ihres Modells erhöhen. Andernfalls sollte sich die Leistung des Testsatzes verbessern oder gleich bleiben, jedoch nicht wesentlich schlechter werden.