Wenn es um neuronale Netze geht (heutzutage besonders tiefe neuronale Netze), ist es fast immer so, dass das Netzwerk weit mehr Parameter hat als Trainingsbeispiele.
Theoretisch kann ein einfaches zweischichtiges neuronales Netzwerk mit $ 2n + d $ -Parametern jeden Datensatz von $ n $ Stichproben der Dimension $ d $ perfekt anpassen (Zhang et al., 2017). Um Ihre Frage zu beantworten, kann ein so großes Modell zu einer Überanpassung führen.
Das Tolle an tiefen neuronalen Netzen ist, dass sie trotz dieser potenziellen Überanpassungsprobleme sehr gut funktionieren. Normalerweise ist dies auf verschiedene Regularisierungseffekte zurückzuführen, die auf den Trainings- / Optimierungsalgorithmus und die Netzwerkarchitektur zurückzuführen sind, sowie auf explizit verwendete Regularisierungsmethoden wie Dropout, Gewichtsabfall und Datenerweiterung. In meinem Artikel Regularisierung für tiefes Lernen: Eine Taxonomie werden einige dieser Effekte ausführlich beschrieben.
Der offensichtliche Vorteil von bene mit vielen Parametern ist, dass Sie viel kompliziertere Funktionen darstellen können als mit weniger Parametern. Die Beziehungen, die neuronale Netze modellieren, sind oft sehr kompliziert und die Verwendung eines kleinen Netzwerks (Anpassen der Größe des Netzwerks an die Größe des Trainingssatzes, dh Anpassen Ihrer Daten durch die Verwendung eines kleinen Modells) kann zu dem Problem führen, wenn Ihr Netzwerk ist zu einfach und kann die gewünschte Zuordnung nicht darstellen (hohe Verzerrung). Wenn Sie dagegen viele Parameter haben, ist das Netzwerk flexibel genug, um die gewünschte Zuordnung darzustellen, und Sie können immer eine stärkere Regularisierung anwenden, um eine Überanpassung zu verhindern.
Um den letzten Teil Ihrer Frage zu beantworten: Die Anzahl der Parameter wird vollständig durch die Anzahl der Schichten im Netzwerk, die Anzahl der Einheiten in jeder Schicht und die Dimensionalität der Eingabe und der Ausgabe definiert.
Weitere Informationen finden Sie auch unter Beziehung zwischen Modell über Anpassung und Anzahl der Parameter.