Wenn Sie NaN-Werte in Ihrer Kostenfunktion erhalten, bedeutet dies, dass sich die Eingabe außerhalb des Funktionsbereichs befindet. Z.B. der Logarithmus von 0. Oder er könnte analytisch in der Domäne liegen, aber aufgrund numerischer Fehler erhalten wir das gleiche Problem (z. B. wird ein kleiner Wert auf 0 gerundet). Es hat nichts mit der Unfähigkeit zu tun, sich "niederzulassen".

Sie müssen also die nicht zulässigen Funktionseingabewerte für Ihre angegebene Kostenfunktion bestimmen. Dann müssen Sie feststellen, warum Sie diese Eingabe für Ihre Kostenfunktion erhalten. Möglicherweise müssen Sie die Skalierung der Eingabedaten und die Gewichtsinitialisierung ändern. Oder Sie müssen nur eine adaptive Lernrate haben, wie von Avis vorgeschlagen, da die Kostenfunktionslandschaft möglicherweise ziemlich chaotisch ist. Oder es könnte an etwas anderem liegen, beispielsweise an numerischen Problemen mit einer Ebene in Ihrer Architektur.

Bei tiefen Netzwerken ist es sehr schwierig zu sagen, aber ich schlage vor, dass Sie sich mit dem Fortschritt der Eingabewerte zu Ihrer Kostenfunktion (der Ausgabe Ihrer Aktivierungsschicht) befassen und versuchen, eine Ursache zu ermitteln.

Hier sind einige der Dinge, die Sie tun könnten:

• Bei Verwendung der SoftMax-Kreuzentropiefunktion:

  Der SoftMax-Zähler sollte aufgrund des Exponentials niemals Nullwerte haben. Aufgrund der Gleitkommapräzision kann der Zähler jedoch ein sehr kleiner Wert sein, z. B. exp (-50000), der im Wesentlichen Null ergibt ( ref.)

  • Schnellkorrekturen können darin bestehen, entweder die Genauigkeit Ihres Modells zu erhöhen (64-Bit-Gleitkommazahlen anstelle von vermutlich 32-Bit-Gleitkommazahlen zu verwenden) oder einfach eine Funktion einzuführen, die Ihre Werte begrenzt, sodass alles, was unter Null oder genau Null liegt, gerecht ist gemacht, um nahe genug an Null zu sein, damit der Computer nicht ausflippt. Verwenden Sie beispielsweise X = np.log (np.max (x, 1e-9)), bevor Sie in den Softmax wechseln ( ref.)

• Sie können Methoden wie "FastNorm" verwenden, die die numerische Stabilität verbessern und die Genauigkeitsvarianz verringern, eine höhere Lernrate ermöglichen und eine bessere Konvergenz bieten. ( Ref.)

• Gewichtungsinitialisierung prüfen: Wenn Sie sich nicht sicher sind, verwenden Sie die Xavier- oder He-Initialisierung. Außerdem führt Ihre Initialisierung möglicherweise zu einem schlechten lokalen Minimum. Versuchen Sie also eine andere Initialisierung und prüfen Sie, ob dies hilfreich ist.

• Verringern Sie die Lernrate, insbesondere wenn Sie in den ersten 100 Iterationen NaNs erhalten.

• NaNs können durch Division durch Null oder natürliches Protokoll von Null oder negativer Zahl entstehen.

• Versuchen Sie, Ihr Netzwerk Schicht für Schicht zu bewerten, und sehen Sie, wo die NaNs erscheinen.

Einige der Vorschläge stammen aus den Referenzen der beiden großartigen Beiträge zu StackOverflow & auf KDnuggests

Mögliche Gründe:

1. Gradienten explodieren
2. Ihre Eingabe enthält nan (oder unerwartete Werte)
3. Verlustfunktion nicht richtig implementiert
4. Numerische Instabilität im Deep Learning Framework
ol>

Sie können überprüfen, ob es immer nan wird, wenn es mit einer bestimmten Eingabe gespeist wird, oder ob es völlig zufällig ist.

Üblicherweise wird die Lernrate nach jeweils wenigen Iterationen schrittweise reduziert.