Frage:
Kann KL-Divergenz jemals größer als 1 sein?
plbmr
2018-01-14 23:30:54 UTC
view on stackexchange narkive permalink

Ich habe daran gearbeitet, einige Teststatistiken basierend auf der KL-Divergenz zu erstellen.

\ begin {Gleichung} D_ {KL} (p \ | q) = \ sum_i p (i) \ log \ left (\ frac {p (i)} {q (i)} \ right), \ end {Gleichung}

Und am Ende hatte ich einen Wert von 1,9 $ für meine Distributionen. Beachten Sie, dass die Distributionen Unterstützung von $ 140 $ K-Levels haben, daher halte ich es nicht für sinnvoll, die gesamten Distributionen hier zu planen.

Ich frage mich, ob es möglich ist, eine KL-Divergenz von mehr als 1 zu haben. Viele der Interpretationen, die ich von KL-Divergenz gesehen habe, basieren auf einer Obergrenze von 1. Wenn sie größer als 1 sein kann, wie lautet die Interpretation von KL-Divergenz über 1 hinaus?

Bearbeiten: Ich weiß, dass es eine schlechte Referenz ist, aber der Wikipedia-Artikel über KL-Divergenz legt nahe, dass "eine Kullback-Leibler-Divergenz von 1 darauf hinweist, dass sich die beiden Verteilungen so unterschiedlich verhalten, dass die Erwartung bei der ersten Verteilung nähert sich Null. " Ich hatte gedacht, dass dies impliziert, dass die KL-Divergenz oben durch 1 begrenzt war, aber es ist offensichtlich, dass dies ein Fehler im Artikel ist.

Können Sie bitte die verfügbaren Interpretationen / Links für die Interpretationen von KL-Divergenz angeben und bereitstellen, die auf einer Obergrenze von 1 basieren?
bearbeitet, um meine (schlechte) Referenz anzuzeigen.
Einer antworten:
Xi'an
2018-01-14 23:36:38 UTC
view on stackexchange narkive permalink

The Kullback-Leibler-Divergenz ist unbegrenzt. Da es keine Untergrenze für die $ q (i) $ gibt, gibt es keine Obergrenze für die $ p (i) / q (i) $ ' s. Zum Beispiel ist die Kullback-Leibler-Divergenz zwischen einem normalen $ N (\ mu_1, \ sigma_1 ^ 2) $ und einem normalen $ N (\ mu_2, \ sigma_1 ^ 2) $ $$ \ frac {1} {2 \ sigma_1 ^ {2}} (\ mu_1- \ mu_2) ^ 2 $$, was eindeutig unbegrenzt ist.

Wikipedia [von dem bekannt ist, dass es falsch ist!] besagt tatsächlich

"... eine Kullback-Leibler-Divergenz von 1 zeigt an, dass die beiden Verteilungen verhalten sich so unterschiedlich, dass die Erwartung vorausgesetzt, die erste Verteilung nähert sich Null. "

was keinen Sinn macht (Erwartung welcher Funktion? warum 1 und nicht 2?)

Eine zufriedenstellendere Erklärung daraus Wikipedia Seite ist, dass der Kullback-Leibler

"... kann so ausgelegt werden, dass die erwartete Anzahl zusätzlicher Bits gemessen wird erforderlich, um Samples aus P mit einem für Q optimierten Code zu codieren als der für P optimierte Code. "

Die KL-Divergenz zwischen zwei Normalverteilungen hängt nicht von einer der Varianzen ab?
nur um das hinzuzufügen - die Gleichung, die Xi'an gibt, ist, wenn der zweite Gaußsche eine Standardnormalverteilung (Varianz von 1) ist.Wiki hat beide Formen https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence#Multivariate_normal_distributions


ⓘ
Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...