• Die langsame Merkmalsanalyse ( SFA) verwendet die kleinen Eigenwerte der Kovarianzmatrix der zeitlichen Unterschiede, um die langsamsten Merkmale in einer Zeitreihe zu finden.
• Analyse kleinerer Komponenten ( MCA) verwendet die kleinsten Komponenten in einer probabilistischen Umgebung - hier werden keine Variationsrichtungen gefunden, sondern Einschränkungen,
• Extreme Komponentenanalyse ( XCA) ) ist eine Kombination aus probabilistischer PCA und MCA.
• In der kanonischen Korrelationsanalyse (bei der Sie die Korrelation zwischen zwei verschiedenen Datensätzen analysieren) entsprechen die kleineren Komponenten der Korrelationsmatrix sogenannten "privaten" Räumen. Diese stellen die Teilräume jeder Variablen dar, die nicht linear miteinander korrelieren.

Es wirkt wie ein Hochpassfilter in einem etwas anderen Raum.

Es gibt viele lineare Daten, und in vielen Fällen suchen Sie nach dieser linearen Beziehung, sodass Sie mit einem Tiefpassfilter (Hochblockierungsfilter) den wichtigen Teil beibehalten können.

Bei nichtlinearen Daten, bei denen Sie normalerweise die einfachen Methoden erfolglos angewendet haben, bedeutet der Hochpass, dass Sie den unwichtigen (linearen) Teil wegwerfen.

Dies Ich wundere mich über Computerfotografie und Kanten. Danke ..

Die Regression der kleinsten Quadrate (auch bekannt als orthogonale Distanzregression) verwendet den Singularvektor, der dem kleinsten Singularwert der erweiterten Prädiktor- / Kriteriumsmatrix entspricht.

Wenn es nur eine abhängige Variable gibt (dh wenn $ k = 1 $), sowohl die Gleichung 12.3-5 in meinem Golub & Van Loan (erste Ausgabe) als auch die endgültige Gleichung und den Oktavcode in der Verwenden Sie im Abschnitt "Algebraischer Gesichtspunkt" des Standardkontos nur den Singularvektor, der dem kleinsten Singularwert entspricht, um den Vektor der Regressionskoeffizienten zu erhalten.

Ja, das gibt es. Ich arbeite derzeit mit einem Professor an einem Forschungsprojekt, bei dem wir versuchen, sehr kurzfristige Börsenveränderungen basierend auf Echtzeit-Tweets von Twitter vorherzusagen. Leider ist die Mehrheit dessen, was die Leute auf Twitter über die Unternehmen sagen, die wir verfolgen, nutzloses Wandern. Mit anderen Worten, die größten Singularwerte sind nutzlos.

Unser Plan ist es, die größten Singularwerte zu verwenden, um große Mengen an Müll-Tweets zu kennzeichnen, damit wir sie löschen können. Die verbleibenden Tweets und ihr Textinhalt (die kleinen Singularwerte) sind Kandidaten für einen variablen Auswahlprozess.

Wir versuchen, die Nadeln im Heuhaufen zu finden, und das Löschen der größten Singularwerte ist wie das Anzünden des Heus.

Es ist ein bisschen langwierig, aber bedenken Sie das Problem der Portfoliooptimierung: Minimieren Sie $ w ^ {\ top} \ Sigma w $ vorbehaltlich $ w ^ {\ top} w \ ge 1 $. Sie können sich dies als das Portfolio mit minimaler Varianz mit einer Einschränkung von $ \ ell_2 $ vorstellen. Nach Anwendung der Lagrange-Multiplikator-Methode sollte $ w $ der Eigenvektor sein, der dem kleinsten Eigenwert von $ \ Sigma $ zugeordnet ist. Da $ \ Sigma $ normalerweise die Beispielkovarianz $ (1 / N) \ sum_ {1 \ le i \ le N} X_i X_i ^ {\ top} $ ist, in der die $ X_i $ zentriert wurden, können Sie dieses Problem anzeigen als SVD-Berechnung, bei der der dem kleinsten Singularwert zugeordnete Singularvektor von Bedeutung ist. Wie ich schon sagte, es ist ein bisschen langwierig.

Es gibt ein interessantes LSA-bezogenes Papier, das zu dem Schluss kommt, dass das Verwerfen (vieler) erster SVD-Funktionen die Ergebnisse bei semantischen Tests wie TOEFL verbessern kann - "Extrahieren semantischer Repräsentationen aus Wort-Cooccurrence-Statistiken: Stopplisten, Stemming und SVD" (Bullinaria) und Levy, 2012)

Mir sind keine bekannt. Die kleinsten Singularwerte entsprechen Modi, die nicht viel zur Rekonstruktion der ursprünglichen Matrix beitragen, oder um die PCA-Interpretation zu verwenden, beschreiben Sie nicht viel von der Varianz in den Daten. Typischerweise sind die Modi mit kleineren Singularwerten nur Rauschen. Dies schließt nicht aus, dass eine Bedeutung in ihnen gefunden werden könnte, aber ich denke, dass dies stark von den Daten abhängt, aus denen die ursprüngliche Matrix besteht, und - ehrlich gesagt - ziemlich unwahrscheinlich ist.