Perfekte Multikollinearität führt zu großen Schmerzen.Angenommen, Ihre Daten $ Y $ werden durch einen einzelnen Parameter $ X $ mit einem zusätzlichen Rauschprozess $ u $ generiert, also $ Y = \ beta X + u $.

Lassen Sie mich nun (dumm!) ein Modell $ Y = \ beta_1 X_1 + \ beta_2 X_2 + u $ annehmen, bei dem es eine perfekte Multikollinearität gibt, sagen wir $ X_1 = X_2 $.Ich versuche, $ \ beta_1, \ beta_2 $ durch Regression zu finden.Der Fehler der kleinsten Quadrate wird jedoch für viele Lösungen gleich gut minimiert, solange $ \ beta_1 + \ beta_2 = \ beta $.Tatsächlich gibt es in diesem Fall keine Möglichkeit, unabhängige Werte für $ \ beta_1 $ und $ \ beta_2 $ anzugeben.Es gibt auch keine Möglichkeit, Konfidenzintervalle für $ \ beta_1 $ und $ \ beta_2 $ anzugeben.Persönlich halte ich keine statistische Größe für sinnvoll, es sei denn, ich kann ein Konfidenzintervall angeben.

Ich wette, dies wurde auf diesem Board millionenfach behandelt. Kurz gesagt: Weil die Entwurfsmatrix degeneriert wird und es keine unique-Lösung für das lineare Algebra-Problem von OLS gibt. Es wird unendlich viele gleich gute Lösungen geben, und es gibt keine Möglichkeit zu sagen, welche besser ist.

Technische Details: Die Entwurfsmatrix ist eine Matrix, die erstellt wird, indem alle $ p $ -Variablen in Spalten und alle $ n $ -Beobachtungen in Zeilen eingefügt werden. Es ist $ X_ {ij} $, wobei $ i $ Zeilen von 1 bis $ n $ und $ j $ Spalten von 1 bis $ p $ sind. Es kommt also vor, dass bei perfekter Kollinearität die Matrix $ X $ auf eine Matrix $ X '_ {ik} $ reduziert werden kann, in der jede Spalte nun einen neuen Satz von Variablen $ k = [1, p'] $ darstellt das $ p'<p $. Mit anderen Worten, die neue Entwurfsmatrix $ X '$ hat weniger Spalten als das Original, es gingen jedoch keine Informationen verloren.

In diesem Fall existiert die übliche Lösung $ \ beta = (X ^ TX) ^ {- 1} X ^ TY $ nicht, da $ (X ^ TX) ^ {- 1} $ singulär ist. Andererseits existiert die Lösung $ \ beta '= (X' ^ TX ') ^ {- 1} X' ^ TY $ für den neuen Satz von Variablen. Das einzige Problem mit perfekter Kollinearität besteht also darin, dass der ursprüngliche Satz von Variablen keine eindeutige Lösung hat, sondern Lösungen.

Die Implikation ist, dass Sie eine der nicht eindeutigen Lösungen auswählen können, und sie ist so gut wie jede andere. Beachten Sie, dass es nicht so schlimm sein wird wie jedes andere. Sie können diese Lösung also verwenden, um $ Y '$ vorherzusagen. Das einzige Problem ist, dass Sie eine typische OLS-Methode verlassen müssen, um die Lösungen zu finden, da der lineare Algebra-Trick von OLS nicht funktioniert. Dinge wie Gradientenabstieg werden funktionieren.