Die kleinsten Quadrate sind in der Tat die maximale Wahrscheinlichkeit, wenn die Fehler normal sind, aber wenn sie nicht normal sind, sind die kleinsten Quadrate nicht die maximale Wahrscheinlichkeit. Wenn meine Fehler beispielsweise logistisch wären, wären die kleinsten Quadrate keine schreckliche Idee, aber keine maximale Wahrscheinlichkeit.

Viele Schätzer sind keine Schätzer für die maximale Wahrscheinlichkeit. Während Maximum-Likelihood-Schätzer normalerweise eine Reihe nützlicher und attraktiver Eigenschaften haben, sind sie nicht das einzige Spiel in der Stadt (und in der Tat nicht immer eine großartige Idee).

Einige Beispiele für andere Schätzmethoden wären

• Methode der Momente (dies beinhaltet das Gleichsetzen von genügend Stichproben- und Populationsmomenten, um nach Parameterschätzungen zu suchen; manchmal stellt sich heraus, dass dies die maximale Wahrscheinlichkeit ist, aber normalerweise nicht)

  Zum Beispiel Gleichsetzen des ersten und zweiten Moments, um die Parameter einer Gammaverteilung oder einer gleichmäßigen Verteilung abzuschätzen; in beiden Fällen nicht die maximale Wahrscheinlichkeit.

Bei der Anpassung von Modellen vom Typ der linearen Regression können Sie beispielsweise eine robuste Regression betrachten (von denen einige ML-Methoden für eine bestimmte Fehlerverteilung entsprechen, viele jedoch nicht).

Im Fall der einfachen linearen Regression zeige ich ein Beispiel für zwei Methoden zum Anpassen von Linien, die nicht die maximale Wahrscheinlichkeit hier haben - dort wird die Steigung geschätzt, indem einige auf 0 gesetzt werden anderes Maß für die Korrelation (dh anders als das übliche Pearson) zwischen Residuen und dem Prädiktor.

Ein anderes Beispiel wäre die resistente Linie des Tukey / die Drei-Gruppen-Linie des Tukey (siehe z. B. ? line in R).Es gibt viele andere Möglichkeiten, obwohl sich viele von ihnen nicht ohne weiteres auf die multiple Regressionssituation verallgemeinern lassen.

Bayesianische Ansätze beinhalten nicht die Maximierung einer Wahrscheinlichkeitsfunktion, sondern die Integration über eine posteriore Verteilung. Es ist zu beachten, dass das zugrunde liegende Modell genau identisch sein kann (d. H. Lineare Regression, verallgemeinerte lineare Regression), aber wir müssen auch eine vorherige Verteilung bereitstellen, die unsere Unsicherheit in den Parametern erfasst, bevor die Daten angezeigt werden. Die hintere Verteilung ist einfach die normalisierte Verteilung der früheren Zeiten der Wahrscheinlichkeit

Ich glaube, dass die meisten Statistiker heutzutage im Allgemeinen der Meinung sind, dass ein Bayes'scher Ansatz einem MLE-Ansatz zur Parameterschätzung im Allgemeinen überlegen ist. Wenn man jedoch viele Daten hat, ist es möglicherweise nicht so viel besser, dass es sowohl die zusätzlichen Rechenkosten (Integration ist schwieriger als Optimierung!) Als auch den zusätzlichen Aufwand sind mit einer vorherigen Verteilung kommen. Tatsächlich kann man zeigen, dass sich die MLE + -Normalnäherung unter bestimmten Bedingungen asymptotisch der posterioren Verteilung nähert.

Alle MLE sind Minimax, aber nicht alle Minimax sind MLE.Einige Beispiele für Minimax-Schätzer, die eine Wahrscheinlichkeit nicht maximieren, sind ROC-Regression, bedingte logistische Regression, Cox-Proportional-Hazard-Modelle, nächster Nachbar, Quasilikelihood. Die Liste geht weiter und weiter.Hodges "supereffizienter" Schätzer übertrifft die maximale Wahrscheinlichkeit als effizienterer UMVUE-Schätzer (unverzerrte minimale Varianz) des Mittelwerts in einer normalen Stichprobe, ist jedoch KEIN Minimax

$$ Y_i = \ alpha + \ beta x_i + \ varepsilon_i $$

• $ \ alpha, \ beta $ sind nicht zufällig und nicht beobachtbar.
• $ \ varepsilon_i $ sind zufällig und nicht beobachtbar.
• $ x_i $ sind nicht zufällig und beobachtbar.
• $ Y_i $ sind folglich zufällig und beobachtbar.

• Die Fehler $ \ varepsilon_i $ haben den erwarteten Wert Null.
• Die Fehler haben alle die gleiche (endliche) Varianz, aber nicht unbedingt die gleiche Verteilung (insbesondere wird nicht angenommen, dass sie normal sind).
• Die Fehler sind nicht korreliert, aber nicht unbedingt unabhängig.

Und unter allen linearen Kombinationen der $ y $ span> -Werte mit nicht zufällig beobachtbaren Koeffizienten sind dies nicht geschätzte Schätzer von $ \ alpha $ span> und $ \ beta, $ span> Die Schätzer der kleinsten Quadrate haben die geringste Varianz.

Eine Antwort auf die Frage "Welche Regression / Schätzung ist kein MLE?", eine einfache und robuste Alternative zu Least-Squares (LS), ist angeblich Least-Absolute Deviation (LAD).

So zitieren Sie eine Quelle:

"Die Methode der kleinsten absoluten Abweichungen (LAD) ist eine der Hauptalternativen zur Methode der kleinsten Quadrate, wenn Regressionsparameter geschätzt werden sollen. Das Ziel der LAD-Regression besteht darin, einen robusten Schätzer bereitzustellen."

Interessanterweise wird gemäß einer Referenz zitiert: "Die Schätzung der geringsten absoluten Abweichungen ergibt sich auch als Schätzung der maximalen Wahrscheinlichkeit, wenn die Fehler eine Laplace-Verteilung aufweisen." Hier ist ein Link, der einige interessante Anwendungen des Laplace beschreibt (wie als Bayes-Prior und für extreme Ereignisse).

Historisch gesehen wurde das LAD-Verfahren 50 Jahre vor der Methode der kleinsten Quadrate (1757) von Roger Joseph Boscovich eingeführt, der es verwendete, um inkohärente Maßnahmen in Bezug auf die Form der Erde in Einklang zu bringen.

Ein veranschaulichender Unterschied besteht im sehr einfachen Fall von Y = Konstante, bei dem der LS den Stichprobenmittelwert zurückgibt, während die KOP den Stichprobenmedian auswählt! In Kontexten mit einem oder zwei Extremwerten, die aus irgendeinem Grund (wie Heteroskedastizität) auftreten können, kann LS eine erhebliche Verschiebung der tatsächlichen Steigungsschätzung aufweisen, insbesondere wenn eine sehr niedrige und / oder eine hohe Beobachtung vorliegt eine festgestellte Schwäche. Wikipedia zu robuster Regression gibt einen unterstützenden Kommentar ab:

"Insbesondere Schätzungen der kleinsten Quadrate für Regressionsmodelle reagieren sehr empfindlich auf Ausreißer."

In Bezug auf Anwendungen kann dies beispielsweise bei der chemiebasierten Datenanalyse besonders wichtig sein, um das Geschwindigkeitsgesetz einer sogenannten Reaktion vorherzusagen (das auf der Steigungsschätzung basiert).