Frage:
theoretische Grundlage für die logistische Regression
B. Lari
2017-12-28 22:25:56 UTC
view on stackexchange narkive permalink

Entschuldigung, wenn dies offensichtlich ist, aber warum scheinen einige Arbeiten / Studien (normalerweise in wirtschaftswissenschaftlichen Disziplinen) die Nützlichkeitstheorie als Grundlage für diskrete Auswahlmodelle zu verwenden, während andere (häufig Sozialwissenschaften) dies nicht tun?Wenn das, was modelliert wird, eine binäre Auswahl ist, ist eine Angabe der Gründe, warum diese Auswahl getroffen wird (wie in, um den Nutzen zu maximieren) und ein begleitendes Gebrauchsmuster erforderlich?Es scheint nur, dass einige es verwenden und andere nicht, selbst wenn das, was modelliert wird, im Wesentlichen dasselbe ist.Danke

Ich denke, die Theorie dahinter ist die Boltzmann-Distribution, und Sie können sich auf diese Antwort beziehen: https://stats.stackexchange.com/a/461851/103153
Fünf antworten:
#1
+10
Kodiologist
2017-12-28 22:37:26 UTC
view on stackexchange narkive permalink

Nein, das ist nicht nötig.Wirtschaftswissenschaftler vertiefen sich gerne in mathematische Hypothesen darüber, wie Menschen Entscheidungen treffen, weshalb sie sich häufig auf die Nützlichkeitstheorie berufen.Eine logistische Regression kann jedoch statistisch ohne Bezugnahme auf den Nutzen gerechtfertigt werden, indem die Idee verwendet wird, dass eine Änderung der Einheit in einem Prädiktor mit einer additiven Änderung der Protokollwahrscheinlichkeit einer Antwort zusammenhängt.

@B.Lari Gern geschehen.Wenn ich Ihre Frage zu Ihrer Zufriedenheit beantwortet habe, können Sie meine Antwort akzeptieren, indem Sie auf das Häkchen unter den Abstimmungspfeilen klicken.
#2
+7
Benoit Sanchez
2017-12-28 23:20:53 UTC
view on stackexchange narkive permalink

Es gibt keine theoretische Grundlage für eine logistische Regression (im Allgemeinen als Wahl im Vergleich zu einem anderen Modell). Zwei Dinge sind willkürlich:

  • Summieren der Einflüsse jeder Variablen, wobei jeder Einfluss proportional zur Variablen ist (linearer Prädiktor)
  • die Sigmoid-Verbindung (logit)

Die erste Annahme ähnelt der linearen Regression: Ein einfaches Modell, das sehr nützlich ist und häufig Beobachtungen gut genug entspricht, um etwas daraus zu machen.

Die zweite Annahme kann ebenfalls nicht gerechtfertigt werden. Es ähnelt der Annahme der Normalität des Rauschens bei der linearen Regression. Interessanterweise führen viele andere Verknüpfungsfunktionen zu sehr ähnlichen Ergebnissen: Unterschied zwischen Logit- und Probit-Modellen.

Es ist jedoch interessant, dass die logistische Regression äquivalent zur maximalen Entropie ist (im Fall von binären / multinomialen Ergebnissen und unabhängigen Beobachtungen) und dass die maximale Entropie als angegeben wurde ein Prinzip von Jaynes in den 50er Jahren. Ich denke, die Leute haben viel später erkannt, dass die beiden gleichwertig sind (soweit ich weiß Anfang der 2000er Jahre).

Mit Sigmoid / Softmax konvertieren Sie logarithmische Wahrscheinlichkeiten in Wahrscheinlichkeiten.Logarithmische Wahrscheinlichkeiten sind praktisch, da der Satz von Bayes die Addition vereinfacht.Das Summieren der Einflüsse jeder Variablen läuft auf die Annahme ihrer Unabhängigkeit hinaus, was eine schwächere Annahme als normalverteiltes Rauschen ist.Die logistische IMO-Regression hat also eine ziemlich strenge theoretische Grundlage.
"Die zweite Annahme kann ebenfalls nicht gerechtfertigt werden. Sie ähnelt der Annahme der Normalität des Rauschens bei der linearen Regression." Die Annahme der Normalität in LR ist nicht völlig willkürlich und kann oft gerechtfertigt sein, wenn man das additive Rauschen als Ergebnis einer großen Anzahl unabhängiger kleiner Fehlerquellen betrachtet.Durch die CLT nähert sich ihre kombinierte Wirkung einer Normalverteilung.
#3
+1
Aksakal
2017-12-29 01:59:39 UTC
view on stackexchange narkive permalink

Sie haben den Eindruck, dass Ökonomen dies tun, weil sie gezwungen sind, dies zu schreiben, um in microeconomics veröffentlicht zu werden.Reine empirische Studien sind schwer zu veröffentlichen.

Dies ändert sich jedoch, und nicht alle Ökonomen tun dies.Schauen Sie sich zum Beispiel diese Arbeit an: "Analyse des Risikos eines Hypothekenausfalls."Sie verwenden multinomiales Logit, und es gibt keine Dienstprogrammfunktion, die irgendwo im Papier erwähnt wird.Und dies ist nicht einmal macroeconomics, wo sie sich nicht gezwungen fühlen, die Utility-Funktion in jedem Papier zu verschieben

#4
+1
IMA
2017-12-29 03:58:53 UTC
view on stackexchange narkive permalink

Andere Leute haben Ihre Frage beantwortet. Lassen Sie mich die Philosophie hinter den verschiedenen Begründungen für Logit-Modelle etwas näher erläutern.

Das in der Wirtschaft verwendete Gebrauchsmuster basiert auf der großartigen Idee, allgemeine Präferenzreihenfolgen gegenüber Ergebnissen mit der Reihenfolge reeller Zahlen zu verknüpfen. Weniger abstrakt haben Ökonomen versucht zu zeigen, wann eine Präferenz gegenüber einigen möglichen Ergebnissen durch Funktionen dargestellt werden kann, die eine "maximale Auswahl" bieten, und wann dies nicht möglich ist.

Dies passt sehr natürlich zur logistischen Regression, wenn es nur zwei Auswahlmöglichkeiten gibt, 0 und 1, und auch sehr gut zu multinomialen Modellen, bei denen es mehr Auswahlmöglichkeiten gibt. Unter Verteilungsannahmen "entsteht" die logistische Regression daher natürlich aus einem mikrofundierten und sehr allgemeinen Modell menschlichen Verhaltens. Dies ist gut für Ökonomen, da viele Ergebnisse, nach denen sie abstrakt streben, das Vorhandensein solcher Präferenzen erfordern, um mehr als nur heuristisch sinnvoll zu sein. Gleiches gilt für andere Sozialwissenschaften, die auf Wahlmöglichkeiten angewiesen sind, deren Schwerpunkt jedoch häufig unterschiedlich ist.

Man kann ein diskretes Auswahlmodell entweder als Gebrauchsmuster oder als latentes Variablenmodell setzen. Das latente Variablenmodell (wobei $ y = 1 $ ist, wenn einige $ y * >t $) ist im Grunde auch ein Auswahlmodell, nur dass es nicht angibt, warum diese Entscheidungsregel zustande kommt.

Manchmal sind wir nicht daran interessiert, dieses Warum zu modellieren. Zum Beispiel ist es uns einfach egal, weil ein ansonsten stabiler, aber komplizierter Mechanismus dahinter steckt. Es kann auch vorkommen, dass kein tatsächliches Unternehmen eine Entscheidung trifft, es handelt sich gewissermaßen um eine rein statistische Angelegenheit. Es wäre dann ziemlich erfunden, über einige hypothetische Präferenzreihenfolgen einer Nicht-Entität nachzudenken.

Um Ihre Frage zu beantworten: Das Gebrauchsmuster ist überhaupt nicht erforderlich.Das hängt von Ihrer Forschungsfrage ab.Gibt es ein Unternehmen, das eine Entscheidung trifft?Wenn ja, versuchen Sie etwas über diese Entscheidungsfindung zu lernen?Wenn ja, führen alle Ansätze früher oder später zu einem Gebrauchsmuster, einfach weil Sie stabile oder logische "Präferenzen" in Ihrer Forschung finden müssen.

In anderen Anwendungen ist Nützlichkeit überhaupt nicht erforderlich (insbesondere außerhalb der Sozialwissenschaften kann dies beispielsweise bei einem mechanischen Modell der Fall sein), und es wäre unnötig und sogar schädlich, mit dem Nützlichkeitsmodell zu streiten.

#5
  0
3pitt
2017-12-29 03:44:24 UTC
view on stackexchange narkive permalink

Ich bin kein Ökonom und kenne auch nicht viel Nützlichkeitstheorie, aber ich denke tatsächlich, dass es eine theoretische Rechtfertigung für eine logistische Regression gibt - zumindest auf hohem Niveau.Sind Entscheidungen im wirklichen Leben nicht näher an der Existenz auf einer Skala wie 0-100% als 0/1 binär?Die Fähigkeit, 'Wahrscheinlichkeiten' aus einem logistischen Modell herauszuholen, macht es attraktiver als einige andere Klassifizierungsmethoden.Natürlich stellt die Tatsache, dass die lineare Trennbarkeit die logistische Regression vereitelt, ein Problem für bestimmte Klassen theoretischer Rechtfertigung dar.



Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...