Frage:
Was ist der Unterschied zwischen einer hierarchischen linearen Regression und einer gewöhnlichen Regression der kleinsten Quadrate (OLS)?
user27744
2013-07-08 13:44:40 UTC
view on stackexchange narkive permalink

Ich führe eine Untersuchung durch, bei der ich einige unabhängige Variablen (alle sind Dummies), Moderatoren (einer ist ein Dummy, der andere ist kontinuierlich) und eine kontinuierlich abhängige Variable habe.

Ich war wurde aufgefordert, die gewöhnliche Regression der kleinsten Quadrate (OLS) zu verwenden, aber was ist der Unterschied zwischen der OLS-Regression und einer hierarchischen linearen Regressionsanalyse?

Vier antworten:
#1
+10
David Marx
2013-08-08 02:36:25 UTC
view on stackexchange narkive permalink

Beim Erstellen hierarchischer Modelle geht es darum, Gruppen zu vergleichen. Die Stärke des Modells besteht darin, dass Sie die Informationen über eine bestimmte Gruppe als Beweis dafür behandeln können, wie diese Gruppe mit dem Gesamtverhalten für eine bestimmte Ebene verglichen wird. Wenn Sie also nicht viele Informationen über eine einzelne Gruppe haben, diese Gruppe wird in Richtung des Mittelwerts für das Level gedrückt. Hier ein Beispiel:

Nehmen wir an, wir wollten ein lineares Modell erstellen, das die Alphabetisierung der Schüler (möglicherweise als Funktion der Klassenstufe und des sozioökonomischen Status) für eine Region beschreibt. Was ist der beste Weg, um dies zu erreichen? Ein naiver Weg wäre, einfach alle Schüler in der Region als eine große Gruppe zu behandeln und ein OLS-Modell für die Alphabetisierungsraten in jeder Klassenstufe zu berechnen. Daran ist nichts falsch , aber sagen wir, dass wir für einen bestimmten Schüler wissen, dass er eine besonders gute Schule in den Vororten besucht. Ist es wirklich fair, die landesweite durchschnittliche Alphabetisierung für ihre Note auf diesen Schüler anzuwenden? Natürlich nicht, ihre Alphabetisierung wird aufgrund unserer Beobachtung über ihre Schule wahrscheinlich überdurchschnittlich hoch sein. Als Alternative könnten wir für jede Schule ein eigenes Modell entwickeln. Das ist großartig für große Schulen, aber noch einmal: Was ist mit diesen kleinen Privatschulen? Wenn wir nur 15 Kinder in einer Klasse haben, werden wir wahrscheinlich kein sehr genaues Modell haben.

Hierarchische Modelle ermöglichen es uns, beides gleichzeitig zu tun. Auf einer Ebene berechnen wir die Alphabetisierungsrate für die gesamte Region. Auf einer anderen Ebene berechnen wir die schulspezifischen Alphabetisierungsraten. Je weniger Informationen wir über eine bestimmte Schule haben, desto näher kommt sie dem schulübergreifenden Mittelwert. Dies ermöglicht es uns auch, das Modell zu erweitern, um andere Schulbezirke zu berücksichtigen, und vielleicht sogar ein höheres Niveau zu erreichen, um die Alphabetisierung zwischen Staaten zu vergleichen oder sogar Unterschiede zwischen Ländern zu berücksichtigen. Alles, was auf Länderebene ganz oben vor sich geht, hat auf Kreisebene keine enormen Auswirkungen, da dazwischen so viele Ebenen liegen, aber Informationen sind Informationen, die wir zulassen sollten Dies ist die Möglichkeit, unsere Ergebnisse zu beeinflussen, insbesondere wenn wir nur sehr wenige Daten haben.

Wenn wir also nur sehr wenige Daten zu einer bestimmten Schule haben, aber wissen, wie sich die Schulen in diesem Land, Bundesstaat und Landkreis im Allgemeinen verhalten, können wir fundierte Rückschlüsse auf diese Schule ziehen und neue Informationen als Beweismittel behandeln gegen unsere Überzeugungen, die von den größeren Gruppen (den höheren Ebenen in der Hierarchie) mitgeteilt wurden.

Gute Erklärung. Übersetzung für Leser außerhalb der USA: Grafschaften sind Teile von Staaten, die Teile der USA, eines Landes, sind. Somit ist "Staat" hier kein Synonym für "Land".
#2
+6
Felix Thoemmes
2013-08-07 22:09:38 UTC
view on stackexchange narkive permalink

Der Begriff "hierarchische Regression" ist verwirrend. Am häufigsten bezieht sich dies tatsächlich auf Mehrebenenmodelle, wie im vorherigen Poster angegeben. In psychologischen Lehrbüchern (z. B. Cohen, Cohen, West und Aiken) bezieht sich hierarchische Regression auf eine einfache OLS-Regression, bei der Prädiktoren in einer bestimmten Reihenfolge eingegeben werden (vermutlich basierend auf der Theorie) und dann Inkremente der erklärten Varianz und Änderungen der Regressionskoeffizienten vorgenommen werden ausgewertet. In diesem Sinne unterscheidet sich die "hierarchische Regression" nicht wesentlich von der OLS-Regression, außer dass bestimmte Sätze von Prädiktoren in einer bestimmten Reihenfolge in die Regression eingegeben werden. Die Ähnlichkeit der Begriffe ist etwas unglücklich, da sie einige Verwirrung stiften.

#3
+1
Tomas
2013-07-08 17:39:52 UTC
view on stackexchange narkive permalink

Angenommen, Sie haben Daten, die über $ N $ an verschiedenen geografischen Standorten abgetastet wurden. An jedem Ort nehmen Sie $ n $ Messungen vor: Bei jeder Messung wird beispielsweise die Windgeschwindigkeit aufgezeichnet, die von der Temperatur und Luftfeuchtigkeit abhängt (ich habe keine Ahnung von der realen Welt, dies dient nur zur Veranschaulichung). Der einfache Weg (oder die gewöhnliche lineare Regression) besteht darin, anzunehmen, dass die Daten unabhängig vom geografischen Standort sind. In diesem Fall bündeln Sie einfach alles in einer Probe und führen eine OLR-Analyse durch. Wenn Sie jedoch die Vermutung haben, dass der Standort Einfluss haben könnte, fügen Sie eine weitere Hierarchieebene hinzu - Sie gehen davon aus, dass Windgeschwindigkeit und Luftfeuchtigkeit vom geografischen Standort abhängen. Daher wird die erste Hierarchieebene verwendet, um die Variabilität innerhalb der Quelle oder an jedem verschiedenen geografischen Ort zu messen, und die zweite Ebene berücksichtigt die Variabilität zwischen den Quellen.

Sie können beliebig viele Hierarchien hinzufügen.

P.S. Die hierarchische Regression, wie sie im Rahmen des Frequentismus durchgeführt wird, wird normalerweise als Mehrebenenregression bezeichnet, während sie im Bayes'schen Formalismus eine hierarchische Regression ist.

Ich denke nicht, dass dies völlig richtig ist, denn wenn Sie Dummy-Variablen im OLS-Framework implementieren, müssen Sie keine Unabhängigkeit von den Standorten annehmen. Tatsächlich können Sie Codierungen für so viele verschiedene Ebenen und Funktionen implementieren, wie Sie möchten, obwohl dies mathematisch möglicherweise der hierarchischen Regression im OLS-Kontext entspricht (ich weiß nicht lol).
#4
+1
probabilityislogic
2013-08-08 02:52:50 UTC
view on stackexchange narkive permalink

Meine Antwort kurz halten - Ein Unterschied besteht darin, dass Sie versuchen, Ergebnisse für Effekte vorherzusagen, die mit Ihren anderen unabhängigen Variablen zusammenhängen, die Sie jedoch in der Stichprobe nicht beobachtet haben. Das einfachste Beispiel hierfür ist, wenn es bestimmte Bereiche gibt, in denen keine direkten Informationen aus Ihren Daten vorliegen. Das klassische Beispiel ist, dass Sie nicht alle Schulen oder alle Lehrer / Klassenräume innerhalb einer Schule befragt haben. In OLS können Sie nichts über Lehrer-Effekte für nicht abgetastete Lehrer sagen. Für die hierarchische Regression können Sie mit der Varianzkomponente für Lehrer vorhersagen, wie groß die wahrscheinliche Größe von nicht abgetasteten Lehrer-Effekten sein könnte.

Darüber hinaus verwendet die hierarchische Regression normalerweise "Schrumpfung" und ermöglicht eine Art Interpolation zwischen dem Einschließen einer bestimmten Gruppe von Effekten in ein OLS-Framework (z. B. Lehrer) und dem Ausschließen dieser Effekte. Aufgrund dieses Effekts sind sie weniger anfällig für eine "Überanpassung" der Daten.



Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...