In meiner logistischen Regression ändert sich das Vorzeichen der Koeffizienten einer Variablen (Ortsentfernung einer Annehmlichkeit) basierend auf anderen Variablen (mit Zeit -ve, mit Fahrentfernung + ve) im Modell. Wenn die Positionsentfernung die einzige Variable im Modell ist, hat sie das Vorzeichen + ve.

• Sollte die Variable das Vorzeichen + ve beibehalten müssen, unabhängig davon, welche anderen Variablen im Modell hinzugefügt wurden?
• Bedeutet das Ändern des Vorzeichens ein Multikollinearitätsproblem? Einige IVs gewinnen an Bedeutung, während sie in einem bivariaten Modell keine Bedeutung zeigten und umgekehrt.
• Ist es in Ordnung, Variablen hinzuzufügen, die keine große Bedeutung haben (z. B.: Fahrstrecke hat eine Bedeutung von 0,33 einzeln, aber 0,05, wenn mit anderen Variablen hinzugefügt), wird aber im Modell signifikant - danke.

Prädiktoren ändern ihre Vorzeichen in Gegenwart anderer in einem Modell. Ich denke, Sie sehen einen Sonderfall der "Unterdrückung". Lassen Sie mich anhand von Korrelationen erklären (dieses Prinzip sollte auf die logistische Regression anwendbar sein). Angenommen, Sie versuchen, das Ausmaß des einem Haus zugefügten Brandschadens ($ Y $) anhand der Schwere des Feuers ($ X_1 $) und der Anzahl der Feuerwehrleute, die zum Löschen des Feuers geschickt wurden ($ X_2 $), vorherzusagen. Angenommen, $ r_ {YX_1} = 0,65, \: r_ {YX_2} = 0,25, \: r_ {X_1X_2} = 0,70 $. Wenn Sie dann semi-partielle Korrelationen berechnen, ist

$ r_ {Y (X_1X_2)} = \ displaystyle \ frac {0,65-0,25 * 0,70} {\ sqrt {1-0,70 ^ 2}} = 0,67 , \: r_ {Y (X_2X_1)} = \ displaystyle \ frac {0,25-0,65 * 0,70} {\ sqrt {1-0,70 ^ 2}} = -0,29 $

Dies ist ein Fall der Unterdrückung (wenn auch sehr geringfügig), weil $ X_2 $ die von $ X_1 $ nicht berücksichtigte Varianz unterdrückte, was zu $ ​​r_ {Y (X_1X_2)} > r_ {YX_1} $ führte. Auch die semi-partielle Korrelation von $ X_2 $ ($ r_ {Y (X_2X_1)} $) hat ihr Vorzeichen geändert, da seine positive Korrelation mit Y hauptsächlich durch seine große positive Korrelation mit $ X_1 $ zustande kam. Konzeptionell ist dies sinnvoll: Wenn die Brandschwere konstant gehalten wird, sollte das Senden von mehr Feuerwehrleuten zu weniger Schäden an einem Haus führen (Messick & Van de Geer, 1981).

In Ihrem Fall müssen Sie sich überlegen, ob es sinnvoll ist, den Standortabstand einer Annehmlichkeit bei konstanter Zeitvariable negativ auf die abhängige Variable zu beziehen. Ich schlage auch einige großartige Beiträge zu diesem Thema in Cross Validated vor.

Bei der Beantwortung Ihrer anderen Fragen glaube ich nicht, dass Ihre Daten unter Multikollinearität leiden. Andernfalls sollten alle Prädiktoren überhöhte Standardfehler und niedrigere p-Werte aufweisen. Schließlich können Sie natürlich die Variable für die Fahrstrecke zum Modell hinzufügen, da die wahre Beziehung anscheinend durch irrelevante Varianz maskiert wurde (die von anderen Prädiktoren "unterdrückt" wurde).

Es liegt wirklich an den ursprünglichen Fragen, die Sie beim Entwerfen Ihrer Studie beantworten wollten.

Referenz

Messick, D.M. & Van de Geer, J. P. "Ein Umkehrparadoxon." Psychological Bulletin 90.3 (1981): 582.

In meiner logistischen Regression ändert sich das Vorzeichen der Koeffizienten einer Variablen (Ortsentfernung einer Annehmlichkeit) basierend auf anderen Variablen (mit Zeit -ve, mit Reisestrecke + ve) im Modell. Wenn die Positionsentfernung die einzige Variable im Modell ist, hat sie das Vorzeichen + ve.

Dies ist nicht überraschend. Dies geschieht auch bei gewöhnlicher Regression. Siehe das Beispiel im Bild hier

Sollte die Variable das Vorzeichen + ve beibehalten müssen, unabhängig davon, welche anderen Variablen im Modell hinzugefügt wurden?

Ich verstehe nicht, warum dies zu erwarten ist.

Bedeutet ein Vorzeichenwechsel ein Multikollinearitätsproblem?

Nicht unbedingt Multikollinearität; Es kann mit ganz normaler Nichtorthogonalität auftreten.

Einige IVs gewinnen an Bedeutung, während sie in einem bivariaten Modell keine Bedeutung zeigten und umgekehrt.

Sicher, auch häufig.

Ist es in Ordnung, Variablen hinzuzufügen, die nicht viel Bedeutung haben (Beispiel: Die Fahrstrecke hat einzeln eine Bedeutung von 0,33, aber 0,05, wenn sie mit anderen Variablen hinzugefügt wird). aber wird im Modell bedeutsam?

Sicher. Es ist auch in Ordnung, Variablen hinzuzufügen, die in beiden Fällen nicht signifikant sind (wenn Sie jedoch eine große Anzahl von Variablen einwerfen, kann dies zu Problemen führen. Es hört sich jedoch so an, als würden Sie Variablen auswählen. Seien Sie bei der Interpretation von p-Werten sehr vorsichtig / Teststatistiken, wenn Sie das tun.

Ich denke, dies kann ein Fall von ceteris paribus Verwirrung sein. Wenn die Fahrstrecke die einzige Variable ist, ist die Auswirkung auf das Ergebnis positiv. Wenn das Ergebnis ein Kauf ist, kann dies durch die Tatsache erklärt werden, dass ein Ausflug in den Laden teurer ist, wenn ein Agent weit weg wohnt, sodass er sich eher eindecken kann, wenn er bereits dort ist. Menschen, die weit weg wohnen, füllen ihre Karren vollständig, machen aber weniger Fahrten als Menschen, die näher leben. Ich würde Dollar auf Donuts wetten. Dies ist auch das, was Sie finden würden, wenn Sie nur die Reisezeit im Modell als Maß für die Kosten verwenden würden.

Wenn Sie sowohl die Fahrstrecke als auch die Fahrzeit im Modell haben, gibt Ihnen das Vorzeichen des Entfernungskoeffizienten ein Zeichen für den Effekt, die Reisezeit festzuhalten. Wenn die Entfernung länger wird, aber Die Fahrzeit bleibt konstant, der Effekt wird negativ. Wie kann die Entfernung länger werden, aber die Reisezeit bleibt gleich? Wenn die Fahrgeschwindigkeit auf der Straße schneller wurde, vielleicht weil es sich um eine Autobahn mit einer höheren Geschwindigkeitsbegrenzung handelte. Der Vergleich, den Sie jetzt durchführen, wenn beide Variablen im Modell enthalten sind, besteht zwischen zwei identischen Personen, die beide $ X $ Minuten von einem Geschäft entfernt wohnen, aber eine weiter entfernt wohnt und eine Autobahn nimmt, um dorthin zu gelangen. Es ist weniger wahrscheinlich, dass dieser Agent einen Kauf tätigt, vielleicht weil das Fahren auf der Autobahn einfacher ist als das Befahren der örtlichen Straßen mit Benzinverbrauch, oder vielleicht ist dies die Straße, auf der er zur Arbeit pendelt und auf dem Heimweg am Geschäft vorbeikommt (a Art der ausgelassenen Variablen in Ihrem Modell).

Zusammenfassend lässt sich sagen, dass bei unterschiedlichen Regressoren die Koeffizienten unterschiedlichen Vergleichen von Gedankenexperimenten entsprechen und sich die Interpretation entsprechend ändert. Die sich ändernden Vorzeichen weisen nicht unbedingt auf Multikollinearität hin. Die Variablenauswahl sollte von der Theorie, sorgfältigen Überlegungen und Ihren endgültigen Zielen abhängen.

Nichts, was Sie gesagt haben, weist mich darauf hin, dass es ein Problem mit Ihren Modellen gibt: Sie sind alle gute Antworten auf verschiedene Fragen. Es liegt an Ihnen, zu entscheiden, welche Frage Sie beantworten möchten und somit welches Modell Sie melden möchten.