Frage:
Sollte eine Multiple-Choice-Umfrage eine neutrale Antwort enthalten?
Reinstate Monica - Goodbye SE
2011-01-26 19:24:23 UTC
view on stackexchange narkive permalink

Ich möchte eine Umfrage zur Qualität eines Produkts durchführen, die mehrere Fragen mit fünf möglichen Antworten enthält:

  1. Sehr schlecht
  2. Schlecht
  3. OK / Keine Meinung
  4. Gut
  5. Sehr gut
  6. ol>

    Ein Kollege hat mir geraten, Option 3 (OK / Keine Meinung) aufzugeben, um Menschen zu zwingen zur Auswahl.

    Welche Daten liefern die zuverlässigsten / nützlichsten Daten? Gibt es eine bevorzugte Option oder hängt sie von anderen Faktoren ab (wenn ja, welche)?

    Ich verstehe, dass Gallup normalerweise fünf Optionen hat, weshalb ich fünf wähle.

Dies ist keine professionelle Meinung, daher schreibe ich sie in einen Kommentar. Als Antwort auf Fragebögen wundere ich mich immer über die Gültigkeit von Ergebnissen, die auf Fragen basieren, bei denen keine Antwort meiner Meinung entspricht. Wenn Sie mich zwingen, willkürlich zu antworten, erhalten Sie willkürliche Ergebnisse. Wenn viele Befragte das gleiche Problem mit einer Frage haben, ist auch die * kollektive * Antwort willkürlich. (Dies kann zu schrecklichen Entscheidungen führen, wenn Sie keine unabhängige Möglichkeit haben, zu überprüfen, ob diese Ergebnisse bedeutungslos sind.)
Ich glaube nicht, dass dies eine Frage der Statistik ist. Wenn die Frage dahingehend geändert wurde, wie Sie die Zuverlässigkeit zwischen den beiden separaten Optionen bewerten, liegt dies eher in der Domäne der Site. Jede Aussage, die das eine oder andere als richtig behandelt, basiert auf domänenspezifischem Wissen.
Ich denke, OK unterscheidet sich in den meisten Situationen stark von Keine Meinung. Wenn Sie "keine Meinung" einfügen möchten, setzen Sie es als 6. Option (oder entfernen Sie den OK-Teil).
Sechs antworten:
#1
+10
caracal
2011-01-26 22:03:55 UTC
view on stackexchange narkive permalink

Neutrale Punkte können für viele Menschen viele verschiedene Dinge bedeuten. Die Art und Weise, wie Sie die mittlere Wahl selbst bezeichnet haben, spiegelt diese Unsicherheit wider. Einige Gründe für die Wahl des neutralen Punkts aus der Sicht eines Teilnehmers:

  • Ich möchte nicht wirklich über meine Antwort auf diese Frage nachdenken (ich möchte nur bezahlt werden und gehen)
  • Ich habe keine feste Meinung zu dieser Frage
  • Ich verstehe die Frage nicht, möchte aber nicht fragen (ich möchte nur bezahlt werden und gehen)
  • In Bezug auf den gegebenen Aspekt weist das Produkt einige hochwertige Merkmale auf und einige Merkmale von geringer Qualität

Ohne weitere Qualifikation können die Personen, die die mittlere Kategorie wählen, somit eine sehr heterogene Sammlung von Einstellungen / Erkenntnissen darstellen. Mit einer guten Kennzeichnung kann ein Teil dieser Verwirrung vermieden werden.

Sie können auch eine separate Kategorie "Keine Antwort" angeben. Die Teilnehmer interpretieren eine solche Kategorie jedoch häufig als Signal, um nur dann eine Antwort zu geben, wenn sie sich bei ihrer Wahl sehr sicher fühlen. Mit anderen Worten, die Teilnehmer neigen dann dazu, "keine Antwort" zu wählen, weil sie sich nicht gut genug informiert fühlen, um eine Entscheidung zu treffen, die den Qualitätsstandards der Fragebogendesigner entspricht.

IMHO gibt es keine richtige Antwort darauf Ihre Frage. Sie müssen sehr vorsichtig sein, wenn Sie einige oder alle der vorgestellten Optionen kennzeichnen, viele Vortests mit zusätzlichen kostenlosen Interviews der Teilnehmer durchführen, um festzustellen, wie sie die Optionen wahrgenommen haben. Wenn Sie wirklich pragmatisch sind, wählen Sie einfach ein Standard-Etikettenset, für das Sie einen Artikel zitieren können, den alle anderen immer zitieren, und damit fertig sind.

#2
+7
Chris Beeley
2011-01-27 22:04:35 UTC
view on stackexchange narkive permalink

Ich denke, diese ganze Sache "Menschen zwingen zu wählen" ist nur ein kompletter roter Hering. Die Leute sagen es mir die ganze Zeit. Für mich klingt es wie "Menschen zwingen, die Hauptstadt Usbekistans anzugeben". Sie wissen es nicht, und wenn sie gezwungen werden, werden sie es nicht besser wissen.

Nachdem dieser Mini-Rant vorbei ist, ist mein einziger vernünftiger Beitrag zu sagen, dass Sie immer Umfragen durchführen sollten, wann immer Sie können. Testen Sie beide Versionen, sehen Sie, wer die Kategorie "Weiß nicht" in der Kategorie verwendet, in der sie enthalten ist, und sehen Sie sich die Verteilung der Antworten an. Und sprechen Sie mit den Leuten, die es ausgefüllt haben. "Warst du dir deiner Antwort sicher?" "Warum hast du hier 'Weiß nicht' gesagt?" - so etwas.

#3
+2
kgarten
2011-01-27 01:16:51 UTC
view on stackexchange narkive permalink

Ich versuche, Fragen mit mehr als zwei Antworten zu vermeiden, da es unmöglich ist, sie zwischen Benutzern zu vergleichen. (gut gegen sehr gut kann sehr subjektiv sein). Ich formuliere die meisten Fragen in Binärform um (wobei die Möglichkeit besteht, gleichgültig zu sein): "Würden Sie das Produkt jeden Tag verwenden?"

Ja Nein Gleichgültig

"Würden Sie das Produkt Ihren Freunden empfehlen?"

usw.

Ich fand, dass die mit dieser Methode erzielten Ergebnisse viel besser mit dem Gefühl übereinstimmen, von dem ich kam spätere Interviews und Leistungstests. Meine bisherige Arbeit konzentriert sich jedoch auf Fragebögen zur Interaktion zwischen Mensch und Computer. Das Beste ist jedoch, Interviews mit realen Personen durchzuführen, wenn Sie mehr daraus lernen. Natürlich sind sie auch sehr zeitaufwändig :(

Viele Menschen haben sowohl gute als auch schlechte Gefühle in Bezug auf ein Produkt.Ich denke, eines der größten Probleme bei der Beantwortung von Zufriedenheitsumfragen besteht darin, dass sie nicht wirklich wissen, wie die guten und schlechten Gefühle bei der Meinungsäußerung ausgeglichen werden sollten.Wenn Sie eine Frage wie "Gibt es kleine Belästigungen, die behoben werden sollen" und "Wenn solche Störungen behoben würden, würden Sie das Produkt Ihren Freunden empfehlen" weiterverfolgen, können Sie gute und schlechte Gefühle voneinander trennen.
#4
+2
supercat
2014-12-23 00:14:19 UTC
view on stackexchange narkive permalink

Ich würde vorschlagen, dass es bei dem Versuch, die Vorlieben oder Abneigungen von Menschen zu beurteilen, einige relevante Maßstäbe gibt:

  1. Wie stark sind positive Gefühle für das Produkt?
  2. Wie stark sind negative Gefühle für das Produkt?
  3. Wie gründlich wurden Dinge untersucht, die positive oder negative Gefühle hervorrufen würden.
  4. ol>

    Da dies möglich ist Starke negative Gefühle, die durch Probleme erzeugt werden, die leicht zu beheben sind (und in einigen Fällen kann die Tatsache, dass ein Problem leicht zu beheben sein kann, das Ausmaß negativer Gefühle erhöhen), sollte ein Unternehmen wissen wollen, ob es viele Menschen gibt, die sowohl starke positive als auch starke negative Gefühle, da die Behandlung der Beschwerden dieser Personen relativ billig zu massivem Wohlwollen führen kann.

    Darüber hinaus kann ein Unternehmen davon profitieren, zu wissen, ob es viele Menschen gibt, die Dinge entdecken Sie mögen kein Produkt, bevor sie sich eingehend damit befassen, und gehen daher nie über t hinaus Schlauchbeschwerden. Wenn ein Produkt sowohl auf einer "flachen" als auch auf einer "tiefen" Ebene nützlich sein soll und nur 10% der Benutzer tief gehen, aber 90% dieser Personen Probleme haben, würde dies ein ganz anderes Bild darstellen als das, was Man würde nur wissen, dass 9% der Benutzer Probleme hatten.

    Ein häufiges Problem bei vielen Umfragen, die versuchen, die Optionen der Benutzer einzuschränken, ist, dass sie häufig keine Auswahlmöglichkeiten bieten, die das widerspiegeln, was Benutzer sagen möchten. Das getrennte Fragen nach positiven und negativen Gefühlen hilft Benutzern, die glauben, dass ein Produkt einen gewissen Wert hat, aber auch einige große Probleme damit hat. Wenn Sie fragen, wie gut Benutzer ein Produkt erkundet haben, können Sie diejenigen, die keine Probleme gefunden haben, weil es wirklich keine gibt, von denen unterscheiden, die keine Probleme gefunden haben, weil sie das Produkt nicht häufig verwendet haben.

#5
+1
John
2011-01-27 00:49:01 UTC
view on stackexchange narkive permalink

Wenn Sie offene Meinungen erkennen möchten, wählen Sie eine neutrale Option. Wenn Sie eine mögliche positive oder negative Vorspannung erkennen möchten, lassen Sie diese weg. Wie Caracal sagte, kennzeichnen Sie die Dinge so eindeutig wie möglich in Bezug auf das, was die Optionen widerspiegeln sollen.

Ich habe Studien gesehen, in denen nur die Form der Reaktion geändert wurde. Wenn es nur zwei Optionen gab, wie / nicht mögen, wurden zwei Stimuli in ungefähr gleichen Anteilen als sehr stark gemocht bewertet. Wenn die Probanden anschließend eine unendliche Bewertungsskala erhielten, in deren Mitte weder gefällt noch nicht gefällt, waren die Bewertungsunterschiede zwischen den beiden Stimuli groß (75% der Skala gegenüber 4%). Dies deutet darauf hin, dass Sie mit einer begrenzten Skala und ohne neutrale Option sehr kleine Verzerrungen als große Effekte erkennen können. Daher sollten Sie bei der Interpretation solcher Skalen vorsichtig sein und sie mit Bedacht verwenden.

#6
  0
KrishKalyan
2011-01-26 21:32:22 UTC
view on stackexchange narkive permalink

Die Tatsache, dass Sie den Befragten in dieser Situation zu einer positiven oder negativen Antwort zwingen, ist nicht korrekt. Der Befragte kann unentschlossen sein und es ist eine Möglichkeit; Es ist mehr, wenn es ein neues Produkt ist. Wenn Sie ein Instrument zur Qualitätsmessung entwickeln, ist es besser, 5 von Ihnen angegebene Optionen zu verwenden.

Wollen Sie damit sagen, dass vier Optionen für ein ** neues Produkt ** besser sind? Können Sie das näher erläutern - warum sagen Sie das?
Das neue Produkt befindet sich in der Anfangsphase und es ist möglicherweise nicht genügend Zeit vorhanden, um sich eine Meinung zu bilden. Vier Optionen sind für diesen Fall nicht gut.


Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 2.0-Lizenz, unter der er vertrieben wird.
Loading...