Ich war gerade an einem Q / A beteiligt, bei dem ein armer Kerl aufgefordert wurde, einen statistischen Test durchzuführen, um zu beweisen , dass Algorithmus A besser ist als zwei andere Algorithmen. Er hat jedoch nur 4 Datenpunkte. Ist es wirklich sinnvoll, einen statistischen Test mit 4 Punkten durchzuführen? Wo ist die Grenze? Zu drei?
Zur Verdeutlichung verstehe ich, dass 12 Zahlen gemeldet werden, aber für mich sieht es eher nach 4 dreidimensionalen Datenpunkten oder 3 vierdimensionalen Datenpunkten aus.
In ihren Antworten führen die Autoren einige Annahmen über die Unterstreichungsverteilungen ein, um die Anzahl der Datenpunkte künstlich zu erhöhen und dabei Mittelwerte von vier Zahlen zu berechnen. oder führen Sie T-Tests an Algorithmuspaaren durch (Vergleich von insgesamt 8 Zahlen für jedes Paar) und treffen Sie erneut unbegründete Annahmen über die Unterstreichungsverteilung.
Wie zuverlässig ist dieser Prozess, wenn Sie die Unterstreichungsverteilung nicht kennen und weil Sie nicht über genügend Daten verfügen, können Sie nicht hoffen, sie ableiten / validieren zu können? Ist es nicht fairer zu sagen, dass Sie mit so wenigen Daten nicht viel anfangen können?