Sie verwenden eine Vielzahl verschiedener Modelltypen , was dies zu einer interessanten Situation macht. Wenn Leute sagen, dass sie mit der Modellauswahl beschäftigt sind, bedeuten sie normalerweise, dass sie einen Modelltyp mit unterschiedlichen Sätzen von Prädiktoren haben (zum Beispiel ein multiples Regressionsmodell mit den Variablen A, B, C & D gegen A, B & A * B usw.). Beachten Sie, dass wir zur Bestimmung des besten Modells angeben müssen, was "am besten" bedeutet. Da Sie sich auf Data Mining-Ansätze konzentrieren, gehe ich davon aus, dass Sie die Vorhersagegenauigkeit maximieren möchten. Lassen Sie mich ein paar Dinge sagen:

1. Können / sollten Sie sie mit einem Bayes-Faktor vergleichen? Ich vermute, dass dies möglich ist, aber ich habe dort wenig Fachwissen, daher sollte ich einen anderen Lebenslauf-Verfasser dies ansprechen lassen. Es gibt viele hier, die in diesem Thema ziemlich stark sind.
2. Soll ich alle Methoden von AIC vergleichen? Ich würde den AIC in Ihrer Situation nicht verwenden. Im Allgemeinen schätze ich den AIC sehr, aber er ist nicht für jede Aufgabe geeignet. Es gibt verschiedene Versionen des AIC, aber im Wesentlichen funktionieren sie gleich: Der AIC passt ein Maß für die Anpassungsgüte an die Fähigkeit eines Modells an, Anpassungsgüte zu erzeugen. Dazu wird das Modell für die Anzahl der Parameter bestraft. Dies setzt also voraus, dass jeder Parameter gleichermaßen zur Fähigkeit eines Modells beiträgt, Daten anzupassen. Beim Vergleich eines multiplen Regressionsmodells mit einem anderen multiplen Regressionsmodell ist dies richtig. Es ist jedoch überhaupt nicht klar, dass das Hinzufügen eines anderen Parameters zu einem multiplen Regressionsmodell gleichermaßen die Fähigkeit des Modells erhöht, Daten anzupassen, wie das Hinzufügen eines weiteren Parameters zu einem ganz anderen Typ des Modells (z , ein neuronales Netzwerkmodell oder ein Klassifizierungsbaum).
3. Soll ich alle Methoden von Kappa vergleichen? Ich weiß auch etwas weniger über die Verwendung von Kappa für dieses Ziel, aber hier ist eine Ressource mit einigen guten allgemeinen Informationen darüber, und hier ist ein Artikel, über den ich gestolpert bin > Verwendet es auf diese Weise und kann für Sie hilfreich sein (nb, ich habe es nicht gelesen).
4. Soll ich alle Methoden durch Kreuzvalidierung vergleichen? Dies ist wahrscheinlich die beste Wahl. Das ausgewählte Modell minimiert den Vorhersagefehler bei einem Holdout-Satz.
5. "Werde ich jemals sicher sein, das beste Modell auszuwählen?" Nee. Wir spielen hier ein probabilistisches Spiel, und das ist leider auch so. Ein Ansatz, der sich wahrscheinlich lohnt, besteht darin, Ihre Daten zu booten und den Modellauswahlansatz Ihrer Wahl auf jedes Boot-Beispiel anzuwenden. Dies gibt Ihnen eine Vorstellung davon, wie deutlich ein Modell gegenüber den anderen bevorzugt wird. Dies wird rechenintensiv sein (gelinde gesagt), aber eine kleine Anzahl von Iterationen sollte für Ihre Zwecke ausreichen, ich sollte denken, 100 wären genug.
ol>

In meinen Augen ist die Kreuzvalidierung ein ziemlich solider Goldstandard für Vergleiche, die sich auf die Fähigkeit der Modelle konzentrieren, neue Daten vorherzusagen. Zumindest für den GLM-Fall wurde jedoch gezeigt, dass AIC (Stone, 1977) asymptotisch der Kreuzvalidierung entspricht. Wenn Sie also mit einer asymptotischen Annahme einverstanden sind, können Sie sich etwas sparen Berechnen Sie die Zeit, indem Sie mit AIC arbeiten, anstatt die vollständige Kreuzvalidierung zu berechnen.

Angenommen, Sie verwenden Klassifizierungsfehler oder ähnliches wie Ihr Leistungsmaß. Warum versuchen Sie dann nicht, alle Modelle gegenseitig zu validieren?

Teilen Sie Ihre Daten beispielsweise in 10 Blöcke auf und tun Sie dies dann 10 Runden bauen und testen, wobei einer dieser Brocken als Testsatz und die anderen neun als Training verwendet werden (dh Runde 1: Zug 2-10, Test 1. Runde 2: Zug 1 + 3-10, Test 2. Runde 3: Zug 1-2 + 4-10, Test 3).

Mit diesem Ansatz können Sie herausfinden, welcher Algorithmus (und welche Parameter für diese Modelle) die beste Leistung erbringen.

Eines der Dinge Anfangs hatte ich Probleme damit, dass nicht so sehr das eigentliche Modell, das erstellt wird, von Bedeutung ist, sondern vielmehr die Funktion, die Sie aufrufen, und die Parameter, die Sie dafür bereitstellen.