Ich denke, Sie haben dort zwei verschiedene Arten von Fragen. Eine Sache ist, was Sie im Titel fragen: "Was sind gute RMSE-Werte?" und eine andere Sache ist, wie man Modelle mit verschiedenen Datensätzen unter Verwendung von RMSE vergleicht.

Für die erste, dh die Frage im Titel, ist es wichtig, sich daran zu erinnern, dass RMSE dieselbe Einheit wie die abhängige Variable (DV) hat ). Dies bedeutet, dass es keinen absolut guten oder schlechten Schwellenwert gibt. Sie können ihn jedoch basierend auf Ihrem DV definieren. Für ein Datum im Bereich von 0 bis 1000 ist ein RMSE von 0,7 klein, aber wenn der Bereich von 0 bis 1 reicht, ist er nicht mehr so ​​klein. Obwohl je kleiner der RMSE, desto besser, können Sie theoretische Aussagen zu den RMSE-Werten machen, indem Sie wissen, was von Ihrem DV in Ihrem Forschungsbereich erwartet wird. Denken Sie daran, dass Sie den RMSE immer normalisieren können.

Bei der zweiten Frage, dh zum Vergleichen zweier Modelle mit unterschiedlichen Datensätzen mithilfe von RMSE, können Sie dies tun, vorausgesetzt, der DV ist in beiden Modellen gleich. Je kleiner desto besser, aber denken Sie daran, dass kleine Unterschiede zwischen diesen RMSE möglicherweise nicht relevant oder sogar signifikant sind.

Der RMSE für Ihr Training und Ihre Testsätze sollte sehr ähnlich sein, wenn Sie ein gutes Modell erstellt haben. Wenn der RMSE für den Testsatz viel höher ist als der des Trainingssatzes, ist es wahrscheinlich, dass Sie die Daten schlecht angepasst haben, dh Sie haben ein Modell erstellt, das in Stichproben gut testet, aber beim Testen nur einen geringen Vorhersagewert hat aus der Probe.

Obwohl dies ein alter Thread ist, hoffe ich, dass meine Antwort jedem hilft, der nach einer Antwort auf dieselbe Frage sucht.

Wenn wir über Zeitreihenanalyse sprechen, meinen wir meistens die Untersuchung von ARIMA-Modellen (und ihren Varianten). Daher werde ich in meiner Antwort zunächst dasselbe annehmen.

Zunächst einmal gibt es, wie der frühere Kommentator R. Astur erklärt, keinen guten RMSE, da er skalierungsabhängig ist, d. h. von Ihrer abhängigen Variablen abhängt. Daher kann man eine universelle Zahl nicht als guten RMSE beanspruchen.

Selbst wenn Sie sich für skalierungsfreie Anpassungsmaße wie MAPE oder MASE entscheiden, können Sie dennoch keine Schwelle für eine gute Leistung beanspruchen. Dies ist nur ein falscher Ansatz. Sie können nicht sagen "Meine MAPE ist so und so, daher ist meine Passform / Prognose gut". Ich glaube, Sie sollten sich Ihrem Problem wie folgt nähern. Finden Sie zuerst ein paar "bestmögliche" Modelle, indem Sie eine Logik wie das Durchlaufen der arima () - Funktionsausgänge in R verwenden, und wählen Sie die besten n geschätzten Modelle basierend auf dem niedrigsten RMSE oder MAPE oder MASE aus. Da es sich um eine bestimmte Serie handelt und nicht versucht wird, einen universellen Anspruch geltend zu machen, können Sie eine dieser Maßnahmen auswählen. Natürlich müssen Sie die Restdiagnose durchführen und sicherstellen, dass Ihre besten Modelle White Noise-Residuen mit gut verhaltenen ACF-Plots erzeugen. Nachdem Sie einige gute Kandidaten gefunden haben, testen Sie die MAPE außerhalb der Stichprobe jedes Modells und wählen Sie die mit der besten MAPE außerhalb der Stichprobe aus.

Das resultierende Modell ist das beste Modell in dem Sinne, dass es:

1. Bietet Ihnen eine gute In-Sample-Anpassung, verbunden mit geringen Fehlermaßen und WN-Residuen.
2. Und vermeidet Überanpassung, indem Sie die beste Prognosegenauigkeit außerhalb der Stichprobe erzielen.
ol>

Ein entscheidender Punkt ist nun, dass es möglich ist, eine Zeitreihe mit einem ARIMA (oder seinen Varianten) zu schätzen, indem genügend Verzögerungen der abhängigen Variablen oder des Restterms berücksichtigt werden. Dieses angepasste "beste" Modell kann jedoch nur zu stark passen und Ihnen eine dramatisch niedrige Genauigkeit außerhalb der Stichprobe bieten, d. H. Meinen Aufzählungspunkt 1 erfüllen, aber nicht 2.

In diesem Fall müssen Sie Folgendes tun:

1. Fügen Sie eine exogene erklärende Variable hinzu und wählen Sie ARIMAX,
2. Fügen Sie eine endogene erklärende Variable hinzu und wählen Sie VAR / VECM,
3. Oder ändern Sie Ihren Ansatz vollständig in nichtlineare Modelle für maschinelles Lernen und passen Sie sie mithilfe eines Cross-Validation-Ansatzes an Ihre Zeitreihen an. Passen Sie beispielsweise ein neuronales Netzwerk oder eine zufällige Gesamtstruktur an Ihre Zeitreihe an. Wiederholen Sie den Leistungsvergleich innerhalb und außerhalb der Stichprobe. Dies ist ein Trendansatz für Zeitreihen, und die Artikel, die ich gesehen habe, begrüßen die Modelle des maschinellen Lernens für ihre überlegene Prognoseleistung (außerhalb der Stichprobe).
ol>

Hoffe das hilft.

Sie können keinen bestimmten Schwellenwert für RMSE festlegen.Wir müssen uns den Vergleich des RMSE sowohl von Test- als auch von Zugdatensätzen ansehen.Wenn Ihr Modell gut ist, ähnelt Ihr RMSE der Testdaten dem Trainieren des Datensatzes.Ansonsten sind die folgenden Bedingungen erfüllt.

RMSE des Tests> RMSE des Zuges => ÜBERMITTELUNG der Daten.
RMSE des Tests < RMSE des Zuges => UNTER ANPASSUNG der Daten.

Persönlich mag ich den RMSE / Standardabweichungsansatz. Der Bereich ist irreführend, es kann zu einer verzerrten Verteilung oder zu Ausreißern kommen, während die Standardabweichung dies berücksichtigt. Ebenso ist RMSE / Mittelwert völlig falsch - was ist, wenn Ihr Mittelwert Null ist? Dies hilft Ihnen jedoch nicht zu sagen, ob Sie ein gutes Modell haben oder nicht. Diese Herausforderung ähnelt der Arbeit mit binären Klassifikationen und der Frage "Ist mein Gini zu 80% gut?". Kommt darauf an. Vielleicht hätten Sie durch zusätzliches Tuning oder Feature-Engineering ein besseres Modell bauen können, das Ihnen einen Gini von 90% gibt (und immer noch anhand des Testmusters validiert). Dies hängt auch vom Anwendungsfall und der Branche ab. Wenn Sie einen Verhaltens-Kredit-Score entwickelt haben, ist ein Gini von 80% "ziemlich gut". Wenn Sie jedoch einen neuen Kredit-Score für Anwendungen entwickeln (der von Natur aus Zugriff auf weniger Daten hat), ist ein Gini von 60% ziemlich gut. Ich denke, wenn es darum geht, ob der RMSE / std dev "Score" Ihres Modells gut ist oder nicht, müssen Sie Ihre eigene Intuition entwickeln, indem Sie dies anwenden und aus vielen verschiedenen Anwendungsfällen lernen.