Bäume in RF- und Einzelbäumen werden mit dem gleichen Algorithmus (normalerweise CART) erstellt. Der einzige kleine Unterschied besteht darin, dass ein einzelner Baum bei jeder Teilung alle Prädiktoren versucht, während Bäume in RF bei jeder Teilung nur eine zufällige Teilmenge der Prädiktoren versuchen (dies erzeugt unabhängige Bäume ). Außerdem basiert jeder Baum in einer RF auf einem Bootstrap-Beispiel der ursprünglichen Trainingsdaten und nicht auf dem vollständigen Trainingssatz. Dies macht jeden Baum in der Gesamtstruktur zu einem Experten für einige Domänen des Datenraums und an anderer Stelle schlecht.

Aus diesen Gründen ist es nicht sinnvoll, einen einzelnen Baum aus einer zufälligen Gesamtstruktur zu extrahieren, um dies zu tun Verwenden Sie es als Klassifikator. Abhängig von den Fachgebieten kann es zu besseren Ergebnissen führen als ein herkömmlicher Baum, der mit CART auf dem gesamten Datensatz erstellt wurde, oder viel schlimmer. Das, was einem RF ermöglicht, viel besser als ein einzelner Baum zu sein, ist, dass es viele dekorrelierte Bäume wachsen lässt und deren Ausgabe mittelt. Nur wenn das Expertengremium aus genügend Mitgliedern besteht (normalerweise zwischen 200 und 2000), wird die Varianz verringert. Jeder einzelne Baum eines RF wäre jedoch schwächer als ein einzelner Baum, der mit einem herkömmlichen WARENKORB erstellt wurde.

Sie können sicher einen Baum aus einer RF extrahieren, um ein Gefühl dafür zu bekommen, was im Wald vor sich geht (siehe den Link, den ich in meinem Kommentar oben angegeben habe). Verwenden Sie diesen einzelnen Baum nur nicht als Klassifikator.

Vielleicht suchen Sie nach dem von Domingos in den 90er Jahren entwickelten Ansatz Kombinieren mehrerer Modelle (CMM). Details zur Verwendung mit einem umfassenden Ensemble von C4.5-Regeln finden Sie in seinem ICML-Artikel

Domingos, Pedro. "Wissenserwerb aus Beispielen über mehrere Modelle." In Proceedings of the Fourteenth International Conference on Machine Learning . 1997.

Der Pseudocode in Tabelle 1 ist jedoch nicht spezifisch für C4.5 in Beuteln:

Um dies anzuwenden Zufällige Wälder, das Hauptproblem scheint zu sein, wie das zufällig generierte Beispiel $ \ overrightarrow {x} $ generiert wird. Hier ist ein Notizbuch, das eine Möglichkeit zeigt, dies mit sklearn zu tun.

Ich habe mich gefragt, welche Folgearbeiten an CMM durchgeführt wurden. und wenn jemand einen besseren Weg gefunden hat, um $ \ overrightarrow {x} $ zu generieren. Ich habe hier eine neue Frage dazu erstellt.

Mit Ausnahme sehr unwahrscheinlicher Szenarien kann eine zufällige Waldvorhersage nicht durch einen einzelnen Baum dargestellt werden. Dies liegt daran, dass sie Prädiktoren in verschiedenen Hypothesenklassen lernen: Ein zufälliger Wald lernt Prädiktoren über den Raum linearer Baumkombinationen, einschließlich Prädiktoren, die keine Bäume sind. Anders ausgedrückt: Wälder lernen Prädiktoren im Bereich der Bäume.

Das heißt, es besteht die Hoffnung, dass es einen Baum gibt, der eine gute Annäherung an den Waldprädiktor darstellt. Eine schnelle und schmutzige Methode, diesen Baum zu finden, besteht darin, einen Baum an die Vorhersagen des Waldes anzupassen. Die Qualität seiner Vorhersagen hängt von der "Entfernung" vom besten Waldprädiktor bis zu seiner besten Baumnäherung ab.

Es sieht so aus, als würden Sie zwei Probleme ansprechen: 1. Interpretierbarkeit und 2. Effizienz der Vorhersage. Wie bereits in den obigen Kommentaren erwähnt, können Sie in Python variable Wichtigkeit extrahieren, sodass Punkt 1 angesprochen wird.

Um Punkt 2 anzusprechen, wenn Sie sich mit der Effizienz bis hinunter befassen In Mikrosekunden möchten Sie möglicherweise andere Algorithmen untersuchen, z. B. die logistische Regression, und die Leistung außerhalb der Stichprobe mit der von Random Forest generierten vergleichen. Wenn die Leistung nahezu gleichwertig ist, die logistische Regression jedoch viel schneller ist, können Sie sich für die logistische Regression entscheiden.

Wenn Sie Random Forest verwenden, lautet die kurze Antwort, dass Sie technisch könnte einen zufälligen Baum erstellen, indem ntree = 1 gesetzt wird, und es könnte eine anständige Vorhersage erzeugen, aber eine Sammlung von Bäumen ist viel besser als ein einzelner Baum. Es ist also nicht sinnvoll, nur einen Baum aus der Teilmenge der Bäume zu erstellen, es sei denn, Sie möchten die Leistung außerhalb der Stichprobe gegen Effizienz eintauschen.

Außerdem können Sie die Vorhersagen um beschleunigen ein Faktor von 10 oder mehr, indem nur eine Teilmenge der Bäume in der endgültigen Vorhersage verwendet wird. Wenn Sie 1500 Bäume trainieren, können Sie die Teilmenge auswählen, die am besten zur endgültigen Vorhersage beiträgt. Ich denke an etwas in der Art von Ensemble-Auswahl aus einem Bibliotheksmodell, bei dem jeder Baum in Ihrem Wald das Modell in Ihrem Ensemble wäre.

Einer der Klassiker beim Kombinieren solcher Funktionen ist "Graphbasierte Algorithmen zur Manipulation boolescher Funktionen". Es hat über 3.000 Zitate. Sie können die Bäume nur als Sonderfall von Booleschen Funktionen behandeln.

Bitte beachten Sie, dass das Einzelbaummodell wahrscheinlich auch groß ist, wenn Ihr zufälliges Waldmodell groß ist.

Wie JohnRos oben sagt, können Sie tatsächlich nach einer globalen Einzelbaumnäherung von Random Forest suchen, indem Sie versuchen, einen einzelnen Baum an die Vorhersage des Random Forest an einer (sehr) großen Anzahl von Punkten anzupassen.Es kann für andere Black-Box-Modelle funktionieren.Es wird von [1] als "Orakel" -Ansatz für die globale Einzelbaumnäherung bezeichnet (da die Black Box als Orakel für den Einzelbaum verwendet wird). Wenn ich mich traue, habe ich hier ein paar Beispiele und weitere Erklärungen zu Github geladen: https://github.com/ljmdeb/GSTA

[1] Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Fosca Giannotti und Dino Pedreschi.2018. Ein Überblick über Methoden zur Erklärung von Black-Box-Modellen.ACM Comput.Surv.51, 5, Artikel 93 (August 2018), 42 Seiten.(insbesondere die Tabelle auf Seite 93:26)