Per Definition haben wir

$$ \ operatorname {var} \ left (\ sum_ {i = 1} ^ n {X_i} \ right) = \ operatorname {cov} \ left (\ sum_ { i = 1} ^ n {X_i}, \ sum_ {i = 1} ^ n {X_i} \ right) = \ sum_ {i = 1} ^ n {\ operatorname {var} (X_i)} + \ sum_ {i \ neq j} \ operatorname {cov} (X_i, X_j) $$ span>

ist $ n \ operatorname {var} (X_i) + n (n-1) \ operatorname {cov} (X_i, X_j) = n \ sigma ^ 2 + n (n-1) \ rho \ sigma ^ 2 $ span>, wobei $ i \ neq j $ span>. Wenn Sie dies in die ursprüngliche Gleichung einsetzen, erhalten Sie Folgendes:

$$ \ operatorname {var} \ left (\ frac {1} {n} \ sum_ {i = 1} ^ nX_i \ right) = \ frac {1} { n ^ 2} (n \ sigma ^ 2 + n (n-1) \ rho \ sigma ^ 2) = \ rho \ sigma ^ 2 + \ frac {1- \ rho} {n} \ sigma ^ 2 $$

Jeder $ X_i $ span> kann als ein einzelner Entscheidungsmechanismus betrachtet werden, nennen wir ihn DM (z. B. Regressor). Die Varianz Ihrer Entscheidung war $ \ sigma ^ 2 $ span>. Wenn Sie Bootstrap-Beispiele verwenden und die Ausgaben Ihrer DMs aggregieren, erhalten Sie eine Entscheidungsvarianz wie oben, die streng kleiner ist als $ \ sigma ^ 2 $ span>, wenn $ \ rho \ neq 1 $ span> und $ n \ neq 1 $ span>. DMs weisen natürlich einen gewissen Grad an Korrelation auf, da sie über Bootstrap-Samples trainiert werden, die aus demselben Basisdatensatz stammen. Die Korrelation zwischen ihnen wird jedoch höchstwahrscheinlich nicht gleich $ 1 $ span> sein. Überangepasste Mechanismen weisen im Allgemeinen eine große Varianz auf. Wenn Sie also darauf abzielen, die Varianz Ihres DM zu verringern, lösen Sie das Problem der impliziten Überanpassung tatsächlich.