Sen(Qian)’s Memo

決定木は2つの子グループに分けるとき、Entropyやジニ係数が一番下がる特徴量&それの閾値で分けていた。Entropyやジニ係数について、実は損失関数として組み込んだObjectiveの式にまとめ直すことができる。 ということで、先行研究のuPUやnnPUの式をObjectiveとして使って、決定木の決断に使う。 そのうえでRandom Forestの時は、通常各木で使う特徴量やデータもランダムに選んだ部分集合にするが、今はさらにその閾値すらランダムに決定する、Extra Treesという手法を使う。