添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
相关文章推荐
帅气的水桶  ·  Update "Install the ...·  2 月前    · 
老实的开心果  ·  Windows installer ...·  4 月前    · 
仗义的沙滩裤  ·  心胸外科 - AsiaMD - ...·  4 月前    · 
阅读随机森林模型前,建议首先阅读 决策树模型手册 ,因为随机森林模型实质上是多个决策树模型的综合,决策树模型只构建一棵分类树,但是随机森林模型构建非常多棵决策树,相当于在重复决策树模型。随机森林模型基于随机样本进行构建,并且在每个树节点时,考虑到分裂随机特征性,因而一般意义上,随机森林模型优于决策树模型(但并不一定,实际研究中应该以数据为准)。 上述中提及随机森林模型是多个决策树模型的综合,但是数据本身就只有一份,其是如何做到多个决策树模型呢?此处涉及到随机抽样原理,比如有100个数据,第1次随机从其中随机抽取100个数据,就得到一份新数据,即可使用该新数据进行一次决策树模型构建,接着第2次重复随机抽取100个数据,又得到一份新数据,再次使用新数据进行一次决策树模型构建。不停地重复循环上述步骤,即得到多个决策树模型;至于应该是多少个决策树,这可由参数设置决定。在得到多个决策树后,利用投票方式(比如多份数据均指向应该为A类别,那么就为A类别)或者求解均值概率方式来统计最终的分类结果。 除此之外, 随机森林的其它参数和指标解读,与决策树基本一致,因为其实质性原理为多个决策树模型的综合而已。

随机森林模型案例

最大特征数目限制:随机森林构建多棵决策树,每棵决策树不一定使用全部的特征(即自变量X),其可只使用部分特征,此参数值设置使用特征数量限制,通常情况下不需要对该参数设置,系统自动判断即可。 决策树数量:默认值为100,即构建100模决策树,该参数值可自行设置,通常不需要设置,决策树数量越多,模型构建越稳定,但模型运行时间越长。 是否有放回抽样:随机抽样原理上,比如100个样本中抽100个,第1次抽到编号5,第2次是否还可能继续抽到编号5,如果是放回抽样则可能,如果是不放回抽样则不可能再抽到编号5,正常情况下应该使用放回抽样,尤其是在样本数据集较少时。 袋外数据测试:比如100个样本随机抽100个,某些样本重复被抽到,可能余下一些编号无论如何也没有抽到,该类数据称为‘袋外数据’,此部分数据可在测试数据中进行使用。该参数不被选中时,即测试模型不使用袋外数据进行测试。 随机森林时,通常可以对“节点分列最小样本量”、“叶节点最小样本量”、“树最大深度”进行参数设置,该3个参数值与决策树模型完全一致,可参考 决策树模型手册 。 训练集比例默认选择为:0.8即80%(150*0.8=120个样本)进行训练随机森林模型,余下20%即30个样本(测试数据)用于模型的验证。需要注意的是,多数情况下,会首先对数据进行标准化处理,处理方式一般使用为正态标准化,此处理目的是让数据保持一致性量纲。当然也可使用其它的量纲方式,比如区间化,归一化等。 接着对参数设置如下: 具体上述具体指标的解读,可见决策树模型帮助手册,通常使用F1-score值进行评估即可,整体上,训练数据的F1-score值为0.95很高,而且测试数据时综合f1-score值为0.94,也很高(需要提示的是:在决策树模型时该值为0.906),意味着随机森林带来相对更优的预测结果。 接着可查看测试数据的‘混淆矩阵’,即模型预测和事实情况的交叉集合,如下图: model = RandomForestClassifier(criterion=gini, max_depth=40, min_samples_leaf=10, min_samples_split=2, n_estimators=100, bootstrap=True, oob_score=True, max_features=auto) model.fit(x_train, y_train)