您现在的位置是:首页 >技术教程 >机器学习框架sklearn之随机森林网站首页技术教程

机器学习框架sklearn之随机森林

疯狂的小强呀 2023-05-22 20:00:02
简介机器学习框架sklearn之随机森林

集成学习方法

集成学习通过建立几个模型组合来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立的学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。

随机森林

在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。

  • 随机森林原理过程

    学习算法根据下列算法而建造每棵树:

    • 用N来表示训练用例(样本)的个数,M表示特征数目
      • 一次随机选出一个样本,重复N次(有可能出现重复样本)
      • 随机去选出m个特征,m<<M,建立决策树
    • 采取bootstrap抽样(随机有放回抽样)

    为什么采用Bootstrap抽样?

    • 为什么要随机抽样训练集?
      • 如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样的
    • 为什么要有放回的抽样?
      • 如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是“有偏的”,都是“片面的”,也就是说每棵树训练出来都是有很大差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决

API

class sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion='gini',max_depth=None,bootstrap=True,random_state=None,min_samples_split=2)

-随机森林分类器
-n_estimators:integer,optional(default=10)森林里的树木数量
-criterion:string,可选(default=“gini”)分割特征的测量方法
-max_depth:integer或None,可选(默认=无)树的最大深度
-max_features="auto",每个决策树的最大特征数量
	-if "auto",then max_features=sqrt(n_features)
	-if "sqrt",then max_features=sqrt(n_features)
	-if "log2",then max_features=log2(n_features)
	-if None,then max_features=n_features
-bootstrap:Boolean,optional(default=True)是否在构建树时使用放回抽样
-min_samples_split:节点划分最少样本数
-min_samples_leaf:叶子节点的最小样本数
-超参数:n_estimators,max_depth,min_samples_split,min_samples_leaf

使用

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.feature_extraction import DictVectorizer
def forest_demo():
    #获取数据
     path="http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt"
     titanic=pd.read_csv(path)
     x=titanic[["pclass","age","sex"]]
     y=titanic["survived"]
     #数据处理
     #缺失值处理
     x["age"].fillna(x["age"].mean(),inplace=True)
     #转换成字典
     x.to_dict(orient="records")
     x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=22)
    #字典特征抽取
     transfer=DictVectorizer()
     x_train=transfer.fit_transform(x_train)
     x_test=transfer.transform(x_test)
    #随机森林
     estimator=RandomForestClassifier()
     # 加入网格搜索与交叉验证
     param_dict={"n_estimators":[120,200,300],"max_depth":[5,8,25,30]}
     estimator=GridSearchCV(estimator,param_grid=param_dict,cv=3)
     estimator.fit(x_train,y_train)
     # 方法一
     y_predict = estimator.predict(x_test)
     print("直接比对真实值和预测值:
", y_test == y_predict)
     # 方法二
     score = estimator.score(x_test, y_test)
     print("准确率为:
", score)
     # 最佳参数:best_params_
     print("最佳参数:
", estimator.best_params_)
     # 最佳结果:best_score_
     print("最佳结果:
", estimator.best_score_)
     # 最佳估计器:best_estimator_
     print("最佳估计器:
", estimator.best_estimator_)
     # 交叉验证结果:cv_results_
     print("交叉验证结果:
", estimator.cv_results_)
     return None

总结

  • 在当前所有算法中,具有极好的准确率
  • 能够有效的运行在大数据集上,处理具有高维特征的输入样本,而且不需要降维
  • 能够评估各个特征在分类问题上的重要性
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。