凡是过往，皆为序章

0%

机器学习_06

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.7k 阅读时长 ≈ 9 分钟

本节总结分类算法中的 决策树 和 随机森林 算法。

决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

决策树：是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，本质是一颗由多个判断节点组成的树。

决策树涉及概念较多，不好理解，这里就先给出 API ，学会基本的调用即可。

API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

  • criterion
    • 特征选择标准
    • “gini”或者”entropy”，前者代表基尼系数，后者代表信息增益。一默认”gini”，即CART算法。
  • min_samples_split
    • 内部节点再划分所需最小样本数
    • 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。 默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。我之前的一个项目例子，有大概10万样本，建立决策树时，我选择了min_samples_split=10。可以作为参考。
  • min_samples_leaf
    • 叶子节点最少样本数
    • 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。之前的10万样本项目使用min_samples_leaf的值为5，仅供参考。
  • max_depth
    • 决策树最大深度
    • 决策树的最大深度，默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间
  • random_state
    • 随机数种子

可视化

我们可以将训练好后的模型保存到本地，进行直观的可视化。

使用的API如下：

sklearn.tree.export_graphviz() 该函数能够导出DOT格式

  • tree.export_graphviz(estimator,out_file=’tree.dot’,feature_names=[‘’,’’])

但保存的 dot 文件是一堆数据，我们可以将数据放到网站上直观显示。

将dot文件内容复制到该网站当中显示

决策树API使用

初步使用

这里先给出一个小的鸢尾花实例，了解决策树的基本使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphviz


def tree_iris():
    """
    用决策树给鸢尾花数据集进行分类
    """
    iris = load_iris()
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)

    # 决策树预估器, 决策树不用对数据进行标准化
    estimator = DecisionTreeClassifier(criterion="entropy")
    estimator.fit(x_train, y_train)

    y_pre = estimator.predict(x_test)
    print("预测值y_predict: ", y_pre)
    print("直接对比真实值和预测值:\n", y_test == y_pre)

    # 计算准确率
    score = estimator.score(x_test, y_test)
    print("准确率为: ", score)

    # 可视化决策树, 指定feature_names, 使得树的结构更加清晰
    export_graphviz(estimator, out_file="./iris_tree.dot", feature_names=iris.feature_names)
    return None

案例：泰坦尼克号生存预测

经过观察数据得到:

  • 1 乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
  • 2 其中age数据存在缺失。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz


titanic = pd.read_csv("./titanic/titanic.csv")

# 1、筛选数据，得到特征值 和 目标值
x = titanic[['pclass', 'age', 'sex']]  # 将地位等级, 年龄 和 性别 作为特征值
y = titanic['survived']  # 将 是否活下来 作为目标值

# 2、数据处理，缺失值处理
x['age'].fillna(x['age'].mean(), inplace=True)  # 使用 age 的平均值 填充 age列的缺失位置

# 转换成字典，抽取字典格式更方便
x = x.to_dict(orient="records")  # [{'': ''},{'': ''}...] 最外层一个为列表

# 3、数据集划分
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 字典特征抽取
transfer = DictVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 决策树预估器
estimator = DecisionTreeClassifier(criterion="entropy", max_depth=6)
estimator.fit(x_train, y_train)

# 模型评估
y_predict = estimator.predict(x_test)

print("y_predict:", y_predict)
print("直接对比真实值和预估值:", y_test == y_predict)

# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为: ", score)

# 将树形结果导出
export_graphviz(estimator, out_file="./titanic.dot",feature_names=transfer.get_feature_names())

决策树总结

  • 优点：
    • 简单的理解和解释，树木可视化。
  • 缺点：
    • 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
  • 改进：
    • 减枝cart算法(决策树API当中已经实现，随机森林参数调优有相关介绍)
    • 随机森林

注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多， 可以选择特征

集成学习方法之随机森林

什么是集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

什么是随机森林

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终投票结果就是True

随机森林原理过程

学习算法根据下列算法而建造每棵树：

  • 用N来表示训练用例（样本）的个数，M表示特征数目。
    • 1、一次随机选出一个样本，重复N次， （有可能出现重复的样本）
    • 2、随机去选出m个特征, m <<M，建立决策树
  • 采取bootstrap抽样 （随机有放回抽样）

为什么采用BootStrap抽样

  • 为什么要随机抽样训练集？　　
    • 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
  • 为什么要有放回地抽样？
    • 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

API

  • class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)

    • 随机森林分类器
    • n_estimators：integer，optional（default = 10）森林里的树木数量120,200,300,500,800,1200
    • criteria：string，可选（default =“gini”）分割特征的测量方法
    • max_depth：integer或None，可选（默认=无）树的最大深度 5,8,15,25,30
    • max_features=”auto”,每个决策树的最大特征数量
      • If “auto”, then max_features=sqrt(n_features).
      • If “sqrt”, then max_features=sqrt(n_features) (same as “auto”).
      • If “log2”, then max_features=log2(n_features).
      • If None, then max_features=n_features.
    • bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
    • min_samples_split:节点划分最少样本数
    • min_samples_leaf:叶子节点的最小样本数

  • 超参数：n_estimator, max_depth, min_samples_split,min_samples_leaf

案例

利用上面用决策树做过的泰坦尼克号案例来实现随机森林的算法。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV


titanic = pd.read_csv("./titanic/titanic.csv")

# 1、筛选数据，得到特征值 和 目标值
x = titanic[['pclass', 'age', 'sex']]  # 将地位等级, 年龄 和 性别 作为特征值
y = titanic['survived']  # 将 是否活下来 作为目标值

# 2、数据处理，缺失值处理
x['age'].fillna(x['age'].mean(), inplace=True)  # 使用 age 的平均值 填充 age列的缺失位置

# 转换成字典，抽取字典格式更方便
x = x.to_dict(orient="records")  # [{'': ''},{'': ''}...] 最外层一个为列表

# 3、数据集划分
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 字典特征抽取
transfer = DictVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 随机森林
estimator = RandomForestClassifier()  # 不指定参数，后面进行网格搜索

param_dict = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)  # 加入网格搜索与交叉验证
estimator.fit(x_train, y_train)

# 模型评估
y_predict = estimator.predict(x_test)

print("y_predict:", y_predict)
print("直接对比真实值和预估值:", y_test == y_predict)

# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为: ", score)

print("在交叉验证中验证的最好结果：\n", estimator.best_score_)
print("最好的参数模型：\n", estimator.best_estimator_)
print("每次交叉验证后的准确率结果：\n", estimator.cv_results_)

随机森林总结

  • 在当前所有算法中，具有极好的准确率
  • 能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
  • 能够评估各个特征在分类问题上的重要性
~感谢你请我吃糖果~
-------------本文结束，感谢您的阅读，欢迎评论留言！-------------