继续上节的特征工程，本篇讲解特征工程下的特征预处理

特征预处理

目标：

了解数值型数据、类别型数据特点
应用MinMaxScaler实现对特征数据进行归一化
应用StandardScaler实现对特征数据进行标准化

什么是特征处理

什么是特征预处理？

sklearn官方给出的解释：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据的过程

主要内容

数据无量纲化是机器学习中数据预处理的一个流程。

在机器学习算法实践中，我们往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。

数据的无量纲化可以是线性的，也可以是非线性的。线性的无量纲化包括中心化（Zero-centered 或者 Mean-subtraction）处理和缩放处理（Scale）。中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置（数据归一化）。缩放的本质是通过除以一个固定值，将数据固定在某个范围内之中，取对数也算是一种缩放处理（数据标准化）。

数值型数据的无量纲化：

归一化
标准化

API

1	sklearn.preprocessing

为什么我们要进行归一化和标准化？

特征的单位可能大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响目标结果。

我们需要用到一些方法进行无量纲化，使不同规格的数据转换到同一规格。

归一化

通过将原始数据进行变换，映射到一个区间之内（默认为 [0 , 1] ）

公式

作用于每一列, max为一列的最大值, min为一列的最小值,那么X”为最终结果，mx,mi分别为指定区间值默认mx为1,mi为0

通过下面这个例子更好理解：

API

sklearn.preprocessing.MinMaxScaler(feature_range=(0,1)…)

MinMaxScaler.fit_transform(X)
- X ：numpy array 格式的数据 [n_samples , n_features]
返回值：转换后的形状相同的array

案例：

在代码的当前目录放入测试数据dating.txt

milage,Liters,Consumtime,target
12,343,45,667
123,123,45,667
82,323,15,37
12,343,425,647

测试代码如下：

import pandas as pd
from sklearn.preprocessing import MinMaxScaler


def minmax_demo():
    """
    归一化
    :return:
    """
    # 获取数据
    data = pd.read_csv("dating.txt")

    # 实例化一个转换器类
    transfer = MinMaxScaler()

    # 调用fit_transform转换
    data_new = transfer.fit_transform(data)
    # 若选取其中几列
    # data_new = transfer.fit_transform(data[['milage','Liters','Consumtime']]) 
    print(data_new)
    return None

结果：

[[0.         1.         0.07317073 1.        ]
 [1.         0.         0.07317073 1.        ]
 [0.63063063 0.90909091 0.         0.        ]
 [0.         1.         1.         0.96825397]]

完成了归一化，默认为 0 ~ 1，可通过

问题：我们利用归一化求值离不开最大最小值，如果存在异常，会影响整体结果，不适合多数情况。为此我们学习标准化。

标准化

定义

通过对原始数据进行变换把数据变换到均值为0，标准差为1的范围内。

公式

作用于每一列，mean为平均值，std为标准差

对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

API

sklearn.preprocessing.StandardScaler()

处理之后，对每列来说，所有数据都聚集在均值为 0 ，标准差为 1 附近
StandardScaler.fit_transform(X)
- X ：numpy array 格式的数据 [n_samples , n_features]
返回值：转换后的形状相同的array

实例：用上题数据

from sklearn.preprocessing import StandardScaler
import pandas as pd


def standard_demo():
    """
    标准化
    :return:
    """
    # 获取数据
    data = pd.read_csv("dating.txt")

    # 实例化一个转换器类
    transfer = StandardScaler()

    # 调用fit_transform转换
    data_new = transfer.fit_transform(data)
    print(data_new)
    print("每一列特征的平均值:\n", transfer.mean_)
    print("每一列特征的方差:\n", transfer.var_)
    return None

结果：

[[-0.95232825  0.64699664 -0.51677759  0.60177447]
 [ 1.38376978 -1.72532437 -0.51677759  0.60177447]
 [ 0.52088672  0.43133109 -0.69395848 -1.73125885]
 [-0.95232825  0.64699664  1.72751367  0.52770992]]

总结

在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景

特征降维

目标：

应用VarianceThreshold实现删除低方差特征
了解相关系数的特点和计算
应用相关系数实现特征选择

降维

降维是指在某些限定条件下，降低 随机变量（特征）的个数，得到一组 “不相关”主变量 的过程。

降低随机变量的个数
- 比如说二维数据转为一维数据
相关特征
- 相对湿度和降雨量是相关的

正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响会较大。

降维的两种方式

特征选择
主成分分析（可以理解成一种特征提取的方式）

下面依次介绍。

特征选择

定义

数据中包含冗余或相关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

方法

Filter（过滤式）：主要探究特征本身特点、特征与特征和目标值之间关联
- 方差选择法：低方差特征过滤
- 相关系数：特征与特征之间的相关程度
Embedded（嵌入式）：算法自动选择特征（特征与目标值之间的关联）
- 决策树：信息熵、信息增益
- 正则化：L1，L2
- 深度学习：卷积等

模块

1	sklearn.feature_selection

过滤式

1、低方差特征过滤

这是通过特征本身的方差来筛选特征的类。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以无论接下来的特征工程要做什么，都要优先消除方差为0的特征。VarianceThreshold有重要参数threshold，表示方差的阈值，表示舍弃所有方差小于threshold的特征，不填默认为0，即删除所有的记录都相同的特征。

注意：删除的是特征，即列索引。

API

sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

删除所有低方差特征
Variance.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

案例分析

1、初始化VarianceThreshold,指定阈值方差

2、调用fit_transform

from sklearn.feature_selection import VarianceThreshold


def variance_demo():
    """
    过滤低方差特征
    步骤
    1、获取数据
    2、实例化一个转换器类
    3、调用fit_transform
    """
    data = pd.read_csv("datingTestSet2.csv")
    # 对数据列进行筛选，然后进行低方差过滤
    data = data.iloc[:, 1:-2]  # 第一个 : 取所有行 , 第二个 1:-2 取第1列 到 第倒数第二列
    print(data.shape)
    
    transfer = VarianceThreshold(threshold=10) # 指定方差大小, 不指定默认为0

    data_new = transfer.fit_transform(data)
    print(data_new.shape)
    
    return None

2、相关系数

有很多相关系数，这里选择的是　皮尔逊相关系数(Pearson Correlation Coefficient)

反映变量之间相关关系密切程度的统计指标

特点

相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

当r>0时，表示两变量正相关，r<0时，两变量为负相关
当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间无相关关系
当0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

API

from scipy.stats import pearsonr(x, y)
- 计算x, y 的相关系数，返回一个二元元组，第一个元素是相关性

案例

利用上面得到数据计算

1
2
3

# 相关系数计算
r = pearsonr(data['revenue'], data['total_expense'])
print(r)

可得这两个指标相关性很高，可以做后续处理，比如合成这两个指标。

主成分分析

定义

高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量

作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。

应用：回归分析或者聚类分析当中

对于信息一词，在决策树中会进行介绍

那么更好的理解这个过程呢？我们来看一张图，如何用二维的照片最多的展示一个三维物体。

API

sklearn.decomposition.PCA(n_components=None)
- 将数据分解为较低维数空间
- n_components对不同的传入参数有不同的功能：
  - 小数：表示保留百分之多少的信息
  - 整数：减少到多少特征
- PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
- 返回值：转换后指定维度的array

案例

from sklearn.decomposition import PCA


def pca_demo():
    data = [[2, 8, 4, 5], [6, 3, 0, 8],[5, 4, 9, 1]]
    # transfer = PCA(n_components=2)  # 表示由 4个特征降维到 2个特征
    transfer = PCA(n_components=0.9)  # 表示保留 90% 的信息
    data_new = transfer.fit_transform(data)
    print(data_new)
    return None