特征工程

特征工程的处理流程为：

• 去掉无用特征、去掉冗余特征（如共线性特征）
• 利用存在的特征、转换特征、内容中的特征以及其他数据源生成新特征
• 对特征进行转换：数值化、类别转换、归一化
• 对特征进行处理，以符合模型使用：异常值、最大值、最小值、缺失值

数据预处理

数据采集：需要明确，哪些数据对最后的预测结果有帮助、是否需要采集这一类数据、在线上实时计算时数据获取是否快捷；

数据清洗：去除“脏”数据：

• 简单属性判定：不符合常理的，例如身高3米多的人；
• 组合或统计属性判定：如号称在美国却一直都是国内的新闻阅读用户
• 补齐可对应的缺省值：将不可信的样本丢掉，不用缺省值极多的字段

数据采样：数据经过采集、清洗过后，正负样本往往不均衡，故要进行数据采样。采样有随机采样和分层采样。随机采样存在隐患，往往根据特征使用分层采样。正负样本不均衡的处理方法：

• 正样本 > 负样本，且样本量都特别大的情况，采用下采样的方法，即随机删除正样本中的数据，使得正负样本量相等；
• 正样本 > 负样本，且样本量不大的情况，可以用以下方法采集更多的数据：上采样（如图像识别中的镜像和旋转、SMOTE、随机复制）、修改损失函数设置样本权重

特征处理

归一化与标准化的适用场景：

• 如果对输出结果范围有要求，则使用归一化；
• 如果数据较为稳定，不存在极端的最大值或最小值，则用归一化；
• 如果数据存在异常值和较多噪声，则使用标准化，这样可以通过中心化简介避免异常值和极端值的影响；
• SVM、KNN、PCA 等模型都必须进行归一化或标准化操作。

特征降维

特征选择

特征选择的方法：

• 过滤法（Filter）：按照发散性或者相关性对各个特征进行评分（例如相关系数、卡方检验、信息增益、互信息等），通过设定阈值或者待选择特征数来选择特征；
• 包装法（Wrapper）：根据目标函数（通常是预测效果评分，如 AUC、MSE）每次选择若干特征，或排除若干特征。可以通过完全搜索、启发搜索、随即搜索（如遗传算法 GA、模拟退火算法 SA）实现；
• 嵌入法（Embeded）：使用机器学习的某些算法和模型进行训练，得到各个特征的权值系数，并根据系数从大到小选择特征。类似于过滤法，区别在于得分是通过训练来确定的，如正则化、决策树、深度学习等。

线性降维

线性降维常用方法：主成分分析法和线性判别分析法

主成分分析法（PCA）：无监督，通过某种线性投影，将高位的数据映射到低维空间中，并期望在所投影的维度上数据方差最大，即保留较多的原数据点特性的效果。sklearn 类为 sklearn.decomposition.PCA，其参数 n_components 大于一时代表目标维度，小于一时代表保留的信息数据百分比。

线性判别分析法（LDA）：也成为 Fisher 线性判别（FLD），有监督，相比于 PCA，我们希望映射过后：① 同类的数据点尽可能地接近；② 不同类的数据点尽可能地分开；sklearn 类为 sklearn.disciminant_analysis.LinearDiscriminantAnalysis，其参数 n_components 代表目标维度。