统计学习方法概论

1.统计学习是关于计算机基于数据构建概率统计模型并且运用模型对数据进行分析和预测的一门学科。统计学习包括监督学习，非监督学习，半监督学习和强化学习。

2.统计学习方法三要素——模型，策略，算法，这三点对理解统计学习方法很关键。

3.监督学习可以概括如下：假设数据是独立同分布的，而且假设模型属于某个假设空间，应用某一评价准则，从假设空间中选取一个最优的模型，使它对已给训练数据及未知测试数据在给定评价标准意义下可以有最准确的预测。

4.统计学习中，进行模型选择或者说提高学习的泛化能力是一个重要问题。如果只考虑减少训练误差，就可能会发生过拟合现象。模型选择的方法有正则化与交叉验证。学习方法泛化能力上的分析是统计学习理论研究的重要课题。

5.分类问题，标注问题和回归问题是监督学习的重要问题。