机器学习的数学知识框架

正则化：模型越复杂，正则化值就越大。

交叉验证：重复地使用数据。

泛化能力：该方法学习到的模型对「未知数据」的预测能力。

P(Y|X)=P(X,Y)P(X) 典型：朴素贝叶斯，隐马尔可夫模型 Y=f(X) 典型：KNN(k近邻法)，感知机，决策树，逻辑斯谛回归，SVM

K近邻法(k-nearest neighbor, KNN)

某点的情况，直接联系他朋友，物以类聚。

Lp(xi,xj)=(∑l=1n|x(l)i−x(l)j|p)1p

L2(xi,xj)=(∑l=1n|x(l)i−x(l)j|2)12

L2(xi,xj)=∑l=1n|x(l)i−x(l)j|

L∞(xi,xj)=maxi|x(l)i−x(l)j|

决策树(decision tree)