范数规则化

监督学习的过程可以概括为：最小化误差的同时规则化参数。最小化误差是为了让模型拟合训练数据，规则化参数是为了防止过拟合。参数过多会导致模型复杂度上升，产生过拟合，即训练误差很小，但测试误差很大，这和监督学习的目标是相违背的。所以需要采取措施，保证模型尽量简单的基础上，最小化训练误差，使模型具有更好的泛化能力（即测试误差也很小）。

范数规则化有两个作用：

1）保证模型尽可能的简单，避免过拟合。2）约束模型特性，加入一些先验知识，例如稀疏、低秩​等。

常见的选择包括零范数，一范数，二范数：

L0: 向量中非0的元素个数，用他来规则化矩阵，希望大部分元素为0.很难优化求解

L1：向量中各个元素绝对值之和，又叫”系数规则算子（Lasso regularization）“，可以特征选择，参数以绝对值坡至零

L2：向量各个元素的平方和然后平方根，也称为岭回归（Ridge regression）。可以防止过拟合，参数以二次函数下降

在Logistic Regression 中,如果同时加入L1和L2范数,会产生效果：可以做特征选择,并在一定程度上防止过拟合