【Stanford-ML-Discussion】LiR,LoR,NN,SVM假设,损失函数与训练方法比较

假设函数： （1）Linear Regression：带有参数 θ 的多项式表达式 （2）Logistic Regression：带有参数 θ 的Sigmoid函数，通过阈值判断类别归属 （3）NN: 带有参数 θ 的Sigmoid函数，通过阈值判断类别归属（其实最后一层隐藏层类似一套抽象的特征输入Logistic Regression） （4）SVM：带有参数 θ 的超平面表达式，通过计算正负判断类别归属

损失（目标）函数： （1）Logistic Regression是修改Linear Regression损失函数得到的。 （2）SVM和NN（Sigmoid激励函数）的损失代价函数都是通过修改Logistic Regression的损失函数得到的。

训练(优化)方法： 均可以使用梯度下降法（Gradient Descent）进行训练。

凸优化问题： （1）Linear Regression，Logistic Regression的损失函数可以证明是凸函数，所以属于凸优化问题。 （2）Neural Network中如果不存在隐藏层或隐藏层中的激活函数属于线性函数，则NN是可以凸优化的，但是如果隐藏层中的激活函数是非线性的话，NN是属于非凸优化的。