假设函数: (1)Linear Regression:带有参数
θ
的多项式表达式 (2)Logistic Regression:带有参数
θ
的Sigmoid函数,通过阈值判断类别归属 (3)NN: 带有参数
θ
的Sigmoid函数,通过阈值判断类别归属(其实最后一层隐藏层类似一套抽象的特征输入Logistic Regression) (4)SVM:带有参数
θ
的超平面表达式,通过计算正负判断类别归属
损失(目标)函数: (1)Logistic Regression是修改Linear Regression损失函数得到的。 (2)SVM和NN(Sigmoid激励函数)的损失代价函数都是通过修改Logistic Regression的损失函数得到的。
训练(优化)方法: 均可以使用梯度下降法(Gradient Descent)进行训练。
凸优化问题: (1)Linear Regression,Logistic Regression的损失函数可以证明是凸函数,所以属于凸优化问题。 (2)Neural Network中如果不存在隐藏层或隐藏层中的激活函数属于线性函数,则NN是可以凸优化的,但是如果隐藏层中的激活函数是非线性的话,NN是属于非凸优化的。
转载请注明原文地址: https://ju.6miu.com/read-600140.html