机器学习之梯度下降算法

机器学习之梯度下降算法 算法背景： 以房价问题为由： 房价变化可能有多种因素比如说房屋面积，房屋位置，房间数量等： 我们假设一个向量x表示输入特征：x = [x0,x1.x2.......,xn],其中n为影响房价因素的数量 估计函数： 其中Θ为特征参数或者学习参数，该参数决定了特征变量Xi对估计的影响，用向量形式表示为： 为了使得估计值与实际的值差别最小： ， 我们建立一个函数去衡量输出模型的拟合效果，一般称为损失函数（loss functon）或者（cost function）: 函数选择了最小二乘法的原理，我们要做的便是最小化损失函数，取得的Θ值便是我们需要的参数。 算法思想： 随机找一个点，沿着下降最快的方向走到一个局部最低点，因此Gradient Descent存在局部最优的缺点。 梯度的方向由J（Θ）对Θ的偏导数决定，可以得到参数的更新法则为： 此算法Θ 随机生成初始值，再根据更新法则不断迭代更新Θ的值，其中α是学习率，表征的是下降的速度，若太大则可能越过最低点，太小则学习的速率太慢容易陷入局部最优点。迭代实则是循环，我们应当设置一定的条件终止循环，比如说循环达到一定的次数，或者Θ更新的差分值低于某个值等。 另外，还需要提一点就是，当样本的数量达到一定的数量时，更新参数的计算量以及时间变大，因此一般选择随机梯度下降算法来增加参数的更新速率和频度，也即每次选取一定的训练样本进行更新计算，以便更快的收敛，随机梯度下降算法下降速度快，但不能收敛到全局最优，一般在最小值边缘徘徊。 代码实现python： #coding=utf-8 #梯度下降算法的实现 import numpy as np import matplotlib.pyplot as plt #学习率设置 rate = 0.001 x_train = np.array([[1, 2],[2, 1],[2, 3],[3, 5],[1, 3],[4, 2],[7, 3],[4, 5],[11, 3],[8, 7]]) y_train = np.array([7, 8, 10, 14, 8, 13, 20, 16, 28, 26]) x_test  = np.array([[1, 4],[2, 2],[2, 5],[5, 3],[1, 5],[4, 1]]) m = np.shape(x_train)[1] #初始化参数 theta = np.random.normal(size=m) #定义计算预测值的函数 h(x) = theta * x def h(x):     return np.dot(theta,x.T) #梯度下降的规则是： #J对theta的导数是： (h(x)-y)*x #theta = theta - alpha * (h(x)-y)*x #设置了两个迭代条件： # 循环次数达到一定数目 # theta更新差低于某个数 for i in range(100):     theta_old = np.zeros(m)     for x, y in zip(x_train, y_train):         theta_old = theta_old +rate *(y-h(x))* x     if(np.dot((theta_old),(theta_old).T)<0.001):         break     theta+=theta_old #更新梯度参数     plt.plot([h(xi) for xi in x_test])#将参数运用到测试集里 plt.show() 结果演示： 结论：可以看出数据越来越接近。