所以神经网络可以看成“线性组合-非线性激活函数-线性组合-非线性激活函数…”这样的较为复杂网络结构机器学习：为了解决一些难以用人工写逻辑来解决的问题。
非监督学习与监督学习的区别：监督学习需要有正确的数据来引导，而非监督学习是单纯从数据中寻找规律。
学习的目的是不断减少预测值与实际值的偏差，具体表现在参数的矫正。
梯度下降算法：在n维坐标系中任意取一个点，沿着下降最快的一条路线找到最低点（不同的起点可能有不同的局部最低点），每一次下降都将对所有数据进行迭代。
随机梯度下降算法：为了应对大量数据，此算法在寻找最低点的时候，每一次寻找都是在上一次基础上进行的，因此只会对数据进行一次遍历，但得到的值会在最小值的周围，不一定是最小值。
直接通过求解析式来得到最小值
梯度下降具体算法是：依次对代价函数中的参数求偏导，最后使每个参数减去学习率乘以那个值，直到代价函数收敛为止。
多项式回归虽然能够解决非线性问题，但需要人工构造非线性的特征,但神经网络可应付样本非线性可分的情况，又同时能够自动构造非线性。
所以神经网络可以看成“线性组合-非线性激活函数-线性组合-非线性激活函数…”这样的较为复杂网络结构.
由于L-SVM是线性分类器，所以不能解决样本线性不可分的问题。于是后来人们引入了核函数的概念，于是得到了K-SVM（K是Kernel的意思）。从本质上讲，核函数是用于将原始特征映射到高维的特征空间中去，并认为在高为特征空间中能够实现线性可分。
之所以使用sigmoid函数是因为直接使用感知机的话，由于只会输出0和1，那么神经网络中轻微的改变就可能导致结果的巨大变化，而sigmoid函数是非线性的，也是连续的。 另一个原因是sigmoid函数可以将结果映射到0-1区间中。其计算公式为f（wx+b）。
感知机的工作原理是输入值乘以权值，然后与偏移值b进行比较，从而决定输出是1还是0，而sigmoid感知机将会在计算与b的差值之后再进行函数变换，从而体现出程度的概念。
局部加权回归：是一个非参数学习算法，之所以是非参数，是因为它是基于样本数量进行回归的，在xy坐标系中，当给定一个x0，将根据周围几个点拟合出一条直线，从而得到预测的值，然后计算误差，再根据类似于高斯函数的分布（加权）对样本的坐标进行调整。注意一点，每一个样本数据的输入都会对所有的样本坐标进行加权调整（回归）。
