softmax回归

    xiaoxiao2021-03-25  156

    在广义线性模型中推导出了,如何根据回归模型的输出分布,推导出该模型的连接函数,和损失函数。 1.证明该分布属于指数分布族; 2.将连接函数(回归函数)表示为T(y)的期望,即计算E[T(y)|x]; 3.替换eta为x的线性表示。 在softmax回归的论述中,同样会遵循上述步骤。

    Softmax回归简介 Softmax回归可以看做是逻辑回归的扩展,逻辑回归只能进行二分类,输出只能为0或者1,softmax回归能够解决k分类问题,输出为{1,2,3,…,k};

    从softmax的输出服从多项分布

    ![这里写图片描述](https://img-blog.csdn.net/20170404152005816?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamluemhpY2hhb3NodWlwaW5n/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

    多项分布的概率密度函数(PDF)为: 令:

    ![这里写图片描述](https://img-blog.csdn.net/20170404152023144?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamluemhpY2hhb3NodWlwaW5n/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

    1.证明该分布属于指数分布族

    ![这里写图片描述](https://img-blog.csdn.net/20170404152042253?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamluemhpY2hhb3NodWlwaW5n/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast) **2.将连接函数(回归函数)表示为T(y)的期望,并eta替换为x的线性表示** ![这里写图片描述](https://img-blog.csdn.net/20170404152114561?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamluemhpY2hhb3NodWlwaW5n/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast) **3.误差损失函数** Softmax的对数似然函数为: ![这里写图片描述](https://img-blog.csdn.net/20170404152133280?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamluemhpY2hhb3NodWlwaW5n/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
    转载请注明原文地址: https://ju.6miu.com/read-3195.html

    最新回复(0)