在广义线性模型中推导出了,如何根据回归模型的输出分布,推导出该模型的连接函数,和损失函数。 1.证明该分布属于指数分布族; 2.将连接函数(回归函数)表示为T(y)的期望,即计算E[T(y)|x]; 3.替换eta为x的线性表示。 在softmax回归的论述中,同样会遵循上述步骤。
Softmax回归简介 Softmax回归可以看做是逻辑回归的扩展,逻辑回归只能进行二分类,输出只能为0或者1,softmax回归能够解决k分类问题,输出为{1,2,3,…,k};
从softmax的输出服从多项分布
多项分布的概率密度函数(PDF)为: 令:
1.证明该分布属于指数分布族
 **2.将连接函数(回归函数)表示为T(y)的期望,并eta替换为x的线性表示**  **3.误差损失函数** Softmax的对数似然函数为: 