首页
IT
登录
6mi
u
盘
搜
搜 索
IT
逻辑斯蒂回归梯度下降法推导
逻辑斯蒂回归梯度下降法推导
xiaoxiao
2021-03-25
189
转载自：原文
令
w
^
=
[
w
T
b
]
T
，对于最大化似然函数
l
(
w
^
,
b
)
=
∑
i
=
1
M
y
(
i
)
log
(
σ
(
w
^
x
(
i
)
)
)
+
(
1
−
y
(
i
)
)
log
(
1
−
σ
(
w
^
x
(
i
)
)
)
注意是
复合求导
，其中sigmoid函数的导数为
σ
′
(
x
)
=
σ
(
x
)
(
1
−
σ
(
x
)
)
，因此计算w的第j个分量的梯度为
∇
w
j
=
=
=
∑
i
=
1
M
y
(
i
)
1
σ
(
w
^
x
(
i
)
)
σ
(
w
^
x
(
i
)
)
(
1
−
σ
(
w
^
x
(
i
)
)
)
x
(
i
)
j
+
(
1
−
y
(
i
)
)
−
1
1
−
σ
(
w
^
x
(
i
)
)
σ
(
w
^
x
(
i
)
)
(
1
−
σ
(
w
^
x
(
i
)
)
)
x
(
i
)
j
∑
i
=
1
M
y
(
i
)
(
1
−
σ
(
w
^
x
(
i
)
)
)
x
(
i
)
j
+
(
y
(
i
)
−
1
)
σ
(
w
^
x
(
i
)
)
x
(
i
)
j
∑
i
=
1
M
(
y
(
i
)
−
σ
(
w
^
x
(
i
)
)
)
x
(
i
)
j
第j个分量的迭代公式为
w
j
=
w
j
-∇
w
j
转载请注明原文地址: https://ju.6miu.com/read-5408.html
技术
最新回复
(
0
)
