P(A|D)=P(D|A)P(A)P(D) P ( A | D ) = P ( D | A ) P ( A ) P ( D ) 给定某些样本D，在这些样本中计算某结论 A1 A 1 、 A2 A 2 … An A n 出现的概率，即 P(Ai|D) P ( A i | D ) 在给定样本的情况下，哪一组参数出现的概率最大，我们就认为哪组参数最有可能出现 maxP(Ai|D)=maxP(D|Ai)P(Ai)P(D)=max(P(D|Ai)P(Ai)) m a x P ( A i | D ) = m a x P ( D | A i ) P ( A i ) P ( D ) = m a x ( P ( D | A i ) P ( A i ) ) P(D) P ( D ) 是样本发生的概率，样本已经改定所以， P(D) P ( D ) 是常数 我们在认为在没有其他的条件下， P(Ai) P ( A i ) 近似相等，得到 max(P(D|Ai)) m a x ( P ( D | A i ) ) ，即哪一个参数使得样本最大可能的发生，或者说是哪个参数使样本发生的概率最大 max(P(Ai|D))→max(P(D|Ai)) m a x ( P ( A i | D ) ) → m a x ( P ( D | A i ) )
设总体分布为 f(x,θ) f ( x , θ ) ， X1 X 1 , X2 X 2 , X3 X 3 … Xn X n 为该总体采样得到的样本，因为 X1 X 1 , X2 X 2 , X3 X 3 … Xn X n 独立同分布，于是它们的联合密度函数为：
L(x1,x1...xn;θ1,θ2...θk)=∏inf(x1;θ1,θ2...θk) L ( x 1 , x 1 . . . x n ; θ 1 , θ 2 . . . θ k ) = ∏ i n f ( x 1 ; θ 1 , θ 2 . . . θ k ) 上式为样本发生的概率，或者说哪个参数使取的的样本与真实的样本最相似，即哪个参数使样本发生的概率最大，或者说是在 θ θ 的所有的可能取值中，找到一个能使数据出现的可能性的最大的值。 这里 θ θ 被看做是固定但未知的参数，反过来因为样本已经存在，可以看成 x1,x1...xn x 1 , x 1 . . . x n 是固定的， L(x,θ) L ( x , θ ) 是关于 θ θ 的函数，即似然函数 求参数 θ θ 的值，使得似然函数取极大值，这种方法就是 极大似然估计在实践中由于求导数的需要，往往将似然函数取对数，同时连乘容易造成下溢，通常使用对数似然，若对数似然函数可导，可通过求导的方式，解下列方程组，得到驻点，然后分析该点是极大值点
logL(θ1,θ2...θk)=∑inlogf(x1;θ1,θ2...θk) l o g L ( θ 1 , θ 2 . . . θ k ) = ∑ i n l o g f ( x 1 ; θ 1 , θ 2 . . . θ k ) ∂L(θ)∂θi=0,i=1,2...k ∂ L ( θ ) ∂ θ i = 0 , i = 1 , 2... k找出与样本分布最接近的概率分布模型 10次抛硬币的结果是：正正反正正正反反正正 假设 p p 是每次抛硬币结果为正的概率，则得到这样结果的计算概率是： P=p7(1−p)3P=p7(1−p)3 最优解为： p=0.7 p = 0.7 抛硬币的过程中，进行了 N N 次独立实验，nn次朝上， N−n N − n 次朝下，假设朝上的概率为 p p ，使用对数似然作为目标函数： f(n|p)=log(pn(1−p)N−n)→h(p)f(n|p)=log(pn(1−p)N−n)→h(p)
∂h(p)∂p=np−N−n1−p→0 ∂ h ( p ) ∂ p = n p − N − n 1 − p → 0 p=nN p = n N若给定一组样本 X1 X 1 , X2 X 2 , X3 X 3 … Xn X n ，已知它们来自于高斯分布 N(μ,σ) N ( μ , σ ) ，试估计参数 μ,σ μ , σ 按照MLE的过程分析 高斯分布的概率密度函数：
f(x)=12π‾‾‾√σe−(x−μ)22σ2 f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 将 Xi X i 的样本 xi x i 带入，得到： L(x)=∏in12π‾‾‾√σe−(xi−μ)22σ2 L ( x ) = ∏ i n 1 2 π σ e − ( x i − μ ) 2 2 σ 2 取对数 l(x)=log∏in12π‾‾‾√σe−(xi−μ)22σ2 l ( x ) = l o g ∏ i n 1 2 π σ e − ( x i − μ ) 2 2 σ 2 =∑inlog12π‾‾‾√σe−(xi−μ)22σ2 = ∑ i n l o g 1 2 π σ e − ( x i − μ ) 2 2 σ 2 =(∑inlog12π‾‾‾√σ)+(∑in−(xi−μ)22σ2) = ( ∑ i n l o g 1 2 π σ ) + ( ∑ i n − ( x i − μ ) 2 2 σ 2 ) =−n2log(2πσ2)−12σ2∑in(xi−μ)2 = − n 2 l o g ( 2 π σ 2 ) − 1 2 σ 2 ∑ i n ( x i − μ ) 2 将目标函数对参数 μ,σ μ , σ 分别求偏导，很容易得到 μ,σ μ , σ 的式子： μ=1n∑inxi μ = 1 n ∑ i n x i σ2=1n∑in(xi−μ)2 σ 2 = 1 n ∑ i n ( x i − μ ) 2 上述结论与矩估计的结果是非常一致的，并且意义非常明显，样本的均值为高斯分布的均值，样本的伪方差为高斯分布的方差，经典意义上的方差，分母是 n−1 n − 1 ，在似然估计中求得方差是 n n <script type="math/tex" id="MathJax-Element-75">n</script>