信息熵

定义

表示信源发出信息的不确定性。熵越大，不确定性越高，系统混杂程度越高，信息熵越大，所以任何系统都是一个熵不减的过程，熵要么不变，要么变大。

例子

投掷一枚硬币，假定出现正反面的概率分别为2/3，1/3。则信息熵： E=−log(1/3)−log(2/3) E = − l o g ( 1 / 3 ) − l o g ( 2 / 3 )

熵和似然函数

似然函数极值越大，熵越小。反之。