概率图模型学习(3)——马尔科夫网表示1

    xiaoxiao2021-03-26  22

    一.           基本概念

    1.     基本要素

    因子∅:从Val(D)映射到实数域R的一个函数。除非另行说明,只关注非负的因子。

    随机变量集合D。

    变量集D称为因子的辖域。

        ∅越大,两个值的兼容性越好。

    因子的运算:

    马尔科夫网中将联合概率分布和CPD都用因子表示了:令表示那么

     

    2.     完备子图和极大团

    团:团是一个两两之间有边的顶点集合。

    最大(极大)团:一个团不被其他任何一个团包含则为最大团。

    完备子图:最大团集合的子集。

     

    3.     主线概念——吉布斯分布和马尔科夫网

    吉布斯分布总结起来就是:分布满足因子运算后归一化。

     

    马尔科夫网是随机变量集的无向图模型,侧重表现变量之间的交互影响。马尔科夫网结构用表示。

     

    马尔科夫网和吉布斯分布的关系:

     

    参数化马尔科夫网的因子通常称为团位势。

     

     

    4.     马尔科夫网简化

    这个定义的含义其实很简单:当U确定为u时,马尔科夫网的辖域简化为Y-U(也就是变量集U在马尔科夫网中可以去除掉),所有U不等于u的因子也可以不考虑了。

     

    二.        独立性

    1.     基本独立性

    马尔科夫网的基本独立性是可靠和完备的,可靠表现在从正向推导I-map完全成立,从反向推导,当P为正分布(所有变量的概率非0)时成立。

    严格的完备性不成立,弱化的完备性成立:

     

    2.     独立性关系

    马尔科夫三个性:全局独立性()、成对对立性()、局部独立性()。

    其中全局独立性上面已经提过了,而成对独立性和局部独立性如下:

    三者的关系:

     

    3.     从分布到图

    这其实就是根据局部独立性和成对独立性构造最小I-map。具体如下:

     

    三.        参数化

    1.     细粒度参数化方法——因子图和对数线性模型

    因子图:包含变量节点和因子结点。

    同一个马尔科夫网可以表示多个分布,但假如因子后,因子图只表示一个分布。如图:

     

    对数线性模型:

    由来如下:

    感觉f(D)就是因子的对数表示(未加权)。这样保证了分布P为正。

     

    马尔科夫网参数化表示有三种方式:(1).马尔科夫网上团位势乘积;(2).因子图上因子乘积;(3).特征集在特征权重上表示乘积。

     

    2.     标准参数化

    标准参数化采用能量函数,而不是团位势,也就是采用对数线性模型将参数化细粒度。

    消除冗余参数:

    这个暂时不太明白怎么用。

     

    四.        总结

    总的来说,马尔科夫网以无向的方式表示变量间的交互影响。而表示马尔科夫网的关键点有两种:因子集(或者叫团位势)、特征集,他们都是变量向实数集映射的函数,只是映射的方式不同,特征集以线性对数模型映射,可保证吉布斯分布为正。同时,线性特征形式可以消除冗余。

    马尔科夫网对应的分布为吉布斯分布,是因子乘积或者负向特征加权和求幂。

    转载请注明原文地址: https://ju.6miu.com/read-661297.html

    最新回复(0)