机器学习之层次聚类

层次聚类

聚类是将样本进行归类形成K个簇，层次聚类是其中的一种方法。它将数据组成一棵聚类树，过程可以是凝聚形式或分裂形式。

核心思想

凝聚是一开始将每个样本当做一个聚类，接着通过计算将距离最近的两个聚类合并，成为新聚类，每次合并聚类总数减少一个，不断循环合并操作，直到所有聚类合并成一个聚类或当聚类数量到达某预定值或当聚类直接距离达到某阀值后停止合并。而分裂则与凝聚相反，一开始将所有样本当做一个聚类，每次分裂一个聚类，直到满足某条件。

算法步骤

计算n个样本两两之间的距离 构造n个簇 找到最近距离的两个簇并合并，簇个数减少1 循环遍历找出距离最近的两个簇并合并，直到满足终止条件

距离可以是两簇最小距离、最大距离、均值距离或平均距离

代码实现

import pylab as pl from operator import itemgetter < 超人汪小建(seaboat) 认证博客专家 seaboat 公众号：【远洋号】，笔名seaboat，擅长工程算法、人工智能算法、自然语言处理、计算机视觉、架构、分布式、高并发、大数据和搜索引擎等方面的技术，大多数编程语言都会使用，但更擅长Java、Python和C++。平时喜欢编程、绘画、看书、写作和运动，擅长素描、篮球、跑步、游泳、健身和羽毛球等运动项目。崇尚技术自由，崇尚思想自由。出版书籍：《Tomcat内核设计剖析》、《图解数据结构与算法》、《图解Java并发原理》、《人工智能原理科普》。