常见分词工具包

1. 中文

thulac：THULAC：一个高效的中文词法分析工具包 下载：pip install thulac

简单使用：

import thulac seg = thulac.thulac() text = seg.cut('我爱自然语言处理') # [['我', 'r'], ['爱', 'v'], ['自然', 'n'], ['语言', 'n'], ['处理', 'v']] text = seg.cut('我爱自然语言处理', text=True) # 我_r 爱_v 自然_n 语言_n 处理_v

这里一份通用标记集：

n/名词 np/人名 ns/地名 ni/机构名 nz/其它专名 m/数词 q/量词 mq/数量词 t/时间词 f/方位词 s/处所词 v/动词 a/形容词 d/副词 h/前接成分 k/后接成分 i/习语 j/简称 r/代词 c/连词 p/介词 u/助词 y/语气助词 e/叹词 o/拟声词 g/语素 w/标点 x/其它