twisted开发分布式任务调度爬虫

满足需求：爬虫减少重复数据、相似数据。

                 数据检索效率要高

具体方案：

1:使用向量夹脚余弦来计算文本间的相似度，大于80%可认为数据相似度过高，不采集。

2:使用elasticsearch进行数据invert index。提高查询速度。支持分布式，可拓展。

3:使用gearman、或者twisted自己编写任务调度服务器。

twisted服务器控制器controler， 和爬虫节点 crawler_node

controler负责爬虫任务的存储，管理，分发

crawler_node爬虫节点

具体实施：

      elasticsearch，使用smartcn中文分词器，利用es的自身的排序结果，先过滤一遍最相似的数据文档，再使用向量夹脚余弦进行计算。

      twisted 控制器服务器，将有任务队列，任务添加入口，任务分配入口，使用post请求。并有数据存储入口。

     twisted crawler node，多线程爬虫。

使用到的python模块。pyes，twisted

定义队列

class CrawlerTaskBuffer: def __init__(self, max_queue_size) : self.tasks=[] self.max_queue_size=max_queue_size def isFull(self) : size=0 size=len(self.tasks) return size>=self.max_queue_size def isEmpty(self) : return len(self.tasks)==0 def getTask(self) : if len(self.tasks)==0: task=None else : task=self.tasks.pop() return task def addTask(self, task) : ret=True self.tasks.append(task) return ret def pushbackTask(self, task) : ret=True self.tasks.insert(0,task) return ret

controler 控制服务器