python 分布式的简单实现

分布式多台机器互联的情况下  首要的问题是双方的通信问题。关闭防火墙  或者允许端口访问。  如果是在虚拟机里面 则要连同 主机也要关闭. 关闭防火墙方式： CentOS Linux开启和关闭防火墙命令有两种，一种是临时的，重启即复原；另外一种是永久性的，重启不会复原。 首先关闭selinux   使用命令   getenforce  查询当前状态。  使用setenforce 0 关闭。不关闭无法访问。 1） 临时生效，重启后复原 开启： service iptables start 关闭： service iptables stop 2） 永久性生效，重启后不会复原 开启： chkconfig iptables on 关闭： chkconfig iptables off 代码案例来自廖学峰教程 注意其中的ip地址 要改为当前主机的ip.  如果只是在本机测试  则可以去廖学峰官网调用他的代码。他那是单机版本的。   以下代码可以在单机和多台机器上运行（关闭彼此防火墙后） 主机代码 # -*- coding:utf-8 -*- import Queue from multiprocessing.managers import BaseManager import random # 发送任务的队列: task_queue = Queue.Queue() # 接收结果的队列: result_queue = Queue.Queue() # 从BaseManager继承的QueueManager: class QueueManager(BaseManager): pass # 把两个Queue都注册到网络上, callable参数关联了Queue对象: QueueManager.register('get_task_queue', callable=lambda: task_queue) QueueManager.register('get_result_queue', callable=lambda: result_queue) # 绑定端口5000, 设置验证码'abc': manager = QueueManager(address=('10.10.1.14', 5000), authkey=b'abc') # 启动Queue: manager.start() # 获得通过网络访问的Queue对象: task = manager.get_task_queue() result = manager.get_result_queue() # 放几个任务进去: for i in range(10): n = random.randint(0, 10000) print('Put task %d...' % n) task.put(n) # 从result队列读取结果: print('Try get results...') for i in range(10): r = result.get(timeout=10) print('Result: %s' % r) # 关闭: manager.shutdown() print('master exit.')

分机代码

# -*- coding:utf-8 -*- import Queue import time, sys from multiprocessing.managers import BaseManager # 创建类似的QueueManager: class QueueManager(BaseManager): pass # 由于这个QueueManager只从网络上获取Queue，所以注册时只提供名字: QueueManager.register('get_task_queue') QueueManager.register('get_result_queue') # 连接到服务器，也就是运行task_master.py的机器: server_addr = '10.10.1.14' print('Connect to server %s...' % server_addr) # 端口和验证码注意保持与task_master.py设置的完全一致: m = QueueManager(address=(server_addr, 5000), authkey=b'abc') # 从网络连接: m.connect() # 获取Queue的对象: task = m.get_task_queue() result = m.get_result_queue() # 从task队列取任务,并把结果写入result队列: for i in range(10): try: n = task.get(timeout=1) print('run task %d * %d...' % (n, n)) r = '%d * %d = %d' % (n, n, n*n) time.sleep(1) result.put(r) except Queue.Empty: print('task queue is empty.') # 处理结束: print('worker exit.')