threadpool

makeRequests的原型如下 def makeRequests(callable_, args_list, callback=None, exc_callback=_handle_thread_exception)，可以看出第一个参数是线程将要启动任务函数，第二个是要传个任务函数的参数列表，第三个是回调函数，可以用于收集任务结束后的结果或者环境清理args_list 中每一项要么是一个单独的变量，要么是一个2个元素的元组，该元组第1项是位置参数的列表，该元组的第2项是关键参数的字典（很绕口，但最重要任务函数的多参数，你可以统统通过位置参数列表传进去，也可以统统通过关键字参数字典传进去，也可以通过混合方式传进去例如你的任务函数有两个参数，一个是name，一个是age，那么你可以传args_list为[([‘python’, 12], None), ]这样的形式， None是未传递的关键字参数字典。也可以传args_list为[(None, {‘name’:‘python’, ‘age’: 12}), ]这样的形式，None是未传递的位置参数列表。还可以传args_list为[([‘python’], {‘age’: 12}), ]这样的形式，这就是混合形式个人感觉太灵活了，而且不好理解

以下是简单的4行代码：

pool = threadpool.ThreadPool(10) #建立线程池，控制线程数量为10 reqs = threadpool.makeRequests(get_title, data, print_result) #构建请求， #get_title为要运行的函数，data为要多线程执行函数的参数， #最后这个print_result是可选的，是对前两个函数运行结果的操作 [pool.putRequest(req) for req in reqs] #多线程一块执行 pool.wait() #线程挂起，直到结束

创建线程池，线程数为10：

pool = threadpool.ThreadPool(10)

创建线程请求，包涵调用的函数、参数和回调函数：

requests = threadpool.makeRequests(func, args_list, call_back) # 源代码 # `args_list`` should be either a 2-item tuple of the list of positional arguments and a dictionary of keyword arguments or a single, non-tuple argument.

args_list必须是包含2个元素的元组，第一个是list，第二个是dict，如果线程函数需要多个参数，需要拼接list或者dict。

# 方法1 lst_vars_1 = ['1', '2', '3'] lst_vars_2 = ['4', '5', '6'] func_var = [(lst_vars_1, None), (lst_vars_2, None)] # 方法2 dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'} dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'} func_var = [(None, dict_vars_1), (None, dict_vars_2)]

将所有要运行多线程的请求扔进线程池：

[pool.putRequest(req) for req in requests] # 等同于 for req in requests: pool.putRequest(req) 等待所有的线程完成工作后退出： pool.wait()

示例：

#!/usr/bin/env python # coding:utf-8 import time import random import threadpool HEHE = dict() def sayhello(name, v): global HEHE if HEHE.has_key(name): HEHE[name] = HEHE[name] + '+' + v else: HEHE[name] = v #time.sleep(2) #name_list = [(['caoshuai', '1'], None), (['yangliu', '2'], None),(['caoshuai', '3'], None),(['ss', '10'], None),(['wwwwww', '12'], None),] name_list = [(['caoshuai','1'],None),(['caoshuai','2'],None),(['a','3'],None),(['ss','10'],None),(['wwwwww','12'],None),(['m','12'],None),(['n','12'],None),(['b','12'],None),(['v','12'],None),(['x','12'],None),(['z','12'],None),] #name_list = [1, -5, 6, -4] start_time = time.time() pool_t = threadpool.ThreadPool(4) requestss = threadpool.makeRequests(sayhello, name_list) [pool_t.putRequest(req) for req in requestss] pool_t.wait() print HEHE print "%s second" % (time.time()-start_time) while True: time.sleep(1)

回调函数

结果收集用callback参数 callback必须接受2个匿名参数， 按顺序分别是WorkRequest对象和任务函数的结果。 举个栗子

def save_callback(request, result): # 第1个参数是request，可以访问request.requestID # 第2个参数是request执行完的结果 print(request.requestID, result) with open('result.txt', 'a') as f: f.write(result + '\n') def get_user_info(uid, sex, name, age): time.sleep(0.3) return "{0},{1},{2},{3}".format(uid, sex, name, age) if __name__ == '__main__': num = 100 para_list = [[i, 'male'] for i in range(1, num)] users = list() for i in range(1, num): user = {'name'.format(i): 'user{0}'.format(i), 'age': i} users.append(user) params = zip(para_list, users) # print(params) # 形如[([1, 'male'], {'age': 1, 'name': 'user1'}), ...]的参数列表 pool_size = 10 pool = threadpool.ThreadPool(pool_size) requests = threadpool.makeRequests(get_user_info, params, save_callback) for req in requests: pool.putRequest(req) pool.wait() ```