当前位置:
首页 > temp > python入门教程 >
-
python进程池中的回调函数
什么是回调函数
指定一个任务后、并且指定一个回调函数后,当指定的进程池执行的任务结束后,会将该任务的返回值作为回调函数的参数传递到回调函数中,并且回调函数得以执行
回调函数在主进程中被执行
import os
from multiprocessing import Pool
def func1(n):
print('in func1', os.getpid())
return n * n
def func2(nn):
print('in func2 %s ' % os.getpid())
print(nn)
if __name__ == '__main__':
pool = Pool(4)
pool.apply_async(func1, args=(10, ), callback=func2) # calback为回调参数,可以指定一个回调函数,这里指定回调函数为func2
pool.close()
pool.join()
print(os.getpid())
10个任务func1投入到含有4个进程的进程池中异步执行,并且指定回调函数为func2,当投入到进程池中的每个任务执行完后,都会将返回值作为参数返回给回调函数,并且回调函数在主进程得以执行
执行了10次func1、10次func2
from multiprocessing import Pool
def func1(n):
print('in func1')
return n * n
def func2(nn):
print('in func2')
print(nn)
if __name__ == '__main__':
pool = Pool(4)
for i in range(10):
pool.apply_async(func1, args=(10, ), callback=func2) # calback为回调参数,可以指定一个回调函数,指定进程池执行的任务结束后,会将任务的返回值作为参数传递给回调函数,并执行回调函数,回调函数是在主进程中得以执行的
pool.close()
pool.join()
一般在爬虫中,用到回调函数比较多,并且是将访问网页、下载网页的过程放到子进程中去做,分析数据,处理数据让回调函数去做,因为访问网页与下载网页有网络延时,而处理数据只占用很小的时间
出处:https://www.cnblogs.com/xxpythonxx/p/17321346.html
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程
检测数据类型的四种方法
js中数组的方法,32种方法
前端操作方法
数据类型
window.localStorage.setItem 和 localStorage.setIte
如何完美解决前端数字计算精度丢失与数