Python如何开发可并行处理脚本_多进程架构设计【教学】

多进程适用于CPU密集型任务，I/O密集型优先选线程或异步；用Pool起步，设进程数为cpu_count()，传入顶层函数，只读数据作参数，通信用Queue，务必异常处理并调用close()和join()。

明确任务类型，再选并行方式

不是所有脚本都适合多进程。I/O密集型（如爬网页、读写文件）用多线程可能更轻量；CPU密集型（如数值计算、图像处理）才真正需要多进程来绕过GIL限制。先确认你的瓶颈在CPU还是等待IO——用time.time()粗略测单次耗时，若大部分时间卡在requests.get或open()里，优先考虑异步或线程池；若卡在循环计算或pandas.apply里，多进程才是正解。

用multiprocessing.Pool最稳妥起步

别一上来就手动创建Process对象。对批量独立任务（比如处理1000张图片、解析100个JSON文件），Pool自动管理进程数、分发任务、回收结果，出错也容易捕获。关键点：

• 进程数设为os.cpu_count()或略少（如减1），避免过度切换
• 传入函数必须是模块顶层函数（不能是类方法或lambda），否则Windows下会报PicklingError
• 用pool.map()同步阻塞，pool.map_async()异步+.get()取结果，后者更适合长任务加超时控制

共享状态要谨慎，优先用队列或只读数据

多进程默认不共享内存，全局变量修改不会同步。真要通信，推荐：

标签： python js json windows app win