python并行计算上：pathos模块

python并行计算上：pathos模块

本文将介绍Python并行计算中的pathos模块，主要采用进程池/线程池方法。pathos是一个综合性模块，不仅支持多进程，还能实现多线程。

pathos具有多进程方法，包括pathos.multiprocessing.ProcessPool、pathos.multiprocessing.ProcessingPool、pathos.pools.ProcessPool等。使用这些方法，首先需要建立进程池，例如使用pathos.multiprocessing.ProcessPool(*args, **kwds)来创建实例。然后可以调用进程池的close()和join()方法来关闭进程池，并等待子进程执行完毕。

在创建子进程时，pathos提供了多种方式。单个子进程可通过pipe方法创建，使用XXX.pipe(f, *args, **kwds)或XXX.apipe(f, *args, **kwds)实现阻塞或异步提交任务。若子进程需要返回值，建议使用map方法，使用XXX.map(f, *args, **kwds)或XXX.amap(f, *args, **kwds)实现阻塞或异步提交任务。对于内存限制场景，可以使用imap或uimap方法。

映射multiprocess模块的多进程方法包括pathos.multiprocessing.Pool，其建立方法为pathos.multiprocessing.Pool(processes=None, initializer=None, initargs=(), maxtasksperchild=None, context=None)。映射pp模块的多进程方法有pathos.pools.ParallelPool和pathos.pp.ParallelPool等，与multiprocessing方法类似。

需要注意的是，Multiprocessing.Pipe或Multiprocess.Pipe建立的管道对象无法传入子进程。然而，在ParallelPool中，子进程的print函数可以直接输出到标准输出，因此不必通过管道传递信息。但子进程的print输出可能异常，最好通过返回值在主进程输出。

amap方法中，子进程的print语句可能导致返回结果错误，只包含最后一个子进程的返回值。因此，在amap方法中，子进程需要输出的内容应通过返回值在主进程输出。

最后，映射python内置map函数的方法包括pathos.serial.SerialPool和pathos.pools.SerialPool，这些方法实际上是串行而非并行计算，因此不在本文详细讨论。2024-09-07