在python之中是可以通过内置函数open()以及其他的模块方法去对任意类型的文件执行操作的,但是在多次批量的去读写很多文件的时候会出现执行速度降低变慢的情况,那么下面这一篇文章就会来介绍一下Python读写文件提速的方法,一起看看吧。
1.在python之中虽然是不支持多线程的,但是可以通过模块的方式去手动的开启并执行多线程,多次读写文件也可以这么写。
2.python之中一个程序可以分为多少个线程数是由执行这个程序电脑的cpu位数去决定的,理论上来说64位的cpu就可以划分出来64个线程数,但是还需要考虑到内存和其他程序占用的因素。
3.使用glob模块可以去将一个文件夹之中的所有文件都划分为不同的列表,然后使用multiprocessing模块就可以去开启一个线程池,将这些列表每一个都放在线程池之中去获得一个单独的线程执行,代码示例如下:
from glob import glob import multiprocessing file_list = glob(file_path + '/*.JPEG') m = 32 n = int(math.ceil(len(file_list) / float(m))) result = [] pool = multiprocessing.Pool(processes=m) for i in range(0, len(file_list), n): result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],))) pool.close() pool.join()
以上就是关于“Python多次读写文件怎么提速?代码示例和解析看这里”的全部内容了,想要了解更多python的实用知识和代码示例可以持续关注这个频道,每次更新都会有很多新的知识技术分享给大家。
更多python相关文章请访问分类:python
【版权声明】本文图文出自大盘站@dapan.cc,转载请注明出处!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。