python文件拆分与合并的方法

1、统计回归所需处理的数据量可能非常大，必要时需对文件进行拆分或合并。

2、可以用 pandas2、将 Excel 文件分割为多个文件或合并。

将 Excel 文件分割为多个文件

#将Excel文件分割为多个文件
importpandasaspd
dfData=pd.read_excel('./example.xls',sheetname='Sheet1')
nRow,nCol=dfData.shape#获取数据的行列
#假设数据共有198,000行，分割为20个文件，每个文件10,000行
foriinrange(0,int(nRow/10000)+1):
saveData=dfData.iloc[i*10000+1:(i+1)*10000+1,:]#每隔10,000
fileName='./example_{}.xls'.format(str(i))
saveData.to_excel(fileName,sheet_name='Sheet1',index=False)

将多个Excel文件合并为一个文件

#将多个Excel文件合并为一个文件
importpandasaspd

##两个Excel文件合并
#data1=pd.read_excel('./example0.xls',sheetname='Sheet1')
#data2=pd.read_excel('./example1.xls',sheetname='Sheet1')
#data=pd.concat([data1,data2])
#多个Excel文件合并
dfData=pd.read_excel('./example0.xls',sheetname='Sheet1')
foriinrange(1,20):
fileName='./example_{}.xls'.format(str(i))
dfNew=pd.read_excel(fileName)
dfData=pd.concat([dfData,dfNew])
dfData.to_excel('./example',index=False)

以上就是python文件拆分与合并的方法，希望对大家有所帮助。更多python学习指路：python基础教程

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。