如何使用python将大量数据导出到Excel中的小技巧

2024-05-18 08:00

1. 如何使用python将大量数据导出到Excel中的小技巧

何使用python将大量数据导出到Excel中的小技巧
(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?本文主要解决以上两个问题。

(2)具体步骤如下:
1.第一步,安装openpyxl,
使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。
写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。
pip install openpyxl==2.2.6
2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。
(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:
python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,
但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。
因此面对需要导出大量数据到excel的情况,你将有如下三种选择,(1)换一种存储格式,如保存为CSV文件  (2)使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理 (3) win32 COM (Windows only)
当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。
ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~
(4)闲话少说,直接上代码,敬请参考
# coding:utf-8'''# 希望对大家有帮助哈,请多提问题create by yaoyzdate: 2017/01/24'''import xlrdimport xlwt# workbook相关from openpyxl.workbook import Workbook# ExcelWriter,封装了很强大的excel写的功能from openpyxl.writer.excel import ExcelWriter# 一个eggache的数字转为列字母的方法from openpyxl.utils import get_column_letterfrom openpyxl.reader.excel import load_workbookclass HandleExcel():'''Excel相关操作类'''def __init__(self):self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']"""function:读出txt文件中的每一条记录,把它保存在list中Param:filename:  要读出的文件名Return:res_list: 返回的记录的list"""def read_from_file(self,filename):res_list=[]file_obj=open(filename,"r")for line in file_obj.readlines():res_list.append(line)file_obj.close()return res_list"""function:读出*.xlsx中的每一条记录,把它保存在data_dic中返回Param:excel_name:  要读出的文件名Return:data_dic: 返回的记录的dict"""def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):# 读取excel2007文件wb = load_workbook(filename=excel_name)# 显示有多少张表print   "Worksheet range(s):" , wb.get_named_ranges()print   "Worksheet name(s):" , wb.get_sheet_names()# 取第一张表sheetnames = wb.get_sheet_names()ws = wb.get_sheet_by_name(sheetnames[0])# 显示表名,表行数,表列数print   "Work Sheet Titile:" ,ws.titleprint   "Work Sheet Rows:" ,ws.get_highest_row()print   "Work Sheet Cols:" ,ws.get_highest_column()# 获取读入的excel表格的有多少行,有多少列row_num=ws.get_highest_row()col_num=ws.get_highest_column()print "row_num: ",row_num," col_num: ",col_num# 建立存储数据的字典data_dic = {}sign=1# 把数据存到字典中for row in ws.rows:temp_list=[]# print "row",rowfor cell in row:print cell.value,temp_list.append(cell.value)print ""data_dic[sign]=temp_listsign+=1print data_dicreturn data_dic"""function:读出*.xlsx中的每一条记录,把它保存在data_dic中返回Param:records: 要保存的,一个包含每一条记录的listsave_excel_name:  保存为的文件名head_row_stu_arrive_star:Return:data_dic: 返回的记录的dict"""def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):# 新建一个workbookwb = Workbook()# 新建一个excelWriterew = ExcelWriter(workbook=wb)# 设置文件输出路径与名称dest_filename = save_excel_name.decode('utf-8')# 第一个sheet是wsws = wb.worksheets[0]# 设置ws的名称ws.title = "range names"# 写第一行,标题行for h_x in range(1,len(head_row)+1):h_col=get_column_letter(h_x)#print h_colws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])# 写第二行及其以后的那些行i = 2for record in records:record_list=str(record).strip().split("\t")for x in range(1,len(record_list)+1):col = get_column_letter(x)ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))i += 1# 写文件ew.save(filename=dest_filename)"""function:测试输出Excel内容读出Excel文件Param:excel_name:  要读出的Excel文件名Return:无"""def read_excel(self,excel_name):workbook=xlrd.open_workbook(excel_name)print workbook.sheet_names()# 获取所有sheetprint workbook.sheet_names() # [u'sheet1', u'sheet2']sheet2_name = workbook.sheet_names()[1]# 根据sheet索引或者名称获取sheet内容sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始sheet2 = workbook.sheet_by_name('Sheet1')# sheet的名称,行数,列数print sheet2.name,sheet2.nrows,sheet2.ncols# 获取整行和整列的值(数组)rows = sheet2.row_values(3) # 获取第四行内容cols = sheet2.col_values(2) # 获取第三列内容print rowsprint cols# 获取单元格内容print sheet2.cell(1,0).valueprint sheet2.cell_value(1,0)print sheet2.row(1)[0].value# 获取单元格内容的数据类型print sheet2.cell(1,0).ctype# 通过名称获取return workbook.sheet_by_name(u'Sheet1')"""function:设置单元格样式Param:name:  字体名字height:  字体高度bold:  是否大写Return:style: 返回设置好的格式对象"""def set_style(self,name,height,bold=False):style = xlwt.XFStyle() # 初始化样式font = xlwt.Font() # 为样式创建字体font.name = name  # 'Times New Roman'font.bold = boldfont.color_index = 4font.height = heightborders= xlwt.Borders()borders.left= 6borders.right= 6borders.top= 6borders.bottom= 6style.font = fontstyle.borders = bordersreturn style"""function:按照 设置单元格样式  把计算结果由txt转变为Excel存储Param:dataset:要保存的结果数据,list存储Return:将结果保存为 excel对象中"""def write_to_excel(self, dataset,save_excel_name,head_row):f = xlwt.Workbook()  # 创建工作簿# 创建第一个sheet:# sheet1count=1sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True)  # 创建sheet# 首行标题:for p in  range(len(head_row)):sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))default=self.set_style('Times New Roman',200,False)   # define style out the loop will workfor line in dataset:row_list=str(line).strip("\n").split("\t")for pp in  range(len(str(line).strip("\n").split("\t"))):sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)count+=1f.save(save_excel_name)  # 保存文件def run_main_save_to_excel_with_openpyxl(self):print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"print "1. 把txt文件读入到内存中,以list对象存储"dataset_list=self.read_from_file("test_excel.txt")'''test use openpyxl to handle EXCEL 2007'''print "2. 把文件写入到Excel表格中"head_row_label=self.head_row_labelssave_name="test_openpyxl.xlsx"self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)print "3.  执行完毕,由txt格式文件保存为Excel文件的任务"def run_main_save_to_excel_with_xlwt(self):print " 4. 把txt文件读入到内存中,以list对象存储"dataset_list=self.read_from_file("test_excel.txt")'''test use xlwt to handle EXCEL 97-2003'''print " 5. 把文件写入到Excel表格中"head_row_label=self.head_row_labelssave_name="test_xlwt.xls"self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)print "6.  执行完毕,由txt格式文件保存为Excel文件的任务"if __name__ == '__main__':print "create handle Excel Object"obj_handle_excel=HandleExcel()# 分别使用openpyxl和xlwt将数据写入文件obj_handle_excel.run_main_save_to_excel_with_openpyxl()obj_handle_excel.run_main_save_to_excel_with_xlwt()'''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls")  # 错误写法#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法obj_handle_excel.read_excel("testexcel2003.xls")obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")

如何使用python将大量数据导出到Excel中的小技巧

2. 怎么从WIND中导出财务报表

方法步骤:
1.首先打开“wind”财务软件,计入软件主界面,选中并单击主功能区“报表与分析”项。

2.然后点击“我的报表”下面的子项目“利润表”计入报表系统。

3.进入报表系统后,点击“工具”,这样会弹出一个下滑选项,再选择并点击“公式取数参数”,进而会弹出“设置公式取数参数”,在这里我们就可以选择需要导出数据的期间,选择完后单击“确定”回到报表系统主界面。


4.回到报表系统界面后,需要点击“感叹号”或点击工具栏中“数据”下面的“报表重算!”子项目进行报表重新计算。

5.“报表重算”完成之后的数据就是我们需要的报表数据了。为了引出报表数据,就需要点击“文件”下面的“引出报表”子项目,进而弹出一个保存数据的对话框,在这儿需要注意文件保存类型的选择,一般情况下文件保存类型都会选择保存为“.XLS”文件类型,然后单击“保存”。



6.点击保存后,需要的报表数据就开始输出了,页面会回到报表系统界面。当输出成功后,系统会提示“引出报表成功”,这样报表数据就导出来了,我们需要时直接去保存它的地址打开它就行了。

扩展资料:Wind是金融数据和分析工具服务商,资讯是中国大陆金融数据、信息和软件服务企业,总部位于上海陆家嘴金融中心。在国内市场,Wind资讯的客户包括超过90%的中国证券公司、基金管理公司、保险公司、银行和投资公司等金融企业;在国际市场,已经被中国证监会批准的合格境外机构投资者(QFII)中75%的机构是Wind资讯的客户。同时国内多数知名的金融学术研究机构和权威的监管机构也是我们的客户,大量中英文媒体、研究报告、学术论文等经常引用Wind资讯提供的数据。
在金融财经数据领域,Wind资讯已建成国内以金融证券数据为核心一流的大型金融工程和财经数据仓库,数据内容涵盖股票、基金、债券、外汇、保险、期货、金融衍生品、现货交易、宏观经济、财经新闻等领域,新的信息内容在第一时间进行更新以满足机构投资者的需求。
针对金融业的投资机构、研究机构、学术机构、监管部门机构等不同类型客户的需求,Wind资讯开发了一系列围绕信息检索、数据提取与分析、投资组合管理应用等领域的专业分析软件与应用工具。通过这些终端工具,用户可以7x24从Wind资讯获取到及时、准确、完整的财经数据、信息和各种分析结果。
精于数据,以数据为起点,万得资讯紧密跟随金融市场日新月异的发展,不断向新的领域发展,新的产品和服务战略不断在延伸。
参考资料:百度百科――wind

3. 如何使用python将大量数据导出到Excel中的

1、安装openpyxl模块
2、调用openpyxl模块,将变量中的数据写入excel
具体的操作流程需要根据您的需求和数据格式。

如何使用python将大量数据导出到Excel中的

4. 万得Wind数据终端怎么获取批量数据

连接到SQL数据库管理系统,您需要将数据直接导出到数据库服务器,然后通过数据库来引导数据。 但是,这种软件,它应该有充分数据的功能,你可能不会找到你看看希望可以帮到你

5. 怎么将python中的数据导出到excel

python操作excel常用的模块有xlrd,xlrt,是第三方模块,要另外下载

怎么将python中的数据导出到excel

6. 怎么批量下载数据,如图。能批量下载一页的数据10个,如果手工操作要50次。用Python可以快速实现吗?

用按键精灵吧,按键精灵简单

7. 如何用Python从大量pdf 中提取表格中的数据进行分析

用pandas df转成matrix。然后处理二维数组。 再写到最终的excel。

如何用Python从大量pdf 中提取表格中的数据进行分析

8. 如何通过python快速输出数据库数据到excel

pip install xlwings
安装这个包,然后网上找使用说明。该包在PYTHON中简直可当成EXCEL的外挂了,可实时从EXCEL中读取单元格中的数据,也可实时将数据传递到EXCEL中显示。