公司有下载接口,会进行数据下载保存成excl文件,本人利用python进行自动化下载和数据清洗,然后因为数据量有时特别大的原因,使用了mysql数据库进行数据处理,废话不多说,上代码
# 数据库字段非常多,这里只为展示,选取字段A到D四列字段 # 获取excl文件的总共条数 # 选择读取那张表ggcs # 这里如果打印fields会得到表的结构 # 这里是创造一个对应表,会添加到之后的for循环中,然后对应每条数据添加到具体表头的数据列里面 # 因为批量操作需要有一个元组列表装纳,这里的data就是盒子 #这里是单条插入,为了相比较时长 #这里就是批量处理,要求需要将查数据的表头全部展示,假如有30列就需要在这里写30个字段以下是单条插入的所用时间,本插入15820*4条数据,所用4分钟
以下是批量插入的所用时间
可以看到数据插入快了不止一点点,这里需要感谢此代码的原始编写大佬,
@何忧非喜{傲娇的程序媛}