Python爬虫数据合并:应该先在list中合并再转pandas处理
文章目录
疑惑
在pandas文档中看到,不建议频繁使用append追加数据,而是使用concat连接,能够提高效率。
于是想到,这样操作已有DataFrame时可能没别的办法,但是在爬虫中,经常是分批采集到数据,那应该在每个线程中转为DataFrame再最后合并,还是应该先用list追加(extand/append)最后再转为DataFrame?
于是自己测试一下,发现结果list处理比频繁转换DataFrame效率高得多。
所以,爬虫中应该先使用list存储、更新数据,抓取结束后再使用pandas处理。
测试如下
1. 使用pandas直接转为DataFrame,最后再concat合并
t = time.perf_counter()
pd1 = pd.concat([pd.DataFrame([[i, i, i, i]], columns=['0', '1', '2', '3']) for i in range(1000)],
ignore_index=True)
t = time.perf_counter() - t
print(pd1)
print('任务全部完成耗时:', t)输出:
[1000 rows x 4 columns]
任务全部完成耗时: 0.476084099999982. 使用list合并,最后使用pandas直接转为DataFrame
t = time.perf_counter()
lst = []
for i in range(1000):
lst.extend([[i, i, i, i]])
pd1 = pd.DataFrame(lst, columns=['0', '1', '2', '3'])
t = time.perf_counter() - t
print(pd1)
print('任务全部完成耗时:', t)输出:
[1000 rows x 4 columns]
任务全部完成耗时: 0.002777700000024197
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论