爬虫学习笔记
文章目录
1.判断要爬取的页面是html结构还是json结构,就用检查里找到的节点属性名,去源代码里面搜索。查看网页源代码,如果是有清楚html标签的则为html结构,如:
而如果是这样的,则为json,如:
html结合直接使用网页标题作为url,使用html = etree.HTML(res.text)来整理页面结构;
而如果是json的话,则需要到「检查」-「NetWork」里面找到对应的加载页面,使用加载页面对应的链接作为url,然后使用json_data = json.loads(res.text)整理页面结构。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论