python 基础 爬虫音乐资源案例
文章目录
python -------- 爬取音乐资源
关于爬虫 我只是想分享下自己的心得体会 很简答的爬虫 希望对你有帮助
eg:爬取的网页链接为: http://www.htqyy.com/top/hot
import requests
import re
# url = 'http://www.htqyy.com/top/hot' 第一页
# http://www.htqyy.com/top/hot?pageIndex=0&pageSize=20 第一页
# http://www.htqyy.com/top/musicList/hot?pageIndex=1&pageSize=20 第二页
# http://www.htqyy.com/top/musicList/hot?pageIndex=2&pageSize=20 第三页
# 设置headers 反防爬
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36",
"Referer": "http://www.htqyy.com/top"
}
songName = []
songnId = []
爬取两页的资源
for i in range(0,2):
url = "http://www.htqyy.com/top/hot?pageIndex="+str(i)+"&pageSize=20"
req = requests.get(url=url,headers=headers)
content = req.text
pat1 = r'title="(.*?)" sid' # 在content中重用正则匹配歌曲名
pat2 = r'sid="(.*?)"' # 歌曲id
name = re.findall(pat1,content) # 正则 fiadall得到是列表
id = re.findall(pat2,content)
songName.extend(name) # 把歌名添加到songName列表中
songnId.extend(id)
print(songName) # 测试歌曲名字
print(songnId) # 歌曲id
遍历出歌曲id 然后拼接歌曲 中url
for i in range(0,len(songnId)):
songurl = "http://f2.htqyy.com/play7/"+songnId[i]+"/mp3/1"
songnname = songName[i]
data = requests.get(songurl).content # 以byte形式
print("正在下载第",i+1,"首")
with open("D:\\Music\\{}.mp3".format(songName[i]),"wb")as fw: # 下载保存
fw.write(data)

效果截图如下(本人只爬取了几首…如果想爬取多首 只需运行时间长点就ok了)
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论