python 基础 爬虫音乐资源案例

python -------- 爬取音乐资源
关于爬虫 我只是想分享下自己的心得体会 很简答的爬虫 希望对你有帮助
eg:爬取的网页链接为: http://www.htqyy.com/top/hot

import requests
import re

# url = 'http://www.htqyy.com/top/hot'  第一页
# http://www.htqyy.com/top/hot?pageIndex=0&pageSize=20  第一页

# http://www.htqyy.com/top/musicList/hot?pageIndex=1&pageSize=20  第二页
# http://www.htqyy.com/top/musicList/hot?pageIndex=2&pageSize=20  第三页

# 设置headers 反防爬

headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36",
"Referer": "http://www.htqyy.com/top"
}

songName = []
songnId = []

爬取两页的资源

for i in range(0,2):

url = "http://www.htqyy.com/top/hot?pageIndex="+str(i)+"&pageSize=20"
req = requests.get(url=url,headers=headers)
content = req.text
pat1 = r'title="(.*?)" sid' # 在content中重用正则匹配歌曲名
pat2 = r'sid="(.*?)"'  # 歌曲id
name = re.findall(pat1,content)  #  正则 fiadall得到是列表
id = re.findall(pat2,content)

songName.extend(name)  # 把歌名添加到songName列表中
songnId.extend(id)

print(songName) # 测试歌曲名字
print(songnId) # 歌曲id

遍历出歌曲id 然后拼接歌曲 中url
for i in range(0,len(songnId)):

songurl = "http://f2.htqyy.com/play7/"+songnId[i]+"/mp3/1"
songnname = songName[i]
data = requests.get(songurl).content   #  以byte形式
print("正在下载第",i+1,"首")
with open("D:\\Music\\{}.mp3".format(songName[i]),"wb")as fw:  # 下载保存
    fw.write(data)


效果截图如下(本人只爬取了几首…如果想爬取多首 只需运行时间长点就ok了)

评论

暂无评论