44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

Aidan075 等级 393 0 0

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

昨天在凹凸数读写了一篇新文章,有关网易云音乐热评的分析,链接如下:

《网易云音乐热评的规律,44万条数据告诉你》

之前由于懒,总是评论区放个代码就草草了事,技术号们也不太好转载,以后争取《凹凸数读》的每篇文章都在这个《凹凸玩数据》里写下流程。

有个段子讲“十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗”,网易云音乐的评论区也一直都是各类文案大神的聚集地。

那么我们普通用户到底如何成为网易云音乐评论里的热评段子手?

让我来分析一下。

获取数据

其实逻辑并不复杂:

  1. 爬取歌单列表里的所有歌单url。

  2. 进入每篇歌单爬取所有歌曲url,去重。

  3. 进入每首歌曲首页爬取热评,汇总。

歌单列表是这样的:44万条数据揭秘:如何成为网易云音乐评论区的网红段子手? 翻页并观察它的url变化,注意下方动图,每次翻页末尾变化35。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

采用requests+pyquery来爬取。

def get_list():  
    list1 = []  
    for i in range(0,1295,35):  
        url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i)  
        print('已成功采集%i页歌单\n' %(i/35+1))  
        data = []  
        html = restaurant(url)  
        doc = pq(html)  
        for i in range(1,36): # 一页35个歌单  
            a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href')  
            a1 = 'https://music.163.com/api' + a.replace('?','/detail?')  
            data.append(a1)  
        list1.extend(data)  
        time.sleep(5+random.random())  
    return list1  

这样我们就可以获得38页每页35篇歌单,共1300+篇歌单。

下面我们需要进入每篇歌单爬取所有歌曲url,并且要注意最后“去重”,不同歌单可能包含同一首歌曲。

点开一篇歌单,注意红色圈出的id。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

观察一下,我们要在每篇歌单下方获取的信息也就是红框圈出的这些,利用刚刚爬取到的歌单id和网易云音乐的api(下一篇文章细讲)可以构造出:

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

不方便看的话我们解析一下json。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

def get_playlist(url):  
    data = []  
    doc = get_json(url)  
    obj=json.loads(doc)  
    jobs=obj['result']['tracks']  
    for job in jobs:  
        dic = {}  
        dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称  
        dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID  
        data.append(dic)  
    return data 

这样我们就获取了所有歌单下的歌曲,记得去重。

#去重  
data = data.drop_duplicates(subset=None, keep='first', inplace=True) 

剩下就是获取每首歌曲的热评了,与前面获取歌曲类似,也是根据api构造,很容易就找到了。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

def get_comments(url,k):  
    data = []  
    doc = get_json(url)  
    obj=json.loads(doc)  
    jobs=obj['hotComments']  
    for job in jobs:  
        dic = {}  
        dic['content']=jsonpath.jsonpath(job,'$..content')[0]   
        dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0])  
        dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0]  #用户ID  
        dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名  
        dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]   
        dic['name']= k  
        data.append(dic)  
    return data 

汇总后就获得了44万条音乐热评数据。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

数据分析

清洗填充一下。

def data_cleaning(data):  
    cols = data.columns  
    for col in cols:  
        if data[col].dtype ==  'object':  
            data[col].fillna('缺失数据', inplace = True)  
        else:  
            data[col].fillna(0, inplace = True)  
    return(data)

按照点赞数排个序。

#排序  
df1['likedCount'] = df1['likedCount'].astype('int')  
df_2 = df1.sort_values(by="likedCount",ascending=False)  
df_2.head()  

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

再看看哪些热评是被复制粘贴搬来搬去的。

#排序  
df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False)  
df_line.head()  

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

第一个和第三个只是末尾有没有句号的区别,可以归为一类。这样的话,重复次数最多个这句话竟然重复了412次,额~~

看看上热评次数次数最多的是哪位大神?从他的身上我们能学到什么经验?

df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False)  
df_user.head()  

按照 user_id 汇总一下,排序。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

成功“捕获”一枚“段子手”,上热评次数高达347,我们再看看这位大神究竟都评论些什么?

df_user_max = df.loc[(df['userId'] == 101***770)]  
df_user_max.head()  

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

这位“失眠的陈先生”看来各种情话娴熟于手啊,下面就以他举例来看看如何成为网易云音乐评论里的热评段子手吧。

数据可视化

先看看这347条评论的赞数分布。

#赞数分布图  
import matplotlib.pyplot as plt  
data = df_user_max['likedCount']  
#data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig')  
plt.hist(data,100,normed=True,facecolor='g',alpha=0.9)  
plt.show()

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

很明显,赞数并不多,大部分都在500赞之内,几百赞却能跻身热评,这也侧面说明了这些歌曲是比较小众的,看来是经常在新歌区广撒网。

我们使用len() 求出每条评论的字符串长度,再画个分布图

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

评论的字数集中在18—30字之间,这说明在留言时要注意字数,保险的做法是不要太长让人读不下去,也不要太短以免不够经典。

做个词云。

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

可以看出他的评论风格是以一首歌使他“想起”“感觉”为开头,宾语通常是“喜欢的女孩子”,也经常用"她”来指代。寄托的情感是“后悔”“悲伤”,感慨的终点是“放下”。

44万条数据能分析的当然不止这些,详情请移步。

《网易云音乐热评的规律,44万条数据告诉你》

也许我们可以通过分析规律收获点赞,成为热评网红段子手。但最终能打动人心的,依然是基于歌曲本身的真诚分享,和点出歌中蕴含的真正共鸣。

本文相关代码:

#下载链接  
https://t.zsxq.com/F6UfUbA

本文转转自微信公众号凹凸数据原创https://mp.weixin.qq.com/s/QYlHyfIQI2_FqxTztYy9Ag,可扫描二维码进行关注: 44万条数据揭秘:如何成为网易云音乐评论区的网红段子手? 如有侵权,请联系删除。

收藏
评论区

相关推荐

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?
昨天在凹凸数读写了一篇新文章,有关网易云音乐热评的分析,链接如下: 《网易云音乐热评的规律,44万条数据告诉你》(http://mp.wei
收藏这些API,获取网易云音乐数据超轻松
汇总了常见的网易云音乐API,墙裂建议点击右上角收藏 下面是常见的网易云音乐get请求的API。 简单介绍一下它们: 评论 http://music.163.com/api/v1/resource/comments/R_SO_4_{歌曲ID}?limit20&offset0 这应该是最最最常见的了,毕竟80%
被“词云”包围的冰冰会更好看吗?安排
(https://imghelloworld.osscnbeijing.aliyuncs.com/b299933deefc692934e8cc6141ab3894.png) 大家好,我是小五🐶 昨天「凹凸数据」发了一篇张同学投稿的文章《用Python爬取王冰冰vlog弹幕并制作词云(https://mp.weixin.qq.com/
云函数手撸用户体系
使用云函数实现用户系统数据库为腾讯云TDSQL其它服务商云函数 通用 只需修改index.js返回参数即可主要有用户注册 用户登陆 邮箱发送验证码 邮箱验证码校检 邮箱绑定 邮箱解绑 邮箱验证码登陆 生成token 校验token 其它功能可以在此基础上拓展纯手撸代码 云函数环境为nodejs12.13由于我比较穷 就不带大家使用短信服务了
typora配置图床[阿里云]
typora 配置图床 阿里云 | Failed to fetch 解决 typora 配置图床 阿里云txt1) 下载最新版typora;2) 偏好设置 图像 下载PicGo客户端 如图一3) 打开下好的picGo 图床设置 阿里云 如图二4) 打开阿里云控制台 阿里云购买os
2021年值得关注的五个云原生安全问题
云原生正变得越来越流行,在2020年,统计发现,其中83%的组织也在生产环境中使用kubernetes。由于,团队可以轻松地构建和使用,,,以及管理服务,而不必担心底层的服务器。但是,云原生安全性仍然是一个真正的挑战。奇怪的是,云原生安全性的最大问题与所有新技术无关。首席安全官表示,如果组织希望以更好地开始新的一年,则应着手解决五个主要的云原生安全性问题。有
深度 | 阿里云蒋江伟:什么是真正的云原生?
作者 | 阿里云原生 来源|而今,云原生成了耳熟能详的热门词,似乎不提云原生就落伍了,加入 CNCF 也成了云厂商引以为傲的技术优势。我们也看到各种云原生的定义,有来自 CNCF 的“微服务容器持续交付DevOps”,也有来自不同云厂商的说法。2020 年 9 月,阿里云成立了云原生技术委员会,今天我就从云计算的初心尝试谈谈什么是真正的云原生。狭义的
收藏这些API,获取网易云音乐数据超轻松
汇总了常见的网易云音乐API,墙裂建议点击右上角收藏 下面是常见的网易云音乐get请求的API。 简单介绍一下它们: 评论http://music.163.com/api/v1/resource/comments/RSO4歌曲ID?limit20&offset0 这应该是最最最常见的了,毕竟80%的网易云音乐的爬虫/数据分析文章都是关于评论数据使用技
44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?
昨天在凹凸数读写了一篇新文章,有关网易云音乐热评的分析,链接如下: 之前由于懒,总是评论区放个代码就草草了事,技术号们也不太好转载,以后争取《凹凸数读》的每篇文章都在这个《凹凸玩数据》里写下流程。 有个段子讲“十年文案老司机,不如网易评论区,网易文豪遍地走,评论全部单身狗”,网易云音乐的评论区也一直都是各类文案大神的聚集地。 那么我们普通用户到底如
Vue.js与Node.js一起打造一款属于自己的音乐App(收藏)
自己平时喜欢钻研技术,做项目。所以有幸发现了网易云音乐Nodejs版的API。网址如下:https://binaryify.github.io/NeteaseCloudMusicApi//打开网址就可以进入如上所示的网站,文档写的不错,非常容易上手。所以之前利用自己的服务器搭建了一个API服务,使用Vue.js快速搭建一个App应用。这个App应用是之前做的
云游戏时代来了,让好玩触手可及。
本文纯属分享新技术随着科技的迅猛发展,"云端"这个概念逐渐成为各大厂商的研究对象。云储存、云盘、云计算乃至最近大火的云游戏,脱离了固定的硬件和软件计算环节。 云游戏也叫有需求的游戏,是基于云计算的新技术。在云游戏模型中,所有的游戏逻辑和渲染都在服务器端运行,然后再从服务器把压缩的视频传给用户,这样玩家就不需要一台CPU和GPU相当好的计算机了,唯一的要求就
2分钟做一个Vue实时直播系统
前言我们在不敲代码的时候可能会去看游戏直播,那么是前台怎么实现的呢?下面我们来讲一下。第一步,购买云直播服务首先,你必须去阿里云或者腾讯云注册一个直播服务。也花不了几个钱,练手的话,几十块钱就够了。这里我拿阿里云举例,购买完了,配置好推流域名跟播流域名,下面我们将进行地址生成。记住下面生成的地址,下面会用到。第二步,下载本地推流工具https://obspr
zookeeper到nacos的迁移实践
本文已收录 https://github.com/lkxiaolou/lkxiaolou 欢迎star。 技术选型公司的RPC框架是dubbo,配合使用的服务发现组件一直是zookeeper,长久以来也没什么大问题。至于为什么要考虑换掉zookeeper,并不是因为它的性能瓶颈,而是考虑往云原生方向演进。云原生计算基金会(CNCF)对云原生的定义是: 云原生
手把手教你使用Python打造绚丽的词云图
前言大家好,我是黄伟。词云,相信大家对这个概念比较陌生,它其实就是指的是对某一段文本中出现频率最高的关键词进行特殊描绘,过滤到太多没用的字眼,以此达到视觉上的突出,让人一看就知道这篇文章讲的什么。 一、词云的运用设计到的模块:wordcloud编辑器:sublime text 3编译器:Python 3.6 1.下载安装wordcloud模块pip ins
Python爬取所有人位置信息,制作任意区域人流量显示图
最近偶然看到了腾讯的大数据星云图,非常漂亮,如下图: 这些数据代表使用腾讯定位服务的用户实际地理位置,例如微信、QQ、腾讯地图等,所以使用量还是表达的,此图可以间接显示人流量情况该网站还可以查看区域热力图:但是只有个别区域于是我萌生一个想法,用python任意区域人员流量图经过不懈努力,没想到还真给实现了,下面带大家一起学习一下这一过程:一、首先是数据获取