用Python爬取王冰冰vlog弹幕并制作词云

Aidan075 等级 320 0 0

用Python爬取王冰冰vlog弹幕并制作词云

大家好,我是张同学,最近的“瓜”,多到我们措手不及,可谓是“热点不断”。作为程序员,我们还可能随时为此而加班。

各种评论视频“爆炸”网络,打开首页全是热点话题的内容,某知名UP主发布视频都要错下峰。

我就在思考:这么火爆的话题和内容,有没有一种通用的分析方法?答案是:抓取弹幕或者评论。

下面就让我们以冰冰vlog的视频弹幕为例,来进行分析。

一、获取方法

1.网页解析:网页结构可能随时会发生变化。

2.python第三方api:可能会有维护跟不上的问题。

经过简单对比,我选择第一种方法。

二、网页分析

爬取弹幕的关键是获取视频的cid,有些地方也叫oid。通过浏览器的开发者模式我们不难找到该视频的cid。我们通过https://comment.bilibili.com/+视频的cid+.xml就可以爬取该视频所有弹幕了。

用Python爬取王冰冰vlog弹幕并制作词云

用Python爬取王冰冰vlog弹幕并制作词云

三、弹幕文件下载和解析

由于弹幕内容集中在xml文件里,我们需要对文件进行下载,使用xpath解析文件。

from lxml import etree  
import  requests  
import time  
import jieba  
import numpy as np  
from PIL import Image  
from wordcloud import WordCloud as wc  
class Bilibili():  
    """docstring for Bilibili"""  
    def __init__(self,oid):  
        self.headers={  
        'Host': 'api.bilibili.com',  
        'Connection': 'keep-alive',  
        'Cache-Control': 'max-age=0',  
        'Upgrade-Insecure-Requests': '1',  
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36',  
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',  
        'Accept-Encoding': 'gzip, deflate, br',  
        'Accept-Language': 'zh-CN,zh;q=0.9',  
        'Cookie': 'finger=edc6ecda; LIVE_BUVID=AUTO1415378023816310; stardustvideo=1; CURRENT_FNVAL=8; buvid3=0D8F3D74-987D-442D-99CF-42BC9A967709149017infoc; rpdid=olwimklsiidoskmqwipww; fts=1537803390'  

        }  
        self.url='https://api.bilibili.com/x/v1/dm/list.so?oid='+str(oid)  
        self.barrage_reault=self.get_page()  

    # 获取信息  
    def get_page(self):  
        try:  
            # 延时操作,防止太快爬取  
            time.sleep(0.5)  
            response=requests.get(self.url,headers=self.headers)  
        except Exception as e:  
            print('获取xml内容失败,%s' % e)  
            return False  
        else:  
            if response.status_code == 200:  
                # 下载xml文件  
                with open('bilibili.xml','wb') as f:  
                    f.write(response.content)  
                return True  
            else:  
                return False  

    # 解析网页  
    def param_page(self):  
        time.sleep(1)  
        if  self.barrage_reault:  
            # 文件路径,html解析器  
            html=etree.parse('bilibili.xml',etree.HTMLParser())  
            # xpath解析,获取当前所有的d标签下的所有文本内容  
            results=html.xpath('//d//text()')  
            return results  

四、弹幕去重

重复的弹幕进行归类,未出现过的弹幕创建新的分类。为词频统计和词云做好准备。

# 弹幕去重  
def remove_double_barrage(self):  
    '''  
    double_arrage:所有重复弹幕的集合  
    results:去重后的弹幕  
    barrage:每种弹幕内容都存储一遍  
    '''  
    double_barrage=[]  
    results=[]  
    barrage=set()  
    for result in self.param_page():  
        if result not in results:  
            results.append(result)  
        else:  
            double_barrage.append(result)  
            barrage.add(result)  
    return double_barrage,results,barrage  

五、弹幕重复次数统计和制作词云

我们在网上照一张“王冰冰”的照片,进行简单的处理,作为词云的轮廓图。用Python爬取王冰冰vlog弹幕并制作词云

用Python爬取王冰冰vlog弹幕并制作词云

# 弹幕重复次数和词云制作  
def make_wordCould(self):  
    double_barrages,results,barrages=self.remove_double_barrage()  
    # 重词计数  
    with open('barrages.txt','w') as f:  
        for barrage in barrages:  
            amount=double_barrages.count(barrage)  
            f.write(barrage+':'+str(amount+1)+'\n')  

    # 设置停用词  
    stop_words=['【','】',',','.','?','!','。']  
    words=[]  
    if results:  
        for result in results:  
            for stop in stop_words:  
                result=''.join(result.split(stop))  
            words.append(result)  
        # 列表拼接成字符串  
        words=''.join(words)  
        words=jieba.cut(words)  
        words=''.join(words)  
        bingbing=np.array(Image.open('冰冰.jpg'))  
        w=wc(font_path='‪C:/Windows/Fonts/SIMYOU.TTF',  
             background_color='white',  
             width=900,  
             height=600,  
             max_font_size=15,  
             min_font_size =1,  
             max_words=3000,  
             mask=bingbing)  
        w.generate(words)  
        w.to_file('bingbing.jpg')  

b=Bilibili(283851334)#视频的cid  
b.make_wordCould()#绘制词云  

统计结果:

用Python爬取王冰冰vlog弹幕并制作词云

词云图效果:

用Python爬取王冰冰vlog弹幕并制作词云

六、总结

我对于B站的网页结构还有很多不熟悉的地方,或许还有其他更好的分析方法和技巧,最后的人形词云要设置合适的参数才能让人物的形象惟妙惟肖。

该教程我参考了一些网友的方法,对提供技术分享的博主表示感谢[1]。希望我们都能保持一颗学习的心,一直不断地探索吧。

参考资料

[1]

参考文章: https://blog.csdn.net/weixin\_36605200/article/details/82848020

用Python爬取王冰冰vlog弹幕并制作词云

本文转转自微信公众号凹凸数据原创https://mp.weixin.qq.com/s/KlyzFRmTf8no9DpzqJZ6Pg,可扫描二维码进行关注: 用Python爬取王冰冰vlog弹幕并制作词云 如有侵权,请联系删除。

收藏
评论区

相关推荐

被“词云”包围的冰冰会更好看吗?安排
(https://imghelloworld.osscnbeijing.aliyuncs.com/b299933deefc692934e8cc6141ab3894.png) 大家好,我是小五🐶 昨天「凹凸数据」发了一篇张同学投稿的文章《用Python爬取王冰冰vlog弹幕并制作词云(https://mp.weixin.qq.com/
用Python爬取王冰冰vlog弹幕并制作词云
(https://imghelloworld.osscnbeijing.aliyuncs.com/ee5c5cff038a2528350dc352e599b4c4.png) 大家好,我是张同学,最近的“瓜”,多到我们措手不及,可谓是“热点不断”。作为程序员,我们还可能随时为此而加班。 各种评论视频“爆炸”网络,打开首页全是热点话题的内容,某
Linux使用 常见经验和技巧总结
1.XShell连接远程Linux服务器并运行程序后关闭XShell继续执行XShell是用来连接远程Linux很好的工具,在连接之后并运行好需要运行的程序后,往往需要关闭XShell,但是直接运行比如运行python crawler.py运行一个Python爬虫程序后,并直接关闭XShell往往会同时杀掉正在运行的爬虫程序,因此需要使用sudo
商业数据分析从入门到入职(9)Python网络数据获取
@toc 前言本文主要讲Python最常见的应用之一——网络数据获取,即爬虫:先介绍了网页和网络的基础知识,为从网页中获取数据打好基础;接下来以两个案例介绍从网络中获取数据和处理数据的不同方式,以进一步认识Python爬虫和数据处理。 一、网络和网页基础知识 1.数据来源数据源有很多,可以从数据库中获取,可以从文件中获取,也可以从
厉害了,股票K线图还能这么画!
大家好,我是小五🐶发现大家还是最喜欢股票基金话题呀~那说到股票基金就不得不提——**K线图**!那小五今天就带大家👉用`python`来轻松绘制高颜值的K线图🚀 获取股票交易数据 巧妇难为无米之炊,做可视化也离不开数据。本文我将以酱香型科技——**贵州茅台**为例,获取它的近期股票数据并绘制K线图。如果我们要特意去动手去写爬虫,就显得有些多余了,这里
1年前的小五都用 Python 来做什么?
↑ 点击上方 “凹凸数据” 关注 + 星标  每天更新,干货不断   (多图预警) 注:这是小五一年前在知乎的回答,当时还只有凹凸数读一个公众号,所以很多图片都会带有数读或者知乎的水印。 作为一个菜鸟数据分析师,只会sql+python业余时间写写文章:用python爬取数据→数据清洗→数据分析→数据可视化词云镇楼20190730回来看,前面
用python爬取4332条粽子数据进行分析,再送15盒粽子给大家
↑ 点击上方 “凹凸数据” 关注 + 星标  文章干货!有福利 !  端午节快要到了,甜咸粽子之争也快要拉开帷幕。 小五准备用Python爬取淘宝上的粽子数据并进行分析,看看有什么发现。(顺便送大家一波福利)爬虫爬取淘宝数据,本次采用的方法是:Selenium控制Chrome浏览器自动化操作\[1\]。其实我们还可以利用Ajax接口来构造链接,但是非常
Python网络爬虫与信息提取
title: Python网络爬虫与信息提取date: 20201210 01:00:23tags: Pythoncategories: 学习笔记 写在前面 不知道写啥其实说实话[TOC] 网络爬虫之规则 安装requests库cmd 命令行打开输入pip3 install requests,等待即可简单测试,爬一下bkjwpythonimport requ
《Python3网络爬虫开发实战》
提取码:1028内容简介 · · · · · ·本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容,接着通过多个案例介绍了不同场景下如何实现数据爬取,后介绍了pyspider框架、S
多人说Python简单,但是如何入门Python并精通?
一般而言,Python几个月就可以开始使用了。假如你几个月没入门,那肯定是方法不对,或者是偷懒.我在公众号里有一篇文章详细写了“初学者别上爬虫”,爬虫虽然很有趣,但不适合于小白用户。以下是2点:多人说Python简单,但是如何入门Python并精通?Python再简单再通俗,它也是一门语言,掌握一门语言绝非一朝一夕,我个人不推荐初学者上岸学习爬虫,我举一个很
创建免费ip代理池
     反爬技术越来越成熟,为了爬取目标数据,必须对爬虫的请求进行伪装,骗过目标系统,目标系统通过判断请求的访问频次或请求参数将疑似爬虫的ip进行封禁,要求进行安全验证,通过python的第三方库faker可以随机生成header伪装请求头,并且减缓爬虫的爬取速度,能很好的避过多数目标系统的反扒机制,但对一些安全等级
爬取软件工程师相关信息
爬取有关软件工作的信息 import reimport requestsfrom pymysql import connectfrom bs4 import BeautifulSoup 定义数据库的连接函数conn connect(user"root", password"root", host"localhost", database"python",
实战|手把手教你用Python爬取存储数据,还能自动在Excel中可视化!
大家好,在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序,很多本文将迎合热点,延续上次的NBA爬虫GUI,探讨如何爬取虎扑NBA官网数据。 并且将数据写入Excel中同时自动生成折线图,主要有以下几个步骤。本文将分为以下两个部分进行讲解 在虎扑NBA官网球员页面中进行爬虫,获取球员数据。 清洗整理爬取的球员数据,对其进行可视化。
初窥 Python 的 import 机制
本文适合有 Python 基础的小伙伴进阶学习。 作者:pwwang一、前言本文基于开源项目: https://github.com/pwwang/pythonimportsystem补充扩展讲解,希望能够让读者一文搞懂 Python 的 import 机制。 1.1 什么是 import 机制?通常来讲,在一段 Python 代码中去执行引用另一个模块中
手把手教你用Pycharm连接远程Python环境
前言本次咱们来操作一下如何在Pycharm上,使用远程服务器上的Python环境。 为什么这样做?这个要从我的一次经历说起,有一次我帮朋友爬取一些东西,由于类别不同,分了几次爬取,这一次我写好规则之后,依然正常爬取,由于我本人比较善良,加上数据量目测并不是太多,并没有使用代理ip,并且将scpay的速度控制的比较慢,一般爬取时,一般也就几分钟而已,泡一杯咖