一篇长文带你在python里玩转Json数据

Aidan075 等级 413 0 0

↑一个宝藏公众号,长的好看的人都关注了

一篇长文带你在python里玩转Json数据

一篇长文带你在python里玩转Json数据

Json简介

Json(JavaScript Object Notation)

很多网站都会用到Json格式来进行数据的传输和交换,就像上篇我提到的网易云音乐接口,它们返回的数据都是Json格式的。

一篇长文带你在python里玩转Json数据

这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方便易懂等很多优点。用它来进行前后端的数据传输,大大的简化了服务器和客户端的开发工作量。

而且相对于XML来说,更加的轻量级,更方便解析。

今天我们讲讲如何在python里玩转Json数据?

一篇长文带你在python里玩转Json数据

在Json中,遵循“key-value”的这样一种方式。

比如最简单的这种:“{"name" : "zhuxiao5"}”,跟python 里的字典似的,也是一个Json格式的数据。

复杂一点的比如这种(后文会多次使用到这个例子):

{  
    "animals": {  
        "dog": [  
            {  
                "name": "Rufus",  
                "age":15  
            },  
            {  
                "name": "Marty",  
                "age": null  
            }  
        ]  
    }  
}

以上图为例,再多说几句Json格式的特点

  • 对象通过键值对表现;

  • 键通过双引号包裹,后面跟冒号“:”,然后跟该键的值;

  • 值可以是字符串、数字、数组等数据类型;

  • 对象与对象之间用逗号隔开;

  • “{}”用来表达对象;

  • “[]”用来表达数组;

Python中的Json模块

Python中也自带了Json模块,其中json.dumps()、json.loads()较为常用。

json.dumps() 是将 python 对象转化为 json。

json.loads() 是将 json 转化为 python 对象。

一篇长文带你在python里玩转Json数据

#json.dumps(),json.loads()  
import json  
dict_data = {"a": 1, "b": 2}  
# 将dict格式数据转换成json格式字符串  
dump_data = json.dumps(dict_data)  
# 将json格式字符串转换成对应的python值  
load_data = json.loads(dump_data)  
# 打印转换结果  
print(type(dict_data),dict_data)  
print(type(dump_data),dump_data)  
print(type(load_data),load_data)

运行结果:

<class 'dict'> {'a': 1, 'b': 2}  
<class 'str'>   {"a": 1, "b": 2}  
<class 'dict'> {'a': 1, 'b': 2}

在例子中一开始的变量 dict_data 是一个字典,json.dumps() 后,将dict格式数据转换成json格式字符串。这时候虽然都是{'a': 1, 'b': 2},但是格式却前后不一样。随后又通过 json.loads(),重新将json格式字符串转换成字典。

在线解析Json

在实际应用中,要提取json数据,就要了解返回json数据的结构。

可是Json格式的数据往往是这样的。

一篇长文带你在python里玩转Json数据

一篇长文带你在python里玩转Json数据

大家别担心,我们可以将数据复制到一些json插件或在线解析!

比如这个插件是小五常用的:

一篇长文带你在python里玩转Json数据

此时再打开刚才的网址

一篇长文带你在python里玩转Json数据

是不是清晰了很多呢?

如果用python来获取里面的数据怎么做的?

先利用 json.loads() 来将 Json 转成字典,再用 get() 函数直到得到我们想要的list 对象,那么对于 list 里面的数据我们用个 for 循环就行啦~

额,有点绕。

一篇长文带你在python里玩转Json数据

还是文章一开始的例子,我们想获取其中所有狗狗的名字:

{  
    "animals": {  
        "dog": [  
            {  
                "name": "Rufus",  
                "age":15  
            },  
            {  
                "name": "Marty",  
                "age": null  
            }  
        ]  
    }  
}

我们可以这样做:

load_data = json.loads(dump_data)  
data = load_data.get("animals").get("dog")  
result1 = []  
for i in data:  
    result1.append(i.get("name"))  
print(result1)  

运行结果:

['Rufus', 'Marty']

这样确实可以获得我们想要的结果。

PS:类似的在线解析网站也有很多,比如 https://www.json.cn。

JsonPath

不知道大家还记不记得,在一开始介绍Json时,我提到了它相对于XML来说,更加的轻量级,更方便解析。

既然 XML 人家都有 XPATH ,那么Json有没有类似的工具呢?

一篇长文带你在python里玩转Json数据

JsonPath 是一种信息抽取类库,是从Json文档中抽取指定信息的工具。

JsonPath 对于 Json 来说,相当于 XPATH 对于 XML。

Json结构清晰,可读性高,复杂度低,非常容易匹配,下表是JsonPath的用法。

一篇长文带你在python里玩转Json数据

一篇长文带你在python里玩转Json数据

没错,还是这个例子,我们这次尝试用JsonPath获取其中所有狗狗的名字:

{  
    "animals": {  
        "dog": [  
            {  
                "name": "Rufus",  
                "age":15  
            },  
            {  
                "name": "Marty",  
                "age": null  
            }  
        ]  
    }  
}

我们可以这样做:

load_data = json.loads(dump_data)  
jobs=load_data['animals']['dog']  
result2 = []  
for i in data:  
# 从根节点开始,匹配name节点  
 result2.append(jsonpath.jsonpath(i,'$..name')[0])  
print(result2)  

其中 $..name 代表从根节点开始,匹配name节点

运行结果:

['Rufus', 'Marty']

利用 JsonPath 同样可以获得我们想要的结果。

我们在后续实例演练中将继续采用 JsonPath 来抽取数据。

实例演练

示例:我们利用网易云音乐评论API来生成Json数据,并从中获取热评数据。

http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0  

在浏览器(已安装Json解析插件)中打开:

一篇长文带你在python里玩转Json数据

一篇长文带你在python里玩转Json数据

标红区域的数据是我们本次想要获取的。

一篇长文带你在python里玩转Json数据

def get_comments(url):  
    data = []  
    doc = get_json(url)  
    jobs=doc['hotComments']  
    for job in jobs:  
        dic = {}  
        #从根节点开始,匹配content节点  
        dic['content']=jsonpath.jsonpath(job,'$..content')[0] #评论  
        dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) #时间  
        dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0]  #用户ID  
        dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名  
        dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] #赞数  
        data.append(dic)  
    return pd.DataFrame(data)  

final_result = get_comments('http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0')  

(完整代码见文末下载地址)

运行结果:

一篇长文带你在python里玩转Json数据

成功获取√

希望本文能让大家以后玩转Json数据更轻松~

一篇长文带你在python里玩转Json数据

作者:朱小五,某互联网公司数据分析师,热衷于爬虫,数据分析,可视化,个人公众号《凹凸玩数据》,带给大家有趣好玩的文章。

本文所有案例的代码已上传github:

https://github.com/zpw1995/aotodata/tree/master/interest/Json


或者后台回复“json”获得相关代码。

一篇长文带你在python里玩转Json数据

近期文章:

44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?

破解大众点评的字体加密,这一篇就够了。

用Python爬取b站弹幕,看大家还会接受《爱情公寓5》吗?

我用python算出了同事的身份证号码!

本文转转自微信公众号凹凸数据原创https://mp.weixin.qq.com/s/FZ23llmkiy8hCcwObZ4A0A,可扫描二维码进行关注: 一篇长文带你在python里玩转Json数据 如有侵权,请联系删除。

收藏
评论区

相关推荐

Python的环境搭建和下载
Python是一个跨平台、可移植的编程语言,因此可在windows、Linux和Mac OS X系统中安装使用。 安装完成后,你会得到Python解释器环境,可以通过终端输入python命令查看本地是否已经按照python以及python版本。这里有一点需要注意的是,如果没有将python的安装目录添加到环境变量中,会报错(python不是内部命令或外部命
Python入门之类(class)
Python3 面向对象 Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。 如果你以前没有接触过面向对象的编程语言,那你可能需要先了解一些面向对象语言的一些基本特征,在头脑里头形成一个基本的面向对象的概念,这样有助于你更容易的学习Python的面向对
一篇长文带你在python里玩转Json数据
↑一个宝藏公众号,长的好看的人都关注了 (https://imghelloworld.osscnbeijing.aliyuncs.com/e6
15. Python 程序运行速度如何提高十倍?第一遍滚雪球学 Python 收工
本篇文章将给大家介绍 Python 多线程与多进程相关知识,学习完该知识点之后,你的 Python 程序将进入另一个高峰。 <center<font colorred缓解一下视疲劳</font</center 15. Python 程序运行速度如何提高十倍?第一遍滚雪球学 Python 收工(https://imghelloworld.oss
Python入门之类(class)
Python3 面向对象 Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。 如果你以前没有接触过面向对象的编程语言,那你可能需要先了解一些面向对象语言的一些基本特征,在头脑里头形成一个基本的面向对象的概念,这样有助于你更容易的学习Python的面向对
原来Python绘图也可以这么漂亮,这次真的是学习到了!
(https://imghelloworld.osscnbeijing.aliyuncs.com/8830803f033eeed85783e9058cf08968.png) 作者:朱小五 来源:快学Python 👆人生苦短,快学Python! 最近看了一篇文章《一个牛逼的Python 可视化库:PyG2Plot》,可惜只是简单介
Python中JSON的基本使用_Just do it !
JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。Python3 中可以使用 json 模块来对 JSON 数据进行编解码,它主要提供了四个方法: dumps、dump、loads、load。 dump和dumps dump和dumps对python对象进行序列化。将一个Python对象
Python Sanic 高并发服务开发指南
技术基础 AsyncIO Python 3.4 开始引入 AsyncIO(https://docs.python.org/3/library/asyncio.html) 模块,使得 Python 也支持异步 IO。3.5 版本里添加了 async/await 关键字,使得异步 IO 代码编写更加方便。3.6 和 3.7 版本继续进行了完善
我的python总结
建议刚开始学习直接使用ANACONDAhttps://www.anaconda.com/download/配置python环境变量https://docs.python.org/3.6/using/cmdline.htmlenvvarPYTHONMALLOCPython PEP8导包顺序1. Python标准
一篇长文带你在python里玩转Json数据
↑一个宝藏公众号,长的好看的人都关注了 Json简介 Json(JavaScript Object Notation) 很多网站都会用到Json格式来进行数据的传输和交换,就像上篇我提到的,它们返回的数据都是Json格式的。这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方便易懂等很多优点。用它来进行前后端的数据传输,大
最好用的Python学习教程第一篇章
学习不打烊,充电加油只为遇到更好的自己。希望大家如果觉得好的话可以点赞,评论鼓励一下。 一、从这里学起?学Python你应该知道这些内容。 1.1 导语如何快速学会Python?这篇博客会告诉你如何从无到有,构建自己的知识框架,博客主励志打造最好用的Python基础教程。 1.2 为什么要学习Python 简单易学Python是一种代表简单主义思想的语言,
多人说Python简单,但是如何入门Python并精通?
一般而言,Python几个月就可以开始使用了。假如你几个月没入门,那肯定是方法不对,或者是偷懒.我在公众号里有一篇文章详细写了“初学者别上爬虫”,爬虫虽然很有趣,但不适合于小白用户。以下是2点:多人说Python简单,但是如何入门Python并精通?Python再简单再通俗,它也是一门语言,掌握一门语言绝非一朝一夕,我个人不推荐初学者上岸学习爬虫,我举一个很
全网最全python学习路线图,让学习不迷路
学习Python有一段时间了,最近也是在不断的整理Python相关的基础知识和学习一些新的知识,想来分享给大家。我刚开始接触Python时,和大多数初学者一样不知道从那里开始学习python,我也在网上找了许多python相关的资料来学习,但是资料多也不见得就好,因为不知道从哪里开始下手,走了许多弯路。后面我就整理了一套对初学者来说学习python能很快上手
10行Python代码自动清理电脑内重复文件,解放双手!
](https://mp.weixin.qq.com/mp/appmsgalbum?actiongetalbum&albumid1337012041701326848&bizMzI1MTUyMjc1Mgwechatredirect) 前言 大家好,又到了Python办公自动化系列。今天分享一个系统层面的自动化案例:「给定一个文件夹,使用Python检查
初窥 Python 的 import 机制
本文适合有 Python 基础的小伙伴进阶学习。 作者:pwwang一、前言本文基于开源项目: https://github.com/pwwang/pythonimportsystem补充扩展讲解,希望能够让读者一文搞懂 Python 的 import 机制。 1.1 什么是 import 机制?通常来讲,在一段 Python 代码中去执行引用另一个模块中