060 Python必备库

Stella981
• 阅读 418

[TOC]

一、概述

1.1 从数据处理到人工智能

数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能

  • 数据表示:采用合适方式用程序表达数据

  • 数据清理:数据归一化、数据转换、异常值处理

  • 数据统计:数据的概要理解,数量、分布、中位数等

  • 数据可视化:直观展示数据内涵的方式

  • 数据挖掘:从数据分析获得知识,产生数据外的价值

  • 人工智能:数据/语言/图像/视觉等方面深度分析与决策

  • Python库之数据分析

  • Python库之数据可视化

  • Python库之文本处理

  • Python库之机器学习

二、Python库之数据分析

2.1 numpy

Numpy: 表达N维数组的最基础库,http://www.numpy.org

  • Python接口使用,C语言实现,计算速度优异

  • Python数据分析及科学计算的基础库,支撑Pandas等

  • 提供直接的矩阵运算、广播函数、线性代数等功能

    import numpy as np

    def np_sum(): a = np.array([0, 1, 2, 3, 4]) b = np.array([9, 8, 7, 6, 5]) c = a2 + b3 return c print(np_sum())

    [729 513 347 225 141]

    def py_sum(): a = [0, 1, 2, 3, 4] b = [9, 8, 7, 6, 5] c = [] for i in range(len(a)): c.append(a[i]**2 + b[i]**3) return c print(py_sum())

    [729, 513, 347, 225, 141]

2.2 pandas

Pandas: Python数据分析高层次应用库,http://pandas.pydata.org

  • 提供了简单易用的数据结构和数据分析工具

  • 理解数据类型与索引的关系,操作索引即操作数据

  • Python最主要的数据分析功能库,基于Numpy开发

  • 能操作sql、json、pickle、csv、excel、ini等文件

  • Series = 索引 + 一维数据

  • DataFrame = 行列索引 + 二维数据

2.3 scipy

SciPy: 数学、科学和工程计算功能库,http://www.scipy.org

  • 提供了一批数学算法及工程数据运算功能
  • 类似Matlab,可用于如傅里叶变换、信号处理等应用
  • Python最主要的科学计算功能库,基于Numpy开发

060 Python必备库

三、Python库之数据可视化

3.1 matplotlib

Matplotlib: 高质量的二维数据可视化功能库,http://matplotlib.org

  • 提供了超过100种数据可视化展示效果
  • 通过matplotlib.pyplot子库调用各可视化效果
  • Python最主要的数据可视化功能库,基于Numpy开发

060 Python必备库

3.2 Seaborn

Seaborn: 统计类数据可视化功能库,http://seaborn.pydata.org/

  • 提供了一批高层次的统计类数据可视化展示效果
  • 主要展示数据间分布、分类和线性关系等内容
  • 基于Matplotlib开发,支持Numpy和Pandas

060 Python必备库

3.3 Mayavi

Mayavi:三维科学数据可视化功能库,http://docs.enthought.com/mayavi/mayavi/

  • 提供了一批简单易用的3D科学计算数据可视化展示效果
  • 目前版本是Mayavi2,三维可视化最主要的第三方库
  • 支持Numpy、TVTK、Traits、Envisage等第三方库

060 Python必备库

四、Python库之文本处理

4.1 PyPDF2

PyPDF2:用来处理pdf文件的工具集,http://mstamy2.github.io/PyPDF2

  • 提供了一批处理PDF文件的计算功能

  • 支持获取信息、分隔/整合文件、加密解密等

  • 完全Python语言实现,不需要额外依赖,功能稳定

    from PyPDF2 import PdfFileReader, PdfFileMerger

    merger = PdfFileMerger() input1 = open("document1.pdf", "rb") input2 = open("document2.pdf", "rb") merger.append(fileobj=input1, pages=(0, 3)) merger.merge(position=2, fileobj=input2, pages=(0, 1)) output = open("document-output.pdf", "wb") merger.write(output)

4.2 NLTK

NLTK:自然语言文本处理第三方库,http://www.nltk.org/

  • 提供了一批简单易用的自然语言文本处理功能

  • 支持语言文本分类、标记、语法句法、语义分析等

  • 最优秀的Python自然语言处理库

    from nltk.corpus import treebank

    t = treebank.parsed_sents('wsj_0001.mrg')[0]

    t.draw()

060 Python必备库

4.3 Python-docx

Python-docx:创建或更新Microsoft Word文件的第三方库,http://python-docx.readthedocs.io/en/latest/index.html

  • 提供创建或更新.doc .docx等文件的计算功能

  • 增加并配置段落、图片、表格、文字等,功能全面

    from docx import Document

    document = Document() document.add_heading('Document Title', 0) p = document.add_paragraph('A plain paragraph having some ') document.add_page_break() document.save('demo.docx')

五、Python库之机器学习

5.1 Scikit-learn

Scikit-learn:机器学习方法工具集,与数据处理相关的第三方库,http://scikit-learn.org/

  • 提供一批统一化的机器学习方法功能接口
  • 提供聚类、分类、回归、强化学习等计算功能
  • 机器学习最基本且最优秀的Python第三方库

060 Python必备库

5.2 TensorFlow

TensorFlow:AlphaGo背后的机器学习计算框架,https://www.tensorflow.org/

  • 谷歌公司推动的开源机器学习框架

  • 将数据流图作为基础,图节点代表运算,边代表张量

  • 应用机器学习方法的一种方式,支撑谷歌人工智能应用

    import tensorflow as tf init = tf.global_variables_initializer() sess = tf.Session() sess.run(init) res = sess.run(result) print('result:', res)

060 Python必备库

5.3 MXNet

MXNet:基于神经网络的深度学习计算框架,https://mxnet.incubator.apache.org/

  • 提供可扩展的神经网络及深度学习计算功能
  • 可用于自动驾驶、机器翻译、语音识别等众多领域
  • Python最重要的深度学习计算框架

060 Python必备库

六、单元小结

6.1 从数据处理到人工智能

  • Numpy、Pandas、SciPy
  • Matplotlib、Seaborn、Mayavi
  • PyPDF2、NLTK、python-docx
  • Scikit-learn、TensorFlow、MXNet
点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
2年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
可莉 可莉
2年前
060 Python必备库
\TOC\一、概述1.1从数据处理到人工智能数据表示数据清洗数据统计数据可视化数据挖掘人工智能数据表示:采用合适方式用程序表达数据数据清理:数据归一化、数据转换、异常值处理数据统计:数据的概要理解,数量、分布、中位数等
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这