Karen110 Karen110
4年前
实战|手把手教你用Python爬取存储数据,还能自动在Excel中可视化!
大家好,在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序,很多本文将迎合热点,延续上次的NBA爬虫GUI,探讨如何爬取虎扑NBA官网数据。 并且将数据写入Excel中同时自动生成折线图,主要有以下几个步骤。本文将分为以下两个部分进行讲解在虎扑NBA官网球员页面中进行爬虫,获取球员数据。清洗整理爬取的球员数据,对其进行可视化。
Wesley13 Wesley13
3年前
MTDDL 美团点评分布式数据访问层中间件
背景2016年Q3季度初,在美团外卖上单2.0项目上线后,商家和商品数量急速增长,预估商品库的容量和写峰值QPS会很快遇到巨大压力。随之而来也会影响线上服务的查询性能、DB(数据库,以下统一称DB)主从延迟、表变更困难等一系列问题。要解决上面所说的问题,通常有两种方案。第一种方案是直接对现有的商品库进行垂直拆分,可以缓解目前写峰值QPS过大、D
Wesley13 Wesley13
3年前
ecshop 全系列版本网站漏洞 远程代码执行sql注入漏洞
ecshop漏洞于2018年9月12日被某安全组织披露爆出,该漏洞受影响范围较广,ecshop2.73版本以及目前最新的3.0、3.6、4.0版本都受此次ecshop漏洞的影响,主要漏洞是利用远程代码执行sql注入语句漏洞,导致可以插入sql查询代码以及写入代码到网站服务器里,严重的可以直接获取服务器的管理员权限,甚至有些网站使用的是虚拟主机,可以直接获取网
Stella981 Stella981
3年前
Redis内存淘汰机制
摘要Redis是一款优秀的、开源的内存数据库,我在阅读Redis源码实现的过程中,时时刻刻能感受到Redis作者为更好地使用内存而费尽各种心思,例如最明显的是对于同一种数据结构在不同应用场景下提供了基于不同底层编码的实现(如压缩列表、跳跃表等)。今天我们暂时放下对Redis不同数据结构的探讨,来一起看看Redis提供的另一种机制——内存淘汰机制。
Wesley13 Wesley13
3年前
MySQL中关于数据类型指定宽度之后的情况
概述  MySQL有很多种数据类型,最常用的就是int,char,varchar,这些类型在创建表的时候都可以指定该字段的宽度,方法是在类型后面加一个括号,括号中写宽度就可以了。  但是,在指定宽度之后,有时候,我们可以看到插入的数据有一些被截断了;有一些并没有截断,而是四舍五入了,甚至什么操作都没有,原样插入了。  下面对于每一种数据类型
Stella981 Stella981
3年前
Docker(四)——迁移与备份、导入与导出、Dockerfile、Docker私有仓库、私服的使用(本地拉取和远程拉取)、将镜像上传至dockerhub官网
一、迁移与备份本质就是把安装好应用的容器打包成镜像,提供给其他机器使用,别的机器只需要load回来,就能看到imagerun起来,直接容器就跑起来了。1.通过以下命令将容器保存为镜像:dockercommitmycentos7centos7mydockercommit容器名新的镜像名打
Easter79 Easter79
3年前
TiDB优化
搭建了TiDB数据库集群。不过性能上没有达到我想要的秒级返回的结果。不过也能接收了,毕竟我们主要是用于olap,进行历史数据的分析。时间旧一点也是可以接受的。之前的历史数据是存放在oracle中的,由于历史数据很多,导致查询很慢,公司现在只能查询3个月前的订单(热数据),对于3个月后的订单,就不给客户查询了。我想到的一种解决办法就是分库分表,比如每一家门
WeiSha100 WeiSha100
3年前
开源线上考试刷题学习软件
线上考试,刷题,学习软件,有前后台源码,开发文档,源码可二次开发。私有化部署,可局域网部署,内部使用,支持多个终端,功能有点播,直播,考试等,经搭建测试源码完整可用。1、点播:在线点播视频,可上传图文资料,习题,课件等,视频防盗等2、刷题:可批量管理上传的题库,随时随地刷题,试题防复制3、考试中心:多场景考试设置,高并发、强制交卷、考试防作弊、成绩导出、智能
WeiSha100 WeiSha100
2年前
源码搭建教师资格考试学习培训系统
有点播,题库刷题,在线考试,直播,在线支付,三级分销等功能,可以对学员学习情况的监督监控,有源码,可二次开发。支持外网和局域网私有化部署,经过测试源码完整可用,用于搭建一个线上教师资格相关学习网站挺不错的!1、点播:视频播放,图文资料,课件下载,章节试学,限时免费2、题库刷题:章节练习,错题回顾,高频错题,笔记,收藏,答题正确率,进度保存,模拟测试,试题批量
有效降低数据库存储成本方案与实践 | 京东云技术团队
本文主要以介绍方法为主,落地过程可以归纳为方案收益测算数据安全验证系统稳定性验证灰度与回滚。文中的账单系统通过step1大表压缩32%,step2大JSON字段序列化12%,step3删除无效数据10%,3个方案的顺利落地,有效的减少了50.7%的磁盘空间,成本下降也非常显著。最后,希望此文能够给还在迷茫,不知从何处下手落地数据库存储成本降低的同学一些启发和灵感