lix_uan lix_uan
3年前
Hadoop学习总结
HDFS相关HDFS写数据的流程首先由客户端向NameNode服务发起写数据请求NameNode收到请求后会进行基本验证验证类容包括对请求上传的路径进行合法验证对请求的用户进行权限验证验证没有问题后,NameNode会响应客户端允许上传接下来客户端会对文件按照blocksize大小进行切块,切完后依次以块为单位上传此时客户端会请求上传
Stella981 Stella981
3年前
Kafka概述及安装部署
一、Kafka概述1.Kafka是一个分布式流媒体平台,它有三个关键功能:(1)发布和订阅记录流,类似于消息队列或企业消息传递系统;(2)以容错的持久方式存储记录流;(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道;(2)构建转换或响应数据流的实施
Stella981 Stella981
3年前
EdgeRoutine技术专家教你把JS代码跑到CDN边缘
4月27日CDN云课堂中,阿里云智能技术专家洪晓龙在线分享《阿里云CDN轻量编程环境》,对EdgeRoutine的背景、功能、案例实践介绍并在线进行上手操作演示,希望更多用户能够使用CDN轻量编程环境服务自主编程、快速落地实际线上业务。本文为直播分享全文。云原生与边缘计算概念火热以云原生为理念的基础服务快速增长近年来,“云原生”
Stella981 Stella981
3年前
Git设置分支保护实现CodeReview卡点
Git设置分支保护实现CodeReview卡点GIT是一个分布式版本控制系统的软件,主要用来控制代码的版本。所谓分布式也就是每一个git的客户端都有一份完成的代码库,这样如果中央服务器出现问题,代码也会在各个开发者的电脑上有备份。(本文以下内容以GitLab为例)GitFlow模式将代码和环境对应
Wesley13 Wesley13
3年前
Java并发编程的艺术笔记(四)——ThreadLocal的使用
ThreadLocal,即线程变量,是一个以ThreadLocal对象为键、任意对象为值的存储结构。这个结构被附带在线程上,也就是说一个线程可以根据一个ThreadLocal对象查询到绑定在这个线程上的一个值。目的就是为了让线程能够有自己的变量可以通过set(T)方法来设置一个值,在当前线程下再通过get()方法获取到原先设置的值
Stella981 Stella981
3年前
Python3编写网络爬虫10
3.CSV文件存储CSV全称CommaSeparatedValues中文叫做逗号分隔值或者字符分隔值,文件以纯文本形式存储表格数据。文件是一个字符序列可以由任意数目的记录组成相当于一个结构化表的纯文本形式,它比Excel更加简洁,XLS文本是电子表格,包含文本,数值,公式和格式等内容,CSV都没有就是特定的字符分隔纯文本,结构简
Stella981 Stella981
3年前
EasyExcel引入
好久没更了,都在有道云上面记录,没时间搬过来。easyexcel是最近项目做优化涉及的一个改善点吧。简介        导出是后台管理系统的常用功能,当数据量特别大的时候会内存溢出和卡顿页面,曾经自己封装过一个导出,POI百万级大数据量EXCEL导出采用了分批查询数据来避免内存溢出和使用SXSSFWorkbook方式缓存数据到文件上以解决
Stella981 Stella981
3年前
Hack for Wuhan,每一颗渺小的种子都能创造伟大的力量!
2020年春,一场突如其来的疫情席卷而来。身处于危机之下,作为普通人的我们,也希望可以通过自身力量参与到这场生死攸关的战斗中来。▎以开源为纽,连接每一个渺小而伟大的力量疫情期间,wuhan2020开源社区汇集了全球3000多位优秀的志愿者,历时一个月,打造了全网最大,最全的有关于新冠状病毒疫情的信息平
Wesley13 Wesley13
3年前
20179311《网络攻防实践》第七周作业
1.Windows操作系统的基本结构分为运行于处理器特权模式的操作系统内核,以及运行在处理器非特权模式的用户空间代码。采用宏内核模式来进行构架,这使得任意的内核模块或设备驱动程序都可能破坏其他内核模块数据,这种宏内核机制也使得Windows操作系统容易遭受以驱动方式植入内核的Rootkit的危害,为了避免这类攻击,最
Wesley13 Wesley13
3年前
MySQL中四种常用存储引擎的介绍
MySQL常用的四种引擎的介绍(1):MyISAM存储引擎:不支持事务、也不支持外键,优势是访问速度快,对事务完整性没有要求或者以select,insert为主的应用基本上可以用这个引擎来创建表支持3种不同的存储格式,分别是:静态表;动态表;压缩表静态表:表中的字段都是非变长字段,这样每个记录都是固定长度的,优点存储非常迅速,容易缓存,出现故障