HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

一图秒懂ssh免密登录

在搭建Hadoop集群等场景,需提前配置好各节点两两之间的ssh免密登录。那么ssh免密登录是怎么回事呢?本文以一图讲述原理,并以最简单的命令完成配置。原理如图:!图片描述(/img/bVbqXVl?w1280&h720)命令配置:1)sshkeygen即上

好程序员大数据视频教程从零基础入门到精通

  学习大数据技术的必经之路是什么?是Hadoop吗?当然不是!如果想要踏入大数据的门槛,一个必须的条件就是我们的编程基础。熟练掌握一门编程语言是对大数据开发工程师基本的要求。  就来区分学习大数据的小伙伴们水平来看,大多数对于编程并没有一个很好的基础,所以老师在学习大数据技术课程之初,就将Ja

YARN架构一图简记

!图片描述(/img/bVbqOVb?w1280&h720)HA:RM启动时会向zk的/mrstore路径下写入lock文件,写入成功的则为activeRM,否则为standbyRM。启动后,RM会将job信息写入/mrstore,RM进程中的ZKFC线程会监控/mr

HDFS架构一图简记

!图片描述(/img/bVbqOJn?w1280&h720)读写:客户端通过命名空间发请求,可以无感知的找到activeNN,activeNN所做操作会保存在editlog文件中,并向JournalNode节点写入editlog。DN向NN发送心跳报告的时候,NN将e

【2.综述数据存储/计算】【精】

实在不知道起什么名字,打算写三个系列的文章,因为系统尽量有状态和无状态分离,第一个想写下系统中涉及到数据存储/分析/选型/自己设计要怎么做,包含内存/持久,数据量单机到大量到海量分布式的存储和计算。第二个想写无状态系统如何做到高处理能力,涉及到网络/分流/通信,进程/线程模型,操作系统IO,CPU调

好程序员大数据培训技术分享:Hadoop集群同步

  好程序员分享:Hadoop集群同步分享——是技术突飞猛进的很好体验!在好程序员学习大数据技术,开始学会了分享,班里五十个人,每个人就能得到49份不同技术探讨。每次到分享的时刻,总会收获不同的想法。  一、同步方式  选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这

HDFS Architecture

IntroductionHDFS(HadoopDistributedFileSystem)是一个分布式文件系统,它具有很高的容错性,可以支持运行在廉价的硬件设备上。HDFS具有很高的吞吐量,非常适合拥有海量数据的application。HDFS放宽了一些POSIX要求,以支持_流_

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。