HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Hadoop-HDFS、MapReduce、YARN

分布式文件存储HDFS存储模型:字节文件按照字节切割成块(block)默认128MB,最小1M(可修改),每个block块有偏移量offset,block块分散存储在集群结点中。_横向扩展_同一文件的block块大小相同,不同文件的block块大

技本功|Hive优化之监控(三)

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主

数据管道 Logstash 入门

Logstash入门Logstash是什么Logstash就是一个开源的数据流工具,它会做三件事:从数据源拉取数据对数据进行过滤、转换等处理将处理后的数据写入目标地例如:监听某个目录下的日志文件,读取文件内容,处理数据,

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。