HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
技术干货!HDFS读写原理和代码简单实现
<blockquote摘要:本文主要研究了HDFS文件系统的读写流程以及基于MRS在windows客户端下读写HDFS文件的实现。</blockquoteHDFS(Hadoop分布式文件系统)是ApacheHadoop项目的一个子项目。HDFS支持海量数据的存储,允许用户把成百上千的计
kafka是什么?对kafka你了解有多少
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写,它是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据,这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过
Hadoop之性能测试与调优
Hadoop测试集群搭建起来,是不是就万事大吉了呢?如果只是用来学习或者做做实验,貌似够了,但生产环境中还不够,因为我们还没有对集群进行测试,是不是能达到我们预期。1.1写测试测试写入100个128M的文件<pre<codehadoopjar/opt/m
利用Zookeeper实现Hadoop HA
1.什么是HA?所谓HA,也就是高可用,放在实际运营中,那就是724小时不间断服务。那么实现HA,最关键的地方的就是消除单点故障,那什么是单点故障,就没有可替代的节点,一旦这个节点挂了,那整个服务也跟着瘫痪,直到该节点恢复。2.HadoopHAHadoop为什么需要
hadoop优化
数据压缩很多小文件,将小文件压缩为一个大文件,IO效率加快Bzip2LZOSnappy配置文件调优!image.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/
Distcp的那点事
TOC<blockquote灵魂拷问:你真的了解distcp吗?这里说的就是distcp的那点事</blockquote背景今天在整理笔记的时候,发现了好几篇临时记录都是记录的集群间文件复制需要注意的地方,虽然记录的东西和重点不同,但是核心的东西都是distcp相关的
列式存储格式之parquet读写
概述ApacheParquet是Hadoop生态系统中任何项目均可使用的列式存储格式,更高压缩比以及更小IO操作。网上许多写入parquet需要在本地安装haddop环境,下面介绍一种不需要安装haddop即可写入parquet文件的方式,以及通过两种方式来读取parquet文件。下面
Hadoop之Yarn
1.Yarn概述YARN是Hadoop2.x版本中的一个新特性。在1.x版本中,MapReduce版本承担了过重的任务,包括资源调度,而到2.x版本中,则将资源调度这部分独立出来了,就是Yarn,这使得hadoop更加稳固,拥有更好的扩展性,可用性,可靠性。所以我们可以知道,Y
Hadoop之MapReduce(四)序列化和排序
1.Hadoop序列化和自定义实现序列化序列化就是把内存中的对象,转换成字节序列,或这是其他传入协议,然后进行网络传输或者持久化到磁盘中。反序列化就是一个相反的过程,将收到的字节序列或者磁盘中持久化的数据,转换成内存中的对象。hadoop有一套自己的序列化机制,像前面提到的Boole
Hadoop之MapReduce(三)Shuffle机制和Partition分区
1.Shuffle机制Shuffle指的map()方法之后,reduce()之前的数据处理过程。就是将MapTask输出的结果数据,按照Partitioner分区制定的规则分发给ReduceTask执行,并在分发的过程中,对数据进行分区和排序。2.Partitio
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。