HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Spark中将对象序列化存储到hdfs
废话不多说,直接贴代码了.spark1.4hbase0.98import org.apache.spark.storage.StorageLevelimport scala.collection.JavaConverters._import java.io.Fileimport java.io.FileIn
Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介
Solr
1Solr部署1.1环境准备:系统环境:CentOSLinuxrelease7.2.1511(Core)软件环境:Hadoop环境已搭建,其中包括了java以及zookeeperJavaversion"1.7.0\_79"Zookeeper3.4.5cdh5.2.
RPC简介与hdfs读过程与写过程简介
1.RPC简介RemoteProcedureCall远程过程调用协议 RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络
Presto在滴滴的探索与实践
!(https://oscimg.oschina.net/oscnet/880cd41883544eb1be01de38a3471372.png)桔妹导读:Presto在滴滴内部发展三年,已经成为滴滴内部AdHoc和HiveSQL加速的首选引擎。目前服务6K用户,每天读取2PB~3PBHDFS数据,处理30万亿~3
NameNode 和 SecondaryNameNode
1\.NN和2NN工作机制NameNode会产生在磁盘中备份元数据的FsImage;每当元数据有更新或者添加数据时,修改内存中的元数据并追加到Edits中;SecondaryNameNode专门用于合并FsImage和Edits;!(https://img2018.cnblogs.com/bl
MapReduce统计单词
一、HDFS个人理解 HDFS是个文件系统,只不过加了个分布式作为文件系统的前缀而已,大概的结构就像LINUX系统。文件大的一个电脑存储不下,怎办?那就想办法存储到不同的机子上呗,于是HDFS就应用而生了。众所周知,文件在硬盘上是以文件块的形式存储。什么句柄啊,真心不懂,只能感知,没人能明白0和1,当然也没必要。二、Map个人理解
MapReduce On YARN的资源申请
MapReduceOnYARN的资源申请MapReduce资源分配原理MapReduce所需要的资源包含三类:1.mappertask所需要的资源2.reducertask所需的资源3.JobTracker(AM)所需要的资源mappermapper的数量由输入的splits个数决定.有
Impala的Short
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.HDFS的ShortCircuitLocalReads我们知道读取HDF
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。