HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
大数据集群搭建 - 1. CDH集群安装 - 环境准备
集群环境准备一、机器准备首先需要准备3台机器或者虚拟机,安装好centos7.5版本和JDK1.8。我们这次准备安装的是Cloudera的CDH5.14.3。<pre<codeTIPS:快速创建机器的技巧是规范好要装的软件,迅速利用镜像功能创建好三台机器出
spring boot 2.0.2 集成hbase
maven依赖<pre<code<parent><groupId>org.springframework.boot</groupId><artifactId>springbootstarterparent</a
Hadoop集群日常运维
一、备份namenode的元数据namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。1、将元数据复制到远程站点(1)以下代码将secondarynamenode中的元数据复制到一个时间命名的目录下,然后通过scp
Ambari2.6.0+HDP2.6.3部署Hadoop集群
一.环境准备1.修改hostname(所有节点)临时生效<pre<coderoot@localhost~hostnamelocalhost</code</pre永久生效<pre<coderoot@localho
MapReduce的4个阶段
!图片描述(/img/bVbcV5c?w1642&h736)1、split阶段:此阶段,每个输入文件被分片输入到map。如一个文件有200M,默认会被分成2片,因为每片的默认最大值和每块的默认值128M相同。如果输入为大量的小文件,则会造成过多的map数,导致
2018年第26周-解剖MapReduce Job
Hadoop架构预览ApacheHadoop是一个开源软件框架,用于在廉价硬件上大规模存储和计算数据集。以下是5个组成Hadoop的模块。!clipboard.png(/img/bVbcVZB?w580&h307)cluster是一个集合的主机
简单解析mapreduce切片
在mapreduce中的切片是什么意思?顾名思义就是将数据进行切分,切分为数据片,其实这个切片关乎于map阶段的map个数,以及每个map处理的数据量的大小。 mapreduce中,一个job的map个数,每个map处理的数据量是如何决定的呢?另外每个map又是如何读取输入文件的内容呢
2018年第25周-Hadoop的MR程序-天气数据分析
天气数据通过ftp从ftp.ncdc.noaa.gov地址获取/pub/data/noaa/目录下的天气数据,我写了个ftp抓取程序(https://link.segmentfault.com/?encCXzAn%2BmDYNHBwkVF2pMZ7A%3D%3D.AR7ZkKO7j
2018年第24周-大数据的YARN
<blockquoteHadoop可以说是一个大型的操作系统,HDFS就是其文件系统,那么YARN就是其计算系统。</blockquoteYARN(YetAnotherResourceNegotiator,另一种资源协调者)是一种新的Hadoop资源管理器。在此之前是使用MapR
慕课网_《HBase入门》学习总结
慕课网《HBase入门》学习总结时间:2018年06月11日星期一说明:本文部分内容均来自慕课网。@慕课网:https://www.imooc.com(https://link.segmentfault.com/?enclT4x32MzHL5m%2BwHR9PPoOA%
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。