HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
Hadoop_25_MapReduce实现日志清洗程序
1、需求:对web访问日志中的各字段识别切分,去除日志中不合法的记录,根据KPI统计需求,生成各类访问请求过滤数据2、实现代码:a)定义一个bean,用来记录日志数据中的各数据字段!(https://oscimg.oschina.net/oscnet/a73b4b714f5756458cfc0ba674
Hadoop3.x入门:详解虚拟机Ambari2.7.4安装HDP3.1.4(一)
!(https://oscimg.oschina.net/oscnet/7415565cd2666a454240addcefe8b1f2655.gif)一.虚拟机配置 我这里是用我自己的台式机装了vmware15,然后搞了三台虚拟机,我这里虚拟机配置完成后可以联网,为方便大家学习,我基本都是按照离线安装来讲的,简单的步骤不
Hadoop2.x 常用命令
基本命令格式为:hdfsdfscmd<args1\.\ls path列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。2\.\lsR path与ls相似,但递归地显示子目录下的内容。3\.\dupath显示path下所有文件磁盘使用情况下,用字节大小表示
Hadoop2.7.3完全分布式集群安装过程
需要安装的软件Hadoop包含HDFS集群和YARN集群。部署Hadoop就是部署HDFS和YARN集群。机器数量、角色4台。NameNode1台、DataNode3台主机名IP角色amaster192.168.37.143NameNode:9000ResourceManag
Hadoop2.7.1集群安装笔记
环境准备centos免登陆设置 在主机master上cd ~/.ssh 如果没有该目录,先执行一次ssh localhostrm ./id_rsa 删除之前生成的公匙(如果有)sshkeygen t rsa 一
Hadoop2.0伪分布式平台环境搭建
一、搭建环境的前提条件环境:ubuntu16.04hadoop2.6.0jdk1.8.0\_161。这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可。因为这里是配置Hadoop的教程,配置Java以及安装VMwareTools就自行百度解决哈,这里就不写了(因为教程有点
Hadoop2.0之YARN
YARN(YetAnotherResourceNegotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用,是hadoop2.0中的核心,它类似于一个分布式操作系统,通过它的api编写的应用可以跑在它上面,支持临时和常驻的应用,集群的资源可以得到最大限度的共享。资源是指CPU,内存,硬盘,带宽等可以量化的东西。H
Hadoop+Spark分布式集群环境搭建
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,而Spark是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境: 其中JDK、Hadoop、Spark都已经在两台电脑上安装好。 一台Ubuntu主机系统Master,IP地址假设为:192.168.1.101(i
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
!(https://oscimg.oschina.net/oscnet/8dd4c5471d48dd364a4763cda6a48d7af12.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT
Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小
Hadoop获取DFSRemaininghadoop文件系统可使用的剩余容量大小。(可以通过http://<HOST:50070直观的查看)ConfiguredCapacity: 18.22GBDFSUsed: 44KBNonDFSUsed: 15.92GBDFSRemaining:
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。