HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
国内首家!腾讯主导Apache Hadoop新版本发布
近日,腾讯主导的ApacheHadoop2.8.4最新版本发布,为国内科技公司迈出了国际开源领域贡献的重要一步。2006年ApacheHadoop发布,2008年Hadoop成为Apache顶级项目。在那时,中国移动、百度、淘宝等都已经开始使用Hadoop技术。Hadoop现在早已成为Apa
6.kafka安装 基本使用
1.将kafka解压在/opt/kafka2.配置kafka集群1.修改config/server.properties文件<pre<code$viconfig/server.properties</code</pre1.增加host.name主机名(
2018年第23周-大数据的HDFS数据流及操作例子
上周已经把Hadoop的HDFS的架构和设计大概说了下,也有部署过程。在这周讲的HDFS的数据流及操作例子HDFS数据流HDFS系统依赖于以下服务1.NameNode2.DataNode3.JournalNode4.zkfc其中JournalNode和zkfc是用来做高可用的。
2018年第22周-大数据的HDFS
Hadoop与大数据Hadoop可以说是大数据的代名词。其实准确来说是Hadoop家族是大数据的代名词,家族成员有:Hadoop、Hive、Pig、HBase、Sqoop、Zookeeper、Avro、Chukwa等。家族成员每个基本都可以独挡一面,但结合他们,就可以架构出一个大数据平
5.Sqoop
介绍:sqoop是一个用来完成Hadoop和关系型数据库的数据相互转移的工具将(mysql,oracle,postgre等)中的数据导入hadoop的HDFS也可反向导入配置到master机器即可1.将sqoop解压到/opt/sqoop下2.配置Sqoo
4.安装zookeeper&hbase
安装zookeeper1.(master)将zookeeper安装包解压到/opt目录下重命名为zookeeper2.将conf下的模板文件zoo_sample.cfg复制一份命名:zoo.cfg<pre<code$cpconf/zoo_sa
Hadoop回收站及fs.trash参数详解
前言:Linux系统里,个人觉得最大的不方便之一就是没有回收站的概念。rmrf很容易造成极大的损失。而在Hadoop或者说HDFS里面,有trash(回收站)的概念,可以使得数据被误删以后,还可以找回来。Hadoop里的trash选项默认是关闭的,所以如果要生效,需要提前
2018年第21周-以我角度看大数据
以我角度看大数据最近公司开启了大数据项目,有幸的,我能够有个平台学习和实践大数据。研究和实验了两个月,虽然都是属于个人研究,但还是有所体会。在此分享给大家。既然要从我的角度说大数据,那我得说下我的背景,我写Java已有很多很多年了,工作也快有6年了。专业是软件工程,所以代码经验和功底还是
3.安装Hive
版本问题:起初安装hive2.1.1但是跟hadoop2.6.5无法使用启动提示Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient版本过高导致的<pre<code书中记
2.Hadoop HDFS 安装配置
1.将hadoop包解压放到/opt/hadoop下2.配置2.1.进入hadoop目录2.2.编辑hadoop.env.sh文件配置jdk环境变量<pre<codevietc/hadoop/hadoopenv.sh</code</pre内
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。