HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
实用大数据系统设计
大数据一般人听着比较复杂,觉得可能需要很大成本来部署和实施。幸运地是市面上已经有一些云服务来帮助我们让大数据变得更简单。另外,如果你选择合适的开源工具,也往往会使你的大数据之路起到事半功倍的效果。下面会列出实用并且较低成本的大数据实施系统,供参考。请注意本文不讨论实时或者流数据处理,如果你在寻找
hadoop上下架datanode
hadoop中的hdfs文件系统,可以动态的增加、删除节点,增加比较容易,在新的节点上配置好hadoop的各种xml文件后,直接启动即可。为了平衡集群内各个datanode节点平衡,可以执行hdfs中的balancer命令,使用方式如下:<pre<code$hdfsbalancer
SQL on Hadoop开源项目总结
随着Hadoop的流行,越来越多的企业把数据存储在Hadoop上,或者NonSQL数据库上,随之相关的数据处理技术也从一开始的MapReduce一统江湖,到现在各种技术竞相出现。最新的趋势是,大家普遍希望能够快速得到查询结果,做交互式查询,同时也希望传统的BI(BusinessIntellig
oozie 安装过程总结
最近公司要使用hue这个软件来作为hadoop图形化用户界面。hue由我一个同事搭建成功,我发现使用hue来创建工作流(workflow)时需要oozie的支持,以前只知道oozie是一个hadoop任务调度器,但是一直没使用过,今天正好趁这个机会尝试一下。环境说明CentO
美国大数据创业公司总结
最近调研了一下美国的大数据创业公司,总结如下,如有疏漏,欢迎反馈指正(boyang798@gmail.com)。<table<thead<tr<th公司</th<th成立时间</th<th技术亮点</th<thIPO或者收购</th</tr</thead<tbo
Linux系统下eclipse中配置hadoop开发环境
Linux系统下eclipse中配置hadoop开发环境0.环境配置及说明实验环境:操作系统:CentOS6.5hadoop版本:hadoop2.2.0(需要提前搭建hadoop单机伪分布式环境)Eclipse版本:version3.
用java实现将ftp和http的文件直接传送到hdfs
之前实现了使用流来讲http和ftp的文件下载到本地,也实现了将本地文件上传到hdfs上,那现在就可以做到将ftp和http的文件转移到hdfs上了,而不用先将ftp和http的文件拷贝到本地再上传到hdfs上了。其实这个东西的原理很简单,就是使用流,将ftp或http的文件读入到流中,然后将流中的
HADOOP集群文件上传下载
对HDFS上的文件进行上传和下载是对集群的基本操作,在《HADOOP权威指南》一书中,对文件的上传和下载都有代码的实例,但是对如何配置HADOOP客户端却是没有讲得很清楚,经过长时间的搜索和调试,总结了一下,如何配置使用集群的方法,以及自己测试可用的对集群上的文件进行操作的程序。首先,需要配置对应的
[原]如何利用hadoop RPC框架实现和NameNode的交互
<blockquote<p博客原文:<arel"nofollow"href"http://hackershell.cn/?p138"target"_blank"<stronghackershell</strong</a</p</blockquote这篇文章主
cdh5.1.0 yum安装总结
接触过hadoop的人都知道hadoop的搭建过程非常麻烦,尤其是对于初学者,幸运的是有cloudera这样的公司为我们做了一些发行版,我们可以直接使用aptget,yum等包管理工具进行安装。下面我要说得是,在centos6.564位下,通过yum安装cdh5.1.0,需要注意的是5.1.0默
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。