HelloWorld 开发者社区
科技资讯
Qwen4-Max 发布:百万 Token 上下文、多模态与长任务如何落地
Jync 2.2.1 发布:完善告警通知,修复 CDC 与 ETL 可靠性问题
phimint 0.10.0 发布:终端智能体加入交互输入处理
Cursor 更新安全事件调查:扩展分发、历史凭据与团队排查
SoduWork 开源,尝试用独立审查与插件治理组织智能体交付
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
开源项目
全部项目推荐好文
windows调试hadoop-mapreduce任务踩坑记录(使用idea)
首先准备Hadoop连接驱动(https://link.segmentfault.com/?encQWEcbFu6IHq9kTsac9euiA%3D%3D.zbMMA5VndT4ZTI4LRLg08EtMSUESNlGmYadz0TxR1a1fjBG5CSXWWWe6LGnYtGCOMJiD2
用于大数据测试、学习的测试数据
近期在做一个数据报表的项目,原数据在mysql中,现数据量上百万后,整个报表无法查询。故学习hadoop、kylin相关知识,学习过程中碰到了不少问题,后续讲统一整理发布本篇主要为记录为学习准备的测试数据模拟订单测试数据,文件为mysql导出的csv文件,比较好处理,可以导入hive,或者导入m
SQLflow:基于python开发的分布式机器学习平台, 支持通过写sql的方式,运行spark, 机器学习算法, 爬虫
简书博客:https://www.jianshu.com/u/3fe...(https://link.segmentfault.com/?enc1iRbQuIStMVvU6PzothZUQ%3D%3D.mWKCLcgVWlLIwwze2sP89Voek%2BNX5gWky7Q09
Hadoop小文件解决方案-基于文件整合的解决方案
通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。解决MapReduce性能问题以下解决方案来缓解MapReduce性能问题:更改摄取过程/间隔批处理文件合并序列文件HBaseS3Dis
Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案
TOC在第一篇文章中,我讨论了什么构成了一个小文件,以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75%的任何文件,并解释说由于NameNode内存使用和MapReduce性能,Hadoop更喜欢较少的较大文件。在这篇文章中,当小文件真正不可避免时,我将讨论
Hadoop小文件解决方案-Hadoop小文件的前因后果
Hadoop不适用于大量小文件,而是需要更少的大文件。这可能是您之前听过的声明。但是,为什么Hadoop会出现大量小文件的问题?而且,“小”究竟是什么意思呢?在本系列的第一部分中,我将回答这些问题。后续部分将讨论解决或解决小文件问题。什么是小文件?小文件可以定义为
搭建hadoop分布式环境
Hadoop分布式安装<code说明</code<blockquote<ol<li本文利用三台机器,均安装centos6</li<li除了最后启动和停止,所有操作均要在三台机器上做</li<li有些配置文件可以先在一台机器上完成配置,然后通过scp发
以智能数据架构,挖掘增长金矿
对很多技术团队来说,在搭建智能数据架构的过程中,或多或少会遇到一些疑惑和挑战,经过多次实践后,有些团队已经破除疑惑,成功探索出一条搭建智能数据架构之路,那么他们是如何实现这一技术的呢?在近日的个推技术沙龙成都站,几位架构大师在现场开启了数据技术的“脑暴时间”。诺基亚网络成都
应用AI芯片加速 Hadoop 3.0 纠删码的计算性能
<blockquote本文由云社区发表</blockquote做为大数据生态系统中最重要的底层存储文件系统HDFS,为了保证系统的可靠性,HDFS通过多副本的冗余来防止数据的丢失。通常,HDFS中每一份数据都设置两个副本,这也使得存储利用率仅为1/3,每TB数据都需要占用3TB的存储空间。
要不,我们简单聊聊Hadoop与它的生态圈
实际上,关于Hadoop及其生态系统的文章或者书籍已经汗牛充栋,在2016年大数据这个概念兴起的时候,有幸于能进入数据行业。虽然,在这2年里,并没有达到自己最初的期望,不过还是跨出了那么一步。这里,我们简单的聊聊Hadoop及其生态圈(系统),不做太深入的探讨。Hadoop是什么?
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。