HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
MapReduce中partitioner的作用
Partitioner决定maptask输出的数据交由哪个reducetask处理默认处理:分发的key的hash值与reducetask取模是可以自定义自己的partitioner类的,如果是手机号当key,186开始的一组,130开始的一组,其他的一组if(phone.startwith(&
HBase二级索引方案
HBase二级索引方案TOC使用HBaseCoprocessor方案测试案例需求:在原表LJK_TEST上,将mycf:name作为二级索引。第一步创建一张索引表<codecreate&39;INDEX_LJK_TEST&39;
Hadoop的搭建和第一个Hadoop小项目:单词计数
<blockquoteHadoop的搭建</blockquote我自己是在windows10上搭建的hadoop。参考资料如下:1.hadoop详细安装及配置(https://link.segmentfault.com/?encz04jPZT8Z%2BHgH4g5wDyROQ%
好程序员大数据分享MapReduce中job的提交流程
好程序员大数据分享MapReduce中job的提交流程一、MapReduce的定义MapReduce是面向大数据并行处理的计算模型、框架和平台。它的主要思想是:map(映射)和reduce(归约)1)MapReduce是一个基于集群的高性能并行计算平台2)MapReduce是一个并行
使用Python操作Hadoop,Python-MapReduce
环境环境使用:hadoop3.1,Python3.6,ubuntu18.04Hadoop是使用Java开发的,推荐使用Java操作HDFS。有时候也需要我们使用Python操作HDFS。本次我们来讨论如何使用Python操作HDFS,进行文件上传,下载,查看文件夹,以及如何
windows调试hadoop-mapreduce任务踩坑记录(使用idea)
首先准备Hadoop连接驱动(https://link.segmentfault.com/?encQWEcbFu6IHq9kTsac9euiA%3D%3D.zbMMA5VndT4ZTI4LRLg08EtMSUESNlGmYadz0TxR1a1fjBG5CSXWWWe6LGnYtGCOMJiD2
MapReduce精髓
虽然Google的MapReduce论文很老了(十多年),但只要还没看,就值得一看。概要MapReduce是一种重视容错性的分布式并行计算模式,它把分布式并行计算分为map和reduce两个阶段:map:把输入数据集切分成很多份(1份可包含很多records),传给ma
并行数据文件系统与计算的高性能集成
在分布式数据存储和计算集成中,并行计算和并行数据访问是基本的优化方法,但是如何能让作业和任务高度并行,在实际应用场景中,由于分布式任务调度和数据本地性没有办法做到完美结合,性能会因此丢失。本文从分布式数据计算和存储架构角度,先分析了数据并行系统的特性,解释数据本地行对于性能的量化影响,并提出自己的对
MapReduce
MapReduce<blockquote参考:<ahref"https://link.segmentfault.com/?enc5QJTtIwShiuv9lBoIoYA%2BA%3D%3D.xtGM3ncIOSiCWz8OhpIU2WGU7d3dnoSTT5uUYOd9371w
大数据核心知识点:Hbase、Spark、Hive、MapReduce概念理解,特点及机制
今天,上海尚学堂大数据培训班毕业的一位学生去参加易普软件公司面试,应聘的职位是大数据开发。面试官问了他10个问题,主要集中在Hbase、Spark、Hive和MapReduce上,基础概念、特点、应用场景等问得多。看来,还是非常注重基础的牢固。整个大数据开发技术,这几个技术知识点占了很大一部分。那本
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。