Hadoop 气数已尽!逃离复杂性,拥抱云计算

Stella981
• 阅读 461

Hadoop 气数已尽!逃离复杂性,拥抱云计算

作者 | Matt Asay,译者 | 杨志昂

来源: 高效开发运维

导读:虽然大数据依然如日中天,但该领域曾经的领头羊 Cloudera、Hortonworks 和 MapR 三家公司最近步履蹒跚,多少掩盖了其几分风光。

作为曾经的数据宠儿,过去筹集到的巨额投资源源不断。例如,英特尔公司就曾向 Cloudera 注入 7.66 亿美元,这还仅仅只是一轮投资的数额!如今,这些大数据领域的重量级公司纷纷被迫瘦身,Cloudera 和 Hortonworks 合并,而 MapR 开始裁员。

与此同时,大数据领域的其他开源供应商(如 Elastic 和 MongoDB 公司)却势头正猛。到底发生了什么事?当然,这背后有种种原因,但其中一个事实是,老牌 Hadoop 供应商把大赌注押在了错误的目标用户上,瞄准的是所谓数据中心的专职架构师。然而,市场已经转向了在云计算环境中寻求自由的个体开发人员。

此消彼长

在那些靠 Hadoop 发家致富的供应商中,MapR 是最新的牺牲品。MapR 公司一度估值超过 10 亿美元,但最近披露的消息是,除非能找到新的投资者,否则公司必须裁员 122 人,这个数量约占员工总数的 25%,而且裁员名单包括其首席执行官 John Schroeder、其他高管以及多名工程师,并且同时准备关闭其总部办公场所。如果真能找到投资者的话,他们必须在 6 月 14 日前签署协议,否则 MapR 的前景将会一片黯淡。

不过,最近大数据领域一直都不太平。根据 LinkedIn 的数据,在过去两年中,MapR 公司已经缩水了 29%。无独有偶,大概是因为 Cloudera 和 Hortonworks 这两家公司无法单独生存,于是它们进行了合并,但在合并之后不久,Cloudera 就宣布了其惨不忍睹的收益,预计收入比分析师预测少了 6900 万到 8900 万美元。与此同时,公司首席执行官 Tom Reilly、联合创始人兼 CSO Mike Olson 双双宣布辞职。该公司股价随即暴跌 40%。

以上种种结果似乎很容易就被归咎于一个原因:之前的大数据领域被过度炒作,泡沫破灭后回归现实,Hadoop 领头羊已经溃不成军。但这却无法解释为什么大数据领域的其他供应商却依然在蓬勃发展。例如,MongoDB 数据库产品受欢迎程度一直在增长,MongoDB 现在的受欢迎指数大约是 Oracle 和 MySQL 的三分之一,而五年前只有十分之一(https://db-engines.com/en/ranking)。这种受欢迎程度反过来良性地推动 MongoDB 公司的收入增长,最近收入已经跃升了 78%。

同样,Elasticsearch 分布式搜索和分析引擎背后的公司 Elastic 在去年员工数量翻了一番,最近一个季度的收入增长了 70%。许多公司已经转用 Elastic 的产品进行传统的文本搜索和其他更多的搜索,比如英国伦敦的 Stansted 机场就使用 Elastic 工具来追踪和可视化机场内的人员和行李流量,并提供实时分析。

大数据时代的剧本似乎让人看不懂了。像 MongoDB 和 Elasticsearch 这样的技术以及它们背后的公司从来没有被认为能够挑战 Hadoop 和相关产品。然而现在看来,他们确实做到了。为什么会这样?

预测:****未来多云

其中一个答案是因为“云”,但它也只是一个多方面综合效应的一个侧面而已。正如 Anaconda 高级副总裁 Mathew Lodge 在一篇文章中所提及的,尽管 Cloudera、Hortonworks 和 MapR 这三家公司都在拼命从现有产品中寻求演进,但 AWS、微软 Azure 和谷歌 Cloud 三巨头打造的一站式云原生服务提供了“完全集成的产品系列,获取成本更低,扩容更便宜”。企业用户的目光纷纷投向了这些服务和产品。虽然 Hadoop 供应商以尽可能快的速度打造自己的云服务,但其速度根本赶不上那些云计算领域的重量级竞争对手。

虽然 Hadoop 在当时是颇具革命性的技术,但与云计算的替代方案相比,它的成本高得离谱。正如 Clint Sharp 所指出的,“Hadoop 的主要应用场景一直是廉价的存储。然而,有了云之后,存储变得更廉价,更何况 S3+EMR 和其他服务的用户体验还提高了千倍不止。” 作为传统专有数据仓库的替代品,Hadoop 曾经是很不错的选择,但它现在已经远比不上更现代的技术(甚至是基于云的 Snowflake 数据仓库,等等)。

与此同时,云计算代表着处理数据的新方法。虽然它们本身不是完全同质的替代品,但与 MongoDB 或 Elasticsearch 一样,它们解决了与 Hadoop 相同的问题,而且还简单易用,没有那些令人抓狂的麻烦。正如 MongoDB 的 Joe Drumgoole 所说,“编写有效的分布式 Map-reduce 算法真的非常非常困难。” 更糟糕的是,Hadoop 供应商争先恐后地为他们的 Hadoop 产品添加各种开源插件(例如,Impala、Pig、Hive,以及 Flume),还发明了更累赘的“解决方案技术栈”。直到最后,终于有一位观察者这样评价,“没有人知道这些 Hadoop 公司到底在做什么”。

对于一些企业用户来说,或许在这上面费力地付出时间和精力还算值得。然而,对于肩负“把事情做完”任务的个体开发人员来说,他们越来越多倾向于选择更简单直接的替代方案。

使用方便才是王道

Hadoop 及其衍生产品的开箱即用体验确实不忍直视。这与 MongoDB 的用户体验形成鲜明对比。前 MongoDB 高管 Kelly Stirman 认为用户体验是让 MongoDB 在同类产品中脱颖而出的一个关键。这是一种什么体验?一位叫 Tom Barber 的人这样描述:

在使用 MongoDB 时,你可以容易地在一台服务器上安装 MongoDB,而不需要在一个糟糕的 VM 上浪费时间。在生产环境中,你可以直接在一台服务器上把它运行起来。你不需要写一大堆代码就可以把它和其他一堆东西连接起来。人人都希望使用这样的数据库…MongoDB 真正做到了很容易让数据流入,也很容易就让数据流出。

TimeScale DB 首席执行官 Ajay Kulkarni 也表示赞同,他补充道:

个体开发人员的热爱是 MongoDB 战胜 Hadoop 的原因。MongoDB 聚焦于首次用户体验。而 Hadoop 的运行过程十分繁琐,简直臭名昭著。虽然 Hadoop 供应商针对企业用户提供了一套优秀的销售宣传说辞,但如果没有开发人员的热爱和支持,它的增长就会停滞,市场就会萎缩。

在 MongoDB 和 Elastic 击败 Cloudera 和 MapR 这件事上,虽然把成功因素统统归于开发人员的热爱可能有些夸大其词,但这的确是一个不争的事实。

开发人员 Jake Kaldenbaugh 认为,MongoDB 已经开始“融入”到各种现代应用程序中。随着时间的推移,那些一开始将 MongoDB 应用于并不那么重要的应用程序的开发人员,会将 MongoDB 应用到那些涉及重要业务的应用程序中,而且 MongoDB 还在不断添加新功能(比如多文档事务支持),以支持更复杂的应用场景,但又没有让这些功能变得过于复杂。

那么,之前的这些大数据巨头公司们将何去何从呢?Mathew Lodge 已经为他们写下了悼词:

在 Cloudera 和 Hortonworks(还有 MapR)作为大数据宇宙中心长达 10 年之后,这个领域的重心已经转移到其他地方。如今领先的云公司并不像 Cloudera 和 Hortonworks 那样运行大型的 Hadoop/Spark 集群,而是在容器基础设施之上运行分布式数据库和应用程序。他们用 Python、R 和其他非 Java 语言进行机器学习。越来越多的企业正转向类似的技术方向,因为它们也希望获得同样的速度和规模效益。那些使用 Hadoop 和 Spark 技术的世界是该紧跟时代做出改变了。

开源数据基础设施的创新日新月异,这既是福,也是祸。创新正在以惊人的速度发生,注定会有一些供应商将在这个飞速发展的过程中破产。

原文链接

https://www.infoworld.com/article/3400864/hadoop-runs-out-of-gas.html?upd=1560395045502

--end--

K8S培训推荐

Kubernetes线下实战培训,采用3+1+1新的培训模式(3天线下实战培训,1年内可免费再次参加,每期前10名报名,可免费参加价值3600元的线上直播班;),资深一线讲师,实操环境实践,现场答疑互动,培训内容覆盖:Kubernetes集群搭建、Kubernetes设计、Pod、常用对象操作,Kuberentes调度系统、QoS、Helm、网络、存储、CI/CD、日志监控等。开班城市:北京/深圳/上海/成都点击查看更多课程信息!

Hadoop 气数已尽!逃离复杂性,拥抱云计算

Hadoop 气数已尽!逃离复杂性,拥抱云计算

推荐阅读

本文分享自微信公众号 - K8S中文社区(k8schina)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
Java获得今日零时零分零秒的时间(Date型)
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
4个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这