HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据开发-解决Windows下,开发环境常遇的几个问题

1.背景大数据开发的测试环境,很多人不以为然,其实重复的打包,上传,测试虽然每次时间大概也就几分钟,但是积累起了往往会花费很多的时间,但是一个完整的测试环境在生产环境下往往难形成闭环,抛开堡垒机权限不说,hadoop,hive,spark等服务端的权限也会难倒一群英雄好汉,主要是太繁琐了

大数据已渗透到生活各处,未来大数据分析会渗透到各个企业

最早提出“大数据”时代到来的,是全球知名咨询公司麦肯锡,它曾这样描述:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”。这句话如果放在5年前,你可能会很困惑。但今天,大数据已经实实在在地改变了我们

详解 Flink 容器化环境下的 OOM Killed

作者:林小铂在生产环境中,Flink通常会部署在YARN或k8s等资源管理系统之上,进程会以容器化(YARN容器或docker等容器)的方式运行,其资源会受到资源管理系统的严格限制。另一方面,Flink运行在JVM之上,而JVM与容器化环境并不是特别适配,尤其

Hadoop之性能测试与调优

Hadoop测试集群搭建起来,是不是就万事大吉了呢?如果只是用来学习或者做做实验,貌似够了,但生产环境中还不够,因为我们还没有对集群进行测试,是不是能达到我们预期。1.1写测试测试写入100个128M的文件<pre<codehadoopjar/opt/m

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。