HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

“朋友圈”又添好友,DataPipeline与统信服务器操作系统完成产品互认证

日前,DataPipeline企业级实时数据融合平台与统信软件旗下统信服务器操作系统V20完成产品互认证。DataPipeline正式成为统信软件产品生态伙伴。本次认证基于鲲鹏、飞腾CPU平台,经严格兼容性及功能性测试,结果表明:DataPipeline产品在统信服务器操作系统上运行稳定、性能优异,

大数据开发之Spark和Flink的对比(转载)

大数据计算引擎的起源Hadoop和其他基于mapreduce的数据处理系统的出现首先是为了满足传统数据库无法满足的数据处理需求。随着2004年谷歌发布MapReduce白皮书以来的发展浪潮,利用Hadoop的开源生态系统或类似系统处理大数据已经成为行业的基本需求。尽管最近努力降低进入门槛

怎么排查是哪里出现了数据倾斜

Hive数据倾斜怎么发现,怎么定位,怎么解决多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措。今天我们不扯大篇理论,直接以例子来实践,排查是否出现了数据倾斜,具体是哪段代码导致的倾斜,怎么解决这

大数据开发之Hadoop家族都有谁

Hadoop的整体架构Hadoop是一个用于大数据的架构解决方案。经过多年的开发演进,Hadoop已成为一个庞大的系统,大数据培训它的内部工作机制非常复杂,是一个结合了分布式理论与具体的工程开发的整体架构。关于Hadoop最朴素的原理,就是要使用大量的普通计算机处理大规模数据

伴鱼基于 Flink 构建数据集成平台的设计与实现

<blockquote<p数据仓库有四个基本的特征:面向主题的、集成的、相对稳定的、反映历史变化的。其中数据集成是数据仓库构建的首要前提,指将多个分散的、异构的数据源整合在一起以便于后续的数据分析。将数据集成过程平台化,将极大提升数据开发人员的效率。本文主要内容为:</p<ol<li数据集

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。