HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

硬核 | Sqoop入门指南

前言        我们在日常开发中需要经常接触到关系型数据库,如MySQL,Oracle等等,用它们来将处理后的数据进行存储。为了能够在Hadoop上分析这些数据,我们需要一些“工具”,将关系型数据库中的结构化数据存储到HDFS上。本篇文章,菌哥将介绍的一个操作最简单,同时也是

AI和大数据下,前端技术将如何发展?

概览因为长期在做跟阿里云飞天大数据平台相关的前端工作,也一直在思考一个问题:“大数据的前端跟其他业务的前端有什么不一样”,具体来说就是,在大数据和人工智能的浪潮下,到底对前端技术的发展带来了什么影响。以团队在负责在做的阿里云飞天大数据平台为例,从在2009年写下第一行代码,现在

大数据开发-Spark Join原理详解

数据分析中将两个数据集进行Join操作是很常见的场景。在Spark的物理计划阶段,Spark的JoinSelection类会根据Joinhints策略、Join表的大小、Join是等值Join还是不等值以及参与Join的key是否可以排序等条件来选择最终的J

大数据开发-Spark-RDD实操案例-http日志分析

1.在生产环境下,如何处理配置文件&&表的数据处理配置文件,或者配置表,一般是放在在线db,比如mysql等关系型数据库,或者后台rd直接丢给你一份文件,数据量比起整个离线数据仓库的大表来说算很小,所以这种情况下,一般的做法是将小表,或者小文件广播出去,那么下面一个例

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。