HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据开发之sparkSQL的使用分享

SparkSQL,使用SQL来完成大数据操作Spark之前使用RDD操作大数据,非常方便,但是也有各种问题,例如RDD每次读取的都是字符串,以及语法比较比较麻烦。大数据培训针对这种情况,spark在新版本中升级RDD为DataFrame和DataSet,并使用SQL的方式去操作数据!(h

DataPipeline与海量数据完成产品互认证,助推数据管理信创生态新进程

近日,DataPipeline与海量数据完成产品互认证工作。经过双方联合严格测试,DataPipeline企业级实时数据融合平台与海量数据库G100管理系统(以下简称:VastbaseG100)能够完全兼容,整体运行稳定高效,可为企业级客户提供可靠的中间件与数据库支撑。以此为基础,双方将共同助力更

大数据开发 Spark 模块之SparkSQL

在实际的开发过程中,SQL化已经是数据领域的共识,大家疯狂的将大数据框架的易用性做到了最高,即使一个刚刚毕业的同学,只要有SQL基础就可以看懂甚至上手开发了。那么我们有必要对SparkSQL这个模块进行一个全面的解析。SparkSQL的前世今生SparkSQL的前身是Shark,它发布

(转)大数据开发之Hive中UDTF函数

动作日志解析思路:动作日志表中每行数据对应用户的一个动作记录,一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的大数据培训日志过滤出来,然后通过UDTF函数,将action数组“炸开”(类似于explode函数的效果),然后使用get_json_object函

「山东城商行联盟」数据库准实时数据采集系统上线,DataPipeline助力城市商业银行加快数字化转型

2021年12月7日,Gartner最新研究揭示,基础设施和运营(I&O)领导人在未来12至18个月必须开始为六大趋势做好准备。其中,无论是准时化基础设施(JustInTimeInfrastructure)、还是数据增生(DataProliferation)、业务敏锐度(Busine

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。