HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

大数据开发-Spark-开发Streaming处理数据 && 写入Kafka

1.SparkStreaming简介SparkStreaming从各种输入源中读取数据,并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。在每个时间区间开始的时候,一个新的批次就创建出来,在该区间内收到的数据都会被添加到这个批次中。在时间区间结束时,批次停止增长,时间区间的

大数据开发-Sql-涉及迭代数据的sql问题处理思路

在前面一篇里面,算法一个经典sql题和一个Java算法题大数据开发Hive常用日期函数&&日期连续题sql套路有一道经典sql题目,解决连续问题,本文继续总结关于连续性的套路,来自于实际生产项目的问题,本文略去其他不重要信息字段,来从更深地层次解决问题,由于在生产中,常常是

中国移动工程师浅析:KubeEdge在国家工业互联网大数据中心的架构设计与应用

<blockquote【摘要】在18年时候,工信部开展了一个叫国家创新发展工程,这个工程中提出了要建立一个国家工业大数据中心,中国移动在其中承担了边缘协同与数据采集相关功能的研发。本文将从该项目背景下面临的问题与挑战、技术选型等方面进行阐述。</blockquote一、问题与挑战

用Python编写成绩管理分析系统(故事升级版)

项目总览生活小故事引入微风和煦,散乱在办公桌上的测验小试卷还有几分“热度”,在小学助教的小王老师刚刚批改完昨天的语文单元测评,显得有些疲惫,但脸上却是慢慢的欣慰。看来通过最近的监督学习模型的转化和实践,他们的成绩有大幅度的提升,正准备把这个学习方法分享给其他在办公室的老师

大厂如何搭建大数据平台&架构

大厂的大数据架构淘宝淘宝大数据平台承担了数据采集、加工处理、数据应用的职责。第一个阶段:RAC时代2008年前的单节点oracle,还称不上数据仓库,只能承担简单的数据处理工作2008年后,为了应对日益增长的数据量,RAC集群应运而生,

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。