HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

疫情数据背后,聊聊数据分析平台变迁史

今年年初这场突如其来的疫情,让我们早晨醒来打开手机的第一件事情,从刷朋友圈变成了刷每日最新的疫情数据。看看国内外新增确诊人数/现存确诊人数,看看国内外疫情分布的地图。各大新闻平台也因为快速上线疫情实时动态板块,成为了大家了解疫情发展的阵地。其实,在这背后是有着一个海量数据分析的架构平台做支撑

大数据面试题总结

1.大数据技术1.1描述一下checkpoint的流程?Checkpoint其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照),这个时间点应该是所有任务都恰好处理完一个相同的输入数据的时候。1.2描述一下两阶段提交?对于每个checkpoint,sink任务

数据质量落地

前言数据质量是数据分析结论有效性和准确性的基础,也是一切的前提。如何保障数据质量。1.数据质量保障原则完整性<blockquote完整性是指数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成统

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。