HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

JuiceFS 在数据湖存储架构上的探索

大家好,我是来自Juicedata的高昌健,今天想跟大家分享的主题是《JuiceFS在数据湖存储架构上的探索》,以下是今天分享的提纲:首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点,然后介绍什么是JuiceFS,其次的话会再重点介绍一下关于JuiceFS和数据湖的一些结合和

大数据培训Flink怎样保证数据是一致性的

一致性的三种级别当在分布式系统中引入状态时,自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法,即在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比。在流处理中,一致性分为3个级别。atmostonce:数据最多被处理一次。这其实是没有正确性

爬虫数据采集

经常有小伙伴需要将互联网上的数据保存的本地,而又不想自己一篇一篇的复制,我们第一个想到的就是爬虫,爬虫可以说是组成了我们精彩的互联网世界。网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理,搜索引擎对下载的页面进行索引,以便用户可以更有效地搜索。这都是爬虫数据采集的功劳。这篇文章我总

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。