抽象沙漏的头像 ID: 12582481160

抽象沙漏

HelloWorld 社区成员

8788429383

文章4
个人网站0
加入社区2025

美团 Flink 大作业部署与状态稳定性优化实践

<blockquote<p摘要:本篇内容整理自美团数据平台工程师冯斐、王非凡在FlinkForwardAsia2021的演讲。主要内容包括:</p<ol<li相关背景</li<li大作业部署优化</li<liCheckpoint跨机房副本</li<li状态稳定性相关

大数据开发之Hive SQL优化思路分享

Hive的优化主要分为:配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是:•减少数据量(例如分区、列剪裁)•避免数据倾斜(例如加参数、Key打散)•避免全表扫描(例如on添加加上分区等)•减少job数(例如相同的on条件的join放

简易版“闭包”,一看就能学会

一、为什么会产生闭包?在开始说闭包之前,我们要先理解一下变量的作用域,变量的作用域无非有两种:全局作用域和局部作用域。出于种种原因,有时候我们需要得到函数内部的局部变量。但是,在正常情况下这个是办不到的,只有通过变通的方法才能实现。这个方法就是,在函数的内部再定义一个函数

PHP Include文件

自己的摄影主页因为几个页面的导航还有页尾的社交图标链接都是一样的,所以尝试用phpinclude功能,包含文件省去重复工作,用到的时候只需要include就可以了。在w3cschool上介绍说,文件的插入有两种方法:include和require,两者的效果是一样的,不同之处在于对错误的处理上