MesosCon D2 | Google系统构建的故事,Mesos之父登场

友若
• 阅读 1777

经历了干货满满的第一天,MesosCon Asia第二天的内容同样精彩,依旧是三个重量级 Keynote 开场:Mesos 的 Nested Container,Google系统构建、以及Mesos之父登台畅谈未来……小数已经迫不及待了,闲话少叙,我们快开始吧!

传送门:数人云工程师手记 | MesosCon第一天全纪录

Support for Nested Containers, aka Pods, in Mesos

MesosCon D2 | Google系统构建的故事,Mesos之父登场

Pod 这个概念用在容器圈始于 Kubernetes,Mesos 也引入了类似的概念,Nested Container:通过 Container Executer 下再启动 Container 和 Task 来实现嵌套。

Mesos 的 Nested Container 支持任意级的嵌套,不仅可以复用现有的所有 isolators,还支持动态创建嵌套容器。

MesosCon D2 | Google系统构建的故事,Mesos之父登场

所有 Nested Container,或者说 Pod 中的容器 Cgroup 和 Net Namespace 都是共享的,但是 MNT Namespace 不共享,这样就能实现同一 Pod 中的容器可以通过 localhost 进行网络通信。

MesosCon D2 | Google系统构建的故事,Mesos之父登场

任意级嵌套是个很有意思的功能,通过这样的设计,可以方便为目标容器创建 Debug 子容器,并能保证整个设计的统一完整性。

MesosCon D2 | Google系统构建的故事,Mesos之父登场

之后,Yu Jie 通过 DC/OS 简单展示了使用 Unified Container 来创建 Nested Containers 的过程,包含了针对持久化卷的 producer-consumer 和针对网络联通性的 server-client 两个例子。

How to replace a Jet Engine of your System in-Flight

MesosCon D2 | Google系统构建的故事,Mesos之父登场

来自 Google 构建系统的分享,讲述了她们实现复杂在线分布式系统 Zero Downtime 迁移的心路历程。

MesosCon D2 | Google系统构建的故事,Mesos之父登场

Google 的体量之大即使是外人也能有所感觉,即使是它的构建系统,也不能接受有不可用的情况,所以 Zero Downtime 系统迁移是必经之路。

MesosCon D2 | Google系统构建的故事,Mesos之父登场

通过上图我们能简单的对新旧版本的架构有一个整体的认识。

MesosCon D2 | Google系统构建的故事,Mesos之父登场
做这样的大型系统的在线迁移,除了底层资源调度基础架构(Borg inside Google, or Mesos) 的支持以外,同样避免不了人的操作,因此就需要做好演练,总结出 checklist,这样能够避免多部门合作时大家因为疲惫或者兴奋而犯一些超级简单的错误。而且一定要有失败预案,一旦发现有问题,要能够明确回滚的步骤,这同样需要底层调度系统的支持。

Mesos + DC/OS, not Mesos versus DC/OS

MesosCon D2 | Google系统构建的故事,Mesos之父登场

Ben 花了 10 种的时间向大家介绍了下 Mesos 和来自美国的 DC/OS 的关系及未来的发展方向,肯定了 Mesos 作为 kernel 的作用,表达了围绕其建立起来的 DC/OS 。
MesosCon D2 | Google系统构建的故事,Mesos之父登场

Ben 为了解释 Mesos 和 DC/OS 的关系,列了未来 OPs 的挑战,而解决这些挑战的方式,就是在 Mesos 核心周围,建立起 DC/OS 这个完整的工具链。

MesosCon D2 | Google系统构建的故事,Mesos之父登场
Mesos 的优势还体现在数据处理和分析的框架应用上,然而如果只有 Mesos + DC/OS,也不能更好的满足这些方面的挑战,这样就引出了 DC/OS SDK。

MesosCon D2 | Google系统构建的故事,Mesos之父登场
MesosCon D2 | Google系统构建的故事,Mesos之父登场

Mesos DC/OS SDK 就像是操作系统中应用和 Kernel 交互的借口层一样,主要负责抽象应用生命周期管理,目标是使有状态任务能更简单的运行在 Mesos + DC/OS 之上。

除了这三个重量级 Keynote 之外,Day two 的其他 session 也是干货满满,比如同样来之 Mesosphere 的 “Writing Stateful Frameworks - Challenges and Solutions” 就展开讲解了 DC/OS SDK 如何能帮助到有状态服务。另外,如果你对 HA 感兴趣,就不应该错过来自 IBM 的 Mesos HA 去 zookeeper 的分享。“CNI: Onwards and Upwards” 详实的讲解和丰富的 Demo 将 Mesos Unified Container 关于网络的实现细节和未来发展规划都摊开了揉碎了放在你面前。

至此,为期两天的 Mesos Con Asia 杭州之行圆满结束。数人云一直坚持国内Mesos技术的落地与实践,也在大会上进行了演讲分享,视频请点击“此处”,实录小数会在之后为大家奉上,敬请期待:)

意犹未尽,不只是为技术,也为美丽的杭州,妙曼的西湖。

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
K8S CNI及各CNI网络解决方案简述
CNi:什么是CNI?CNI是ContainerNetworkInterface的缩写,是一个标准的通用的接口。为了让用户在容器创建或销毁时都能够更容易地配置容器网络,现在容器平台:docker,kubernetes,mesos。CNI如何实现?CNI用于连接容器管理系统和网络插件。提供一个容器所在的networknam
Easter79 Easter79
3年前
Twitter 宣布抛弃 Mesos,全面转向Kubernetes
美国西部时间5月2日下午7点,Twitter公司在旧金山总部举行了一次技术发布会兼Meetup。会上,Twitter计算平台(TwitterComputingPlatform)产品与技术负责人DavidMcLaughlin正式宣布,Twitter的基础而设施将从Mesos全面转向Kubernetes。Mesos项目发布
Stella981 Stella981
3年前
Centos7安装Mesos
ApacheMesos官方文档只提供了源码安装方式,然而我尝试了几次,总是在某些阶段报错。而通过搜索引擎搜到的其他办法,也多少会遇到一些莫名其妙的错误。所以根据自己尝试的结果,整理了一个简单的方法。1,添加yum仓库rpmUvhhttp://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere
Stella981 Stella981
3年前
Mesos各种存储处理方式
Mesos各种存储处理方式需要配合永久存储机制的任务包括MySQL、MongoDB等数据库,以及Nginx缓存、日志记录目录和博客软件用于存储数据的数据目录等Web缓存机制。框架始终需要依靠Mesos为其提供执行任务所必需的物理或虚拟资源。ApacheMesos的任务运行对资源加以调度,并在容器内运行,而部分任务可能需要永久存储作为配合。需要配合永
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这