如何准备System Design的面试
文章目录
开发一个应用并不是一件难事,但是对应用的整体架构有一个深入的了解确实是一件了不起的事。一般,系统设计面试题都会放在最后来考察 candidata 的更高 level 的水平。
系统设计可以让面试官更充分的了解 candidata 的全方面的水平。涉及到操作系统、网络、模块化、设计模式、分布式等等系列的问题。面试官只要抓住一点感兴趣的点,就可以很快的了解 candidata 在这个领域的了解和深度。
1、首先,系统设计面试考你什么?
答:考你对问题的分析,trade off,考你对一项技术的了解程度。
2、怎么样回答才比较好?
答:最理想的情况是——基本题目给出来,你就能够知道这个系统的大概结构会是怎么样的,所有的考点分布在哪里。
3、如何去做才能达到回答得比较好的情况?
答:你得看过这些结构并且知道它所有的 tradeoff,知道它用到的所有技术等等,现场凭借经验想是只有大牛才能做的活。我们一般人还是老老实实的学习现有的系统吧。
4、如何知道考点在哪里?
答:想想如果你是面试官你会问什么?在看其他人设计的结构的时候带着问题去看,设想哪里你可以提出什么样的问题,这样慢慢的你就会有体会了。
例如:系统设计要用到 message queue,大半会提到 kafka。这个时候你得知道面试官会问 kafka 什么?他八成会问到用 kafka 有什么问题。那么有什么问题呢? kafka 只保证了 at least one time delivery。所以你最好给每个 message 加 sequence number 来防止 duplictes(是的我知道 kafka 后来 promise 了 exact one time delivery 的 feature,不过没人用)
类似这样,你得在面试官问出来之前就知道问题是啥。这是可以做的到的。只要你总是带着问题去看。
一般系统设计面试题的解法分为四个步骤:
Step1:
明确需求和规范。这个是最重要的,确保你的目标清晰明确,保证接下来的任务能够分解和实施,能够确保实现你的目标。
Step2:
描绘出高层次的设计。在这个阶段还不必去仔细描绘具体的实施细节。只需要将几个大的模块给确定好,规划出他们之间的交互就可以了。
Step3:
评估和计算。针对不同用户数量级别,不同性能需求的条件,来确定后面的机器硬件配置及数量等支撑条件。
其中,系统设计有主要的三个话题:分别是 交互、存储和 CAP 均衡。
交互:即网络交互,是采用可靠但慢的 TCP,还是采用不可靠但是快速的 UDP。HTTP 是在应用层,并且基于 TCP 协议。
存储:设计到关系型数据库,内存数据库和分布式数据库等等概念。很多问题也不只是只能依靠某一个数据可来解决的。只要设计合理,可以满足条件就行。
CAP均衡:根据 CAP 定理,在 consistency,availability 和 partition tolerance 上只能达到一张 trade off。那么,看什么,或者说学习什么会让你知道考点在哪里呢?我之前跟着 Justin 老师学了 SDE 的课程,这套课程学完后,SDE 上岸需要掌握的题型基本都可以刷通关。
如何做呢?下面举一个例子来详细的说一下:比如说现在要设计一个 hash
第一步和第二步:
我要首先问问 requirement:
我:多少资料需要进 cache?面试官:30TB
我:expected QPS?面试官:10M
我:eviction strategy?面试官:LRU
我:Access pattern?面试官:Write Back(有空的话 Write through,Write around、write back 都要知道什么意思,利弊等等)
我:Latency 重要吗?面试官:cache的用途就是降低 latency
我:C or A:A(什么是 CAP?)
第三步:
需要我自己手动简单计算一些问题。需要多少台机器,大概需要用什么,storage (并不是说多么精确,但是也不要离谱)
下面是计算流程:
假设我们现在要用 72GB RAM 4 core 的 machine
那总共以存储 data 来说需要 30TB/72GB = 420台
这样的话每台的 QPS = 10M/420 = 23000,即使所有 core 都用了,每个 core 要处理 6000QPS
代表说 1/6000 = 167 us 搭配上面那个 Link 可知道即使是 ram sequentially read 1MB 要 250M,所以我们如果用这个 size 的 machine 会无法负荷
改变主意 假设现在用 16GB RAM 4 core 的 machine
30TB/16GB = 1875 台,QPS per CPU = 10M/1875/4 = 1400 QPS = 700 us per queries。这个数字负担小多了。
总结一下,上面的流程大概是:
先用 data constrain 算出要几台机器->再用 traffic constrain 算看看这样的配置合不合理->这样做完你就知道你的 system 是需要猛一点的机器少台一点还是差一点的机器多台一点。
第四步:
画出大体架构
见 Notes for Harvard CS75 Web Development Lecture 9 Scalability(解答系统设计中的 scale 的问题)述
第五步:
scale:
这时候小 system 画完了,如果要 scale 的话需要什么东西,不外乎就是 load balancer,DB 就是可能要 master-slave 或是 multi-master 这种东西
至于怎么 fault tolerance 呢?常见的处理就是 replication,就是一样的资料存很多地方,假设有 P 个 replication。
因为每次写和读都写进/读出这 P 个地方非常花时间,那我们该怎么办呢?
假设写的时候,只要有 W 个 replication confirm update 我就 return to user
假设读的时候,只要有 R 个 replication 给我一个一样的 value,我就 return 这个 value 给 user
depends on design 的 use case(这就是为什么 use case 很重要的原因)你要看 read 跟write 哪一个 operation 可以承受高一些的 latency
如果要求 read 很快 write 可以慢一点没关系,那就可以设 R=1,W=P,反之可以设 R=P,W=1
总之,只要 R+W > N 那这 database 就是 strong consistent!如果真的要求高速度的话就必须牺牲 consistent,那 R+W 就会 < P(weak consistent)
最重要的而且并没有多少人提到的,请看各个大公司的 engineer blog,是非常非常重要的。
那么为什么要看 blog?
blog 提到的系统就是现在在生产环境的系统
blog 会提到各种 tradeoff 以及做这种设计的原因
好的 blog 会给出各种相详细的细节,甚至源代码(当然你不需要阅读源码这么深入)
blog 提到的系统很容易拿来举一反三
举例:[https://eng.uber.com/cherami/]
请仔细阅读这一篇文章。如果读懂了并且在读的过程中不停的问自己考点,那么这一篇文章可以解决不下10个不同的 system design 问题:如何设计一个 job queue?如何保证 job 一定执行?deadleatter 如何去设计(uber blog 里还有单独一篇讲这个),如何设计一个分布式爬虫?等等问题
那么哪里有好的 blog?
uber、airbnb 的我都看得很多。我时间少,你可以把大公司得都看了。
深入看了 10 来篇高质量得就觉得融会贯通了。
希望能对大家有所帮助。
文章篇幅有限,如果大家希望更加深入的了解,欢迎大家加我的微信号 L13509543893,注明来意+简历即可。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论