升到 .NET 11 后吞吐变好,为什么每隔五分钟仍会卡?
文章目录
一个 ASP.NET Core API 在升级 .NET 11 后,常规压测每秒多处理了一些请求。团队准备报告升级有效,值班同事却指出,每到整五分钟的那一分钟,业务尾延迟比旧版更高。两个观测可以同时成立:平均负载中加快的路径,与缓存同时过期时变慢的路径,可能根本不是一段代码。
下面用一个有本地缓存与数据库连接池的应用演练,把运行时变化、应用分配和排队逐层分开。所有数字都是说明诊断过程的构造样例。
三组测试,分别回答三个问题
第一组冷启动。运行容器到 readiness 的时间很容易拿到,又不足以说明首个请求可用。让测试进程分别打静态健康接口和一条真实依赖缓存与数据库的只读查询,记录首答;如果自包含发布,就检查镜像打进去的运行时。如果是框架依赖发布,验证宿主真正加载了哪个运行时。只比 SDK 标签可能误认基线。
第二组跑稳态。固定应用提交、发布模式、配置、容器限额、数据和依赖连接池。带着代表性并发预热,稳定之后再采样。两组都记录每秒完成请求、CPU、分配率、GC、进程内存和尾延迟。先做旧版本,再做新版的固定顺序会吃到宿主差异和下游缓存,间隔对调几轮比较稳妥。
第三组让缓存批量过期。固定时间点让一组已预热的键集中失效,再对照设置错开的对照组。不要一边升级,一边把缓存改成另一套实现。如果两者都改,之后无法回答究竟谁引入了抖动。

同一负载跑多次,记录进程生命周期和容器限制。
dotnet-counters monitor --process-id 1234 --counters System.Runtime
‘1234’ 是示例 PID。容器里要在可访问诊断通道的环境执行。输出的可用指标随版本变化,确认自己读的是当前值、累计值,还是采样间隔的速率。短时看趋势用 counters,想定位昂贵调用栈可以在隔离负载进一步采集 trace。
当时钟走到 12:05,打开三张时间图
假设稳态旧版每千请求耗 220 ms CPU,新版耗 200 ms。到了缓存过期的 12:05,候选组 P99 从 120 ms 到 480 ms;一测发现 CPU 未饱和,分配指标几乎没动,大量请求正在等数据库连接。这个结果先指向下游排队,不支持把问题直接归给 JIT。可把每次缓存填充的开始和结束放进请求追踪,查看相同键是否触发了多次并发查询,并验证连接池容量。
如果 CPU 与排队没有明显变化,而 GC 暂停恰好出现在多个尾延迟尖峰中,再将堆增长、对象存活与缓存生命周期排在同一条线。查看对象是被缓存引用还是在请求结束后很快回收。及早回收的临时分配和长期存活的大对象,处理方式不同。调整参数不如先缩小候选调用树。对于线程池,队列一直增长但 CPU 未饱和的场景,检查同步等待下游和过长的阻塞。在统计层看到相关并非足够,修复后要重放同一类负载验证。
如果两张图结论相反,再跑一个更小的实验
以示例中的热缓存接口为例,先把数据库调用替换成固定结果的测试实现,在隔离环境下保留同样的序列化、中间件和错误路径。对比两种运行时的纯服务成本。然后恢复数据库,压同一请求分布,记录连接等待和 SQL 执行。一个调用在纯服务里稳步提升、连数据库才出现长尾,就不应从更频繁地调整 JIT 选项开始。反之,去掉数据库仍有差异,可以进一步比较序列化和缓存数据转换,逐步缩小火焰图上的候选栈。替身环境用于定位边界,性能结论仍要由生产代表负载确认。
同时检查是否拿了相同的负载定义。有些测试以「每个请求完成以后立即再发」控制并发,候选变慢时总到达率会自动降,难以体现真实业务峰值。重放固定到达节奏、记录排队和超时,才能看出高峰背压。成功率不能只按收到响应算,超时取消和崩掉的连接也要计。换成固定速率后再根据目标并发估计不同版本的安全容量。
一个可复用的结果表最后要列明哪些实验解释了问题、哪些只是观察。正文可以写「这个缓存过期场景的慢来自连接池」,附能重放的时间线;若统计量不足,则保留未解释的窗口。这样的结论比「新版更快」更有边界,也更容易指导后续扩容。
报告如果需要给出升级收益,可以同时写两行:稳态新版本每千请求少耗多少 CPU,集中失效时多少请求超过 SLO。两行不要合成一个综合分,除非业务明确了加权方法。例如缓存运维窗口只有十分钟,也要说明这十分钟用户能不能下单。先修工作负载造成的高峰问题,再复测运行时,数据才能用于决定容量。
一页发布记录应该长什么样
把三个实验各写一行,包括制品摘要和配置,写明通过门槛。常驻节点权重偏稳态,按需扩缩容的无状态服务同时对冷启动和首个真实请求敏感。单位成本与 SLO 最好并列报告,例如每千合格请求的 CPU 秒数、P99 和内存余量。相同的吞吐增幅如果由扩大并发换来,可能带来更多超时和更高重试,整体成本仍会涨。
让小规模候选实例覆盖一次高峰,并用同一分钟的旧版作对照。若遇到显著差异,先拉出真实路由与下游请求组成,再看实验是否漏了流量类型。特性回退、镜像回退、业务数据回退各要对应动作。做到这一步,发布记录里的性能结论才有前提和范围,后面接班的人也知道从哪张图开始。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论