文章

fastapi+pytorch 推理遇到内存泄露问题

现象描述:uvicornfastapi不使用asyncdef的时候,随着请求持续增加,内存会一直涨上去但是内存不是线性增长的。当请求QPS很低的时候,几乎不怎么增长;但是当QPS比较大的时候,会一点点增长。连续持续的QPS让内存增长非常缓慢但是短短续续的大Q

已加载文章中没有匹配内容,试试其他关键词或清空搜索。