逻辑绘月人的头像 ID: 10131872377

逻辑绘月人

HelloWorld 社区成员

7747325513

文章4
个人网站0
加入社区2025

使用TensorRT-LLM进行高性能推理

LLM的火爆之后,英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRTLLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRTLLM是在TensorRT基础上针对大

SegmentFault 2022 年社区周报 Vol.9

hello,本喵又回来啦,距离国庆假期只剩3个工作日啦,想想都很激动,我承认我是有点提前兴奋了,回归主题,来给大家来汇报一下社区近期发生的事儿~社区活动本周活动:SegmentFault思否技术征文丨浅谈Java进阶之路已于9月21日正式结束,一起来看看有哪些优秀

ITI 1121 体系计算

ITI1121.IntroductiontoComputingIIWinter2021Assignment1(LastmodifiedonJanuary13,2021)Deadline:February5,2021,11:30pmLearningobjective

Flink实战(六) - Table API & SQL编程

1意义1.1分层的APIs&抽象层次Flink提供三层API。每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。!(/img/remote/1460000019829012?w2074&h708)而且Flink提供