黑暗森林的头像 ID: 76039956050

黑暗森林

HelloWorld 社区成员

3651925144

文章3
个人网站0
加入社区2025

基于 Megatron-Core 的稀疏大模型训练工具:阿里云MoE 大模型最佳实践

概述随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE(多专家混合)大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度,模型效果甚

用redis实现分布式锁时容易踩的5个坑

我的业务场景是这样的,我们服务有库存模块,而我的服务又是多节点部署,要高峰期会存在库存差异,后面分析问题之后,打算采用redis实现分布式锁(主要的原因是服务已经集成了redis,不需要做额外的配置)。踩坑1、数据库事务超时不要感觉奇怪,分布式锁怎么会导致数据库事务超时呢?

应广大群众的要求,今天开始连载《超容易的Linux系统管理入门书》一书

学习Linux容易嘛?我说超容易,你肯定不信。那学习Linux最好的学习方法是什么,就是脑子里面一直提问题,不停的提,时时刻刻提,如果你没有问题,那再容易的学习书你也看不懂。《超容易的Linux系统管理入门书》每章最后都有一堆问题,高手看到这些问题肯定会发笑,但入门者看到这些问题肯定如醍醐灌顶。这