HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

谁来背锅?自动驾驶车祸背后的故事

在当今社会,随着科技的飞速发展,自动驾驶汽车逐渐成为现实,预示着交通行业未来的变革。这项引人注目的技术,虽然承诺带来更高效和更安全的驾驶体验,但同时也带来了一系列责任、伦理和法律上的挑战。特别是当涉及到事故责任时,这些挑战变得尤为复杂。想象一下,一辆装备了最先进自动驾驶技术的汽车在执行日常行

DS-Net:可落地的动态网络,实际加速1.62倍,快改造起来 | CVPR 2021 Oral

<blockquote论文提出能够适配硬件加速的动态网络DSNet,通过提出的doubleheaded动态门控来实现动态路由。基于论文提出的高性能网络设计和IEB、SGS训练策略,仅用1/21/4的计算量就能达到静态SOTA网络性能,实际加速也有1.62倍<br/ <br/来源:

CondeseNetV2:清华与华为出品,保持特征的新鲜是特征复用的关键 | CVPR 2021

<blockquote论文提出SFR模块,直接重新激活一组浅层特征来提升其在后续层的复用效率,而且整个重激活模式可端到端学习。由于重激活的稀疏性,额外引入的计算量非常小。从实验结果来看,基于SFR模块提出的CondeseNetV2性能还是很不错的,值得学习<br/ <br/来源:晓飞的

为什么大型语言模型都在使用 SwiGLU 作为激活函数?

如果你一直在关注大型语言模型的架构,你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数,它结合了SWISH和GLU两者的特点。!(https://

归一化技术比较研究:Batch Norm, Layer Norm, Group Norm

归一化层是深度神经网络体系结构中的关键,在训练过程中确保各层的输入分布一致,这对于高效和稳定的学习至关重要。归一化技术的选择(Batch,Layer,GroupNormalization)会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的,随着网络体系结构、批处理大小和特定任务

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。