文章
谁来背锅?自动驾驶车祸背后的故事
在当今社会,随着科技的飞速发展,自动驾驶汽车逐渐成为现实,预示着交通行业未来的变革。这项引人注目的技术,虽然承诺带来更高效和更安全的驾驶体验,但同时也带来了一系列责任、伦理和法律上的挑战。特别是当涉及到事故责任时,这些挑战变得尤为复杂。想象一下,一辆装备了最先进自动驾驶技术的汽车在执行日常行
10个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/4f3422643816e1a6eb06ec815c381576.png)1、哪种技术有助于减轻基于提示的学习中的偏
Dynamic ATSS:预测结果才是正负样本区分的最佳准则
<blockquote论文认为预测结果能够更准确地区分正负样本,提出结合预测结果IoU和anchorIoU来准确地选择最高质量的预测结果进行网络训练。整体算法简单但十分有效,值得看看<br/ <br/来源:晓飞的算法工程笔记公众号</blockquote论文:Dyna
推测解码:在不降低准确性的情况下将LLM推理速度提高2 - 3倍
在本篇文章我们将详细讨论推测解码,这是一种可以将LLM推理速度提高约23倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现,并看看它与原始transformer实现相比到底能快多少。!(https://imghelloworld.osscnbeijing.aliyun
DS-Net:可落地的动态网络,实际加速1.62倍,快改造起来 | CVPR 2021 Oral
<blockquote论文提出能够适配硬件加速的动态网络DSNet,通过提出的doubleheaded动态门控来实现动态路由。基于论文提出的高性能网络设计和IEB、SGS训练策略,仅用1/21/4的计算量就能达到静态SOTA网络性能,实际加速也有1.62倍<br/ <br/来源:
5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。令牌掩码TokenMasking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用,并被用于许多变体(RoBERTa,ALBERT,DeBERTa
CondeseNetV2:清华与华为出品,保持特征的新鲜是特征复用的关键 | CVPR 2021
<blockquote论文提出SFR模块,直接重新激活一组浅层特征来提升其在后续层的复用效率,而且整个重激活模式可端到端学习。由于重激活的稀疏性,额外引入的计算量非常小。从实验结果来看,基于SFR模块提出的CondeseNetV2性能还是很不错的,值得学习<br/ <br/来源:晓飞的
为什么大型语言模型都在使用 SwiGLU 作为激活函数?
如果你一直在关注大型语言模型的架构,你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数,它结合了SWISH和GLU两者的特点。!(https://
归一化技术比较研究:Batch Norm, Layer Norm, Group Norm
归一化层是深度神经网络体系结构中的关键,在训练过程中确保各层的输入分布一致,这对于高效和稳定的学习至关重要。归一化技术的选择(Batch,Layer,GroupNormalization)会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的,随着网络体系结构、批处理大小和特定任务
基于energy score的out-of-distribution数据检测,LeCun都说好 | NerulPS 2020
<blockquote<p 论文提出用于outofdistributions输入检测的energybased方案,通过非概率的energyscore区分indistribution数据和outofdistribution数据。不同于softmax置信度,energyscore能够
已加载文章中没有匹配内容,试试其他关键词或清空搜索。