HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
谁来背锅?自动驾驶车祸背后的故事
在当今社会,随着科技的飞速发展,自动驾驶汽车逐渐成为现实,预示着交通行业未来的变革。这项引人注目的技术,虽然承诺带来更高效和更安全的驾驶体验,但同时也带来了一系列责任、伦理和法律上的挑战。特别是当涉及到事故责任时,这些挑战变得尤为复杂。想象一下,一辆装备了最先进自动驾驶技术的汽车在执行日常行
10个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/4f3422643816e1a6eb06ec815c381576.png)1、哪种技术有助于减轻基于提示的学习中的偏
Dynamic ATSS:预测结果才是正负样本区分的最佳准则
<blockquote论文认为预测结果能够更准确地区分正负样本,提出结合预测结果IoU和anchorIoU来准确地选择最高质量的预测结果进行网络训练。整体算法简单但十分有效,值得看看<br/ <br/来源:晓飞的算法工程笔记公众号</blockquote论文:Dyna
推测解码:在不降低准确性的情况下将LLM推理速度提高2 - 3倍
在本篇文章我们将详细讨论推测解码,这是一种可以将LLM推理速度提高约23倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现,并看看它与原始transformer实现相比到底能快多少。!(https://imghelloworld.osscnbeijing.aliyun
DS-Net:可落地的动态网络,实际加速1.62倍,快改造起来 | CVPR 2021 Oral
<blockquote论文提出能够适配硬件加速的动态网络DSNet,通过提出的doubleheaded动态门控来实现动态路由。基于论文提出的高性能网络设计和IEB、SGS训练策略,仅用1/21/4的计算量就能达到静态SOTA网络性能,实际加速也有1.62倍<br/ <br/来源:
5种常用于LLM的令牌遮蔽技术介绍以及Pytorch的实现
本文将介绍大语言模型中使用的不同令牌遮蔽技术,并比较它们的优点,以及使用Pytorch实现以了解它们的底层工作原理。令牌掩码TokenMasking是一种广泛应用于语言模型分类变体和生成模型训练的策略。BERT语言模型首先使用,并被用于许多变体(RoBERTa,ALBERT,DeBERTa
CondeseNetV2:清华与华为出品,保持特征的新鲜是特征复用的关键 | CVPR 2021
<blockquote论文提出SFR模块,直接重新激活一组浅层特征来提升其在后续层的复用效率,而且整个重激活模式可端到端学习。由于重激活的稀疏性,额外引入的计算量非常小。从实验结果来看,基于SFR模块提出的CondeseNetV2性能还是很不错的,值得学习<br/ <br/来源:晓飞的
为什么大型语言模型都在使用 SwiGLU 作为激活函数?
如果你一直在关注大型语言模型的架构,你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数,它结合了SWISH和GLU两者的特点。!(https://
归一化技术比较研究:Batch Norm, Layer Norm, Group Norm
归一化层是深度神经网络体系结构中的关键,在训练过程中确保各层的输入分布一致,这对于高效和稳定的学习至关重要。归一化技术的选择(Batch,Layer,GroupNormalization)会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的,随着网络体系结构、批处理大小和特定任务
基于energy score的out-of-distribution数据检测,LeCun都说好 | NerulPS 2020
<blockquote<p 论文提出用于outofdistributions输入检测的energybased方案,通过非概率的energyscore区分indistribution数据和outofdistribution数据。不同于softmax置信度,energyscore能够
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。