HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Moirai:Salesforce的时间序列预测基础模型
在过去的几个月中,时间序列基础模型的发展速度一直在加快,每个月都能看到新模型的发布。从TimeGPT开始,我们看到了LagLlama的发布,Google发布了TimesFM,Amazon发布了Chronos,Salesforce发布了Moirai。TimesFM是信息最多的模型,
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
分组查询注意力(GroupedQueryAttention)是一种在大型语言模型中的多查询注意力(MQA)和多头注意力(MHA)之间进行插值的方法,它的目标是在保持MQA速度的同时实现MHA的质量。这篇文章中,我们将解释GQA的思想以及如何将其转化为代码。GQA是在论
大语言模型中常用的旋转位置编码RoPE详解:为什么它比绝对或相对位置编码更好?
自2017年发表“AttentionIsAllYouNeed”论文以来,Transformer架构一直是自然语言处理(NLP)领域的基石。它的设计多年来基本没有变化,随着旋转位置编码(RoPE)的引入,2022年标志着该领域的重大发展。旋转位置嵌入是最先进的N
SiMBA:基于Mamba的跨图像和多元时间序列的预测模型
这是3月26日新发的的论文,微软的研究人员简化的基于mamba的体系结构,并且将其同时应用在图像和时间序列中并且取得了良好的成绩。语言模型的发展正在从大型语言模型(LLMs)向小型语言模型(SLMs)转变。llm和slm的核心都是transformers,它是llm和slm的构建模块。虽然tra
如何开始定制你自己的大型语言模型
2023年的大型语言模型领域经历了许多快速的发展和创新,发展出了更大的模型规模并且获得了更好的性能,那么我们普通用户是否可以定制我们需要的大型语言模型呢?首先你需要有硬件的资源,对于硬件来说有2个路径可以选。高性能和低性能,这里的区别就是是功率,因为精度和消息长度直接与参数计数和GPU功率成比例
BurstAttention:可对非常长的序列进行高效的分布式注意力计算
提高llm中注意力机制效率的努力主要集中在两种方法上:优化单设备计算和存储能力,如FlashAttention,以及利用多设备的分布式系统,如RingAttention。FlashAttention通过使用静态随机存储器(SRAM)来存储中间状态,而不是依赖于高带宽存储器(HBM)来提高注意力计
【深度学习个人笔记】从实际深度学习项目来学习深度学习3——L-DeepSC开源项目学习
在过去的从实际深度学习项目来学习深度学习1(https://segmentfault.com/a/1190000044465864)以及【深度学习个人笔记】从实际深度学习项目来学习深度学习2——DeepSC开源项目学习(https://segmentfault.com/a/119000004
【深度学习个人笔记】从实际深度学习项目来学习深度学习2——DeepSC开源项目学习
在过去的从实际深度学习项目来学习深度学习1(https://segmentfault.com/a/1190000044465864)中学习了pix2pixHD的深度学习项目代码,本篇博客从实际深度学习项目来学习深度学习的第2篇,在第2篇中将完成DeepSC项目代码的学习DeepSC项
从16-bit 到 1.58-bit :大模型内存效率和准确性之间的最佳权衡
通过量化可以减少大型语言模型的大小,但是量化是不准确的,因为它在过程中丢失了信息。通常较大的llm可以在精度损失很小的情况下量化到较低的精度,而较小的llm则很难精确量化。什么时候使用一个小的LLM比量化一个大的LLM更好?在本文中,我们将通过使用GPTQ对Mistral7B、Llama
RNN又行了!DeepMind新发布的Griffin可以与同级别的LLM性能相当
Hawk和Griffin是DeepMind推出的新型循环神经网络(RNNs),2月刚刚发布在arxiv上。Hawk通过使用门控线性递归(gatedlinearrecurrences)超越了Mamba的性能,而Griffin则是一种混合型模型,结合了门控线性递归和局部注意力(localatten
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。