HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
Vision Transformers的注意力层概念解释和代码实现
2017年推出《AttentionisAllYouNeed》以来,transformers已经成为自然语言处理(NLP)的最新技术。2021年,《AnImageisWorth16x16Words》,成功地将transformers用于计算机视觉任务。从那时起,许多基于trans
Mamba详细介绍和RNN、Transformer的架构可视化对比
Transformer体系结构已经成为大型语言模型(llm)成功的主要组成部分。为了进一步改进llm,人们正在研发可能优于Transformer体系结构的新体系结构。其中一种方法是Mamba(一种状态空间模型)。!(https://imghelloworld.osscnbeijing
随机 Transformer
在这篇博客中,我们将通过一个端到端的示例来讲解Transformer模型中的数学原理。我们的目标是对模型的工作原理有一个良好的理解。为了使内容易于理解,我们会进行大量简化。我们将减少模型的维度,以便我们可以手动推理模型的计算过程。例如,我们将使用4维的嵌入向量代替原始的512维嵌入向量。
使用Transformer 模型进行时间序列预测的Pytorch代码示例
时间序列预测是一个经久不衰的主题,受自然语言处理领域的成功启发,transformer模型也在时间序列预测有了很大的发展。本文可以作为学习使用Transformer模型的时间序列预测的一个起点。!(https://imghelloworld.osscnbeijing.aliyunc
在Colab上测试Mamba
我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba他们的研究表明,Mamba是一种状态空间模型(SSM),在不同的模式(如语言、音频和时间序列)中表现出卓越的性能。为了说明这一点,研究人员使用Mamba3B模型进行了语言建模实验。该模型超越了基于相同大小的Tr
Huggingface NLP Course Notes 3 : Transformer介绍
2017年Google在《AttentionIsAllYouNeed》中提出了Transformer结构用于序列标注,在翻译任务上超过了之前最优秀的循环神经网络模型。Transformer模型本质上都是预训练语言模型,大都采用自监督学习(Selfsupervisedle
Huggingface NLP Course Notes 2 : pipeline() 函数
Transformers库中最基本的对象是pipeline()函数。它将模型与其必要的预处理和后处理步骤连接起来,使我们能够通过直接输入任何文本并获得最终的答案.<pre<code导入pipelinefromtransformersimportpipeline定义
Huggingface NLP Course Notes 1 : 安装
方法一:colab安装(需要科学上网)安装transformers:<code!pipinstalltransformers</code判断是否安装成功:<codeimporttransformers</code安装全量的transformes<pre<code!p
简化版Transformer :Simplifying Transformer Block论文详解
在这篇文章中我将深入探讨来自苏黎世联邦理工学院计算机科学系的BobbyHe和ThomasHofmann在他们的论文“SimplifyingTransformerBlocks”中介绍的Transformer技术的进化步骤。这是自Transformer开始以来,我看到的最好的改进。!(
深入理解 BigBird 的块稀疏注意力
引言基于transformer的模型已被证明对很多NLP任务都非常有用。然而,$O(n^2)$的时间和内存复杂度(其中$n$是序列长度)使得在长序列($n>512$)上应用它们变得非常昂贵,因而大大限制了其应用。最近的几篇论文,如<codeLongfo
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。