文章
RAG 2.0架构详解:构建端到端检索增强生成系统
关于检索增强生成(RAG)的文章已经有很多了,如果我们能创建出可训练的检索器,或者说整个RAG可以像微调大型语言模型(LLM)那样定制化的话,那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调,就像一个缝合怪一样,虽然能够工作但各部分并不和谐,所以我们这里介绍RAG2.
PyTorch小技巧:使用Hook可视化网络层激活(各层输出)
这篇文章将演示如何可视化PyTorch激活层。可视化激活,即模型内各层的输出,对于理解深度神经网络如何处理视觉信息至关重要,这有助于诊断模型行为并激发改进。!(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/ffbc8a8b1
【AI主题】走进算法All in AI
作者:吕强1、简介 1.1背景简介目的:通过分享,让大家了解算法,以及了解各岗位和算法的关系。在AI时代,和各位同事更高效地合作。 各岗位和算法的关系:AllinAI新含义<pre<code所有岗位(All)
CPVT:美团提出动态位置编码,让ViT的输入更灵活 | ICLR 2023
<blockquote<p论文提出了一种新的ViT位置编码CPE,基于每个token的局部邻域信息动态地生成对应位置编码。CPE由卷积实现,使得模型融合CNN和Transfomer的优点,不仅可以处理较长的输入序列,也可以在视觉任务中保持理想的平移不变性。从实验结果来看,基于CPE的CPVT比以
DeiT:训练ImageNet仅用4卡不到3天的平民ViT | ICML 2021
<blockquote<p论文基于改进训练配置以及一种新颖的蒸馏方式,提出了仅用ImageNet就能训练出来的Transformer网络DeiT。在蒸馏学习时,DeiT以卷积网络作为teacher,能够结合当前主流的数据增强和训练策略来进一步提高性能。从实验结果来看,效果很不错</p<p
ORPO偏好优化:性能和DPO一样好并且更简单的对齐方法
现在有许多方法可以使大型语言模型(LLM)与人类偏好保持一致。以人类反馈为基础的强化学习(RLHF)是最早的方法之一,并促成了ChatGPT的诞生,但RLHF的成本非常高。与RLHF相比,DPO、IPO和KTO的成本明显更低,因为它们不需要奖励模型。虽然DPO和IPO的成本较低,但它们仍需训练两
Moirai:Salesforce的时间序列预测基础模型
在过去的几个月中,时间序列基础模型的发展速度一直在加快,每个月都能看到新模型的发布。从TimeGPT开始,我们看到了LagLlama的发布,Google发布了TimesFM,Amazon发布了Chronos,Salesforce发布了Moirai。TimesFM是信息最多的模型,
DeiT:量化 Vision Transformers 以实现高效部署
随着各行业对先进计算机视觉系统的需求持续激增,视觉变压器的部署已成为研究人员和从业者的焦点。然而,要充分发挥这些模型的潜力,需要对其架构有深入的了解。此外,制定有效部署这些模型的优化策略也同样重要。使用平台:OpenBayes贝式计算,点击注册可get4小时4090(https://
ViT:拉开Trasnformer在图像领域正式挑战CNN的序幕 | ICLR 2021
<blockquote论文直接将纯Trasnformer应用于图像识别,是Trasnformer在图像领域正式挑战CNN的开山之作。这种简单的可扩展结构在与大型数据集的预训练相结合时,效果出奇的好。在许多图像分类数据集上都符合或超过了SOTA,同时预训练的成本也相对较低<br/ <br/
PiSSA :将模型原始权重进行奇异值分解的一种新的微调方法
我们开始看4月的新论文了,这是来自北京大学人工智能研究所、北京大学智能科学与技术学院的研究人员发布的PrincipalSingularValuesandSingularVectorsAdaptation(PiSSA)方法。PiSSA和LoRA一样,都是基于这样的前提:对模型参数的改变
已加载文章中没有匹配内容,试试其他关键词或清空搜索。