HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

ViTPose+:迈向通用身体姿态估计的视觉Transformer基础模型 | 京东探索研究院

身体姿态估计旨在识别出给定图像中人或者动物实例身体的关键点,除了典型的身体骨骼关键点,还可以包括手、脚、脸部等关键点,是计算机视觉领域的基本任务之一。目前,视觉transformer已经在识别、检测、分割等多个视觉任务上展现出来很好的性能。在身体姿态估计任务上,使用CNN提取的特征,结合定制化的tr

迈入大模型时代的深度学习:使用 Flash Attention 技术让 Transformer 起飞

Transformer是ChatGPT等大语言模型的核心技术之一,而注意力机制是其的关键部分。但是,标准的注意力实现具有二次时间和内存复杂度,使其在长序列任务上变慢并消耗大量显存。这限制了Transformer能够建模的上下文长度,同时使得大尺度模型的训练和推理时间延长。Fla

【OpenVI—论文解读系列】达摩院快速动作识别TPS ECCV论文深入解读

一、背景许多工作尝试对时空自注意力进行分解,例如ViViT和Timesformer。这些方法虽然减小了计算复杂度,但会引入额外的参数量。本文提出了一种简单高效的时空自注意力Transformer,在对比2DTransformer网络不增加计算量和参数量情况下,实现了时空自注意力机制。

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。