HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

使用GaLore在本地GPU进行高效的LLM调优

训练大型语言模型(llm),即使是那些“只有”70亿个参数的模型,也是一项计算密集型的任务。这种水平的训练需要的资源超出了大多数个人爱好者的能力范围。为了弥补这一差距,出现了低秩适应(LoRA)等参数高效方法,可以在消费级gpu上对大量模型进行微调。GaLore是一种新的方法,它不是通过直接减少

BurstAttention:可对非常长的序列进行高效的分布式注意力计算

提高llm中注意力机制效率的努力主要集中在两种方法上:优化单设备计算和存储能力,如FlashAttention,以及利用多设备的分布式系统,如RingAttention。FlashAttention通过使用静态随机存储器(SRAM)来存储中间状态,而不是依赖于高带宽存储器(HBM)来提高注意力计

足球中的人工智能?利物浦足球俱乐部使用 DeepMind 的 TacticAI 进行高冲击力的角球

引言从医疗保健到零售,从银行到物流,从娱乐到制造业,人工智能与各个领域的整合是革命性的。它的影响延伸到体育领域,颂扬了创新和优化的新时代。在主教练尤尔根·克洛普(JürgenKlopp)的领导下,利物浦足球俱乐部通过与DeepMind合作开发TacticAI,采用了最先进的人工智能技术

Moment:又一个开源的时间序列基础模型

时间序列分析跨越了一系列广泛的应用,从天气预报到通过心电图进行健康监测。但是由于缺乏大型且整合的公开时间序列数据,所以在时间序列数据上预训练大型模型具有挑战性。为了应对这些挑战,MOMENT团队整理了一个庞大而多样的公共时间序列集合,作者将其称为TimeseriesPile。代码地址我们会在

2024年3月的计算机视觉论文推荐

从去年开始,针对LLM的研究成为了大家关注的焦点。但是其实针对于计算机视觉的研究领域也在快速的发展。每周都有计算机视觉领域的创新研究,包括图像识别、视觉模型优化、生成对抗网络(gan)、图像分割、视频分析等。我们今天来总结一下2024年3月上半月份发表的最重要的论文,无论您是研究人员、从业者还是

时间序列预测的零样本学习是未来还是炒作:TimeGPT和TiDE的综合比较

最近时间序列预测预测领域的最新进展受到了各个领域(包括文本、图像和语音)成功开发基础模型的影响,例如文本(如ChatGPT)、文本到图像(如Midjourney)和文本到语音(如ElevenLabs)。这些模型的广泛采用导致了像TimeGPT1这样的模型的出现,这些模型利用了类似于它们在文本、

微调大型语言模型进行命名实体识别

大型语言模型的目标是理解和生成与人类语言类似的文本。它们经过大规模的训练,能够对输入的文本进行分析,并生成符合语法和语境的回复。这种模型可以用于各种任务,包括问答系统、对话机器人、文本生成、翻译等。命名实体识别(NamedEntityRecognition,简称NER)是一种常见的应用方法,

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。