HelloWorld 开发者社区
科技资讯
百度世界提出智能组织思路,关注 AI 从个人工具进入业务闭环
openKylin 全球生态推广会举行,推进本地化与社区合作
光船 1.1.0 尝鲜版二更新,探索 AI 会话与代码生成结合
Argus 0.5.0 发布:新增进程控制,完善原生 Windows 任务管理
MetaForge 2026.0.0 发布,整合数据库工作台与可视化分析
qData 1.6.7 发布:修复增量读取与 ETL 字段传递问题
Apple HomeView 在部分地区开售,整合家庭控制与视频通话
Cloudflare 推出 Spend Management Beta,为 Workers 增加支出限制
Cloudflare 开源 Kitesurf:面向 AI 智能体的轻量浏览器引擎
JeecgBoot 与敲敲云介绍分层方案,连接低代码开发与业务搭建
开源项目
全部项目推荐好文
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG)的关键组成部分。它们对知识库和用户编写的查询进行编码。使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而,寻找或训练这样的嵌入模型往往是一项困难的任务,因为领域内的数据通常是稀缺的。但是这篇论文LLM2Vec,可以将任何的LLM
BiTCN:基于卷积网络的多元时间序列预测
在时间序列预测领域中,模型的体系结构通常依赖于多层感知器(MLP)或Transformer体系结构。基于mlp的模型,如NHiTS,TiDE和TSMixer,可以在保持快速训练的同时获得非常好的预测性能。基于Transformer的模型,如PatchTST和ittransformer也取得了
Gradformer: 通过图结构归纳偏差提升自注意力机制的图Transformer
这是4月刚刚发布在arxiv上的论文,介绍了一种名为“Gradformer”的新型图Transformer,它在自注意力机制中引入了指数衰减掩码。以下是主要创新点:指数衰减掩码:Gradformer在其自注意力模块中集成了衰减掩码。该掩码随着图结构中节点之间的距离减小而呈指数递减。
如何准确的估计llm推理和微调的内存消耗
CommandR,Mixtral8x22b和Llama370b都在最近的几周内发布了,这些模型是巨大的。它们都有超过700亿个参数:CommandR:104B参数Mixtral8x22b:具有141B参数的混合专家(MoE)模型Llama370b:70.6B参数
微软Phi-3,3.8亿参数能与Mixtral 8x7B和GPT-3.5相媲美,量化后还可直接在IPhone中运行
Phi3系列Phi3是一系列先进的语言模型,专注于在保持足够紧凑以便在移动设备上部署的同时,实现高性能。Phi3系列包括不同大小的模型:Phi3mini(38亿参数)该模型在3.3万亿个令牌上进行训练,设计得足够小,可以在现代智能手机上运行。尽管体积紧凑,
碳课堂|什么是碳市场?如何进行碳交易?
近年来,随着全球变暖问题日益受到重视,碳达峰、碳中和成为国际社会共识,为更好地减缓和适应气候变化,同时降低碳关税风险,以“二氧化碳的排放权利”为商品的碳交易和碳市场应时而生。一、什么是碳交易、碳市场各国控制温室气体排放的政策一般分为三类:命令控制、经济刺激、劝说鼓励,其中经济刺激型手段由
FasterViT:英伟达提出分层注意力,构造高吞吐CNN-ViT混合网络 | ICLR 2024
<blockquote<p论文设计了新的<codeCNNViT</code混合神经网络<codeFasterViT</code,重点关注计算机视觉应用的图像吞吐能力。<codeFasterViT</code结合<codeCNN</code的局部特征学习的特性和<codeViT
最大的神经系统Hala Point正式亮相,AI算力新标杆诞生!
英特尔宣布推出HalaPoint前言就在近日,英特尔公司宣布推出了目前以来最大的神经系统HalaPoint。目前看来该系统将用于支持未来的、受大脑启发的AI研究项目,解决与AI模型可持续性相关的挑战等任务上。那么HalaPoint究竟有什么魅力呢?我们接着往下看。
使用ORPO微调Llama 3
ORPO是一种新的微调技术,它将传统的监督微调和偏好对齐阶段结合到一个过程中。减少了训练所需的计算资源和时间。论文的实证结果表明,ORPO在各种模型大小和基准上都优于其他对齐方法,所以这次我们就来使用最新的Llama3来测试下ORPO的效果。!(https://imghelloworl
SURE:增强不确定性估计的组合拳,快加入到你的训练指南吧 | CVPR 2024
<blockquote<p论文重新审视了深度神经网络中的不确定性估计技术,并整合了一套技术以增强其可靠性。论文的研究表明,多种技术(包括模型正则化、分类器改造和优化策略)的综合应用显着提高了图像分类任务中不确定性预测的准确性</p<p来源:晓飞的算法工程笔记公众号</p</blockqu
正在加载更多文章…
加载更多已加载文章中没有匹配内容,可继续加载更多。