揭秘 LLMs 时代向量数据库的 3 大实用场景

子明
• 阅读 265

过去一年,ChatGPT 和其他大语言模型(LLMs)的爆火也带动了向量数据库的发展。

许多用户在搭建检索增强生成(RAG)系统过程中选择了使用向量数据库 Zilliz Cloud ,但 Zilliz Cloud 的功能不止于此,它在搜索和检索系统中的应用也十分广泛。这也反映出了 Zilliz Cloud 产品的设计初衷——帮助计算机真正理解人类数据,包括文本、图像、银行交易用户行为等。

近期,Zilliz Cloud 发布了新版本,并上线了 Range Search、多租户和 RBAC 等新特性。同时,Zilliz Cloud 搜索和索引性能也提升了 10 倍,获得了许多用户的积极反馈。本文将通过 3 个真实的用户案例,展示 Zilliz Cloud 的新特性是如何为其赋能的。

01.智能问答机器人

对于智能问答机器人而言,一个重要组成部分就是记忆——特指传入 LLM 中的上下文文本片段。通过记忆,问答机器人就可以获取历史信息。但是 LLM 的上下文窗口有着严格限制:

1)长度限制

2)上下文过长将明显降低文本生成速度

3)大多数长上下文 LLM 只倾向于“记住”上下文窗口开始和结束的信息

向量数据库能够很好地解决上述问题。以客服机器人为例,机器人会收到许多不同的信息,包含原始知识库、用户的所有提示、用户上传的图像、音频片段、回复内容等,这些都存储在 Zilliz Cloud 中以便进行快速检索。每当用户输入消息时,都会优先检索来自知识库和之前对话的所有相关内容。这样一来,系统的读写负载会加重,每秒需要存储大量消息数据。此外,提供给客服机器人的的数据本质上是多模态的,因此,仅有文本搜索是远远不够的。

Zilliz Cloud 的分布式数据库架构能够很好地解决上述问题:增加查询节点数量以提高读取吞吐量,增加数据节点数量以提高写入吞吐量。此外,新发布的 Cardinal 搜索引擎中进行了多方面的性能优化,包含 Zilliz 自研的向量索引、机器代码级别的计算优化,以及优化缓存感知算法等。

总而言之,在问答机器人的用例中,用 Zilliz Cloud 后可以实现与其他向量数据库相同的搜索和索引吞吐量,但价格却不到其他解决方案的三分之一。因此,在考虑成本但同时保障性能的用例中,Zilliz Cloud 绝对是一个不错的选择。

02.商品推荐

推荐系统(https://zilliz.com.cn/use-cases/recommender-system)会根据消费者之前的观看或浏览历史推送各种内容,例如产品、新闻、用户内容等,向量数据库非常适合用来搭建这类应用。开发者可以将内容转化为向量并将数据存储在 Zilliz Cloud,随后通过调用collection.search便可轻松进行向量相似性搜索获取相关内容,完成推荐。

搜索速度和相关性是所有 B2C 产品的基石。在电商领域,产品推荐结果对整体用户体验尤为关键,很大程度上可以决定收益。Zilliz 在实际应用中发现,有用户的诉求就是通过借助 AI 的力量提升产品推荐系统性能。这些用户和用例对延时和吞吐量有着极高要求——向量数据库需要在 10 毫秒内完成查询。此外,推荐系统还需对搜索结果进行过滤(例如,根据服装的特定尺寸或特定鞋码筛选搜索结果)。从本质上来说,商品数据是复杂的多模态数据,包含了产品名称、产品描述、产品图片等数据。

Cardinal 能够满足用户对性能的要求,再配合动态 Schema 功能和支持 JSON 的特性加持,Zilliz Cloud 便成为此类用户的不二之选。有了 Zilliz Cloud,用户便能够根据每个产品类别的特定特征,定制自己的数据模型,从而确保有效存储和查询每个商品向量数据多样且复杂的元数据。

03.AI 制药

制药过程极其复杂困难,不同的药物分子大小不同,有些药物可能具有几十个原子的“小分子”,有些则是具有数万个原子的大型生物制剂。机器学习可以根据药物功效(如治疗特定疾病或缓解特定症状)将每个分子转化为向量。

在此用例中,Zilliz Cloud 的 Rang Search 功能就能发挥关键作用。研究人员可以将需要治疗的疾病或症状转化为向量,并在 Zilliz Cloud 中搜索相关药物。相比基础的 top-k 搜索,Rang Search 能够在一定距离内找到与目标相似的所有向量(分子),提供所有在此范围内的相关搜索结果,而不仅仅是固定数量的结果。此功能不仅对 AI 制药至关重要,也适用于欺诈保护、网络安全等领域。例如,在银行系统中,我们可以将交易转化为向量并通过范围搜索与新交易进行比较,以识别类似的历史活动,有助于进行异常检测。

本文中我们通过 3 个业界典型用例介绍了 Zilliz Cloud 的部分新特性,欢迎大家上手尝试 (https://cloud.zilliz.com.cn/signup) !

本文由mdnice多平台发布

点赞
收藏
评论区
推荐文章
不是海碗 不是海碗
2年前
【真正的ChatGPT】APISpace 可以免费快速体验GPT3.5-Turbo
ChatGPT3.5Turbo使用了一种叫做\"DREAM\"的技术,它能为文本语料库中的每个词生成具有向量表示的词嵌入,从而增强机器学习任务的精度。此外,ChatGPT3.5Turbo使用了多监督学习技术,这可以使模型学习更快,并在真实场景中取得更好的收敛效果。
Karen110 Karen110
4年前
人工智能数学基础-线性代数1:向量的定义及向量加减法
一、向量1.1、向量定义向量也称为欧几里得向量、几何向量、矢量,指具有大小(magnitude)和方向的量。它可以形象化地表示为带箭头的线段。箭头所指:代表向量的方向;线段长度:代表向量的大小。与向量对应的量叫做数量(物理学中称标量),数量(或标量)只有大小,没有方向。1.在物理学和工程学中,几何向量更常被称为矢量。2.一般印刷用黑体的小写
向量数据库落地实践
一、前言本文基于京东内部向量数据库vearch进行实践。Vearch是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见:https://github.com/vearch/zhdocs/blob/v3.3.X/docs/source/overv
关于Vearch在大模型中使用的一些实践
背景这两年来大模型及其热门,不仅各大厂家的模型层出不穷,各类RGA、Agent应用也花样繁多。这也带火了一批基础设施,比如Langchain、向量数据库(也叫矢量数据库VectorDatabase)等。现在市场上的向量库种类特别繁多,但主要还是分为两类,一
大模型应用之路:从提示词到通用人工智能(AGI)
大模型在人工智能领域的应用正迅速扩展,从最初的提示词(Prompt)工程到追求通用人工智能(AGI)的宏伟目标,这一旅程充满了挑战与创新。本文将探索大模型在实际应用中的进展,以及它们如何为实现AGI铺平道路。基于AI大模型的推理功能,结合了RAG(检索增强
解锁数据潜力,天翼云TeleDB为企业数智蝶变添力赋能!
近日,第15届中国数据库技术大会(DTCC2024)在北京召开。大会以“自研创新数智未来”为主题,重点围绕向量数据库与向量检索技术实践、数据治理与数据资产管理、云原生数据库开发与实践、特定场景下的数据库管理与优化、大数据平台建设等内容展开分享和探讨。天翼云数据库产品线首席技术官李跃森、天翼云资深研发专家胡彬参会,分享了天翼云在数据库领域的产品布局、技术创新与实践应用。
京东云开发者 京东云开发者
9个月前
文盘rust--使用 Rust 构建RAG
作者:京东科技贾世闻RAG(RetrievalAugmentedGeneration)技术在AI生态系统中扮演着至关重要的角色,特别是在提升大型语言模型(LLMs)的准确性和应用范围方面。RAG通过结合检索技术与LLM提示,从各种数据源检索相关信息,并将其
AGIC.TWang AGIC.TWang
9个月前
关于RAG
检索增强生成(RAG)为大型语言模型赋予访问外部知识库的能力,提升其精准性和实用性。它包含三个步骤:检索、增强和生成。RAG通过向量数据库进行语义搜索,克服了传统关键词匹配的局限性。文章以云计算促进人工智能发展为例,在大模型分发助手平台上演示了RAG的实际流程,包括知识准备、知识切割、向量化、提问、相似度计算、提示词构建和答案生成。RAG的未来在于提升精准性、个性化、可扩展性、可解释性和成本效益,最终实现更深入的知识理解和推理,更自然的人机交互以及更广泛的领域应用。
TS版LangChain实战:基于文档的增强检索(RAG) | 京东云技术团队
LangChainLangChain是一个以LLM(大语言模型)模型为核心的开发框架,LangChain的主要特性:可以连接多种数据源,比如网页链接、本地PDF文件、向量数据库等允许语言模型与其环境交互封装了ModelI/O(输入/输出)、Retrieva