如何在 Jupyter Notebook 用一行代码启动 Milvus?

算法踏风人
• 阅读 715

随着各种大语言模型(LLM)的涌现和 AI 技术变得越来越普遍,大家对于向量数据库的需求也变得越来越多。作为大模型的记忆体,向量数据库不仅可以帮助解决 LLM 面临的最大问题——缺乏特定领域知识和最新数据,还可以赋能相似性搜索应用,如产品推荐、以图搜图、文本语义搜索等。

此前,我们为那些想要快速体验向量数据库、没有专业运维团队支撑、安装部署环境受限的用户推出了轻量级版本的向量数据库——Milvus Lite,本文将基于此版本,为大家介绍如何在 Jupyter Notebook 中使用向量数据库

轻量版 Milvus 能做什么?

Milvus 是一个分布式、云原生的向量数据库,可处理十亿级的向量数据,用于索引、存储和查询向量数据。
Milvus 系统分为四个层面,采用多种类型的执行节点(worker node),极大地增强了系统弹性和可扩展性。除了使用多个单一目的的节点外,Milvus 还使用分段(segment)数据以提升索引构建的效率。Milvus 的数据分段容量为 512 MB,查询时会并行查询多个分段,以确保系统低延迟(latency)。

如何在 Jupyter Notebook 用一行代码启动 Milvus?
Milvus 向量数据库的宏观架构

Milvus Lite 是 Milvus 的轻量级版本,拥有诸多优势,例如可以轻松将 Milvus Lite 集成到 Python 应用程序中,不需要任何其他依赖项;与 Google Colab 和 Jupyter Notebook 的集成变得更容易等,了解更多优势参见文章《Milvus Lite 已交卷!轻量版 Milvus,主打就是一个轻便、无负担》

由于 Milvus  Lite 和 Milvus 的工作原理相同,且可以在本地保存所有的数据,因此,用户可以使用Docker ComposeHelmMilvus Operator来启动 Milvus 实例。当然,也可以从 Jupyter Notebook 或 Python 脚本直接启动 Miluvs Lite 实例。

如何在 Jupyter Notebook 中使用向量数据库?

为快速上手,大家可以通过 pip 在 Jupyter Notebook 中快速安装向量数据库 Milvus Lite。
在 Jupyter Notebook 第一行中运行 !pip install pymilvus milvus以安装pymilvus和 milvus 。安装完成后,使用 iPython Notebook 启动并连接至向量数据库。milvus模块提供 Milvus Lite,pymilvus 模块提供连接到 Milvus的 Python 接口。

接下来可以按照以下步骤操作:

  • milvus模块中导入default\_server
  • pymilvus模块中导入connections
  • pymilvus模块中导入utility
  • 使用default\_server中的 start() 函数来启动服务器。
  • 服务器启动后,我们使用connections 模块中的connect 进行连接,传入主机localhost 或127.0.0.1 以及默认服务器的端口。
from milvus import default_server  
from pymilvus import connections, utility  
  
default_server.start()  
connections.connect(host="127.0.0.1", port=default_server.listen_port)  

连接至 Milvus 后,使用utility 体验向量数据库。例如,调用get_server_version() 以确保数据库已更新至最新版本。或者,使用utility查看 Milvus 集合(可以将其理解为数据表)。大家还可以在新建集合时检查新集合的名称是否已被现有集合使用。如果已被使用,可以通过drop_collection删除现有集合或者为新集合选择一个新名称。

utility.get_server_version()  
if utility.has_collection(COLLECTION_NAME):  
   utility.drop_collection(COLLECTION_NAME)  

还是那句话,我们不推荐在任何生产环境中使用 Milvus Lite,也不推荐在需要高性能、高可用性或高可扩展性时的场景下使用 Milvus Lite。相反,当大家有类似需求时,我们更推荐Milvus 集群或 Zilliz Cloud(提供开箱即用的向量数据库服务,6 月底即将登陆阿里云)进行部署。

最后,本文内容同样适用于 CoLab Notebook。详情参见以图搜图应用文本语义搜索应用

🌟全托管 Milvus SaaS/PaaS 即将上线,由 Zilliz 原厂打造!覆盖阿里云、百度智能云、腾讯云、金山云。目前已支持申请试用,企业用户 PoC 申请或其他商务合作请联系 business@zilliz.com


  • 如果在使用 Milvus 或 Zilliz 产品有任何问题,可添加小助手微信 “zilliz-tech” 加入交流群。
  • 欢迎关注微信公众号“Zilliz”,了解最新资讯。
    如何在 Jupyter Notebook 用一行代码启动 Milvus?

本文由mdnice多平台发布

点赞
收藏
评论区
推荐文章
位流程风 位流程风
2星期前
从功能到体验:PandaWiki 的开源与 AI 特性,比 ima 多了这些可能性
👋项目介绍PandaWiki是一款AI大模型驱动的开源知识库搭建系统,帮助你快速构建智能化的产品文档、技术文档、FAQ、博客系统,借助大模型的力量为你提供AI创作、AI问答、AI搜索等能力。🔥功能与特色强大的富文本编辑能力:兼容Markdown和HTM
TS版LangChain实战:基于文档的增强检索(RAG) | 京东云技术团队
LangChainLangChain是一个以LLM(大语言模型)模型为核心的开发框架,LangChain的主要特性:可以连接多种数据源,比如网页链接、本地PDF文件、向量数据库等允许语言模型与其环境交互封装了ModelI/O(输入/输出)、Retrieva
高耸入云 高耸入云
1年前
【OJAC近屿智能】AIGC大模型工程师和产品专家训练营
在21世纪的科技浪潮中,人工智能(AI)已经深入到各个领域,而大语言模型(LLM)作为AI的核心技术,更是引领着未来的发展方向。近屿智能很高兴为您推出全新的大语言模型学习课程,带您探索无限可能,开创美好未来!AIGC大模型工程师和产品专家训练营是精心设计的
生成式推荐系统与京东联盟广告-综述与应用
大型语言模型(LLM)正在深刻地影响自然语言处理(NLP)领域,其强大的处理各种任务的能力也为其他领域的从业者带来了新的探索路径。推荐系统(RS)作为解决信息过载的有效手段,已经紧密融入我们的日常生活,如何用LLM有效重塑RS是一个有前景的研究问题•图1.
AGIC.TWang AGIC.TWang
10个月前
关于RAG
检索增强生成(RAG)为大型语言模型赋予访问外部知识库的能力,提升其精准性和实用性。它包含三个步骤:检索、增强和生成。RAG通过向量数据库进行语义搜索,克服了传统关键词匹配的局限性。文章以云计算促进人工智能发展为例,在大模型分发助手平台上演示了RAG的实际流程,包括知识准备、知识切割、向量化、提问、相似度计算、提示词构建和答案生成。RAG的未来在于提升精准性、个性化、可扩展性、可解释性和成本效益,最终实现更深入的知识理解和推理,更自然的人机交互以及更广泛的领域应用。