一种基于图片搜索视频的方案

京东云开发者
• 阅读 456

作者:京东零售 谷伟

1.商品搜索

1.1网络购物的搜索手段

随着移动互联网发展,手机端购物已成为人们生活的常态。人们在搜索商品时采用的手段也越来越丰富,当前的主要搜索方式是文本搜索与拍照搜索。

1.2文本搜索

文本搜索应用比较广泛,较为常用的是关键字匹配,针对商品信息的相关描述进行分词,并对分词建立索引库,从而达到查找的目的。随着人工智能的发展,语义搜索得到了快速的发展,它通过用户输入的搜索内容来理解用户真正的意图,从而获得更有价值的内容。其本质是将所有要搜索的内容转化为高维数学向量,用统一的特征向量来描述不同内容,把检索输入的内容向量化,并与要搜索的内容进行向量匹配,把相似度最高的结果展现出来。

1.3拍照搜索

拍照搜索也就是以图搜图,是近几年的视觉AI发展的一个产物。用户登录电商平台,可以通过上传图片,经过图像分析与识别来查找相似的商品主图,从而找出相关的商品。其基本原理是经图像分析抽取图像的颜色、形状、纹理等特征,建立特征索引库,对用户上传的图像进行特征化描述,从索引库中查找出与之近似的特征图像。

2. 现状分析

2.1需要专业人员参与

文本搜索需要文本描述的支持,也就是需要对短视频进行文本描述,需要人员对短视频进行准确的文本描述,尤其描述中要含有代表其商品的关键词,否则可能难以被搜索引擎所命中,这对视频的发布人员产生了一定的门槛,增加搜索命中的难度。

拍照搜索主要是对商品的主图进行特征匹配,这也就需要商品发布人员要制作尽可能与之匹配的图片,尤其需要美工设计人员的参与,从而增加了人力成本。

2.2难以支持短视频搜索

随着近几年自媒体的发展,短视频逐渐成为互联网信息传播的主要手段。而短视频可以认为是大量图片的集合,不可能对短视频的每张图片建立特征索引,因为这会浪费大量的计算机算力。

3. 技术方案

3.1 技术问题

以前商品介绍主要以图文方式来展现商品,不仅要展示商品主图还要配细节图,以及产品参数,从而达到全面涵盖产品信息的能力。而短视频能够全方位的展示商品,并搭配语言描述以及背景音乐,可进一步形象的给消费者介绍商品的功能,给顾客更直观的体验,有助于促进下单。同时商家制作的短视频可将其推送到自媒体平台上,便于给商品引流,提高商品销量,从而拓宽了销售市场。

因此短视频营销相对于图文营销更有优势,如何让顾客能够更快更便捷地搜索到其感兴趣的商品短视频,是本发明所要解决的主要问题。本方案主要解决的是商品短视频搜索,按照类目维度对商品短视频进行筛选,并提高视频搜索的命中率,为商品短视频搜索建立桥梁。

3.2 技术方案

3.2.1 流程图

流程图:

一种基于图片搜索视频的方案



3.2.2 详细描述

1.关键帧提取

卖家在制作好商品介绍的短视频后,在发布商品时对短视频进行上传,视频时长不能超过2分钟。对该视频进行关键帧提取。视频是由一组连续的图像组成,如果每张图片都存储下来,则会导致视频文件过大,因此视频都会被压缩,在压缩过程中,产生了I帧、P帧、B帧。I帧是画面的完整保存,它尽可能去除了图像空间的冗余信息;P帧则是记录与前一个关键帧的差别;B帧是记录本帧与上一帧和下一帧的差别。

因此只需提取出I帧即可。在MPEG-4标准中,stss部分标识了哪些sample是关键帧,如果没有stss则全部sample是关键帧。当获取的关键帧太多时,以时间轴维度,随机选取20帧的图像供商家选择,把商家选取的5张图片与视频文件一同保存到文件数据库中。

Mp4标准

Box类型 说明
ftyp 文件类型
moov 记录媒体信息
mvhd 视频文件信息,如时长、创建时间等
track 存放视频的容器
tkhd 媒体总体信息,如宽高等
mdia 媒体容器
mdhd 换算真实事件
hdlr 媒体类型,指明是video、audio、hint
minf 媒体信息容器
stbl 偏移映射关系表
stsd sample描述
stts 时戳-sample序号映射表
stsc sample与chunk的映射表
stsz sample的大小
stz2 另一种存储sample的大小,更节省空间
stss 关键帧列表(从该处获得I帧)
stco 每个chunk的偏移
co64 64位chunk的偏移
mdat 具体的媒体数据

2.特征向量计算

本次的特征向量计算采用的是VGG16模型。由于关键帧的图片都是彩色图片,因此采用3通道。卷积核为3×3,池化核为2×2。以224×224的视频图像为例,过程如下:

1) 输入图像大小为224×224×3,经64个通道的卷积核3×3,步长为1,共卷积2次,输出尺寸为224×224×64的特征向量。进行池化,采用池化核2×2,步长为2,输出尺寸为112×112×64的特征向量。

2) 经128个3×3的卷积核,步长为1,卷积2次,尺寸变为112×112×128,进行池化,步长为2,输出尺寸为56×56×128。

3) 经256个3×3的卷积核,步长为1,卷积3次,尺寸变为56×56×256,进行池化,步长为2,输出尺寸为28×28×256。

4) 经512个3×3的卷积核,步长为1,卷积3次,尺寸变为28×28×512,进行池化,步长为2,输出尺寸为14×14×256。

5) 经512个3×3的卷积核,步长为1,卷积3次,尺寸变为14×14×512,进行池化,步长为2,输出尺寸为7×7×256。

6) 将数据拉平成一维数组,7×7×256=25088。

7) 经两层1×1×4096与一层1×1×1000的全连接层,最终输出1×1000的特征向量。

一种基于图片搜索视频的方案



3.向量数据库

向量在存储时要把文件数据库中的ID同时存下来,以及商品ID,从而建立向量、文件、商品的关系。向量搜索都是相似性搜索,通过两个向量在高位空间的距离来做判断,其实就是在高维空间中找到与目标向量最接近的K个向量,一般采用欧式距离计算,其公式:



一种基于图片搜索视频的方案



为了召回精度高,暴力搜索的是最好的选择。但这会产生大量的不必要的计算,浪费了计算机资源。因此本方案采用类目维度进行切割。减少搜索范围。

4.视频搜索

买家需要选择要搜索的类目再进行图片上传,通过VGG16模型计算出特征向量,然后基于类目维度进行暴力搜索把最接近的K个向量筛选出来。最后再根据向量与文件的关系,把视频文件查找出来,返回给买家。

5.视频淘汰策略

每日进行定时巡检,对于长时间没有流量或者流量低于阈值的商品,需要从向量库中对其短视频进行逻辑删除,尽可能减少搜索的体积,减少计算资源的浪费。

一种基于图片搜索视频的方案

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Shodan的http.favicon.hash语法详解与使用技巧
  在Shodan搜索中有一个关于网站icon图标的搜索语法,http.favicon.hash,我们可以使用这个语法来搜索出使用了同一icon图标的网站,不知道怎么用的朋友请参考我上一篇(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.cnblogs.com%2Fmia
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Easter79 Easter79
3年前
Transformer 在美团搜索排序中的实践
!(https://oscimg.oschina.net/oscnet/up8353c47f931ecd65d8f4d0e61c2623100f8.png)引言美团搜索是美团App连接用户与商家的一种重要方式,而排序策略则是搜索链路的关键环节,对搜索展示效果起着至关重要的效果。目前,美团的搜索排序流程为多层排序,分别是粗排、精排、异构
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
3年前
ElasticSearch + Canal 开发千万级的实时搜索系统
公司是做社交相关产品的,社交类产品对搜索功能需求要求就比较高,需要根据用户城市、用户ID昵称等进行搜索。项目原先的搜索接口采用SQL查询的方式实现,数据库表采用了按城市分表的方式。但随着业务的发展,搜索接口调用频次越来越高,搜索接口压力越来越大,搜索数据库经常崩溃,从而导致搜索功能经常不能使用。!(https://oscimg.oschina.n
Stella981 Stella981
3年前
RTSP协议网页无插件直播平台EasyNVR视频广场无法搜索纯数字关键词的通道,该如何解决的?
最近改版的新版EasyNVR我们发现界面中仍然保留了“视频广场”的显示项,通过视频广场可以查看不同通道的最新视频快照信息,也可以通过搜索方式展现特定的视频通道快照。最近测试中研发测试时,发现在视频广场使用搜索框搜索不到纯数字的关键词。!NVR10.png(https://imgconvert.csdnimg.cn/aHR0cDovLzEyMS40MC
Stella981 Stella981
3年前
Apache Flink 在实时金融数据湖的应用
本文由京东搜索算法架构团队分享,主要介绍ApacheFlink在京东商品搜索排序在线学习中的应用实践。文章的主要大纲如下:1、背景2、京东搜索在线学习架构3、实时样本生成4、FlinkOnlineLearning5、监控系统6、规划总结一、背景在京东的商品搜索排序中,
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Json根据关键词搜索淘宝京东1688商品列表数据
随着电商的迅速发展,越来越多的人开始选择在网上购物,而搜索引擎则是大家用来寻找想买商品的主要手段之一。不同的电商平台有不同的搜索接口,其中比较常用的包括京东,天猫和1688。本文将详细介绍这三个平台的关键词搜索接口。一、京东搜索接口京东是中国领先的线上零售
四儿 四儿
9个月前
语音数据集在智能语音搜索中的应用与挑战
一、引言随着互联网的普及和移动设备的兴起,智能语音搜索已经成为人们获取信息的重要方式之一。智能语音搜索通过语音交互的方式,为用户提供更加便捷、高效的信息查询服务。语音数据集在智能语音搜索中发挥着重要作用,为系统提供了丰富的语音数据和信息,提高了搜索的准确性