协助 mongodb 计算之数位比较

白龙马
• 阅读 770

【摘要】


      编写数位比较这类集合式运算,用 Mongodb 脚本或 Java 等高级语言来实现都比较麻烦,但可以利用集算器 SPL 语言来进行辅助实现。若想了解更多,请前往乾学院:协助 mongodb 计算之数位比较!

Mongodb脚本解决复杂问题的计算能力有限,直接使用时较为吃力。很多情况下需要将数据读出后在主程序中进一步完成运算,而在Java等高级语言中编写这类集合式运算也比较麻烦。这时可以用集算器SPL语言来辅助实现,下面用例子说明。

Mongodb中有一个test集合如下:

> db.test.find({},{"_id":0})
{"value" : NumberLong(112937552) }
{"value" : NumberLong(715634640) }
{"value" : NumberLong(487229712) }
{"value" : NumberLong(79198330) }
{"value" : NumberLong(440998943) }
{"value" : NumberLong(93148782) }
{"value" : NumberLong(553008873) }
{"value" : NumberLong(336369168) }
{"value" : NumberLong(369669461) }

       具体的需求:test集合包含多个value,每个value是一个数字串。每个数字串都要和另外所有的数字串比较,找出每个数字串的最大相同数和最大不同数。如果第1行和第n行都含有数字1,就算相同数有1个,否则第1行有1但第n行没有,就算不同数有1个。

       使用集算器 SPL 的代码如下:

协助 mongodb 计算之数位比较

         A1:连接mongodb,ip和端口号是localhost:27017,数据库是test,用户名和密码都是test。

         A2:使用find函数从mongodb中取数,形成游标。集合是test,过滤条件是空,键_id不取出。SPL的游标支持分批读取和处理数据,可以避免数据量过大,以防内存溢出。因为数据量不大,所以这里可以直接 fetch 出游标的所有记录。

         A3: 在A2的基础上增加两列same、diff,用来存放最大相同数和最大不同数。同时把value转成字符串。

         A4:针对A3集合循环,循环体是B4到D10。

         B4:取当前循环的value。

         C4:利用函数将value分拆成单个字符组成的序列,去掉重复的值。

         B5:对A3再进行一次内层循环。循环体是C6到D10。

         C5:如果内层循环的循环位置和外层当前位置的相等,即为同一个value时,就跳过本次内层循环,继续进行下一次内层循环。

         C6:取得内层循环的value。

         C7:定义两个变量same和diff,分别存放本次比较的相同数和不同数,初始值为0。

         C8: 利用循环函数,在内层循环的value中逐个查找外层循环的value分拆的序列数值。如果能找到,则same自加1,否则diff自加1。

         C9、C10:将same和diff和A4中的same和diff比较,将较大的重新赋值给A4中的same和diff。

运行结果如下:

         协助 mongodb 计算之数位比较

简言之,SPL 先得到数据记录后,把每行数字串拆分成单个无重复字符组成的序列,通过内外层循环比较,找出每行数字串的最大相同数和最大不同数。SPL语言在编写这类集合式运算方面,具有得天独厚的优势。

       需要说明的是:集算器SPL并不包含mongodb的java驱动包。如果要用SPL访问mongodb,必须提前将mongodb的java驱动包(例如:mongo-java-driver-3.9.1.jar)放到集算器设置的外部库目录extLib\MongoCli下。

       除了在集算器中直接计算,上述使用SPL语言协助mongodb计算的脚本也很容易集成到java中,只要增加一行,写成return A3即可向java输出resultset形式的结果,具体的代码参考SPL教程。同样,用java调用SPL访问mongodb也必须将mongdb的java驱动包放到java程序的classpath中。

点赞
收藏
评论区
推荐文章
亮亮 亮亮
4年前
Go语言操作mongoDB
Go语言操作mongoDBmongoDB是目前比较流行的一个基于分布式文件存储的数据库,它是一个介于关系数据库和非关系数据库(NoSQL)之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。mongoDB介绍mongoDB(https://www.mongodb.com/)是目前比较流行
Wesley13 Wesley13
3年前
MongoDB开发系列
本篇文章主要介绍数据集设计中的分桶范式以及使用实例。数据集设计模式,MongoDB在官方文档https://docs.mongodb.com/ecosystem/ 中的usecases部分提供了详细的参考内容。结合文档,本篇说一些比较深入的MongoDB使用分桶模式分桶模式是MongoDB数据集设计的一种范式。分桶buckets
Wesley13 Wesley13
3年前
4,MongoDB 之 $关键字 及 $修改器 $set $inc $push $pull $pop MongoDB
MongoDB中的关键字有很多,$lt$gt$lte$gte等等,这么多我们也不方便记,这里我们说说几个比较常见的一.查询中常见的等于大于小于大于等于小于等于等于:在MongoDB中什么字段等于什么值其实就是":"来搞定比如"name":"路飞学城"!(https://oscimg.oschin
Stella981 Stella981
3年前
MongoDB与Cassandra的比较
问题:_Iamevaluatingwhatmightbethebestmigrationoption._我正在评估什么是最好的迁移选项。_Currently,IamonashardedMySQL(horizontalpartition),withmostofmydatastoredin
Wesley13 Wesley13
3年前
JAVA入门(二)
计算机存储数据都是010101这样用二进制存储的,这与我们的生活认知是不一样的,所以我们会把数据分成不同的数据类型,来方便我们进行编程,在底层由高级语言进行编码成二进制来进行与计算机交互。我们常说的字节是一种数据计量单位,1字节8个计算机位。计算机编码集随着计算机的普及与发展,各个国家对自己的语言进行编码,也是就有了许多的编码集。一般我们比较常
Stella981 Stella981
3年前
Mongodb集群搭建一篇就够了
本文主要介绍mongodb集群的搭建安装过程,对于学习mongodb的同学很有帮助,包括分片模式、复制集模式、是否启用认证等,本文选取mongodb3.6.3版本为例进行详细安装说明,其他版本搭建过程和本过程一样,只需按照本文说明操作即可。1.Mongodb分片集群架构
Stella981 Stella981
3年前
Mongo db 简单介绍及命令笔记
首先来了解下什么是MongoDB?MongoDB是由C语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB将数据存储为一个文档,数据结构由键值(keyva
Stella981 Stella981
3年前
Python MongoDB使用初步
MongoDB是由C语言编写的,是一个基于分布式文件存储的开源数据库系统。它是一个面向文档存储的数据库,操作起来比较简单。可通过本地或者网络创建数据镜像,具有很强的可扩展性。MongoDB支持的编程语言有Ruby,Python,Java,C,C,PHP等。本文以Windows平台为例,介绍Windows下MongoDB的安装和使用方法。
Wesley13 Wesley13
3年前
MongoDB下载、安装配置
1.安装包的下载官网路径:http://www.mongodb.org/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.mongodb.org%2F)比较麻烦(要注册啥的)比较方便的方法:http://dl.mongodb.org/dl/win32/x86\_64(
Stella981 Stella981
3年前
Elasticsearch、MongoDB和Hadoop比较
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性,避免落大部队太远,我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎,它们存储着JSON文档,MongoDB存着JSON文档,或者一堆JSON文档存放在一个Hadoop集群的HDFS中
Easter79 Easter79
3年前
Titan Framework MongoDB深入理解1
在TitanFrameWork框架中,已经集成了MongoDB的各个功能,现在我们对框架内部的一些重要类进行分析与解读。1.MongoDBConverter在Titan框架中,比较重要的一个接口就是MongoDBConverter,它是作为框架对MongoDB数据Bson的一个转换器,其实现类是一个名字被加密的类(titan框架中