NoSQL之MongoDB

Wesley13
• 阅读 680
  1. mongodb介绍
  2. mongodb安装
  3. 连接mongodb
  4. mongodb用户管理
  5. mongodb创建集合、数据管理
  6. php的mongodb扩展
  7. php的mongo扩展
  8. mongodb副本集介绍
  9. mongodb副本集搭建
  10. mongodb副本集测试
  11. mongodb分片介绍
  12. mongodb分片搭建
  13. mongodb分片测试
  14. mongodb备份恢复

1. mongodb介绍

  • 文档型数据库
  • 官网www.mongodb.com, 当前最新版3.4
  • C++编写,基于分布式的,属于NoSQL的一种
  • 在NoSQL中是最像关系型数据库的
  • MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档、数组及文档数组。
  • 关于JSON
    http://www.w3school.com.cn/json/index.asp
  • 因为基于分布式,所以很容易扩展
  • MongoDB和关系型数据库对比
    NoSQL之MongoDB
  • 关系型数据库数据结构
    NoSQL之MongoDB
  • MongoDB数据结构
    NoSQL之MongoDB

2. mongodb安装

epel自带的mongodb版本为2.6,我们需要安装3.4版本
 官方安装文档https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/
 cd /etc/yum.repos.d/
 vim mongodb-org-3.4.repo//加入如下内容
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
  • yum list |grep mongodb //可以看到mongodb相关的rpm包 NoSQL之MongoDB
  • yum install -y mongodb-org
  • systemctl start mongod
  • ps aux |grep mongo
  • netstat -ntlp |grep mongo
  • yum -y install net-tools
    NoSQL之MongoDB

3. 连接mongodb

  • 在本机可以直接运行命令mongo进入到mongodb shell中
  • 如果mongodb监听端口并不是默认的27017,则在连接的时候需要加--port 选项,例如
  • mongo --port 27018
  • 连接远程mongodb,需要加--host,例如
  • mongo --host 127.0.0.1
  • 如果设置了验证,则在连接的时候需要带用户名和密码
  • mongo -uusername -ppasswd --authenticationDatabase db #这个和MySQL挺像
    name:用户名 passwd:密码 db库名

4. mongodb用户管理

创建用户是针对一个库,登录的时候也是针对这个库来登录

use admin//需要切换到admin库
db.createUser( { user: "admin", customData: {description: "superuser"}, pwd: "admin122", roles: [ { role: "root", db: "admin" } ] } )
user指定用户,customData为说明字段,可以省略,pwd为密码,roles指定用户的角色,db指定库名 
use admin //切换到admin库
db.system.users.find()  //列出所有用户,需要切换到admin库
show users  //查看当前库下所有的用户
db.dropUser('admin') //删除用户
若要用户生效,还需要编辑启动脚本vim /usr/lib/systemd/system/mongod.service,在OPTIONS=后面增--auth
重启服务systemctl restart mongod
mongo -u "admin" -p "admin122" --authenticationDatabase "admin"
use db1
db.createUser( { user: "test1", pwd: "123aaa", roles: [ { role: "readWrite", db: "db1" }, {role: "read", db: "db2" } ] } )
 test1用户对db1库读写,对db2库只读。
 之所以先use db1,表示用户在 db1 库中创建,就一定要db1库验证身份,即用户的信息跟随随数据库。
 比如上述 test1虽然有 db2 库的读取权限,但是一定要先在db1库进行身份验证,直接访问会提示验证失败。
 use db2
 db.auth("test1", "123aaa")
用户角色
Read:允许用户读取指定数据库
readWrite:允许用户读写指定数据库
dbAdmin:允许用户在指定数据库中执行管理函数,如索引创建、删除,查看统计或访问system.profile
userAdmin:允许用户向system.users集合写入,可以找指定数据库里创建、删除和管理用户
clusterAdmin:只在admin数据库中可用,赋予用户所有分片和复制集相关函数的管理权限。
readAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的读权限
readWriteAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的读写权限
userAdminAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的userAdmin权限
dbAdminAnyDatabase:只在admin数据库中可用,赋予用户所有数据库的dbAdmin权限。
root:只在admin数据库中可用。超级账号,超级权限
MongoDB库管理
db.version()  //查看版本
use userdb  //如果库存在就切换,不存在就创建
show dbs //查看库,此时userdb并没有出现,这是因为该库是空的,还没有任何集合,只需要创建一个集合就能看到了 
db.createCollection('clo1') //创建集合clo1,在当前库下面创建
db.dropDatabase() //删除当前库,要想删除某个库,必须切换到那个库下
db.stats()  //查看当前库的信息
db.serverStatus()   //查看mongodb服务器的状态

5. mongodb创建集合、数据管理

db.createCollection("mycol", { capped : true, size : 6142800, max : 10000 } )  //语法:db.createCollection(name,options)
name就是集合的名字,options可选,用来配置集合的参数,参数如下
capped true/false (可选)如果为true,则启用封顶集合。封顶集合是固定大小的集合,当它达到其最大大小,会自动覆盖最早的条目。如果指定true,则也需要指定尺寸参数。
autoindexID  true/false (可选)如果为true,自动创建索引_id字段的默认值是false。
size (可选)指定最大大小字节封顶集合。如果封顶如果是 true,那么你还需要指定这个字段。单位B
max (可选)指定封顶集合允许在文件的最大数量。


show collections //查看集合,或者使用show  tables
db.Account.insert({AccountID:1,UserName:"123",password:"123456"})  //如果集合不存在,直接插入数据,则mongodb会自动创建集合
db.Account.update({AccountID:1},{"$set":{"Age":20}}) //更新
db.Account.find()   //查看所有文档
db.Account.find({AccountID:1})   //根据条件查询
db.Account.remove({AccountID:1})  //根据条件删除
db.Account.drop() //删除所有文档,即删除集合
use dbname  //先进入对应的库
db.printCollectionStats()  // 然后查看集合状态

6. php的mongodb扩展

第一种方法

cd /usr/local/src/
git clone https://github.com/mongodb/mongo-php-driver
cd mongo-php-driver
git submodule update --init
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make && make install
vi /usr/local/php/etc/php.ini //增加 extension = mongodb.so
/usr/local/php/bin/php -m

第二种方法

到pecl官网上下载mongo的扩展源码包
cd /usr/local/src/
wget https://pecl.php.net/get/mongo-1.6.16.tgz 
tar zxvf mongodb-1.6.16.tgz
cd mongodb-1.6.16
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make && make install
vi /usr/local/php/etc/php.ini //增加 extension = mongo.so
/usr/local/php/bin/php -m

7. php的mongo扩展

到pecl官网上下载mongo的扩展源码包
cd /usr/local/src/
wget https://pecl.php.net/get/mongo-1.6.16.tgz 
tar zxvf mongodb-1.6.16.tgz
cd mongodb-1.6.16
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make && make install
vi /usr/local/php/etc/php.ini //增加 extension = mongo.so
/usr/local/php/bin/php -m
测试momgo扩展
参考文档 https://docs.mongodb.com/ecosystem/drivers/php/
 http://www.runoob.com/mongodb/mongodb-php.html
 vi /usr/local/apache2/htdocs/1.php //增加
 <?php
$m = new MongoClient(); // 连接
$db = $m->test; // 获取名称为 "test" 的数据库
$collection = $db->createCollection("runoob");
echo "集合创建成功";
?>
 curl  localhost/1.php

8. mongodb副本集介绍

  • 早期版本使用master-slave,一主一从和MySQL类似,但slave在此架构中为只读,当主库宕机后,从库不能自动切换为主
  • 目前已经淘汰master-slave模式,改为副本集,这种模式下有一个主(primary),和多个从(secondary),只读。支持给它们设置权重,当主宕掉后,权重最高的从切换为主
  • 在此架构中还可以建立一个仲裁(arbiter)的角色,它只负责裁决,而不存储数据
  • 再此架构中读写数据都是在主上,要想实现负载均衡的目的需要手动指定读库的目标server NoSQL之MongoDB
    NoSQL之MongoDB

9. mongodb副本集搭建

三台机器: 192.168.133.130(primary)   192.168.133.132(secondary) 192.168.133.133(secondary)
编辑三台机器的配置文件vim /etc/momgod.conf,更改或增加:
replication://把此行前面的#删除
##oplog大小
oplogSizeMB: 20//前面有两个空格
##复制集名称
replSetName: aminglinux//前面有两个空格
示例:
replication:
   oplogSizeMB: 20
   replSetName: aminglinux
分别重启三台机器
iptables关闭否则阻断通讯很可能不成功
连接主,在主上运行命令mongo
>use admin
>config={_id:"aminglinux",members:[{_id:0,host:"192.168.133.130:27017"},{_id:1,host:"192.168.133.132:27017"},{_id:2,host:"192.168.133.133:27017"}]}
>rs.initiate(config)
 rs.status() //查看状态
 如果两个从上的状态为"stateStr" : "STARTUP", 则需要进行如下操作
> var config={_id:"aminglinux",members:[{_id:0,host:"192.168.133.130:27017"},{_id:1,host:"192.168.133.132:27017"},{_id:2,host:"192.168.133.133:27017"}]}
 >rs.reconfig(config)
 此时再次查看rs.status()会发现从的状态变为SECONDARY
 哪台服务器做这个操作随后会自动成为主()

10. mongodb副本集测试

主上建库,建集合
>use mydb
>db.acc.insert({AccountID:1,UserName:"123",password:"123456"})
>show dbs
从上查看
>show dbs   
若出现错误Error: listDatabases failed:{ "note" : "from execCommand", "ok" : 0, "errmsg" : "not master" },需要执行
>rs.slaveok() 
默认三台机器权重都为1,如果任何一个权重设置为比其他的高,则该台机器马上切换为primary角色,所以我们预设三台机器的权重分别为:130:3,132:2,133:1
在主上执行
cfg = rs.conf()
cfg.members[0].priority = 3
cfg.members[1].priority = 2
cfg.members[2].priority = 1
rs.reconfig(cfg)
这样的话,第二个节点将会成为候选主节点。
主上执行 iptables -I INPUT -p tcp --dport 27017 -j DROP

11. mongodb分片介绍

  • 分片就是将数据库进行拆分,将大型集合分隔到不同服务器上。比如,本来100G的数据,可以分割成10份存储到10台服务器上,这样每台机器只有10G的数据。
  • 通过一个mongos的进程(路由)实现分片后的数据存储与访问,也就是说mongos是整个分片架构的核心,对客户端而言是不知道是否有分片的,客户端只需要把读写操作转达给mongos即可。
  • 虽然分片会把数据分隔到很多台服务器上,但是每一个节点都是需要有一个备用角色的,这样能保证数据的高可用。
  • 当系统需要更多空间或者资源的时候,分片可以让我们按需方便扩展,只需要把mongodb服务的机器加入到分片集群中即可

NoSQL之MongoDB

  • mongos: 数据库集群请求的入口,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就是一个请求分发中心,它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口,防止其中一个挂掉所有的mongodb请求都没有办法操作。
  • config server: 配置服务器,存储所有数据库元信息(路由、分片)的配置。mongos本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息,以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态,这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器,因为它存储了分片路由的元数据,防止数据丢失!
  • shard: 存储了一个集合部分数据的MongoDB实例,每个分片是单独的mongodb服务或者副本集,在生产环境中,所有的分片都应该是副本集。

12. mongodb分片搭建

分片搭建 -服务器规划

三台机器 A B C
A搭建:mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点
B搭建:mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁
C搭建:mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点
端口分配:mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003
三台机器全部关闭firewalld服务和selinux,或者增加对应端口的规则

分片搭建 – 创建目录

分别在三台机器上创建各个角色所需要的目录
mkdir -p /data/mongodb/mongos/log
mkdir -p /data/mongodb/config/{data,log}
mkdir -p /data/mongodb/shard1/{data,log}
mkdir -p /data/mongodb/shard2/{data,log}
mkdir -p /data/mongodb/shard3/{data,log}

分片搭建–config server配置

mongodb3.4版本以后需要对config server创建副本集
 添加配置文件(三台机器都操作)
 mkdir /etc/mongod/
 vim /etc/mongod/config.conf //加入如下内容
pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 0.0.0.0
port = 21000
fork = true
configsvr = true #declare this is a config db of a cluster;
replSet=configs #副本集名称
maxConns=20000 #设置最大连接数

分片搭建–config server配置

启动三台机器的config server
mongod -f /etc/mongod/config.conf  //三台机器都要操作
登录任意一台机器的21000端口,初始化副本集
mongo --port 21000
config = { _id: "configs", members: [ {_id : 0, host : "192.168.133.130:21000"},{_id : 1, host : "192.168.133.132:21000"},{_id : 2, host : "192.168.133.133:21000"}] }
rs.initiate(config)
{ "ok" : 1 }

分片搭建–分片配置

添加配置文件(三台机器都操作)
vim /etc/mongod/shard1.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard1.pid
dbpath = /data/mongodb/shard1/data
logpath = /data/mongodb/shard1/log/shard1.log
logappend = true
bind_ip = 0.0.0.0
port = 27001
fork = true
httpinterface=true #打开web监控
rest=true
replSet=shard1 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数

添加配置文件(三台机器都操作)
vim /etc/mongod/shard2.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard2.pid
dbpath = /data/mongodb/shard2/data
logpath = /data/mongodb/shard2/log/shard2.log
logappend = true
bind_ip = 0.0.0.0
port = 27002
fork = true
httpinterface=true #打开web监控
rest=true
replSet=shard2 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数

添加配置文件(三台机器都操作)
vim /etc/mongod/shard3.conf //加入如下内容
pidfilepath = /var/run/mongodb/shard3.pid
dbpath = /data/mongodb/shard3/data
logpath = /data/mongodb/shard3/log/shard3.log
logappend = true
bind_ip = 0.0.0.0
port = 27003
fork = true
httpinterface=true #打开web监控
rest=true
replSet=shard3 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数

分片搭建–分片配置启动

启动shard1
mongod -f /etc/mongod/shard1.conf //三台机器都要操作
登录130或者132任何一台机器的27001端口初始化副本集,133之所以不行,
是因为shard1我们把133这台机器的27001端口作为了仲裁节点
mongo --port 27001
use admin
config = { _id: "shard1", members: [ {_id : 0, host : "192.168.133.130:27001"}, {_id: 1,host : "192.168.133.132:27001"},{_id : 2, host : "192.168.133.133:27001",arbiterOnly:true}] }
rs.initiate(config)

启动shard2
mongod -f /etc/mongod/shard2.conf //三台机器都要操作
登录132或者133任何一台机器的27002端口初始化副本集,130之所以不行,
是因为shard2我们把130这台机器的27002端口作为了仲裁节点
mongo --port 27002
use admin
config = { _id: "shard2", members: [ {_id : 0, host : "192.168.133.130:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.133.132:27002"},{_id : 2, host : "192.168.133.133:27002"}] }
rs.initiate(config)

启动shard3
mongod -f /etc/mongod/shard3.conf //三台机器都要操作
登录130或者133任何一台机器的27003端口初始化副本集,132之所以不行,
是因为shard3我们把132这台机器的27003端口作为了仲裁节点
mongo --port 27003
use admin
config = { _id: "shard3", members: [ {_id : 0, host : "192.168.133.130:27003"},  {_id : 1, host : "192.168.133.132:27003", arbiterOnly:true}, {_id : 2, host : "192.168.133.133:27003"}] }
rs.initiate(config)

分片搭建–配置路由服务器

添加配置文件(三台机器都操作)
vim /etc/mongod/mongos.conf //加入如下内容
pidfilepath = /var/run/mongodb/mongos.pid
logpath = /data/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 0.0.0.0
port = 20000
fork = true
configdb = configs/192.168.133.130:21000, 192.168.133.132:21000, 192.168.133.133:21000 
#监听的配置服务器,只能有1个或者3个,configs为配置服务器的副本集名字
maxConns=20000 #设置最大连接数
启动mongos服务,注意命令,前面都是mongod,这里是mongos
mongos -f /etc/mongod/mongos.conf

分片搭建–启用分片

登录任何一台20000端口
 mongo --port 20000  
 把所有分片和路由器串联
sh.addShard("shard1/192.168.133.130:27001,192.168.133.132:27001,192.168.133.133:27001")
sh.addShard("shard2/192.168.133.130:27002,192.168.133.132:27002,192.168.133.133:27002")
sh.addShard("shard3/192.168.133.130:27003,192.168.133.132:27003,192.168.133.133:27003")
查看集群状态
sh.status()

13. mongodb分片测试

  • 登录任何一台20000端口
  • mongo --port 20000
  • use admin
  • db.runCommand({ enablesharding : "testdb"}) 或者
  • sh.enableSharding("testdb") //指定要分片的数据库
  • db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } ) 或者
  • sh.shardCollection("testdb.table1",{"id":1} ) //#指定数据库里需要分片的集合和片键
  • use testdb
  • for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"})//插入测试数据
  • db.table1.stats()//查看table1状态

14. mongodb备份恢复

MongoDB备份

备份指定库
 mongodump --host 127.0.0.1 --port 20000  -d mydb -o /tmp/mongobak
 它会在/tmp/目录下面生成一个mydb的目录
 备份所有库
 mongodump --host 127.0.0.1 --port 20000 -o /tmp/mongobak/alldatabase
 指定备份集合
 mongodump --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mongobak/
 它依然会生成mydb目录,再在这目录下面生成两个文件
 导出集合为json文件
 mongoexport --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mydb2/1.json

MongoDB恢复

恢复所有库
 mongorestore -h 127.0.0.1 --port 20000 --drop dir/ //其中dir是备份所有库的目录名字,
 其中--drop可选,意思是当恢复之前先把之前的数据删除,不建议使用
 恢复指定库
 mongorestore -d mydb dir/  //-d跟要恢复的库名字,dir就是该库备份时所在的目录
 恢复集合
mongorestore -d mydb -c testc dir/mydb/testc.bson // -c后面跟要恢复的集合名字,
dir是备份mydb库时生成文件所在路径,这里是一个bson文件的路径
 导入集合
 mongoimport -d mydb -c testc --file /tmp/testc.json

扩展内容
mongodb安全设置 http://www.mongoing.com/archives/631
mongodb执行js脚本 http://www.jianshu.com/p/6bd8934bd1ca

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Easter79 Easter79
2年前
swap空间的增减方法
(1)增大swap空间去激活swap交换区:swapoff v /dev/vg00/lvswap扩展交换lv:lvextend L 10G /dev/vg00/lvswap重新生成swap交换区:mkswap /dev/vg00/lvswap激活新生成的交换区:swapon v /dev/vg00/lvswap
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
2年前
Java获得今日零时零分零秒的时间(Date型)
publicDatezeroTime()throwsParseException{    DatetimenewDate();    SimpleDateFormatsimpnewSimpleDateFormat("yyyyMMdd00:00:00");    SimpleDateFormatsimp2newS
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这