从mgo到mongo driver,更换支持mongo db的驱动

为什么要这么做?

mgo 不在维护且不支持事务, 并且 mongo driver 是 golang 指定的官方驱动。

GitHub: https://github.com/mongodb/mo...
Doc: https://godoc.org/go.mongodb....

*因为偷懒 所有代码都忽略了错误处理。*

connect db

mgo:

globalSession, err := := mgo.Dial(mongdbUrl)

mongo driver

client, err := mongo.Connect(ctx, options.Client().ApplyURI(mongodbUrl))

有一个小坑,在本地的时候mgo 的mongodburl 可以写成127.0.0.1,但是mongo driver 必须写成 mongodb://127.0.0.1

get session

mgo:

mgoSession := globalSession.Copy()
defer mgoSession.Close()

mongo driver

mongoSession,err := mongoClient.StartSession()
defer mongoSession.EndSession(ctx)

mgo 和 mongo driver 本质上都是一样的都维护了一个 session pool,每次获取 session 都是从这个 poll 里面拿,并且都有相应的方法可以设置 session pool size

c u r d

mgo

MgoModel struct {
   Id bmgo.ObjectId`bson:"_id"`
   Name string `bson:"name"`
}
// s = session 
collection := s.DB(db).C(collectionName)
var err error

// find all
findMgoModel := []*model.MgoModel{}
err = collection.Find(collection, bson.M{}).All(&findMgoModel)

// find one
findOneMgoModel := &model.MgoModel{}
err = collection.Find(collection, bson.M{}).One(&findOneMgoModel)

//insert one
insertMgoModel := &model.MgoModel{}
err = collection.Insert(insertMgoModel)

//insert many
insertManyMgoModel := []*model.MgoModel{}
err = collection.Insert(insertManyMgoModel...)

// update by id
err := collection.UpdateId(id, bson.M{"$set":bson.m{"name":"update name"}})

// replace by id
updateIdReplaceMgoModel := &model.MgoModel{}
err := collection.UpdateId(id, updateIdReplaceMgoModel)

// remove by id
info, err := collection.RemoveId(id)
// remove by query
info, err :=  collection.RemoveAll(selector)

mongo driver

MongoModel struct {
   Id primitive.ObjectID `bson:"_id"`
   Name string `bson:"name"`
}

// s = session 
ctx := context.TODO()
collection := s.Client().Database(db).Collection(collectionName)

// find all
findMongoModel := []*model.MongoModel{}
cur , err := collection.Find(ctx, bson.M{}, options.Find())
err = cur.All(s.c, &findMongoModel)

// find one 
findOneMongoModel := &model.MongoModel{}
err = collection.FindOne(ctx, bson.M{"_id": id}).Decode(findOneMongoModel)

// insert one
insertMongoModel := &model.MongoModel{}
insertOneResult, err := collection.InsertOne(ctx, insertMongoModel, options.InsertOne())

// insert many
insertManyMongoModel := []interface{}{
   &MongoModel{Id: primitive.NewObjectID(), Name: "mongoInsertMany"},
   &MongoModel{Id: primitive.NewObjectID(), Name: "mongoInsertMany"},
}
insertManyResult, err := collection.InsertMany(ctx, insertManyMongoModel, options.InsertMany())

// update by id
update := bson.M{"$set":bson.m{"name":"update name"}}
updateResult , err := collection.UpdateOne(ctx, bson.D{{"_id", id}}, update, options.Update())

// replace by id
replaceOneMongoModel := &model.MongoModel{}
replaceResult , err := collection.ReplaceOne(ctx, bson.D{{"_id", id}}, replaceOneMongoModel, options.Replace())

// remove by id
deleteResult, error := collection.DeleteOne(ctx, bson.M{"_id": id}, options.Delete())

// remove by query
deleteManyResult, err := collection.DeleteMany(ctx, bson.M{}, options.Delete())

区别

参数

mongoDriver 需要传一个 context 作为参数:

mongoDriver 会根据 context 来判断是否开启事务, 当一个 session 开启事务,调用 mongo.NewSessionContext(ctx, s.Session) 创建一个新的 context. 传递这个新的 content 进行事务操作。

mongoDriver 需要传一个 option 作为参数:

option 定义在包"go.mongodb.org/mongo-driver/mongo/options" 下面,如:
options.InsertOne(),options.Update(). 都有相应的选项可以设置。

返回值:

在进行curd 操作的时候 mongo driver 都会返回一个result,
比如: InsertManyResult,UpdateResult,DeleteResult... 等等. 而这些result 的内容,
就是你直接运行 mongo 语句 所返回的值。

如 直接运行:

db.test.insertOne({"name":"222"})

控制台输出:

 {
    "acknowledged" : true,
    "insertedId" : ObjectId("605235efa395df48206e17d6")
 }

InsertOneResult 的值 也是这个结构。

函数类型

mongo driver 函数类型完全按照 mongo 的官方文档来,有很多比如:InsertOne,InsertMany, UpdateOne , ReplaceOne, FindOneAndUpdate,FindOneAndReplace ...等等。mgo 就没有相关的实现, 只有比较大条的: Insert, Update, Find ...

小坑:
mgo 的Update 方法 既可以 update 如 bson.M{"$set":bson.M{"name":"111"}} , 也可以丢一个文档进去直接 replace. 但是 mongo driver 不行,update 和 replace 是分开的。

聚合

用法是一样的只是名字不一样且md返回游标。

md使用:

cursor, err := c.Aggregate(ctx, []bson.M{})

mg使用:

pipe := c.Pipe([]bson.M{
  project,
  unwind,
  group,
}) 

事务

需要使用 replica 才能开启事务。

Because transaction numbers are only allowed on a replica set member or mongos.So you need to install replica set locally*

参考: http://thecodebarbarian.com/i...

有两种开启方式:
1.

ctx := context.TODO()
// 开启事务
err := session.StartTransaction()
// 注意: 想要进行事务的操作,必须传递这个sCtx,否则不包含在事务内.
sCtx = mongo.NewSessionContext(ctx, session)

collection := session.Client().Database(db).Collection(collectionName)

tmInsertOne := &model.TestModel{}
// 必须要用 sCtx
insertOneResult, err := collection.InsertOne(sCtx, tmInsertOne, options.InsertOne())
if err != nil {
   // 出现err  回滚事务
   session.AbortTransaction(ctx)
}
// 提交事务
session.CommitTransaction(ctx)

2.

ctx := context.TODO()
collection := session.Client().Database(db).Collection(collectionName)

err = mongo.WithSession(ctx, sess,
func(sessCtx mongo.SessionContext) error {
   insertOneResult, err := collection.InsertOne(sCtx, tmInsertOne, options.InsertOne())
   if err != nil {
        return err
   }
})  

用第一种方式需要自己手动开启, 回滚或提交事。第二种方式WithSession会自动帮你开启事务,出现 error 会自动AbortTransaction, 成功之后CommitTransaction. 适用于不同的场景。

register codec

mgo
不用注册, 实现 GetBSON() (interface{}, error) & SetBSON(raw bson.RawValue) error 两个接口 即可。

mongo driver
实现 EncodeValue(ectx bsoncodec.EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error & DecodeValue(ectx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error 接口。 在 mongo.Connect(ctx, clientOptions) , 把注册信息 在connect db 的时候写在clientOptions 里面。

举个例子

注册 string 类型的 _id

在代码我们定义自己的主键 id , 并且实现 EncodeValue 和 DecodeValue两个接口.( mg 是实现 GetBson 和 SetBson 这两个接口)

type Id string 

func (e *Id) EncodeValue(ectx bsoncodec.EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error {
   return IdEncodeObjectId(ectx, vw, val)
}
func (e *Id) DecodeValue(ectx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
   return ObjectIdDecodeId(ectx, vr, val)
}

var IdEncodeObjectId = func(ectx bsoncodec.EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error {
   if val.Type() != ToId {
      return bsoncodec.ValueDecoderError{Name: "IdEncodeValue", Types: []reflect.Type{ToId}, Received: val}
   }
   //if val.String() == "" {
        //return vw.WriteObjectID(primitive.NewObjectID())
   //}
   objectId, err := primitive.ObjectIDFromHex(val.String())
   if err != nil {
      return err
 }
   return vw.WriteObjectID(objectId)
}
var ObjectIdDecodeId = func(ectx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
   if !val.CanSet() || val.Type() != ToId {
      return bsoncodec.ValueDecoderError{Name: "IdDecodeValue", Types: []reflect.Type{ToId}, Received: val}
   }
   var id string
 switch vrType := vr.Type(); vrType {
   case bsontype.ObjectID:
      objectId, err := vr.ReadObjectID()
      if err != nil {
         return err
 }
      id = objectId.Hex()
   case bsontype.String:
      str, err := vr.ReadString()
      if err != nil {
         return err
 }
      if len(str) != 12 {
         return fmt.Errorf("an ObjectID string must be exactly 12 bytes long (got %v)", len(str))
      }
      id = str
 case bsontype.Null:
      if err := vr.ReadNull(); err != nil {
         return err
 }
   case bsontype.Undefined:
      if err := vr.ReadUndefined(); err != nil {
         return err
 }
   default:
      return fmt.Errorf("cannot decode %v into an ObjectID", vrType)
   }
   val.SetString(id)
   return nil
}

然后在 connect时候注册

registry := bson.NewRegistryBuilder()
id := m.Id("")
registry.RegisterCodec(reflect.TypeOf(Id("")), &id)
clientOptions := options.Client().SetRegistry(registry().Build())
mongo.Connect(ctx, clientOptions)

这样在关于 Id 操作的时候,我们代码自定义类型 Id 会Encode成 md 的ObjectId 即 primitive.ObjectID{}, mongo ObjectId 会 Decode 成我们的string 类型的id.我们结构可以这么定义

type TestModel struct {
   Id Id `bson:"_id,omitempty"`
 }
我遇到的一些问题和解决的办法
mongo-go-driver “server selection error”
问题链接: https://stackoverflow.com/que...

md 发现集群的方式和mgo不同,md 通过连接语句 mongdbUrl 找到设置的集群主机,然后获取rs.config的子机的host来访问子机,所以要确保 server 可以访问rs.confi配置的子机host。 而 mgo 直接通过mongdbUrl 来找集群。

对replica 不太了解的可以看这个 replica-set

大坑 !!!!!!!!

mgo 和 mongo_driver 对空值的处理不一样.

假设有如此结构:

type test struct {
    Array []string `bson:"array"`
    M map[string]string `bson:"m"`
}

分别用mgo 和 md 往db 插入这个结构的空值: t := &test{}.
mgo:
{
"_id" : ObjectId("5f4c673db1797c4d55cad549"),
"array" : [],
"m" : {}
}

mongo_driver:
{
"_id" : ObjectId("5f4c673db1797c4d55cad549"),
"array" : null,
"m" : null
}
这种差异是很坑的, 比如使用set语句:

db.test.updateMany({},{"$set": "m.A":"2222"})

更新 mgo 插入的数据没有问题,但如果是mongo_driver 插入的数据会出现err,因为 md 插入的数据字段 m 为null, 不能set 语句不能是 null.A

mgo 和 mongo_driver decode错误处理不一样.

比如 浮点数 decode 的时候,如果超出golang 精度限制, mgo 会 自动转换, mongo driver 会抛错。

举个例子:
假设 db 有个字段的值为 2.111111111111, golang 定义字段 F float32 bson:"f", 那么在decode 的时候, 因为字段的值超出golang float32 的精度, mgo: 会自动转成 2.1111112, mongo driver 则会报错: FloatDecodeValue can only convert float64 to float32 when truncation is allowed

针对这种情况我们可以按需求加上 truncate tag, 如: F float32 bson:"f,truncate"

语言组织不到位,写的很乱。如果有不对的地方希望大家多多指教,谢谢!

评论

暂无评论