从mgo到mongo driver,更换支持mongo db的驱动
文章目录
为什么要这么做?
mgo 不在维护且不支持事务, 并且 mongo driver 是 golang 指定的官方驱动。
GitHub: https://github.com/mongodb/mo...
Doc: https://godoc.org/go.mongodb....
*因为偷懒 所有代码都忽略了错误处理。*
connect db
mgo:
globalSession, err := := mgo.Dial(mongdbUrl)mongo driver
client, err := mongo.Connect(ctx, options.Client().ApplyURI(mongodbUrl))有一个小坑,在本地的时候mgo 的mongodburl 可以写成127.0.0.1,但是mongo driver 必须写成 mongodb://127.0.0.1
get session
mgo:
mgoSession := globalSession.Copy()
defer mgoSession.Close()mongo driver
mongoSession,err := mongoClient.StartSession()
defer mongoSession.EndSession(ctx)mgo 和 mongo driver 本质上都是一样的都维护了一个 session pool,每次获取 session 都是从这个 poll 里面拿,并且都有相应的方法可以设置 session pool size
c u r d
mgo
MgoModel struct {
Id bmgo.ObjectId`bson:"_id"`
Name string `bson:"name"`
}
// s = session
collection := s.DB(db).C(collectionName)
var err error
// find all
findMgoModel := []*model.MgoModel{}
err = collection.Find(collection, bson.M{}).All(&findMgoModel)
// find one
findOneMgoModel := &model.MgoModel{}
err = collection.Find(collection, bson.M{}).One(&findOneMgoModel)
//insert one
insertMgoModel := &model.MgoModel{}
err = collection.Insert(insertMgoModel)
//insert many
insertManyMgoModel := []*model.MgoModel{}
err = collection.Insert(insertManyMgoModel...)
// update by id
err := collection.UpdateId(id, bson.M{"$set":bson.m{"name":"update name"}})
// replace by id
updateIdReplaceMgoModel := &model.MgoModel{}
err := collection.UpdateId(id, updateIdReplaceMgoModel)
// remove by id
info, err := collection.RemoveId(id)
// remove by query
info, err := collection.RemoveAll(selector)mongo driver
MongoModel struct {
Id primitive.ObjectID `bson:"_id"`
Name string `bson:"name"`
}
// s = session
ctx := context.TODO()
collection := s.Client().Database(db).Collection(collectionName)
// find all
findMongoModel := []*model.MongoModel{}
cur , err := collection.Find(ctx, bson.M{}, options.Find())
err = cur.All(s.c, &findMongoModel)
// find one
findOneMongoModel := &model.MongoModel{}
err = collection.FindOne(ctx, bson.M{"_id": id}).Decode(findOneMongoModel)
// insert one
insertMongoModel := &model.MongoModel{}
insertOneResult, err := collection.InsertOne(ctx, insertMongoModel, options.InsertOne())
// insert many
insertManyMongoModel := []interface{}{
&MongoModel{Id: primitive.NewObjectID(), Name: "mongoInsertMany"},
&MongoModel{Id: primitive.NewObjectID(), Name: "mongoInsertMany"},
}
insertManyResult, err := collection.InsertMany(ctx, insertManyMongoModel, options.InsertMany())
// update by id
update := bson.M{"$set":bson.m{"name":"update name"}}
updateResult , err := collection.UpdateOne(ctx, bson.D{{"_id", id}}, update, options.Update())
// replace by id
replaceOneMongoModel := &model.MongoModel{}
replaceResult , err := collection.ReplaceOne(ctx, bson.D{{"_id", id}}, replaceOneMongoModel, options.Replace())
// remove by id
deleteResult, error := collection.DeleteOne(ctx, bson.M{"_id": id}, options.Delete())
// remove by query
deleteManyResult, err := collection.DeleteMany(ctx, bson.M{}, options.Delete())区别
参数
mongoDriver 需要传一个 context 作为参数:
mongoDriver 会根据 context 来判断是否开启事务, 当一个 session 开启事务,调用 mongo.NewSessionContext(ctx, s.Session) 创建一个新的 context. 传递这个新的 content 进行事务操作。
mongoDriver 需要传一个 option 作为参数:
option 定义在包"go.mongodb.org/mongo-driver/mongo/options" 下面,如:
options.InsertOne(),options.Update(). 都有相应的选项可以设置。
返回值:
在进行curd 操作的时候 mongo driver 都会返回一个result,
比如: InsertManyResult,UpdateResult,DeleteResult... 等等. 而这些result 的内容,
就是你直接运行 mongo 语句 所返回的值。
如 直接运行:
db.test.insertOne({"name":"222"})控制台输出:
{
"acknowledged" : true,
"insertedId" : ObjectId("605235efa395df48206e17d6")
}
InsertOneResult 的值 也是这个结构。
函数类型
mongo driver 函数类型完全按照 mongo 的官方文档来,有很多比如:InsertOne,InsertMany, UpdateOne , ReplaceOne, FindOneAndUpdate,FindOneAndReplace ...等等。mgo 就没有相关的实现, 只有比较大条的:Insert, Update, Find ...
小坑:mgo 的Update 方法 既可以 update 如 bson.M{"$set":bson.M{"name":"111"}} , 也可以丢一个文档进去直接 replace. 但是 mongo driver 不行,update 和 replace 是分开的。
聚合
用法是一样的只是名字不一样且md返回游标。
md使用:
cursor, err := c.Aggregate(ctx, []bson.M{})mg使用:
pipe := c.Pipe([]bson.M{
project,
unwind,
group,
}) 事务
需要使用 replica 才能开启事务。
Because transaction numbers are only allowed on a replica set member or mongos.So you need to install replica set locally*
参考: http://thecodebarbarian.com/i...
有两种开启方式:
1.
ctx := context.TODO()
// 开启事务
err := session.StartTransaction()
// 注意: 想要进行事务的操作,必须传递这个sCtx,否则不包含在事务内.
sCtx = mongo.NewSessionContext(ctx, session)
collection := session.Client().Database(db).Collection(collectionName)
tmInsertOne := &model.TestModel{}
// 必须要用 sCtx
insertOneResult, err := collection.InsertOne(sCtx, tmInsertOne, options.InsertOne())
if err != nil {
// 出现err 回滚事务
session.AbortTransaction(ctx)
}
// 提交事务
session.CommitTransaction(ctx)
2.
ctx := context.TODO()
collection := session.Client().Database(db).Collection(collectionName)
err = mongo.WithSession(ctx, sess,
func(sessCtx mongo.SessionContext) error {
insertOneResult, err := collection.InsertOne(sCtx, tmInsertOne, options.InsertOne())
if err != nil {
return err
}
}) 用第一种方式需要自己手动开启, 回滚或提交事。第二种方式WithSession会自动帮你开启事务,出现 error 会自动AbortTransaction, 成功之后CommitTransaction. 适用于不同的场景。
register codec
mgo
不用注册, 实现 GetBSON() (interface{}, error) & SetBSON(raw bson.RawValue) error 两个接口 即可。
mongo driver
实现 EncodeValue(ectx bsoncodec.EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error & DecodeValue(ectx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error 接口。 在 mongo.Connect(ctx, clientOptions) , 把注册信息 在connect db 的时候写在clientOptions 里面。
举个例子
注册 string 类型的 _id
在代码我们定义自己的主键 id , 并且实现 EncodeValue 和 DecodeValue两个接口.( mg 是实现 GetBson 和 SetBson 这两个接口)
type Id string
func (e *Id) EncodeValue(ectx bsoncodec.EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error {
return IdEncodeObjectId(ectx, vw, val)
}
func (e *Id) DecodeValue(ectx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
return ObjectIdDecodeId(ectx, vr, val)
}
var IdEncodeObjectId = func(ectx bsoncodec.EncodeContext, vw bsonrw.ValueWriter, val reflect.Value) error {
if val.Type() != ToId {
return bsoncodec.ValueDecoderError{Name: "IdEncodeValue", Types: []reflect.Type{ToId}, Received: val}
}
//if val.String() == "" {
//return vw.WriteObjectID(primitive.NewObjectID())
//}
objectId, err := primitive.ObjectIDFromHex(val.String())
if err != nil {
return err
}
return vw.WriteObjectID(objectId)
}
var ObjectIdDecodeId = func(ectx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
if !val.CanSet() || val.Type() != ToId {
return bsoncodec.ValueDecoderError{Name: "IdDecodeValue", Types: []reflect.Type{ToId}, Received: val}
}
var id string
switch vrType := vr.Type(); vrType {
case bsontype.ObjectID:
objectId, err := vr.ReadObjectID()
if err != nil {
return err
}
id = objectId.Hex()
case bsontype.String:
str, err := vr.ReadString()
if err != nil {
return err
}
if len(str) != 12 {
return fmt.Errorf("an ObjectID string must be exactly 12 bytes long (got %v)", len(str))
}
id = str
case bsontype.Null:
if err := vr.ReadNull(); err != nil {
return err
}
case bsontype.Undefined:
if err := vr.ReadUndefined(); err != nil {
return err
}
default:
return fmt.Errorf("cannot decode %v into an ObjectID", vrType)
}
val.SetString(id)
return nil
}
然后在 connect时候注册
registry := bson.NewRegistryBuilder()
id := m.Id("")
registry.RegisterCodec(reflect.TypeOf(Id("")), &id)
clientOptions := options.Client().SetRegistry(registry().Build())
mongo.Connect(ctx, clientOptions)这样在关于 Id 操作的时候,我们代码自定义类型 Id 会Encode成 md 的ObjectId 即 primitive.ObjectID{}, mongo ObjectId 会 Decode 成我们的string 类型的id.我们结构可以这么定义
type TestModel struct {
Id Id `bson:"_id,omitempty"`
}我遇到的一些问题和解决的办法
mongo-go-driver “server selection error”
问题链接: https://stackoverflow.com/que...
md 发现集群的方式和mgo不同,md 通过连接语句 mongdbUrl 找到设置的集群主机,然后获取rs.config的子机的host来访问子机,所以要确保 server 可以访问rs.confi配置的子机host。 而 mgo 直接通过mongdbUrl 来找集群。
对replica 不太了解的可以看这个 replica-set
大坑 !!!!!!!!
mgo 和 mongo_driver 对空值的处理不一样.
假设有如此结构:
type test struct {
Array []string `bson:"array"`
M map[string]string `bson:"m"`
}分别用mgo 和 md 往db 插入这个结构的空值: t := &test{}.
mgo:
{
"_id" : ObjectId("5f4c673db1797c4d55cad549"),
"array" : [],
"m" : {}
}
mongo_driver:
{
"_id" : ObjectId("5f4c673db1797c4d55cad549"),
"array" : null,
"m" : null
}
这种差异是很坑的, 比如使用set语句:
db.test.updateMany({},{"$set": "m.A":"2222"})
更新 mgo 插入的数据没有问题,但如果是mongo_driver 插入的数据会出现err,因为 md 插入的数据字段 m 为null, 不能set 语句不能是 null.A
mgo 和 mongo_driver decode错误处理不一样.
比如 浮点数 decode 的时候,如果超出golang 精度限制, mgo 会 自动转换, mongo driver 会抛错。
举个例子:
假设 db 有个字段的值为 2.111111111111, golang 定义字段 F float32 bson:"f", 那么在decode 的时候, 因为字段的值超出golang float32 的精度, mgo: 会自动转成 2.1111112, mongo driver 则会报错: FloatDecodeValue can only convert float64 to float32 when truncation is allowed
针对这种情况我们可以按需求加上 truncate tag, 如: F float32 bson:"f,truncate"

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论