Elasticsearch 增删改
文章目录
一部分的原理及restful api操作示例,包括新增,删除,修改和批量操作。es版本为7.3.0。es6.5之后淡化了type,建议type都使用_doc类型
增删改操作的机制:
(当number_of_replicas>1时才生效)
发送任何一个增删改操作的时候,如POST /index/_doc/id,都可以带上一个consistency参数,指明对于写一致性的规则,三个选项one,all,quorum(default)
one:这个写操作,只要有一个primary shard是active活跃可用的,就可以执行
all:这个写操作,必须所有的primary shard和replica shard都是活跃的,才可以行
quorum:默认的值,要求所有的shard中,必须大部分的shard都是活跃的,可用的,才可以执行。大于((primary + number_of_replicas) / 2) + 1,quorum不齐全时,wait,默认1分钟,也可以指定timeout参数,timeout=30 单位s
新增:
POST /{index}/_doc/{id}
{
"{fieldname}":"{fieldvalue}"
}
可以指定id,也可以不指定,es会默认生成_id字段的值,es创建的id,长度为20个字符,base64编码,支持分布式。
- document的全量替换:
新增数据时id不存在就是创建,存在就是全量替换,es会将老的document标记为deleted,然后新增给定的一个document
- document的强制创建:
POST /{index}/_doc/{id}?op_type=create
POST /{index}/_doc/{id}/_create
如果id已经存在会创建失败put和post都可以
删除:
删除文档
DELETE /{index}/_doc/{id}
不会物理删除,只会将其标记为deleted,当数据越来越多的时候,在后台自动删除
delete by query
by query这种方式,数据老化方式性能慢,而且执行后,底层并不一定会释放磁盘空间,后期 merge 也会有很大的性能损耗,对正常业务影响巨大。
POST /index/_delete_by_query
{
"query": {
"bool": {
"must": [
{
"match": {
"fieldname": "fieldvalue"
}
},
{
"prefix": {
"fieldname1": {
"value": "value1"
}
}
}
]
}
}
}
删除索引:
支持通配符,如:DELETE /{inde*}DELETE /_all
删除所有索引需要修改配置文件elasticsearch.ymlaction.destructive_requires_name: true
修改:
新增时id存在时会修改全部,partial update(修改个别字段)案例如下:
POST /{index}/_update/{id}
{
"doc": {
"{fieldname}": "{fieldvalue}"
}
}
必须是post请求,底层是将_source字段取出,然后修改对应字段,最后做全量替换,同时也会执行乐观锁的并发控制,索引的mapping如果没有开启_source,不能执行此操作。
乐观锁的并发控制
-
基于version修改
PUT /{index}/_doc/{id}?version={2}&version_type=external只有当你提供的version比es中的_version大的时候,才能完成修改
- 内置脚本修改
POST /{index}/_update/{id}
{
"script" : "ctx._source.{fieldname}+={value}"
}
字符串类型也可以调用内置的方法
retry_on_conflict:
(可选,整数)指定发生冲突时应重试操作多少次。默认值:0
直接在查询参数添加?retry_on_conflict=0
upsert:
如果文档还不存在,upsert元素的内容将作为新文档插入。如果文档存在,则执行脚本。
POST index/_update/id
{
"script": {
"source": "ctx._source.fieldname += params.count",
"lang": "painless",
"params": {
"count": 2
}
},
"upsert": {
"fieldname": 1
}
}
update by query:
POST /index/_update_by_query
{
"query": {
"bool": {
"must": [
{
"match": {
"fieldname": "fieldvalue"
}
},
{
"prefix": {
"fieldname1": {
"value": "value1"
}
}
}
]
}
}
}
批量操作,bulk API:
POST /{index}/_bulk
{ "delete": { "_id": "{id1}" }}
{ "create": {"_id": "{id2}" }}
{ "{fieldname1}": "{fieldvalue1}" }
{ "index": { "_id": "{id3}" }}
{ "{fieldname2}": "{fieldvalue2}"}
{ "update": { "_id": "{id4}"} }
{ "doc" : {"{fieldname3}": "{fieldvalue3}"} }
可以执行的操作:
delete:删除一个文档,只要1个json串就可以了
create:PUT /index/type/id/_create,强制创建
index:普通的put操作,可以是创建文档,也可以是全量替换文档
update:执行的partial update操作
bulk api对json的语法,有严格的要求,每个json串不能换行,只能放一行,同时一个json串和一个json串之间,必须有一个换行,否则会json解析异常,会返回每一个操作的结果。任何一个操作失败不影响其他操作,会在对应返回结果中返回异常日志
批量操作原理:
bulk中的每个操作都可能要转发到不同的node的shard去执行,如果采用比较良好的json数组格式,
整个可读性非常好,但是es拿到那种标准格式的json串以后,需要将json数组解析为JSONArray对象,
这个时候,整个数据就会在内存中出现一份一模一样的拷贝,一份数据是json文本,一份数据是JSONArray对象,
然后解析json数组里的每个json,对每个请求中的document进行路由接着为路由到同一个shard上的多个请求,
创建一个请求数组,最后将这个请求数组序列化并发送到对应的节点上。耗费更多内存,更多的jvm gc开销
现在的格式:直接按照换行符切割json,对每两个一组的json,读取meta,进行document路由,直接将对应的json发送到node上去
bulk size建议:
bulk请求会加载到内存,太大的话,性能反而会下降,因此需要尝试一个最佳的bulk size。一般从1000~5000条数据开始,尝试逐渐增加。大小的话,最好是在5~15MB之间。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论