Elasticsearch倒排索引结构及文档写入流程
文章目录
elasticsearch版本7.3.0
倒排索引建立过程中,分词时会进行一个操作,normalization(时态转换,同义词转换,大小写转换)可以提升recall召回率,会将近义词映射,如small->little这种
倒排索引结构:
- 包含这个关键词的document list
- 包含这个关键词的所有document的数量:IDF(inverse document frequency)
- 这个关键词在每个document中出现的次数:TF(term frequency)
- 这个关键词在这个document中的次序
- 每个document的长度:length norm
- 包含这个关键词的所有document的平均长度
倒排索引不可变的好处:
- 不需要锁,提升并发能力,避免锁的问题
- 数据不变,一直保存在os cache中,只要cache内存足够
- filter cache一直驻留在内存,因为数据不变
- 可以压缩,节省cpu和io开销
倒排索引不可变的坏处:
- 每次修改都要重新构建整个索引
数据写入es步骤:
- 数据写入buffer缓冲和translog日志文件。
- 默认每隔一秒钟,buffer中的数据被写入新的segment file,并进入os cache,此时segment被打开并供search使用。
- buffer被清空。
- 重复1~3,新的segment不断添加,buffer不断被清空,而translog中的数据不断累加。
- 当translog长度达到一定程度的时候,commit操作发生。
5.1 buffer中的所有数据写入一个新的segment,并写入os cache,打开供使用
5.2 buffer被清空
5.3 一个commit ponit被写入磁盘,标明了所有的index segment
5.4 filesystem cache中的所有index segment file缓存数据,被fsync强行刷到磁盘上
5.5 现有的translog被清空,创建一个新的translog
commit point:
每次commit point时,会有一个.del文件,标记了哪些segment中的哪些document被标记为deleted了搜索的时候,会依次查询所有的segment,从旧的到新的,比如被修改过的document,在旧的segment中,会标记为deleted,在新的segment中会有其新的数据。
segment merge:
每秒一个segment file,文件过多,而且每次search都要搜索所有的segment,很耗时。默认会在后台执行segment merge操作,在merge的时候,被标记为deleted的document也会被彻底物理删除。
执行流程:
- 选择一些有相似大小的segment,merge成一个大的segment
- 将新的segment flush到磁盘上去
- 写一个新的commit point,包括了新的segment,并且排除旧的那些segment
- 将新的segment打开供搜索
- 将旧的segment删除
手动执行:POST /index/_forcemerge?max_num_segments=1
flush:
fsync+清空translog,就是flush,默认每隔30分钟flush一次,或者当translog过大的时候,也会flush。
手动执行:POST /index/_flush
refresh:
segment产生的时间,默认1s
setting设置:refresh_interval: 10s
手动执行:POST /index/_refresh
translog:
translog默认每隔5秒被fsync一次到磁盘上。在一次增删改操作之后,当fsync在primary shard和replica shard都成功之后,那次增删改操作才会成功。
这种在一次增删改时强行fsync translog可能会导致部分操作比较耗时,也可以允许部分数据丢失,设置异步fsync translog。
PUT /index/_settings
{
"index.translog.durability": "async",
"index.translog.sync_interval": "5s"
}
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论