Elasticsearch倒排索引结构及文档写入流程

elasticsearch版本7.3.0
倒排索引建立过程中,分词时会进行一个操作,normalization(时态转换,同义词转换,大小写转换)可以提升recall召回率,会将近义词映射,如small->little这种

倒排索引结构:

  • 包含这个关键词的document list
  • 包含这个关键词的所有document的数量:IDF(inverse document frequency)
  • 这个关键词在每个document中出现的次数:TF(term frequency)
  • 这个关键词在这个document中的次序
  • 每个document的长度:length norm
  • 包含这个关键词的所有document的平均长度

倒排索引不可变的好处:

  • 不需要锁,提升并发能力,避免锁的问题
  • 数据不变,一直保存在os cache中,只要cache内存足够
  • filter cache一直驻留在内存,因为数据不变
  • 可以压缩,节省cpu和io开销

倒排索引不可变的坏处:

  • 每次修改都要重新构建整个索引

数据写入es步骤:

  1. 数据写入buffer缓冲和translog日志文件。
  2. 默认每隔一秒钟,buffer中的数据被写入新的segment file,并进入os cache,此时segment被打开并供search使用。
  3. buffer被清空。
  4. 重复1~3,新的segment不断添加,buffer不断被清空,而translog中的数据不断累加。
  5. 当translog长度达到一定程度的时候,commit操作发生。
    5.1 buffer中的所有数据写入一个新的segment,并写入os cache,打开供使用
    5.2 buffer被清空
    5.3 一个commit ponit被写入磁盘,标明了所有的index segment
    5.4 filesystem cache中的所有index segment file缓存数据,被fsync强行刷到磁盘上
    5.5 现有的translog被清空,创建一个新的translog

commit point:

每次commit point时,会有一个.del文件,标记了哪些segment中的哪些document被标记为deleted了搜索的时候,会依次查询所有的segment,从旧的到新的,比如被修改过的document,在旧的segment中,会标记为deleted,在新的segment中会有其新的数据。

segment merge:

每秒一个segment file,文件过多,而且每次search都要搜索所有的segment,很耗时。默认会在后台执行segment merge操作,在merge的时候,被标记为deleted的document也会被彻底物理删除。
执行流程:

  1. 选择一些有相似大小的segment,merge成一个大的segment
  2. 将新的segment flush到磁盘上去
  3. 写一个新的commit point,包括了新的segment,并且排除旧的那些segment
  4. 将新的segment打开供搜索
  5. 将旧的segment删除

手动执行:
POST /index/_forcemerge?max_num_segments=1

flush:

fsync+清空translog,就是flush,默认每隔30分钟flush一次,或者当translog过大的时候,也会flush。
手动执行:
POST /index/_flush

refresh:

segment产生的时间,默认1s
setting设置:
refresh_interval: 10s
手动执行:
POST /index/_refresh

translog:

translog默认每隔5秒被fsync一次到磁盘上。在一次增删改操作之后,当fsync在primary shard和replica shard都成功之后,那次增删改操作才会成功。
这种在一次增删改时强行fsync translog可能会导致部分操作比较耗时,也可以允许部分数据丢失,设置异步fsync translog。

PUT /index/_settings
{
    "index.translog.durability": "async",
    "index.translog.sync_interval": "5s"
}

评论

暂无评论