Kibana Monitor模块 出现IllegalArgumentException错误

心血来潮进入uat环境的kibana的monitor模块准备看一下节点es信息,查看cpu情况,但是界面打不开出现如下错误:java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [event.dataset] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.
查看dev及线上环境都是正常。

首先根据报错信息寻找索引中的event.dataset字段

初步判断是可能有条脏数据进入导致多了这个字段导致的,删除数据即可,但是找了七天的.monitoring-es-7-* 的映射,没发现有此字段,包括kibana的监控索引也没有,然后就完全懵逼了。

然后检查es日志,发现线索,日志如下

image.png
红框为报错信息,但是绿框才是问题,最后果然在filebeat-redis找到event.dataset字段,最终解决

总结

此前为了方便并测试读取redis日志,直接在redis部署了filebeat启用了Redis module,在logstash指定索引,但是只是测试所以未创建模板。
Kibana Monitor模块进入后会.monitoring-es-7- 和.monitoring-kibana-7- 索引并查询数据,同时也会查询filebeat数据,没有还好,但是有而且完全是乱入的filebeat* 数据,才导致监测模块不可用

异常解释

Fielddata is disabled on text fields by default. Set fielddata=true on [event.dataset] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.
这个异常比较多见,我的理解为:
es默认的字符串会映射为text类型,同时也会生成个.keyword字段为keyword类型,而text类型默认是不能做聚合查询及排序操作,如果想这样做可以将字段中的fielddata设置为true,然后会将text类型分词以便通过倒排索引加载到内存实现聚合排序等功能,但是这会消耗大量的内存空间,所以建议将对应字段映射为keyword类型,或者直接用字段.keyword那个字段去做聚合排序那些操作

评论

暂无评论