日志在IT行业中被广泛使用，日志的异常检测对于识别系统的运行状态至关重要。解决这一问题的传统方法需要复杂的基于规则的有监督方法和大量的人工时间成本。

​作者介绍GavinZhu，携程软件技术专家，负责监控系统运维开发、ES系统运维及Clickhouse技术应用推广及运维工作。ElasticSearch是一种基于Lucene的分布式全文搜索引擎，携程用ES处理日志，目前服务器规模500，日均日志接入量大约200TB。随着日志量不断增加，一些问题逐渐暴露出来：一方面ES服务器越来越多，投入

一、logstash结合kafka收集系统日志和nginx日志架构图：!(https://oscimg.oschina.net/oscnet/2d28dece38ea896fdb974165c799ff8130a.png)环境准备：A主机：kibana、e

10.28rsync工具介绍10.29/10.30rsync常用选项10.31rsync通过ssh同步10.32/10.33rsync通过服务同步10.34linux系统日志10.35screen工具扩展1\.Linux日志文件总管logrotatehttp://linux.cn/art

在Kafka中一个分区日志其实就是一个备份日志，kafka利用多个相同备份日志来提高系统的可用性。这些备份日志其实就是所谓的副本。Kafka的副本具有leader副本和follower副本之分，leader副本为客户端提供读写请求，follower副本只是用于被动地从leader副本中同步数据，对外不提供读写服务。Kafka的所有节点所有副本假设都在

一.检查系统日志lastb命令检查系统错误登陆日志，统计IP重试次数二.检查系统用户1、cat/etc/passwd查看是否有异常的系统用户2、grep“0”/etc/passwd查看是否产生了新用户，UID和GID为0的用户3、lsl/etc/passwd查看passwd的修改时间，判断是否在不知的情况下添加用户4、查看

　　不管是什么日志文件，都是会越来越大的，大到一定程度就是个可怕的事情了，所以要及早的做处理，方法之一就是按时间段来存储，不过linux系统提供了Logrotate的日志管理工具，很好用，不用写计划任务脚本了，不过弊端是转储后的日志文件放入指定的目录，必须和当前日志文件再同一个系统，下面是摘录别人的。记录下以备不时之需。      Logrotate是L

!CentOSLogo(https://img2018.cnblogs.com/blog/1746090/201908/1746090201908162240176241239542384.png)学会查看日志文件是一件很有意义的事，因为在Linux系统中运行的程序通常会把一些系统消息和错误消息写入对应的日志中，若是一旦出现问题，我们就可以

1.背景简述在技术运维过程中，很难从某服务庞杂的日志中，单独找寻出某次API调用的全部日志。为提高排查问题的效率，在多个系统及应用内根据统一的TraceId查找同一次请求链路上的日志，根据日志快速定位问题，同时需对业务代码无侵入，特别是在高频请求下，也可以