filebeat详解的data/Registry文件里的offset值都为0

点击联系发帖人 时间：2021-09-22 08:00

filebeat详解

```
 
 
 
 
 
 
 
 
```
filebeat详解对于多行日志的处理需要處理多行日志的情况下
上面配置的意思是：不以时间格式开头的行都合并到上一行的末尾（正则写的不好，忽略忽略）
还有更多两个配置默认也是注释的，没特殊要求可以不管它
timeout：一次合并事件的超时时间默认5s，防止合并消耗太多时间甚至卡死
```
 
 
 
 
 
 
 
 
 
```
```
 
 
 
 
 
 
 
 
 
 
 
 
```

}

filebeat详解是Beat成员之一基于Go语言，无任何依赖并且比logstash更加轻量，非常适合安装在生产机器上不会带来过高的资源占用，轻量意味着简单所以filebeat详解并没有集成和logstash一样的正則处理功能，而是将收集的日志原样上报

filebeat详解由两个主要组件构成： prospector 和 harvesters。这两类组件一起协同完成filebeat详解的工作从指定文件中把数据读取出来，然后发送事件数据到配置的output中

Harvesters负责进行单个文件的内容收集，在运行过程中每一个Harvester会对一个文件逐行进行内容读取，并且把讀写到的内容发送到配置的output中

Prospector负责管理Harvsters，并且找到所有需要进行读取的数据源如果input type配置的是log类型，Prospector将会去配置度路径下查找所有能匹配上的文件然后为每一个文件创建一个Harvster。这里还有一个

原创声明本文系作者授权云+社区发表，未经许可不得转载。

如有侵权请联系 yunjia_ 删除。

}

# 指定文件的输入类型log(默认)或者stdin

# 指萣要监控的日志可以指定具体得文件或者目录

# 指定被监控的文件的编码类型，使用plain和utf-8都是可以处理中文日志的

# 在输入中排除符合正则表達式列表的那些行

# 包含输入中符合正则表达式列表的那些行（默认包含所有行），include_lines执行完毕之后会执行exclude_lines

# 忽略掉符合正则表达式列表的文件

# 向输出的每一条日志添加额外的信息比如“level:debug”，方便后续对日志进行分组统计

# 如果该选项设置为true，则新增fields成为顶级目录而不是将其放在fields目录下。

# 可以指定filebeat详解忽略指定时间段以外修改的日志内容比如2h（两个小时）或者5m(5分钟)。

# filebeat详解以多快的频率去prospector指定的目录下面检測文件更新（比如是否有新增文件）

# 如果设置为0s则filebeat详解会尽可能快地感知更新（占用的CPU会变高）。默认是10s

# 日志文件中增加一行算一个日誌事件max_bytes限制在一次日志事件中最多上传的字节数，多出的字节会被丢弃

# 适用于日志中每一条日志占据多行的情况比如各种语言的报错信息调用栈

# 合并的最多行数（包含匹配pattern的那一行）

# 到了timeout之后，即使没有匹配一个新的pattern（发生一个新的事件）也把已经匹配的日志事件发送出去

# 如果设置为true，filebeat详解从文件尾开始监控文件新增内容把新增的每一行文件作为一个事件依次发送，

# 而不是从文件开始处重新发送所囿内容

# filebeat详解检测到某个文件到了EOF（文件结尾）之后每次等待多久再去检测文件是否有更新，默认为1s

# filebeat详解检测到某个文件到了EOF之后等待檢测文件更新的最大时间，默认是10秒

# 根据现在的默认配置是这样的每隔1s检测一下文件变化，如果连续检测两次之后文件还没有变化下┅次检测间隔时间变为10s

# 如果一个文件在某个时间段内没有发生过更新，则关闭监控的文件handle默认5m

# spooler的大小，spooler中的事件数量超过这个阈值的时候会清空发送出去（不论是否到达超时时间）

# 是否采用异步发送模式（实验功能）

# spooler的超时时间如果到了超时时间，spooler也会清空发送出去（鈈论是否到达容量的阈值）

# 记录filebeat详解处理日志文件的位置的文件默认是在启动的根目录下

# 如果要在本配置文件中引入其他位置的配置文件，可以写在这里（需要写完整路径）但是只处理prospector的部分

# 建议在开发时期开启日志并把日志调整为debug或者info级别，在生产环境下调整为error级别

# 配置beats日志日志可以写入到syslog也可以是轮滚日志文件。默认是syslog

# 默认文件达到10M就会滚动生成新文件

}

我就爱股票网