位置: IT常识 - 正文

Logstash 入门实战(4)--filter plugin 介绍(logstash gsub)

编辑：rootadmin
本文主要介绍 Logstash 的一些常用过滤插件；相关的环境及软件信息如下：CentOS 7.9、Logstash 8.2.2。 1、grok 过滤插件 grok 是一种将行与正则表达式匹配，将行的特定部分映射到专用字段中以及根据此映射执行操作的方法。Logstash 中内置了超过 200 种 L ...

推荐整理分享Logstash 入门实战(4)--filter plugin 介绍(logstash gsub)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:logstash好用不,logstash-plain.log,logstash ui,logstash用法,logstash.yml,logstash教程,logstash gsub,logstash gsub,内容如对您有帮助，希望把文章链接给更多的朋友！

本文主要介绍 Logstash 的一些常用过滤插件；相关的环境及软件信息如下：CentOS7.9、Logstash 8.2.2。

1、grok 过滤插件

grok 是一种将行与正则表达式匹配，将行的特定部分映射到专用字段中以及根据此映射执行操作的方法。Logstash 中内置了超过 200 种Logstash 模式，用于过滤单词、数字和日期等。 如果找不到所需的模式，可以自定义模式。 还有多个匹配模式的选项，可简化表达式的编写以捕获日志数据。

Logstash grok 过滤插件的基本语法格式：

%{PATTERN:FieldName}

grok 可以非结构化的数据转变为结构化数据，非常适用于各类系统日志；下面使用Grok 来处理 Nginx访问日志。

一行 Nginx 访问日志：

10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://10.49.196.11:8066/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"

配置 Logstash：

input { stdin { }}filter { grok { match => { "message" => "%{IP:ip} - %{USER:remoteUser} \[%{HTTPDATE:accessTimeStr}\] \"%{WORD:method} %{URIPATHPARAM:path} %{WORD:protocal}/%{NUMBER:version}\" %{INT:status} %{INT:bytes} \"%{DATA:referer}\" \"%{DATA:userAgent}\""} }}output { stdout { }}

运行 Logstash 后输入日志信息：

10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://10.49.196.11:8066/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"{ "method" => "GET", "host" => { "hostname" => "pxc2" }, "accessTimeStr" => "27/Sep/2022:10:16:15 +0800", "userAgent" => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36", "referer" => "http://10.49.196.11:8066/", "ip" => "10.49.196.1", "message" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\"", "@timestamp" => 2022-09-27T02:31:13.852428Z, "bytes" => "555", "remoteUser" => "-", "@version" => "1", "event" => { "original" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\"" }, "path" => "/favicon.ico", "status" => "404", "version" => "1.1", "protocal" => "HTTP"}

可以看到各字段信息都解析出来了。

各正则表达式定义的详细信息，可以参考https://github.com/logstash-plugins/logstash-patterns-core/tree/main/patterns，如：

IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?IPV4 (?<![0-9])(?:(?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5]))(?![0-9])IP (?:%{IPV6}|%{IPV4})2、dissect 过滤插件Logstash 入门实战(4)--filter plugin 介绍(logstash gsub)

基于分隔符原理解析数据，解决grok解析时消耗过多cpu资源的问题。使用分隔符将非结构化事件数据提取到字段中。 解剖过滤器不使用正则表达式，速度非常快。 但是，如果数据的结构因行而异，grok 过滤器更合适。dissect 的应用有一定的局限性：主要适用于每行格式相似且分隔符明确简单的场景。

dissect 语法比较简单，有一系列字段(field)和分隔符(delimiter)组成

%{}字段%{}之间是分隔符

使用 Dissect 处理 Nginx 访问日志：

input { stdin { }}filter { dissect { mapping => { "message" => '%{ip} - %{remoteUser} [%{accessTimeStr} %{+accessTimeStr}] "%{method} %{path} %{protocal}/%{version}" %{status} %{bytes} "%{referer}" "%{userAgent}"'} }}output { stdout { }}

结果如下，与使用 grok 处理 Nginx 访问日志的结果一致：

10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://10.49.196.11:8066/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"{ "path" => "/favicon.ico", "status" => "404", "protocal" => "HTTP", "host" => { "hostname" => "pxc2" }, "bytes" => "555", "userAgent" => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36", "@version" => "1", "event" => { "original" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\"" }, "referer" => "http://10.49.196.11:8066/", "accessTimeStr" => "27/Sep/2022:10:16:15 +0800", "message" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\"", "method" => "GET", "version" => "1.1", "@timestamp" => 2022-09-27T09:28:36.042881Z, "remoteUser" => "-", "ip" => "10.49.196.1"}

dissect 除了字段外面的字符串定位功能以外，还通过几个特殊符号来处理字段提取的规则：

%{+key}+代表该匹配值追加到 key 字段下%{ts} %{+ts} %{+ts}Apr 26 12:20:02{ "ts":"Apr 26 12:20:02"}%{+key/2}后面的数字代表拼接的次序%{+order/2} %{+order/3} %{+order/1} %{+order/4}two three one go{ "order": "one two three go"}%{} 表示一个空的跳过字段%{a} %{} %{b}1 2 3{"a":"1","b":"3"}%{?key} ?表示，这块只是一个占位，并不会实际生成捕获字段存到事件里面。%{?key} %{&key}当同样捕获名称都是string，但是一个?一个&的时候，表示这是一个键值对。%{?key1}=%{&key1}&%{?key2}=%{&key2}a=1&b=2{"a":"1","b":"2"}%{key->}，表示忽略它右边的填充，否则右边的多余填充将拆分到下一个字段中。%{a} %{b->} %{c}1 2 3{"a":"1","b":"2","c":"3"}#去除->后，会把多余的空格匹配到 c 中%{a} %{b} %{c}1 2 3{"a":"1","b":"2","c":" 3"}3、date 过滤插件

date 过滤插件可以把字符串的日期字段转为日期类型。

input { stdin { codec => "json" }}filter { date { match => ["accessTimeStr", "dd/MMM/yyyy:HH:mm:ss Z"] target => "accessTime" }}output { stdout { }}

上述配置把 accessTimeStr 字段的值转成日期类型，并写入accessTime 字段(默认为 @timestamp 字段)。运行 Logstash：

{"accessTimeStr": "27/Sep/2022:10:16:15 +0800"}{ "event" => { "original" => "{\"accessTimeStr\": \"27/Sep/2022:10:16:15 +0800\"}\n" }, "host" => { "hostname" => "pxc2" }, "@timestamp" => 2022-09-27T07:21:00.181981Z, "accessTime" => 2022-09-27T02:16:15Z, "@version" => "1", "accessTimeStr" => "27/Sep/2022:10:16:15 +0800"}4、mutate 过滤插件

mutate 插件可以对字段进行重命名、删除、替换、更新等操作：

convert 类型转换gsub 字符串替换split 字符串分割join 数组合转为字符串merge 数组合并为数组rename 字段重命名update 字段内容更新，如果字段不存在，则不处理replace 字段内容替换，如果字段不存在，则新增字段input { stdin { codec => "json" }}filter { mutate { convert => {"a" => "integer"} gsub => ["b", "_", "|"] #"_"替换为"|" split => {"c" => ","} join => {"d" => ","} merge => {"e1" => "e2"} #数组e2的元素合并到e1数组中 rename => {"f" => "ff"} update => {"g" => "new value"} replace => {"h" => "new value"} }}output { stdout { }}

启动 Logstash 并在控制输入测试数据：

{"a":"1","b":"A_B_C","c":"X,Y,Z","d":[1,2,3],"e1":[1,2,3],"e2":[4,5,6],"f":"ABC","g":"123"}{ "d" => "1,2,3", "e1" => [ [0] 1, [1] 2, [2] 3, [3] 4, [4] 5, [5] 6 ], "e2" => [ [0] 4, [1] 5, [2] 6 ], "c" => [ [0] "X", [1] "Y", [2] "Z" ], "event" => { "original" => "{\"a\":\"1\",\"b\":\"A_B_C\",\"c\":\"X,Y,Z\",\"d\":[1,2,3],\"e1\":[1,2,3],\"e2\":[4,5,6],\"f\":\"ABC\",\"g\":\"123\"}\n" }, "ff" => "ABC", "@timestamp" => 2022-09-28T02:45:26.305729Z, "b" => "A|B|C", "@version" => "1", "host" => { "hostname" => "pxc2" }, "h" => "new value", "g" => "new value", "a" => 1}5、json 过滤插件

json 插件可以把内容为 json 字符串的字段转换为 json 格式数据。

input { stdin { }}filter { json { source => "message" target => "result" }}output { stdout { }}

启动 Logstash 并在控制输入测试数据：

{"a":"1","b":"2"}{ "message" => "{\"a\":\"1\",\"b\":\"2\"}", "event" => { "original" => "{\"a\":\"1\",\"b\":\"2\"}" }, "@version" => "1", "@timestamp" => 2022-09-28T03:20:35.827102Z, "result" => { "b" => "2", "a" => "1" }, "host" => { "hostname" => "pxc2" }}6、ruby 过滤插件

ruby 插件时最灵活的插件，可以使用 ruby 来随心所欲的修改 Logstash Event 对象。

input { stdin { codec = "json" }}filter { ruby { code => 'a = event.get("a");event.set("a", a + 123")' }}output { stdout { }}

启动 Logstash 并在控制输入测试数据：

{"a":"1","b":"2"}{ "host" => { "hostname" => "pxc2" }, "b" => "2", "a" => "1abc", "@version" => "1", "event" => { "original" => "{\"a\":\"1\",\"b\":\"2\"}\n" }, "@timestamp" => 2022-09-28T06:01:35.180939Z}

本文中介绍的插件只是 Logstash 输入插件的很小的一部分，可查看Logstash 官方文档了解更多信息。

本文链接地址:https://www.jiuchutong.com/zhishi/312918.html 转载请保留说明！

上一篇：DedeCMS安装完成 Deprecated: Function ereg_replace(dedecms下载)

下一篇：织梦如何修改中英文模板的当前位置(织梦如何使用)

  • 网络营销推广中的七大误区你占了几个？(网络营销推广中什么是核心词)

    网络营销推广中的七大误区你占了几个？(网络营销推广中什么是核心词)

  • iqooz5x后盖材质

    iqooz5x后盖材质

  • 微信怎么删除上次分组可见的人(微信怎么删除上一张头像)

    微信怎么删除上次分组可见的人(微信怎么删除上一张头像)

  • qq怎么退出体验模式(手机qq体验中心)

    qq怎么退出体验模式(手机qq体验中心)

  • 网易直播会有回放吗(网易直播能赚钱吗)

    网易直播会有回放吗(网易直播能赚钱吗)

  • 拼多多如何不让别人看见自己买的东西(拼多多如何不让别人看见自己订单)

    拼多多如何不让别人看见自己买的东西(拼多多如何不让别人看见自己订单)

  • 闲鱼怎么退出登录(闲鱼app怎么退出登录)

    闲鱼怎么退出登录(闲鱼app怎么退出登录)

  • 邮件撤回失败说明什么(邮件显示撤回失败)

    邮件撤回失败说明什么(邮件显示撤回失败)

  • 微信拉黑删除后对方还能申请好友吗(微信拉黑删除后怎么恢复聊天记录)

    微信拉黑删除后对方还能申请好友吗(微信拉黑删除后怎么恢复聊天记录)

  • 批量解除关系是什么意思(如何批量解除合并单元格)

    批量解除关系是什么意思(如何批量解除合并单元格)

  • qq群不小心解散了该怎么恢复(qq群不小心解散了还能恢复吗)

    qq群不小心解散了该怎么恢复(qq群不小心解散了还能恢复吗)

  • oneplus8pro是什么牌子(oneplus8pro参数配置)

    oneplus8pro是什么牌子(oneplus8pro参数配置)

  • 我的电脑图标在哪里找(我的电脑图标在哪)

    我的电脑图标在哪里找(我的电脑图标在哪)

  • 美团的评价为什么不显示不出来(美团的评价为什么会被折叠呢)

    美团的评价为什么不显示不出来(美团的评价为什么会被折叠呢)

  • gprs是几g网络(gprs是5g吗)

    gprs是几g网络(gprs是5g吗)

  • 高级程序设计语言有哪些(高级程序设计语言编写的程序)

    高级程序设计语言有哪些(高级程序设计语言编写的程序)

  • 钉钉注册了还是未激活(钉钉已经注册了但显示未激活什么意思)

    钉钉注册了还是未激活(钉钉已经注册了但显示未激活什么意思)

  • iphone为什么不能提前激活(iphone为什么不能创建id)

    iphone为什么不能提前激活(iphone为什么不能创建id)

  • 苹果11系统怎么激活(苹果11系统怎么更新不了到16)

    苹果11系统怎么激活(苹果11系统怎么更新不了到16)

  • 未发货退款可以拒绝吗(未发货退款可以取消吗)

    未发货退款可以拒绝吗(未发货退款可以取消吗)

  • 微信照片多久过期(微信照片一般多久过期)

    微信照片多久过期(微信照片一般多久过期)

  • 抖音定位的非堂是哪里(抖音定位的非堂是哪个城市)

    抖音定位的非堂是哪里(抖音定位的非堂是哪个城市)

  • 投屏太卡怎么办(投屏比较卡是什么原因)

    投屏太卡怎么办(投屏比较卡是什么原因)

  • cache是什么文件夹(cefcache是什么文件)

    cache是什么文件夹(cefcache是什么文件)

  • 微信怎样三人视频(怎样三人微信视频)

    微信怎样三人视频(怎样三人微信视频)

  • 放映幻灯片的快捷键(放映幻灯片的快捷键是以下哪个)

    放映幻灯片的快捷键(放映幻灯片的快捷键是以下哪个)

  • 在win7系统中为什么键盘大写键不能关闭？(在windows七中)

    在win7系统中为什么键盘大写键不能关闭？(在windows七中)

  • 免税收入不征税收入有哪些
  • 要约和承诺有法律效力吗
  • 库存商品转为固定资产说明
  • 出库入库结存表
  • 知识产权申报费用多少钱
  • 建筑企业简易计税异地预缴
  • 营改增 旅游服务
  • 存货 科目
  • 事业单位过节发东西
  • 行政事业单位会计的工作内容
  • 营改增之后税务是否可以征收入库？
  • 海关补料
  • 民办教育培训机构申请条件
  • 进口税退税
  • 进项发票抵扣范围
  • 企业房产税怎么申报缴纳流程
  • 公司 期货投资
  • 倒发票怎么倒出钱来
  • 贸易型企业怎么做账
  • mac 双系统如何调整系统空间
  • 分期服务费是啥
  • 所得税以前年度亏损
  • linux桌面设置界面在哪
  • 月末增值税计算公式
  • win10 打开远程连接
  • 融资a轮之前
  • PHP:JDToGregorian()的用法_日历函数
  • 哈利法塔里面有什么
  • 劳务报酬所得包括哪些
  • php 二叉树
  • 错误解决方法
  • 餐饮企业原材料成本如何分析
  • 扶贫资金入股问题
  • sql server数字类型
  • 固定资产年限折旧方法
  • 工程结算如何快速审核
  • 单位出租厂房需交税吗
  • 钢管租赁行业会计账务处理
  • 哪些企业适用于企业会计制度
  • sql server single user
  • 商贸公司成本大吗
  • 产权出典是啥意思
  • 财政补助收入的账务处理
  • 资本公积形成的原因有哪些
  • 先收款后给发票合法吗
  • 进项抵扣和销项抵扣
  • 新成立的公司能干吗
  • 无形资产如何摊销公式
  • 家电销售范围包括哪些
  • 建筑行业会计怎么样,有前景吗
  • 销售返利是否需要交税
  • 一般纳税人支付房租账务处理
  • 个税 退手续费
  • 本年利润到年末还有余额吗
  • 建筑企业提供服务的机制保障
  • 投资款没有进入公司账户算投资款吗
  • 个体工商户如何给员工交五险一金
  • 财务人员需要填报的报表有哪些
  • mysql函数返回值类型
  • xp系统直接开机
  • 网站遇到错误号怎么办
  • 远程电脑屏幕桌面图标什么都没有了
  • win10系统字体不清晰
  • minidump文件怎么打开
  • win10系统中怎么设置搜狗输入
  • 简单解析空中三角测量的意义
  • 深入理解新发展理念心得体会3篇
  • jquery邮箱正则表达式
  • eclipse 单词
  • 安卓中的多线程
  • javascript如何
  • javascript教程完整版
  • Android之SQLite
  • androidstudio性能检测工具
  • 重庆网上税务局个人怎么绑定企业账户
  • 个人涉税信息采集 工行
  • 落地和全包一样吗
  • 上海小规模纳税人企业所得税
  • 税务登记办法细则
    • 免责声明：网站部分图片文字素材来源于网络，如有侵权，请及时告知，我们会第一时间删除，谢谢！ 邮箱：opceo@qq.com

    鄂ICP备2023003026号

    网站地图： 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接： 武汉网站建设