Logstash Filter解析Openrety的Log数据的简单配置

作者:糖果

Logstash的配置文件位置:/etc/logstash, 而logstash本身的程序,可以放到别的定制的位置。

一般性的Logstash配置有三个节:

input {
file {
        path => "/test/log/567/*.log"
        type => "nginx" # a type to identify those logs (will need this later)
}
}

filter {
if [type] == "nginx" { # this is where we use the type from the input section
        grok {
                match => [ "message", "COMBINEDNGINXLOG" ]
        }
}
}

output {
        elasticsearch {
                hosts => ["127.0.0.1:9200"]
                index => "testdata"
}

}

第一个节: input用于指定log文件的位置和类型。

input {
file {
        path => "/test/log/567/*.log"
        type => "nginx" # a type to identify those logs (will need this later)
}
}

第二节: filter指定log文件指段配置的Pattern,关键分词就靠这个。

filter {
if [type] == "nginx" { # this is where we use the type from the input section
        grok {
                match => [ "message", "COMBINEDNGINXLOG" ]
        }
}
}

第三节: output指定log转换后的数据存储和位置,下面的设置是典型的输出到ES中。

output {
        elasticsearch {
                hosts => ["127.0.0.1:9200"]
                index => "testdata"
}

}

grok filter的官吏法可以参考这篇: 参考文

COMBINEDNGINXLOG实际是没有这个pattern的,只有占位用的。

糖果

糖果

糖果
LUA教程

风控管理之蜜罐

**目录**{: #toc }* TOC{:toc}# 蜜罐在风控中经常要面临这个问题:哪部分流量来自黑产?可信度高吗?这关系到现有策略效果评估、问题定位、新策略效果评估、模型训练等多个环节。解决这类问题时,蜜罐就起到了一定作用。## 什么是蜜罐?通过一些手段,引诱黑灰产...… Continue reading

Apache APISIX在SAE应用市场发布

Published on December 09, 2019

APISIX后台管理路由创建接口

Published on December 06, 2019