用Logstash解析OpenResty的Resty.Logger推送的Syslog数据

作者:糖果

【前记】 用Resty.Logger给SyslogNG推送了几个测试的数据字段,如下:

192.168.0.1 68.180.228.95 GET /feed Jun 28 16:12:19

中间用空格区分,下面是grok的测试,经测式这些模式的测试数据都能正常解析。

【正文】

ruby grokdebug.rb -m '192.168.0.1 68.180.228.95 GET /feed Jun 28 16:12:19' -p '%{IP:server_ip} %{IP:client_ip} %{WORD:http_verb} %{PATH:baseurl} %{MONTH:month} %{MONTHDAY:day} %{TIME:time}'

被正常分析出来的JSON,如下:

{
  "server_ip": [
    "139.129.93.234"
  ],
  "IPV6": [
    null,
    null
  ],
  "IPV4": [
    "139.129.93.234",
    "68.180.228.95"
  ],
  "client_ip": [
    "68.180.228.95"
  ],
  "http_verb": [
    "GET"
  ],
  "baseurl": [
    "/feed"
  ],
  "UNIXPATH": [
    "/feed"
  ],
  "WINPATH": [
    null
  ],
  "month": [
    "Jun"
  ],
  "day": [
    "28"
  ],
  "time": [
    "16:12:19"
  ],
  "HOUR": [
    "16"
  ],
  "MINUTE": [
    "12"
  ],
  "SECOND": [
    "19"
  ]
}

【后记】 放到ES里,就可以直接用Django REST创建接口了,给外部使用。原理和使用的过程都是一样的,接口怎么实现,看具体业务复杂情况。

搭建grok的debugger环境,参考这篇:

更多的问题,直接参考StackOverflow上的问题:

糖果

糖果

糖果
LUA教程

风控管理之蜜罐

**目录**{: #toc }* TOC{:toc}# 蜜罐在风控中经常要面临这个问题:哪部分流量来自黑产?可信度高吗?这关系到现有策略效果评估、问题定位、新策略效果评估、模型训练等多个环节。解决这类问题时,蜜罐就起到了一定作用。## 什么是蜜罐?通过一些手段,引诱黑灰产...… Continue reading

Apache APISIX在SAE应用市场发布

Published on December 09, 2019

APISIX后台管理路由创建接口

Published on December 06, 2019