当前位置:首页 > 开发 > 开源软件 > 正文

9.ElasticSearch预警服务-Watcher详解-监控时间线数据

发表于: 2015-05-27   作者:corejava2008   来源:转载   浏览次数:
摘要: 来看个小例子:固定周期采集数据,并设置数据预警机制采集数据配置,拉取RSS数据并存储到ElasticSearch中.1.下载并安装最新的logstash1.5版本 地址:https://www.elastic.co/products/logstash   2.安装rss插件 cd logstash-1.5.0 bin/plugin install logstash-input-

来看个小例子:固定周期采集数据,并设置数据预警机制

采集数据配置,拉取RSS数据并存储到ElasticSearch中.
1.下载并安装最新的logstash1.5版本

地址:https://www.elastic.co/products/logstash

 

2.安装rss插件

cd logstash-1.5.0
bin/plugin install logstash-input-rss

 

3.配置数据采集脚本

input {
  rss {
    url => "http://stackoverflow.com/feeds/tag/elasticsearch+or+logstash+or+kibana"
    interval => 3600 
  }
}
output {
  elasticsearch {
    protocol => "http"
    host => "localhost" 
  }
  stdout { }
}

 

4.启动logstash

nohup bin/logstash -f rss.conf > logs/rss.log&

 

5.验证ElasticSearch数据流是否正常
可以通过API,或者Kopf,Head等插件进行验证。

 

Watcher预警配置

1.首先定义Script文件,采用Groovy语法,将文件放置到$ES_HOME/config/Scripts目录下。

$ES_HOME/config/scripts/threshold_hits.groovy
编辑内容为:
return ctx.payload.hits.total > threshold

2.设置Watcher:

PUT _watcher/watch/rss_watch
{
  "trigger" : {
      "schedule" : {
        "daily" : { "at" : "12:00" } #每天12点执行
    }
  },
  "input" : {
    "search" : {
      "request" : {
        "indices" : [ "logstash*" ],#指定查询索引
        "body" : {
          "query" : {
            "filtered" : {
              "query" : {"match" : {"message": "error problem"}}, #查询条件
              "filter" : {"range" : {"@timestamp" : {"gte" : "now-1d"}}}
            }
          }
        }
      }
    }
  },
  "condition" : {
    "script" : {
      "file" : "threshold_hits",#脚本文件名称
      "params" : {
        "threshold" : 0 #参数
      }
    }
  },
  "actions" : {
    "send_email" : { #请注意ElasticSearch.yml中的邮件服务器配置信息,可参考之前的文章介绍
      "email" : {
        "to" : "corejava2008@163.com",  
        "subject" : "Somebody needs help with ELK",
        "body" : "The attached Stack Overflow posts were tagged with Elasticsearch, Logstash, or Kibana and mentioned an error or problem.",
        "attach_data" : true
      }
    }
  }
}

 

3.调试Watcher配,通过以下API可以,立刻执行配置的Watcher

POST _watcher/watch/rss_watch/_execute
{
  "trigger_event" : {
    "schedule" : {
      "triggered_time": "now",
      "scheduled_time": "now"
    }
  },
  "ignore_throttle" : true,
  "simulated_actions" : "_all",
  "record_execution" : true
}

 4.验证是否可以收到预警邮件。

 

9.ElasticSearch预警服务-Watcher详解-监控时间线数据

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
一.OSWatcher 说明 OSWatcher 是Oracle 提供的一个用于操作系统监控的工具包,分Windows 和Linux 2
每日一贴,今天的内容关键字为数据展示 时光线展示工具Timeline[1],可以实现网页上展示一个时光轴。
  上海外滩踩踏惨剧已过去近一周,但依旧   让人心有余悸,特别是在重点旅游景区内人群高密度聚
前一章详解了Spotlight on Unix 监控Linux服务器 ,今天再来看看Spotlight on MySQL怎么监控MySQL服
在今天的Facebook f8大会上,CEO扎克伯格向人们展示了他们巨大的变化:时间线,这是个人档案页面同
说地震预测预报是最重要的世界难题,这绝不为过。重要是因为它的发生会涉及大面积的人生命安全与财
问题导读: 1.zookeeper观察者什么时候调用? 2.传统远程轮询服务存在什么问题? 3.zk中回调服务的机
WebApi 服务监控 本文主要介绍在请求WebApi时,监控Action执行的时间,及Action传递的参数值,以及H
一:redmon的安装和使用 1:安装rvm,rvm是ruby version manager的缩写,ruby语言是鬼子弄出来的,虽
本文主要介绍在请求WebApi时,监控Action执行的时间,及Action传递的参数值,以及Http请求头信息。
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号