搭建ELK全纪实 elasticsearch logstash kibana

Author Avatar
WoodyXiong 4月 28, 2020
  • 在其它设备中阅读本文章

前言

随着业务的扩张,跑web机器越来越多,传统方式如果想看网站的分析报告,需要从各个web机器获取日志,然后通过awk等命令行进行输出。

而目前的主流方式是使用elk的方式对日志集中获取并展示

  • elasticsearch 一个Nosql数据库,专门存储日志信息,暂时可以理解成Mysql对比资料
  • logstash 一个可以通过各种方式获取日志的开源软件
  • kibana 将数据从数据库中查询出来并通过图表展示

数据流向

数据流向图

  1. 安装在各个web服务器的logstash收集日志数据
  2. logstash将日志数据发送给elasticsearch数据库
  3. kibana查询elasticsearch数据库并展示数据

大致的系统性认知

视频介绍elk

这个视频有5集,全程可以2倍速度观看,大致可以了解各个软件是干什么的,怎么运行的。以及学习python使用logstash传送数据

手把手搭建一个elk

超级简易搭建elk

# 简直不要太简单
git clone https://github.com/deviantony/docker-elk.git
cd docker-elk
docker-compose up -d

等docker拉取镜像并启动之后。。。

[[email protected] docker-elk]$ dc ps
                Name                               Command               State                            Ports                          
-----------------------------------------------------------------------------------------------------------------------------------------
homekuixiongdockerelk_elasticsearch_1   /usr/local/bin/docker-entr ...   Up      0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp          
homekuixiongdockerelk_kibana_1          /usr/local/bin/kibana-docker     Up      0.0.0.0:5601->5601/tcp                                  
homekuixiongdockerelk_logstash_1        /usr/local/bin/docker-entr ...   Up      0.0.0.0:5000->5000/tcp, 5044/tcp, 0.0.0.0:9600->9600/tcp

稍微等kibana加载完,进入http://localhost:5601即可看到kibana界面

如果碰到需要输入账户密码的情况,可参照readme的修改密码教程修改密码

搭建完成后,可以试着进入搭建的kibana看看如何使用的,顺便推几个数据上去练练手。

到目前为止,可以对elk有个稍微清晰的认知。但是如果要自己搭建一个真正的elk,肯定要学会logstash是如何使用的,以下介绍logstash是如何使用的

安装logstash

由于刚刚logstash的镜像操作有些不方便,所以我在另一个虚拟机安装一个logstash,然后发送数据到本地的elasticsearch端口上

安装步骤

安装logstash

使用logstash

logstash官网说明

非常详细的logstash中文使用说明(有些配置新版的logstash不兼容,请以官方文档为准)

使用心得

使用logstash一般只需配置两个文件

  • logstash.yml是全局的logstash配置文件,启动logstash时加载的
  • test.conf单个logstash监听配置,放在任何地方口可以

配置任何logstash任务只需跟这两个文件有关

参考示例

将控制台输入的数据推送到远端elasticsearch中,我们将全部配置只放在单个配置中

/tmp/config/test.conf

input {
    stdin {
        add_field => {"key" => "value"}
        codec => "plain"
        tags => ["add"]
        type => "std"
    }
}

output {
    elasticsearch {
        hosts => "eshost:9200"
        user => "elastic"
        password => "password"
    }
}

运行命令

logstash -f /tmp/config/test.conf

接着在键盘上随便敲,就会将数据发给elasticsearch,接着在kibana上呈现
kibana数据呈现

单个传入的json数据

{
  "_index": "logstash-2019.07.30-000001",
  "_type": "_doc",
  "_id": "kSI0RmwBEDGCNjTu4LWH",
  "_version": 1,
  "_score": null,
  "_source": {
    "message": "example\n",
    "@version": "1",
    "@timestamp": "2019-07-31T04:06:06.091Z",
    "host": "hostname",
    "key": "value",
    "type": "std",
    "tags": [
      "add"
    ]
  },
  "fields": {
    "@timestamp": [
      "2019-07-31T04:06:06.091Z"
    ]
  },
  "sort": [
    1564545966091
  ]
}

grok介绍

你可以用grok插件将日志的数据提取出来插入进elasticsearch中,主要使用了正则表达式

视频学习grok匹配模板

grok测试工具 注意工具中预制的可能已经启用,请谨慎使用

常用grok匹配模板

参考文档

The ELK stack powered by Docker and Compose

CentOS7 安装 Logstash