Filebeat、Logstash、Rsyslog 各種姿勢采集Nginx日志
由于nginx功能強(qiáng)大，性能突出，越來越多的web應(yīng)用采用nginx作為http和反向代理的web服務(wù)器。而nginx的訪問日志不管是做用戶行為分析還是安全分析都是非常重要的數(shù)據(jù)源之一。如何有效便捷的采集nginx的日志進(jìn)行有效的分析成為大家關(guān)注的問題。
本文通過幾個(gè)實(shí)例來介紹如何通過filebeat、logstash、rsyslog采集nginx的訪問日志和錯(cuò)誤日志。
大家都知道ELK技術(shù)棧是采集、分析日志的利器。所以這里介紹的是從nginx采集日志到ES。當(dāng)然至于日志采集以后存到看大家的需要。通過logstash可以方便的配置日志輸出存儲的方式。
一般來說nginx默認(rèn)安裝后，日志文件在 /usr/local/nginx/logs 目錄下。分別有 access.log和error.log 訪問日志和錯(cuò)誤日志。
這次示例Elasitcsearch是三個(gè)節(jié)點(diǎn)組成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是數(shù)據(jù)采集服務(wù)器，上面裝有l(wèi)ogstash、nginx、 filebeat。一般來說采集服務(wù)器上有l(wèi)ogstash，而nginx、 filebeat應(yīng)該是裝在采集目標(biāo)上。
一、直接通過filebeat采集日志到ES
具體：
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
#- /var/log/*.log
- /usr/local/nginx/logs/*.log
#- c:\programdata\elasticsearch\logs\*
./filebeat -e -c filebeat.yml -d "publish"
在kibana中通過filebeat-*過濾看filebeat的索引，可以看到通過filebeat采過來的數(shù)據(jù)。
可以在filebeat 和 ES之間加一層Logstash，可以將filebeat于ES解耦，通過Logstash可以做一些預(yù)處理，也可以通過Logstash采集到除ES以外的其他數(shù)據(jù)存儲上。
二、通過filebeat采集日志到logstash再送到ES
input {
beats {
port => "5044"
}
}
output {
elasticsearch { hosts => ["172.28.65.24:9200"] }
stdout { codec => rubydebug}
}
bin/logstash -f filebeat-pipeline.conf --config.reload.automatic
./filebeat -e -c filebeat.yml -d "publish"
三、直接通過rsyslog采集日志到logstash在送到ES
通過syslog往日志服務(wù)器上發(fā)nginx的日志有兩種方式，一種就是利用nginx的配置往外發(fā)日志，一種就是通過配置linux的rsyslog的配置往外發(fā)日志。
1、通過nginx配置發(fā)送syslog到logstash
access_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;
error_log syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info;
input {
syslog{
type => "system-syslog"
port => 514
}
}
output {
elasticsearch {
hosts => ["172.28.65.24:9200"]
index => "system-syslog-%{+YYYY.MM}"
}
stdout { codec => rubydebug}
}
$IncludeConfig /etc/rsyslog.d/*.conf
$ModLoad imfile
$InputFilePollInterval 1
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm
##Nginx訪問日志文件路徑，根據(jù)實(shí)際情況修改:
$InputFileName /usr/local/nginx/logs/access.log
$InputFileTag nginx-access:
$InputFileStateFile stat-nginx-access
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
##Nginx錯(cuò)誤日志文件路徑，根據(jù)實(shí)際情況修改:
$InputFileName /usr/local/nginx/logs/error.log
$InputFileTag nginx-error:
$InputFileStateFile stat-nginx-error
$InputFileSeverity error
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
*.* @172.28.65:514
systemctl restart rsyslog
原文連接：https://www.cnblogs.com/xiejava/p/12452434.html
文章轉(zhuǎn)載：DevOps技術(shù)棧
（版權(quán)歸原作者所有，侵刪）
評論
圖片
表情