三種姿勢輕松采集 Nginx 日志
這次示例Elasitcsearch是三個節(jié)點組成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是數(shù)據(jù)采集服務器，上面裝有l(wèi)ogstash、nginx、 filebeat。一般來說采集服務器上有l(wèi)ogstash，而nginx、 filebeat應該是裝在采集目標上。
一、直接通過filebeat采集日志到ES
具體：
- type: log
#?Change to true?to enable?this input configuration.
??enabled: true
#?Paths that should be crawled and fetched. Glob based paths.
??paths:
#- /var/log/*.log
????- /usr/local/nginx/logs/*.log
#- c:\programdata\elasticsearch\logs\*
./filebeat -e?-c?filebeat.yml -d "publish"
可以看到nginx中的access.log和error.log的日志都已經(jīng)上來了。
在kibana中通過filebeat-*過濾看filebeat的索引，可以看到通過filebeat采過來的數(shù)據(jù)。
可以在filebeat 和 ES之間加一層Logstash，可以將filebeat于ES解耦，通過Logstash可以做一些預處理，也可以通過Logstash采集到除ES以外的其他數(shù)據(jù)存儲上。
二、通過filebeat采集日志到logstash再送到ES
input {
????beats {
????????port?=>?"5044"
????}
}
output {
????elasticsearch { hosts?=>?["172.28.65.24:9200"] }
????stdout { codec?=>?rubydebug}
}bin/logstash -f filebeat-pipeline.conf --config.reload.automatic
啟動以后可以看到logstash的啟動日志5044端口的服務已經(jīng)起了，可以接受通過filebeat通過5044端口傳過來的數(shù)據(jù)了。
接下來配置filebeat：
在filebeat的安裝目錄找到filebeat.yml 配置獲取日志文件的路徑及輸出到logstash的配置。不直接輸出到ES了。
具體配置如下：
將output.elasticsearch的配置屏蔽，配置output.logstash，配置正確的logstash的服務主機和端口。
./filebeat -e?-c?filebeat.yml -d "publish"
三、直接通過rsyslog采集日志到logstash再送到ES
在很多情況下你需要采集的web服務器并不是自己能夠控制的，不是說你想裝filebeat就可以讓你裝的，這時候就可以要求目標數(shù)據(jù)源通過 syslog 的方式將日志發(fā)出來。我們可以再通過 logstash送到ES或其他的日志存儲處理平臺。
通過syslog往日志服務器上發(fā)nginx的日志有兩種方式，一種就是利用nginx的配置往外發(fā)日志，一種就是通過配置linux的rsyslog的配置往外發(fā)日志。
1、通過nginx配置發(fā)送syslog到logstash
具體配置如下：
在nginx的配置文件nginx.conf中，在server下配置access_log和error_log的輸出方式
access_log?syslog:server=172.28.65.32:514,facility=local7,tag=nginx_access_log,severity=info;
error_log?syslog:server=172.28.65.32:514,facility=local7,tag=nginx_error_log,severity=info;
配置完成后執(zhí)行 ./nginx -s reload 使配置生效。這樣就通過linux的rsyslog服務將nginx的日志往外發(fā)了。
接著來配置logstash的syslog的服務接收配置 。在logstash的安裝目錄下新建vi syslog-pipeline.conf，syslog-pipeline.conf的具體配置如下：
input {
????syslog{
????????type?=>?"system-syslog"
????????port => 514
????}
}
output {
????elasticsearch {
????????hosts?=>?["172.28.65.24:9200"]
????????index => "system-syslog-%{+YYYY.MM}"
????}
????stdout { codec?=>?rubydebug}
}
可以看到logstash啟動以后開啟了514端口的tcp和upd協(xié)議的偵聽。
我們訪問nginx服務提供的web服務http://172.28.65.32/，在logstash的控制臺 可以看到相應的nginx訪問access和error的日志
同樣通過Elasticsearch-head在ES 中也可以看到有相應的日志數(shù)據(jù)
2、通過配置rsyslog發(fā)送syslog日志到logstash
有些老版本的nginx不支持配置syslog輸出日志，或者說我想輸出其他不是nginx的日志該怎么辦呢？可以通過直接配置rsyslog的方式來往外發(fā)送日志。
在/etc/rsyslog.conf 中配置：
$IncludeConfig /etc/rsyslog.d/*.conf
$ModLoad imfile
$InputFilePollInterval 1
$WorkDirectory /var/spool/rsyslog
$PrivDropToGroup adm
##Nginx訪問日志文件路徑，根據(jù)實際情況修改:
$InputFileName /usr/local/nginx/logs/access.log
$InputFileTag nginx-access:
$InputFileStateFile stat-nginx-access
$InputFileSeverity info
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
##Nginx錯誤日志文件路徑，根據(jù)實際情況修改:
$InputFileName /usr/local/nginx/logs/error.log
$InputFileTag nginx-error:
$InputFileStateFile stat-nginx-error
$InputFileSeverity error
$InputFilePersistStateInterval 25000
$InputRunFileMonitor
*.* @172.28.65:514systemctl?restart rsyslog
原文連接：https://www.cnblogs.com/xiejava/p/12452434.html
有收獲，點個在看?
