采集系統上云
在滴滴云 DC2 云服務(wù)器上搭建 ELK 日志采集系統
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 588 次瀏覽 ? 2020-08-03 22:05
前段時(shí)間學(xué)院朋友聚餐采集系統上云，一個(gè)在讀的博士朋友提到她們實(shí)驗室做實(shí)驗時(shí)，物理服務(wù)器須要向老師申請且組內同事都共用這些機器。由于運行一些大數據和人工智能的項目比較花費資源，且對資源環(huán)境的隔離要求比較高，因而好多時(shí)侯用機器還得排隊（畢竟中學(xué)經(jīng)費和底層基礎設施沒(méi)有公司充沛），不是很方便。于是我就對他說(shuō)到，為什么不嘗試在公有云里面訂購 VM 呢？便宜又好用，實(shí)驗室每個(gè)月經(jīng)費買(mǎi)虛擬機是綽綽有余的，同時(shí)由于公有云可以按需使用，磁盤(pán)高可用且支持動(dòng)態(tài)擴容，還能在某個(gè)時(shí)刻打快照，非常適宜搭項目環(huán)境使用。
朋友目前的一個(gè)實(shí)驗任務(wù)是從海量分布式系統中搜集操作系統、數據庫、消息中間件及應用程序的日志，并借助大數據算法挖掘隱藏在數據中有潛在價(jià)值的信息。
想到可能還有更多的同學(xué)會(huì )碰到類(lèi)似的問(wèn)題、甚至可能是類(lèi)似的任務(wù)，于是便寫(xiě)了本篇博客以幫助有此須要的同事，使之才能在短時(shí)間內搭建一套行之有效的數據采集系統，方便快速上手使用。
快速了解 ELK 系統
ELK-Stack是一套開(kāi)源日志采集套件，使用上去十分便捷。先快速了解下每位服務(wù)是干哪些的。
在虛擬機上搭建日志采集組件
巧婦難為無(wú)米之炊。首先，需要在嘀嘀云上訂購一臺 VM。操作系統任意選，這里我選擇的是 Ubuntu 14.04。由于 ElasticSearch 需要儲存采集到的日志數據，因而對儲存空間要求相對較高，我選擇了 100G 的c盤(pán)；同時(shí)，因為 Logstash 會(huì )不停的解析和處理數據，所以 CPU 和顯存須要適當大一點(diǎn)，這里我選擇了 2 核 4G 內存的配置?，F在使我們開(kāi)始 ELK 日志系統搭建之旅。
首先安裝 JDK8
安裝完以后，執行如下命令：
update-alternatives--configjava
可以看見(jiàn) Java 的 HOME 目錄為 /usr/lib/jvm/java-8-oracle。接著(zhù)，配置 Java 環(huán)境變量，執行如下命令：
vim~/.bashrc
在文件末尾粘貼上以下幾行：
為了讓配置生效，還須要 source 一下：
source~/.bashrc
最后，通過(guò) java -version 查看 JDK 版本信息。若出現類(lèi)似以下顯示，則表明安裝成功：
安裝 ELK 套件
首先，通過(guò) wget 下載 deb 包，以下命令分別下載最新版(6.5.1)的 Filebeat、Logstash、Elasticsearch 和 Kibana:
下載完成后，會(huì )存在以下四個(gè) deb 包
之后，就可以通過(guò) dpkg -i xxx.deb 命令進(jìn)行安裝了
修改配置文件，讓數據流打通
進(jìn)入 /etc/filebeat 目錄，修改 filebeat.yml 文件，設置要采集的日志文件路徑，和要發(fā)送到的 Logstash IP 地址。由于是在同一臺 VM 上混部，所以 IP 可以設置為 127.0.0.1。若 Logstash 部署在另外一臺 VM 上，則須要配置那臺 VM 的 IP 地址。
Filebeat 包中早已安裝了默認的索引模板（index template）。 如果你采用 filebeat.yml 文件的默認配置，即 Filebeat 直連 ElasticSearch 時(shí)，會(huì )手動(dòng)上傳索引模板（filebeat.template.json），該索引模板定義了索引名及怎樣對 Filebeat 上傳的數據構建索引。但是怎樣須要將日志發(fā)送到 Logstash 中，則不會(huì )手動(dòng)上傳索引模板，必須自動(dòng)上傳，因此須要執行如下命令：
curl-XPUT-H'Content-Type: application/json':9200/_template/filebeat-6.5.1 -d@filebeat.template.json
在 /etc/logstash/conf.d 目錄下邊創(chuàng )建 pipeline.yml，并輸入如下內容：
而且，需要步入到 /usr/share/logstash/bin 目錄，執行如下命令安裝logstash-input-beats插件：
./logstash-plugininstalllogstash-input-beats
進(jìn)入到 /etc/elasticsearch 目錄中，修改 elasticsearch.yml 文件：
進(jìn)入到 /etc/kibana 目錄，修改 kibana.yml 文件。此處的 server.host 一定要配置成0.0.0.0：
最后，啟動(dòng)所有的服務(wù)，在 /usr/share/(elk)/bin 目錄中執行啟動(dòng)文件，啟動(dòng)時(shí)注意用戶(hù)權限的問(wèn)題。同時(shí)記住要先啟 Elasticserch，再啟 Kibana，否則會(huì )報錯。待打算環(huán)境都就緒以后采集系統上云，就可以運行 Filebeat 爬取日志數據了。此時(shí)登陸到瀏覽器，可以通過(guò) Kibana UI 界面檢索（可視化）海量日志內容，如果須要多樣化界面或則將日志數據拉下來(lái)用于其它用途，則可以調用 Elasticsearch 的 RESTful API 與之進(jìn)行交互。
總結
隨著(zhù)分布式系統的普及，如何在諸多數學(xué)服務(wù)器上采集海量日志并進(jìn)行統一處理，然后借助大數據算法挖掘日志中有潛在價(jià)值的信息，變得越來(lái)越重要。
本文只是在單臺 VM 上搭建了一套日志采集環(huán)境，進(jìn)行演示。如果須要在分布式系統中使用，也很簡(jiǎn)單，只需將 Filebeat 獨立安裝在各個(gè)宿主機上就可以了。 查看全部
朋友目前的一個(gè)實(shí)驗任務(wù)是從海量分布式系統中搜集操作系統、數據庫、消息中間件及應用程序的日志，并借助大數據算法挖掘隱藏在數據中有潛在價(jià)值的信息。
想到可能還有更多的同學(xué)會(huì )碰到類(lèi)似的問(wèn)題、甚至可能是類(lèi)似的任務(wù)，于是便寫(xiě)了本篇博客以幫助有此須要的同事，使之才能在短時(shí)間內搭建一套行之有效的數據采集系統，方便快速上手使用。
快速了解 ELK 系統
ELK-Stack是一套開(kāi)源日志采集套件，使用上去十分便捷。先快速了解下每位服務(wù)是干哪些的。
在虛擬機上搭建日志采集組件
巧婦難為無(wú)米之炊。首先，需要在嘀嘀云上訂購一臺 VM。操作系統任意選，這里我選擇的是 Ubuntu 14.04。由于 ElasticSearch 需要儲存采集到的日志數據，因而對儲存空間要求相對較高，我選擇了 100G 的c盤(pán)；同時(shí)，因為 Logstash 會(huì )不停的解析和處理數據，所以 CPU 和顯存須要適當大一點(diǎn)，這里我選擇了 2 核 4G 內存的配置?，F在使我們開(kāi)始 ELK 日志系統搭建之旅。
首先安裝 JDK8
安裝完以后，執行如下命令：
update-alternatives--configjava
可以看見(jiàn) Java 的 HOME 目錄為 /usr/lib/jvm/java-8-oracle。接著(zhù)，配置 Java 環(huán)境變量，執行如下命令：
vim~/.bashrc
在文件末尾粘貼上以下幾行：
為了讓配置生效，還須要 source 一下：
source~/.bashrc
最后，通過(guò) java -version 查看 JDK 版本信息。若出現類(lèi)似以下顯示，則表明安裝成功：
安裝 ELK 套件
首先，通過(guò) wget 下載 deb 包，以下命令分別下載最新版(6.5.1)的 Filebeat、Logstash、Elasticsearch 和 Kibana:
下載完成后，會(huì )存在以下四個(gè) deb 包
之后，就可以通過(guò) dpkg -i xxx.deb 命令進(jìn)行安裝了
修改配置文件，讓數據流打通
進(jìn)入 /etc/filebeat 目錄，修改 filebeat.yml 文件，設置要采集的日志文件路徑，和要發(fā)送到的 Logstash IP 地址。由于是在同一臺 VM 上混部，所以 IP 可以設置為 127.0.0.1。若 Logstash 部署在另外一臺 VM 上，則須要配置那臺 VM 的 IP 地址。
Filebeat 包中早已安裝了默認的索引模板（index template）。 如果你采用 filebeat.yml 文件的默認配置，即 Filebeat 直連 ElasticSearch 時(shí)，會(huì )手動(dòng)上傳索引模板（filebeat.template.json），該索引模板定義了索引名及怎樣對 Filebeat 上傳的數據構建索引。但是怎樣須要將日志發(fā)送到 Logstash 中，則不會(huì )手動(dòng)上傳索引模板，必須自動(dòng)上傳，因此須要執行如下命令：
curl-XPUT-H'Content-Type: application/json':9200/_template/filebeat-6.5.1 -d@filebeat.template.json
在 /etc/logstash/conf.d 目錄下邊創(chuàng )建 pipeline.yml，并輸入如下內容：
而且，需要步入到 /usr/share/logstash/bin 目錄，執行如下命令安裝logstash-input-beats插件：
./logstash-plugininstalllogstash-input-beats
進(jìn)入到 /etc/elasticsearch 目錄中，修改 elasticsearch.yml 文件：
進(jìn)入到 /etc/kibana 目錄，修改 kibana.yml 文件。此處的 server.host 一定要配置成0.0.0.0：
最后，啟動(dòng)所有的服務(wù)，在 /usr/share/(elk)/bin 目錄中執行啟動(dòng)文件，啟動(dòng)時(shí)注意用戶(hù)權限的問(wèn)題。同時(shí)記住要先啟 Elasticserch，再啟 Kibana，否則會(huì )報錯。待打算環(huán)境都就緒以后采集系統上云，就可以運行 Filebeat 爬取日志數據了。此時(shí)登陸到瀏覽器，可以通過(guò) Kibana UI 界面檢索（可視化）海量日志內容，如果須要多樣化界面或則將日志數據拉下來(lái)用于其它用途，則可以調用 Elasticsearch 的 RESTful API 與之進(jìn)行交互。
總結
隨著(zhù)分布式系統的普及，如何在諸多數學(xué)服務(wù)器上采集海量日志并進(jìn)行統一處理，然后借助大數據算法挖掘日志中有潛在價(jià)值的信息，變得越來(lái)越重要。
本文只是在單臺 VM 上搭建了一套日志采集環(huán)境，進(jìn)行演示。如果須要在分布式系統中使用，也很簡(jiǎn)單，只需將 Filebeat 獨立安裝在各個(gè)宿主機上就可以了。 查看全部
前段時(shí)間學(xué)院朋友聚餐采集系統上云，一個(gè)在讀的博士朋友提到她們實(shí)驗室做實(shí)驗時(shí)，物理服務(wù)器須要向老師申請且組內同事都共用這些機器。由于運行一些大數據和人工智能的項目比較花費資源，且對資源環(huán)境的隔離要求比較高，因而好多時(shí)侯用機器還得排隊（畢竟中學(xué)經(jīng)費和底層基礎設施沒(méi)有公司充沛），不是很方便。于是我就對他說(shuō)到，為什么不嘗試在公有云里面訂購 VM 呢？便宜又好用，實(shí)驗室每個(gè)月經(jīng)費買(mǎi)虛擬機是綽綽有余的，同時(shí)由于公有云可以按需使用，磁盤(pán)高可用且支持動(dòng)態(tài)擴容，還能在某個(gè)時(shí)刻打快照，非常適宜搭項目環(huán)境使用。
朋友目前的一個(gè)實(shí)驗任務(wù)是從海量分布式系統中搜集操作系統、數據庫、消息中間件及應用程序的日志，并借助大數據算法挖掘隱藏在數據中有潛在價(jià)值的信息。
想到可能還有更多的同學(xué)會(huì )碰到類(lèi)似的問(wèn)題、甚至可能是類(lèi)似的任務(wù)，于是便寫(xiě)了本篇博客以幫助有此須要的同事，使之才能在短時(shí)間內搭建一套行之有效的數據采集系統，方便快速上手使用。
快速了解 ELK 系統
ELK-Stack是一套開(kāi)源日志采集套件，使用上去十分便捷。先快速了解下每位服務(wù)是干哪些的。
在虛擬機上搭建日志采集組件
巧婦難為無(wú)米之炊。首先，需要在嘀嘀云上訂購一臺 VM。操作系統任意選，這里我選擇的是 Ubuntu 14.04。由于 ElasticSearch 需要儲存采集到的日志數據，因而對儲存空間要求相對較高，我選擇了 100G 的c盤(pán)；同時(shí)，因為 Logstash 會(huì )不停的解析和處理數據，所以 CPU 和顯存須要適當大一點(diǎn)，這里我選擇了 2 核 4G 內存的配置?，F在使我們開(kāi)始 ELK 日志系統搭建之旅。
首先安裝 JDK8
安裝完以后，執行如下命令：
update-alternatives--configjava
可以看見(jiàn) Java 的 HOME 目錄為 /usr/lib/jvm/java-8-oracle。接著(zhù)，配置 Java 環(huán)境變量，執行如下命令：
vim~/.bashrc
在文件末尾粘貼上以下幾行：
為了讓配置生效，還須要 source 一下：
source~/.bashrc
最后，通過(guò) java -version 查看 JDK 版本信息。若出現類(lèi)似以下顯示，則表明安裝成功：
安裝 ELK 套件
首先，通過(guò) wget 下載 deb 包，以下命令分別下載最新版(6.5.1)的 Filebeat、Logstash、Elasticsearch 和 Kibana:
下載完成后，會(huì )存在以下四個(gè) deb 包
之后，就可以通過(guò) dpkg -i xxx.deb 命令進(jìn)行安裝了
修改配置文件，讓數據流打通
進(jìn)入 /etc/filebeat 目錄，修改 filebeat.yml 文件，設置要采集的日志文件路徑，和要發(fā)送到的 Logstash IP 地址。由于是在同一臺 VM 上混部，所以 IP 可以設置為 127.0.0.1。若 Logstash 部署在另外一臺 VM 上，則須要配置那臺 VM 的 IP 地址。
Filebeat 包中早已安裝了默認的索引模板（index template）。 如果你采用 filebeat.yml 文件的默認配置，即 Filebeat 直連 ElasticSearch 時(shí)，會(huì )手動(dòng)上傳索引模板（filebeat.template.json），該索引模板定義了索引名及怎樣對 Filebeat 上傳的數據構建索引。但是怎樣須要將日志發(fā)送到 Logstash 中，則不會(huì )手動(dòng)上傳索引模板，必須自動(dòng)上傳，因此須要執行如下命令：
curl-XPUT-H'Content-Type: application/json':9200/_template/filebeat-6.5.1 -d@filebeat.template.json
在 /etc/logstash/conf.d 目錄下邊創(chuàng )建 pipeline.yml，并輸入如下內容：
而且，需要步入到 /usr/share/logstash/bin 目錄，執行如下命令安裝logstash-input-beats插件：
./logstash-plugininstalllogstash-input-beats
進(jìn)入到 /etc/elasticsearch 目錄中，修改 elasticsearch.yml 文件：
進(jìn)入到 /etc/kibana 目錄，修改 kibana.yml 文件。此處的 server.host 一定要配置成0.0.0.0：
最后，啟動(dòng)所有的服務(wù)，在 /usr/share/(elk)/bin 目錄中執行啟動(dòng)文件，啟動(dòng)時(shí)注意用戶(hù)權限的問(wèn)題。同時(shí)記住要先啟 Elasticserch，再啟 Kibana，否則會(huì )報錯。待打算環(huán)境都就緒以后采集系統上云，就可以運行 Filebeat 爬取日志數據了。此時(shí)登陸到瀏覽器，可以通過(guò) Kibana UI 界面檢索（可視化）海量日志內容，如果須要多樣化界面或則將日志數據拉下來(lái)用于其它用途，則可以調用 Elasticsearch 的 RESTful API 與之進(jìn)行交互。
總結
隨著(zhù)分布式系統的普及，如何在諸多數學(xué)服務(wù)器上采集海量日志并進(jìn)行統一處理，然后借助大數據算法挖掘日志中有潛在價(jià)值的信息，變得越來(lái)越重要。
本文只是在單臺 VM 上搭建了一套日志采集環(huán)境，進(jìn)行演示。如果須要在分布式系統中使用，也很簡(jiǎn)單，只需將 Filebeat 獨立安裝在各個(gè)宿主機上就可以了。
在滴滴云 DC2 云服務(wù)器上搭建 ELK 日志采集系統
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 588 次瀏覽 ? 2020-08-03 22:05
前段時(shí)間學(xué)院朋友聚餐采集系統上云，一個(gè)在讀的博士朋友提到她們實(shí)驗室做實(shí)驗時(shí)，物理服務(wù)器須要向老師申請且組內同事都共用這些機器。由于運行一些大數據和人工智能的項目比較花費資源，且對資源環(huán)境的隔離要求比較高，因而好多時(shí)侯用機器還得排隊（畢竟中學(xué)經(jīng)費和底層基礎設施沒(méi)有公司充沛），不是很方便。于是我就對他說(shuō)到，為什么不嘗試在公有云里面訂購 VM 呢？便宜又好用，實(shí)驗室每個(gè)月經(jīng)費買(mǎi)虛擬機是綽綽有余的，同時(shí)由于公有云可以按需使用，磁盤(pán)高可用且支持動(dòng)態(tài)擴容，還能在某個(gè)時(shí)刻打快照，非常適宜搭項目環(huán)境使用。
朋友目前的一個(gè)實(shí)驗任務(wù)是從海量分布式系統中搜集操作系統、數據庫、消息中間件及應用程序的日志，并借助大數據算法挖掘隱藏在數據中有潛在價(jià)值的信息。
想到可能還有更多的同學(xué)會(huì )碰到類(lèi)似的問(wèn)題、甚至可能是類(lèi)似的任務(wù)，于是便寫(xiě)了本篇博客以幫助有此須要的同事，使之才能在短時(shí)間內搭建一套行之有效的數據采集系統，方便快速上手使用。
快速了解 ELK 系統
ELK-Stack是一套開(kāi)源日志采集套件，使用上去十分便捷。先快速了解下每位服務(wù)是干哪些的。
在虛擬機上搭建日志采集組件
巧婦難為無(wú)米之炊。首先，需要在嘀嘀云上訂購一臺 VM。操作系統任意選，這里我選擇的是 Ubuntu 14.04。由于 ElasticSearch 需要儲存采集到的日志數據，因而對儲存空間要求相對較高，我選擇了 100G 的c盤(pán)；同時(shí)，因為 Logstash 會(huì )不停的解析和處理數據，所以 CPU 和顯存須要適當大一點(diǎn)，這里我選擇了 2 核 4G 內存的配置?，F在使我們開(kāi)始 ELK 日志系統搭建之旅。
首先安裝 JDK8
安裝完以后，執行如下命令：
update-alternatives--configjava
可以看見(jiàn) Java 的 HOME 目錄為 /usr/lib/jvm/java-8-oracle。接著(zhù)，配置 Java 環(huán)境變量，執行如下命令：
vim~/.bashrc
在文件末尾粘貼上以下幾行：
為了讓配置生效，還須要 source 一下：
source~/.bashrc
最后，通過(guò) java -version 查看 JDK 版本信息。若出現類(lèi)似以下顯示，則表明安裝成功：
安裝 ELK 套件
首先，通過(guò) wget 下載 deb 包，以下命令分別下載最新版(6.5.1)的 Filebeat、Logstash、Elasticsearch 和 Kibana:
下載完成后，會(huì )存在以下四個(gè) deb 包
之后，就可以通過(guò) dpkg -i xxx.deb 命令進(jìn)行安裝了
修改配置文件，讓數據流打通
進(jìn)入 /etc/filebeat 目錄，修改 filebeat.yml 文件，設置要采集的日志文件路徑，和要發(fā)送到的 Logstash IP 地址。由于是在同一臺 VM 上混部，所以 IP 可以設置為 127.0.0.1。若 Logstash 部署在另外一臺 VM 上，則須要配置那臺 VM 的 IP 地址。
Filebeat 包中早已安裝了默認的索引模板（index template）。 如果你采用 filebeat.yml 文件的默認配置，即 Filebeat 直連 ElasticSearch 時(shí)，會(huì )手動(dòng)上傳索引模板（filebeat.template.json），該索引模板定義了索引名及怎樣對 Filebeat 上傳的數據構建索引。但是怎樣須要將日志發(fā)送到 Logstash 中，則不會(huì )手動(dòng)上傳索引模板，必須自動(dòng)上傳，因此須要執行如下命令：
curl-XPUT-H'Content-Type: application/json':9200/_template/filebeat-6.5.1 -d@filebeat.template.json
在 /etc/logstash/conf.d 目錄下邊創(chuàng )建 pipeline.yml，并輸入如下內容：
而且，需要步入到 /usr/share/logstash/bin 目錄，執行如下命令安裝logstash-input-beats插件：
./logstash-plugininstalllogstash-input-beats
進(jìn)入到 /etc/elasticsearch 目錄中，修改 elasticsearch.yml 文件：
進(jìn)入到 /etc/kibana 目錄，修改 kibana.yml 文件。此處的 server.host 一定要配置成0.0.0.0：
最后，啟動(dòng)所有的服務(wù)，在 /usr/share/(elk)/bin 目錄中執行啟動(dòng)文件，啟動(dòng)時(shí)注意用戶(hù)權限的問(wèn)題。同時(shí)記住要先啟 Elasticserch，再啟 Kibana，否則會(huì )報錯。待打算環(huán)境都就緒以后采集系統上云，就可以運行 Filebeat 爬取日志數據了。此時(shí)登陸到瀏覽器，可以通過(guò) Kibana UI 界面檢索（可視化）海量日志內容，如果須要多樣化界面或則將日志數據拉下來(lái)用于其它用途，則可以調用 Elasticsearch 的 RESTful API 與之進(jìn)行交互。
總結
隨著(zhù)分布式系統的普及，如何在諸多數學(xué)服務(wù)器上采集海量日志并進(jìn)行統一處理，然后借助大數據算法挖掘日志中有潛在價(jià)值的信息，變得越來(lái)越重要。
本文只是在單臺 VM 上搭建了一套日志采集環(huán)境，進(jìn)行演示。如果須要在分布式系統中使用，也很簡(jiǎn)單，只需將 Filebeat 獨立安裝在各個(gè)宿主機上就可以了。 查看全部
朋友目前的一個(gè)實(shí)驗任務(wù)是從海量分布式系統中搜集操作系統、數據庫、消息中間件及應用程序的日志，并借助大數據算法挖掘隱藏在數據中有潛在價(jià)值的信息。
想到可能還有更多的同學(xué)會(huì )碰到類(lèi)似的問(wèn)題、甚至可能是類(lèi)似的任務(wù)，于是便寫(xiě)了本篇博客以幫助有此須要的同事，使之才能在短時(shí)間內搭建一套行之有效的數據采集系統，方便快速上手使用。
快速了解 ELK 系統
ELK-Stack是一套開(kāi)源日志采集套件，使用上去十分便捷。先快速了解下每位服務(wù)是干哪些的。
在虛擬機上搭建日志采集組件
巧婦難為無(wú)米之炊。首先，需要在嘀嘀云上訂購一臺 VM。操作系統任意選，這里我選擇的是 Ubuntu 14.04。由于 ElasticSearch 需要儲存采集到的日志數據，因而對儲存空間要求相對較高，我選擇了 100G 的c盤(pán)；同時(shí)，因為 Logstash 會(huì )不停的解析和處理數據，所以 CPU 和顯存須要適當大一點(diǎn)，這里我選擇了 2 核 4G 內存的配置?，F在使我們開(kāi)始 ELK 日志系統搭建之旅。
首先安裝 JDK8
安裝完以后，執行如下命令：
update-alternatives--configjava
可以看見(jiàn) Java 的 HOME 目錄為 /usr/lib/jvm/java-8-oracle。接著(zhù)，配置 Java 環(huán)境變量，執行如下命令：
vim~/.bashrc
在文件末尾粘貼上以下幾行：
為了讓配置生效，還須要 source 一下：
source~/.bashrc
最后，通過(guò) java -version 查看 JDK 版本信息。若出現類(lèi)似以下顯示，則表明安裝成功：
安裝 ELK 套件
首先，通過(guò) wget 下載 deb 包，以下命令分別下載最新版(6.5.1)的 Filebeat、Logstash、Elasticsearch 和 Kibana:
下載完成后，會(huì )存在以下四個(gè) deb 包
之后，就可以通過(guò) dpkg -i xxx.deb 命令進(jìn)行安裝了
修改配置文件，讓數據流打通
進(jìn)入 /etc/filebeat 目錄，修改 filebeat.yml 文件，設置要采集的日志文件路徑，和要發(fā)送到的 Logstash IP 地址。由于是在同一臺 VM 上混部，所以 IP 可以設置為 127.0.0.1。若 Logstash 部署在另外一臺 VM 上，則須要配置那臺 VM 的 IP 地址。
Filebeat 包中早已安裝了默認的索引模板（index template）。 如果你采用 filebeat.yml 文件的默認配置，即 Filebeat 直連 ElasticSearch 時(shí)，會(huì )手動(dòng)上傳索引模板（filebeat.template.json），該索引模板定義了索引名及怎樣對 Filebeat 上傳的數據構建索引。但是怎樣須要將日志發(fā)送到 Logstash 中，則不會(huì )手動(dòng)上傳索引模板，必須自動(dòng)上傳，因此須要執行如下命令：
curl-XPUT-H'Content-Type: application/json':9200/_template/filebeat-6.5.1 -d@filebeat.template.json
在 /etc/logstash/conf.d 目錄下邊創(chuàng )建 pipeline.yml，并輸入如下內容：
而且，需要步入到 /usr/share/logstash/bin 目錄，執行如下命令安裝logstash-input-beats插件：
./logstash-plugininstalllogstash-input-beats
進(jìn)入到 /etc/elasticsearch 目錄中，修改 elasticsearch.yml 文件：
進(jìn)入到 /etc/kibana 目錄，修改 kibana.yml 文件。此處的 server.host 一定要配置成0.0.0.0：
最后，啟動(dòng)所有的服務(wù)，在 /usr/share/(elk)/bin 目錄中執行啟動(dòng)文件，啟動(dòng)時(shí)注意用戶(hù)權限的問(wèn)題。同時(shí)記住要先啟 Elasticserch，再啟 Kibana，否則會(huì )報錯。待打算環(huán)境都就緒以后采集系統上云，就可以運行 Filebeat 爬取日志數據了。此時(shí)登陸到瀏覽器，可以通過(guò) Kibana UI 界面檢索（可視化）海量日志內容，如果須要多樣化界面或則將日志數據拉下來(lái)用于其它用途，則可以調用 Elasticsearch 的 RESTful API 與之進(jìn)行交互。
總結
隨著(zhù)分布式系統的普及，如何在諸多數學(xué)服務(wù)器上采集海量日志并進(jìn)行統一處理，然后借助大數據算法挖掘日志中有潛在價(jià)值的信息，變得越來(lái)越重要。
本文只是在單臺 VM 上搭建了一套日志采集環(huán)境，進(jìn)行演示。如果須要在分布式系統中使用，也很簡(jiǎn)單，只需將 Filebeat 獨立安裝在各個(gè)宿主機上就可以了。 查看全部
前段時(shí)間學(xué)院朋友聚餐采集系統上云，一個(gè)在讀的博士朋友提到她們實(shí)驗室做實(shí)驗時(shí)，物理服務(wù)器須要向老師申請且組內同事都共用這些機器。由于運行一些大數據和人工智能的項目比較花費資源，且對資源環(huán)境的隔離要求比較高，因而好多時(shí)侯用機器還得排隊（畢竟中學(xué)經(jīng)費和底層基礎設施沒(méi)有公司充沛），不是很方便。于是我就對他說(shuō)到，為什么不嘗試在公有云里面訂購 VM 呢？便宜又好用，實(shí)驗室每個(gè)月經(jīng)費買(mǎi)虛擬機是綽綽有余的，同時(shí)由于公有云可以按需使用，磁盤(pán)高可用且支持動(dòng)態(tài)擴容，還能在某個(gè)時(shí)刻打快照，非常適宜搭項目環(huán)境使用。
朋友目前的一個(gè)實(shí)驗任務(wù)是從海量分布式系統中搜集操作系統、數據庫、消息中間件及應用程序的日志，并借助大數據算法挖掘隱藏在數據中有潛在價(jià)值的信息。
想到可能還有更多的同學(xué)會(huì )碰到類(lèi)似的問(wèn)題、甚至可能是類(lèi)似的任務(wù)，于是便寫(xiě)了本篇博客以幫助有此須要的同事，使之才能在短時(shí)間內搭建一套行之有效的數據采集系統，方便快速上手使用。
快速了解 ELK 系統
ELK-Stack是一套開(kāi)源日志采集套件，使用上去十分便捷。先快速了解下每位服務(wù)是干哪些的。
在虛擬機上搭建日志采集組件
巧婦難為無(wú)米之炊。首先，需要在嘀嘀云上訂購一臺 VM。操作系統任意選，這里我選擇的是 Ubuntu 14.04。由于 ElasticSearch 需要儲存采集到的日志數據，因而對儲存空間要求相對較高，我選擇了 100G 的c盤(pán)；同時(shí)，因為 Logstash 會(huì )不停的解析和處理數據，所以 CPU 和顯存須要適當大一點(diǎn)，這里我選擇了 2 核 4G 內存的配置?，F在使我們開(kāi)始 ELK 日志系統搭建之旅。
首先安裝 JDK8
安裝完以后，執行如下命令：
update-alternatives--configjava
可以看見(jiàn) Java 的 HOME 目錄為 /usr/lib/jvm/java-8-oracle。接著(zhù)，配置 Java 環(huán)境變量，執行如下命令：
vim~/.bashrc
在文件末尾粘貼上以下幾行：
為了讓配置生效，還須要 source 一下：
source~/.bashrc
最后，通過(guò) java -version 查看 JDK 版本信息。若出現類(lèi)似以下顯示，則表明安裝成功：
安裝 ELK 套件
首先，通過(guò) wget 下載 deb 包，以下命令分別下載最新版(6.5.1)的 Filebeat、Logstash、Elasticsearch 和 Kibana:
下載完成后，會(huì )存在以下四個(gè) deb 包
之后，就可以通過(guò) dpkg -i xxx.deb 命令進(jìn)行安裝了
修改配置文件，讓數據流打通
進(jìn)入 /etc/filebeat 目錄，修改 filebeat.yml 文件，設置要采集的日志文件路徑，和要發(fā)送到的 Logstash IP 地址。由于是在同一臺 VM 上混部，所以 IP 可以設置為 127.0.0.1。若 Logstash 部署在另外一臺 VM 上，則須要配置那臺 VM 的 IP 地址。
Filebeat 包中早已安裝了默認的索引模板（index template）。 如果你采用 filebeat.yml 文件的默認配置，即 Filebeat 直連 ElasticSearch 時(shí)，會(huì )手動(dòng)上傳索引模板（filebeat.template.json），該索引模板定義了索引名及怎樣對 Filebeat 上傳的數據構建索引。但是怎樣須要將日志發(fā)送到 Logstash 中，則不會(huì )手動(dòng)上傳索引模板，必須自動(dòng)上傳，因此須要執行如下命令：
curl-XPUT-H'Content-Type: application/json':9200/_template/filebeat-6.5.1 -d@filebeat.template.json
在 /etc/logstash/conf.d 目錄下邊創(chuàng )建 pipeline.yml，并輸入如下內容：
而且，需要步入到 /usr/share/logstash/bin 目錄，執行如下命令安裝logstash-input-beats插件：
./logstash-plugininstalllogstash-input-beats
進(jìn)入到 /etc/elasticsearch 目錄中，修改 elasticsearch.yml 文件：
進(jìn)入到 /etc/kibana 目錄，修改 kibana.yml 文件。此處的 server.host 一定要配置成0.0.0.0：
最后，啟動(dòng)所有的服務(wù)，在 /usr/share/(elk)/bin 目錄中執行啟動(dòng)文件，啟動(dòng)時(shí)注意用戶(hù)權限的問(wèn)題。同時(shí)記住要先啟 Elasticserch，再啟 Kibana，否則會(huì )報錯。待打算環(huán)境都就緒以后采集系統上云，就可以運行 Filebeat 爬取日志數據了。此時(shí)登陸到瀏覽器，可以通過(guò) Kibana UI 界面檢索（可視化）海量日志內容，如果須要多樣化界面或則將日志數據拉下來(lái)用于其它用途，則可以調用 Elasticsearch 的 RESTful API 與之進(jìn)行交互。
總結
隨著(zhù)分布式系統的普及，如何在諸多數學(xué)服務(wù)器上采集海量日志并進(jìn)行統一處理，然后借助大數據算法挖掘日志中有潛在價(jià)值的信息，變得越來(lái)越重要。
本文只是在單臺 VM 上搭建了一套日志采集環(huán)境，進(jìn)行演示。如果須要在分布式系統中使用，也很簡(jiǎn)單，只需將 Filebeat 獨立安裝在各個(gè)宿主機上就可以了。
