解決方案:鷹眼：海量級分布式日志系統上云的架構和實(shí)踐

　　Eagle Eye是PCG技術(shù)運營(yíng)部負責的海量分布式實(shí)時(shí)監控和日志分析系統。它支持多語(yǔ)言報告。域名是：/

　　鷹眼的數據上報是通過(guò)ATTA提供的，ATTA支持多語(yǔ)言上報（JAVA、Python、C++等），上報后鷹眼從ATTA系統中拉取數據，最后寫(xiě)入ES，通過(guò)ES的倒排索引機制，快速查詢(xún)功能，寫(xiě)入功能等。

　　Eagle Eye利用ES的倒排索引機制和百億級數據秒級查詢(xún)返回能力，提供如下功能：

　　1、實(shí)時(shí)日志查詢(xún)服務(wù)數據

　　實(shí)時(shí)日志查詢(xún)服務(wù)數據上報給ATTA后，開(kāi)發(fā)可以通過(guò)鷹眼及時(shí)查詢(xún)日志定位問(wèn)題，運維可以通過(guò)數據實(shí)時(shí)查詢(xún)業(yè)務(wù)的運行狀態(tài)鷹眼提供的統計接口。

　　2、數據分析能力

　　鷹眼數據入庫后，用戶(hù)可以直接通過(guò)API調用進(jìn)行OLAP分析。

　　3.錯誤日志告*敏*感*詞*務(wù)

　　如果程序出現錯誤，可以根據鷹眼規范上報錯誤日志，鷹眼會(huì )根據不同的錯誤代碼進(jìn)行分詞和分鐘級告警。

　　4.Grafana實(shí)時(shí)分析告警

　　通過(guò)grafana上報給鷹眼的數據進(jìn)行實(shí)時(shí)分析和告警。（因為ES不支持大并發(fā)查詢(xún)，不可能實(shí)時(shí)分析非常大的數據）

　　二、上云的背景

　　公司調整戰略，成立新的云事業(yè)群，在內部成立“技術(shù)委員會(huì )”，推出“開(kāi)源協(xié)作”和“業(yè)務(wù)上云”兩大戰略方向。

　　在架構演進(jìn)中，鷹眼團隊上云可以獲得哪些收益？上云有什么價(jià)值？

　　1.商業(yè)價(jià)值 2.工程師價(jià)值 3.騰訊云價(jià)值 3.組件云架構選擇

　　

" />

　　為了保證業(yè)務(wù)的連續性和架構的演進(jìn)，數據導入過(guò)程中的主要流程沒(méi)有太大變化。Kafka直接使用云端的CKAFKA，ES直接使用云端的ES。

　　ES和Kafka直接使用云端組件，其他組件需要重構。

　　1.重構LogSender

　　生產(chǎn)者程序寫(xiě)入Kafka的性能瓶頸特別大，高峰期數據丟失特別嚴重。

　　Producer程序寫(xiě)入數據流程：讀取BOSS訂閱->IP解析->寫(xiě)入Kafka。

　　(1) IP解析性能瓶頸

　　以前，生產(chǎn)者程序是 C++ 版本。打印日志后發(fā)現，IP解析在高峰期特別耗時(shí)。查看代碼，發(fā)現IP解析被鎖定。因此，在高峰期數據丟失尤為嚴重。解決辦法是：把IP解析改成二分查找算法定位IP，然后取消鎖解決。

　　(2) Kafka性能瓶頸問(wèn)題

　　因為我們的producer程序，一個(gè)程序會(huì )讀取很多很多topic然后寫(xiě)到kafka。我們嘗試使用一個(gè)生產(chǎn)者和多個(gè)生產(chǎn)者來(lái)發(fā)送，但是性能無(wú)法提高。

　　查看源碼后發(fā)現，Kafka在發(fā)送時(shí)，會(huì )根據topic分區對隊列進(jìn)行加鎖。當隊列滿(mǎn)了，它會(huì )發(fā)送一批消息出去。所以解決辦法是，每個(gè)BOSSID應該有一個(gè)獨立的發(fā)送客戶(hù)端。

　　優(yōu)化后：當數據量很大時(shí)，由于程序性能原因，單個(gè)節點(diǎn)一分鐘最多只能處理13萬(wàn)條左右的數據。改進(jìn)后，單個(gè)節點(diǎn)可處理約55萬(wàn)條數據。性能提高了 4 倍。

　　2.Kafka選型

　　一般來(lái)說(shuō)，高版本的Kafka比低版本支持更多的功能，比如事務(wù)、磁盤(pán)間的數據傳輸等，寫(xiě)入性能不會(huì )下降。這里選擇的是最高版本。

　　當然，CKAFKA并沒(méi)有給我們選擇版本的機會(huì )?？蛻?hù)端寫(xiě)的時(shí)候一定要和kafka服務(wù)器的版本保持一致，避免出現不必要的問(wèn)題。

　　比如低版本的客戶(hù)端向高版本的Kafka寫(xiě)數據，如果使用數據壓縮，服務(wù)端收到數據后會(huì )解壓，然后按照對應的格式進(jìn)行壓縮（如果版本相同，這個(gè)動(dòng)作不會(huì )發(fā)生），增加了服務(wù)器的運行成本。

　　Kafka上云后，單機性能可以達到400MB/s，而我們自建的Kafka單機性能可以達到100MB/s，性能提升4倍。

　　3.重構環(huán)聊

　　對于ES的編寫(xiě)，業(yè)界有很多組件，最著(zhù)名的就是Logstach。由于性能不夠，我們重新開(kāi)發(fā)了一套讀Kafka寫(xiě)ES的組件。

　　

" />

　　核心優(yōu)化點(diǎn)如下：

　　由于磁盤(pán)IO大幅減少，在極度優(yōu)化下性能還能繼續提升2倍以上?？傮w而言，ES 寫(xiě)入性能提升了 6 倍左右。

　　4.ES選擇

　　低版本ES支持TCP寫(xiě)法和HTTP寫(xiě)法，高版本只支持一種HTTP寫(xiě)法。實(shí)際測試發(fā)現有以下差異：

　　所以我們采用云版本ES 6.8.2。

　　上云后的效果：

　　4、上云后的變化

　　ES/Kafka上云后，有50多個(gè)ES集群，12個(gè)Kafka集群。

　　1.減少工作量

　　如果不上云，搭建這些集群平均需要20臺機器一個(gè)ES集群。從申請機器，到機器初始化，磁盤(pán)RAID，安裝ES，每個(gè)ES平均需要3-4人/天，所以建設成本已經(jīng)需要200多人（62*3-4）每天，而且集群運維成本暫且不提，遠遠超過(guò)了鷹眼團隊的人力。

　　2. 降低成本

　　上云后，隨著(zhù)各組件的優(yōu)化，整體性能至少提升2-3倍，所需資源同比減少2-3倍，每年節省成本至少2kw。

　　3、工作更專(zhuān)注

　　上云后：

　　五、后續架構演進(jìn) 1、監控系統建設

　　核心模塊必須同時(shí)具備日志和監控功能。不同模塊的監控維度相互對應，使核心模塊、日志、監控兼得。當業(yè)務(wù)出現異常時(shí)，異常的基礎數據（如CPU/Mem等）、指標數據、日志數據等，構建完整的監控體系。

　　2、架構不斷升級

　　目前自研的Hangout寫(xiě)法只能保證至少一次，不能保證恰好一次。盡量通過(guò)flink的checkpoint機制保證數據鏈路的完整性。

　　解決方案:鄭州專(zhuān)業(yè)網(wǎng)站優(yōu)化外包

　　優(yōu)化步驟和技巧

　　SEO優(yōu)化其實(shí)是優(yōu)化的一部分，無(wú)論是站內優(yōu)化還是站外優(yōu)化，都收錄

在其中，以提高在搜索引擎上的排名，起到直銷(xiāo)或企業(yè)品牌推廣的作用，確保公司通過(guò)在線(xiàn)服務(wù)獲得足夠的收入。利潤。

　　優(yōu)化步驟和技巧：

　　1、關(guān)鍵詞分析（也叫關(guān)鍵詞定位）

　　這是SEO的重要組成部分。關(guān)鍵詞分析包括：關(guān)鍵詞關(guān)注者分析、競爭對手分析、關(guān)鍵詞和關(guān)聯(lián)分析、關(guān)鍵詞布局、關(guān)鍵詞排名預測。

　　2.架構分析

　　結構符合搜索引擎的爬蟲(chóng)偏好，有利于SEO。架構分析包括：消除不良架構設計、實(shí)現樹(shù)狀目錄結構、導航和鏈接優(yōu)化。

　　3.目錄和頁(yè)面優(yōu)化

　　SEO不僅僅是讓首頁(yè)在搜索引擎中有好的排名，更重要的是讓你網(wǎng)站的每一頁(yè)都帶來(lái)流量。

　　4、內容發(fā)布及鏈接整理

　　搜索引擎喜歡定期更新內容，因此合理安排內容發(fā)布時(shí)間表是SEO的重要技能之一。鏈接排列把整體有機的聯(lián)系起來(lái)，讓搜索引擎了解各個(gè)網(wǎng)頁(yè)的重要性和關(guān)鍵詞，實(shí)現參考點(diǎn)關(guān)鍵詞排列。友情鏈接之戰也在此時(shí)打響。

　　優(yōu)化，如何使用SEO工具準確查詢(xún)百度權重？

　　相信沒(méi)有一個(gè)SEOer沒(méi)有用過(guò)權重查詢(xún)工具查詢(xún)過(guò)自己的百度權重。通常，有公信力的查詢(xún)工具有站長(cháng)工具、愛(ài)站、5118三種，但每種工具每次查詢(xún)的結果都不一樣，有的甚至相差2個(gè)權重值。這么大的差距，信息應該用什么工具呢？我們先來(lái)了解一下各個(gè)查詢(xún)工具的特點(diǎn)。

　　1、權重查詢(xún)工具有什么特點(diǎn)？

　　1.站長(cháng)工具

　　站長(cháng)工具的創(chuàng )始人是姚建軍。相信進(jìn)入seo行業(yè)較早的seoers都會(huì )有所耳聞?，F在他是上市公司的*敏*感*詞*。

　　站長(cháng)之家成立于2003年，屬于開(kāi)拓者。seo查詢(xún)工具從2007年推出，到現在已經(jīng)12年了。

　　2.愛(ài)心驛站

　　愛(ài)站創(chuàng )始人鄭志平，現任深圳市愛(ài)站網(wǎng)絡(luò )公司CEO，搜狐SEO總顧問(wèn)。

　　

" />

　　愛(ài)站成立比較早，2003年，但是最早提出百度權重的標準，類(lèi)似于google的pagerank值，愛(ài)站的查詢(xún)工具是2011年推出的，到現在已經(jīng)8年了。

　　3.5118

　　5118的創(chuàng )始人是珠海5118科技*敏*感*詞*CEO李昊。

　　5118主要是關(guān)鍵詞挖礦，也可以查詢(xún)權重查詢(xún)功能，但不是它的主打項目。公司于2014年注冊成立，體重查詢(xún)工具也隨之上線(xiàn)。近年來(lái)在seo界嶄露頭角，成為seoer的新寵。除了權重查詢(xún)，還有關(guān)鍵詞挖礦、檢測等實(shí)用工具。

　　2、查詢(xún)百度權重的原理是什么？

　　1、站長(cháng)工具權重的計算分為關(guān)鍵詞掃描入庫，計算預估IP，根據預估流量劃分權重

　　將 關(guān)鍵詞 掃描到存儲中。

　　通過(guò)每天掃描百度中大量的關(guān)鍵詞排名，記錄百度SERP**頁(yè)面上每個(gè)關(guān)鍵詞排名的結果并存儲數據，這些數據包括關(guān)鍵詞索引（沒(méi)有索引的詞是一般不記錄），關(guān)鍵詞各排名位置對應的URL等，當用戶(hù)提交URL查詢(xún)該權重時(shí)，服務(wù)器收到查詢(xún)命令，在數據庫中查找,并將查詢(xún)到的關(guān)鍵詞的所有結果按照所有索引關(guān)鍵詞的排名位置降序排列并輸出。

　　因為不是百度工具，有些關(guān)鍵詞沒(méi)有記錄在數據庫中，所以有些關(guān)鍵詞可能查詢(xún)不到。

　　以下是站長(cháng)工具根據預估流量的加權標準

　　估計流量0-100的百度權重為1（關(guān)鍵詞指標排名前50）

　　估計100-500流量之間的百度權重為2

　　百度權重預計流量500-1000為3

　　預估流量1000-5000的百度權重為4

　　預估流量5000-10000的百度權重為5

　　預估流量1萬(wàn)-5萬(wàn)的百度權重為6

　　預估流量5萬(wàn)-20萬(wàn)的百度權重為7

　　預計流量20萬(wàn)-100萬(wàn)，百度權重8

　　預計大于100萬(wàn)的流量權重為9

　　2、愛(ài)站和5118的權重計算和站長(cháng)工具基本一致，只是估算的流量大小不同，但差別不是特別大。

　　

" />

　　3、如何選擇查詢(xún)工具？

　　每個(gè)查詢(xún)工具都有自己的特點(diǎn)。在選擇時(shí)，我們可以參考：

　　1. 信譽(yù)

　　相對來(lái)說(shuō)，站長(cháng)之家早就建起來(lái)了，站長(cháng)工具也出來(lái)很久了。他的公信力，而愛(ài)戰的衡量標準相對要嚴格一些。通常站長(cháng)工具給的權重是1，而愛(ài)站的權重是1。網(wǎng)站確實(shí)是0，所以很多seoer認為愛(ài)站更準確。

　　2.更新時(shí)間

　　由于數據量巨大，更新時(shí)間較慢。通常百度資源平臺、站長(cháng)工具、愛(ài)站工具的更新數據可能2-3天更新一次，但5118是實(shí)時(shí)更新的，其權重更新速度更快。

　　三、實(shí)用功能

　　seoer每天的工作不僅僅是查詢(xún)權重，還有收錄量、關(guān)鍵詞排名等數據，可以在站長(cháng)工具和愛(ài)站中查詢(xún)，但是由于數據更新有延遲，seoer不能及時(shí)制定策略，導致失去對權利的控制，5118可以在查詢(xún)權重的同時(shí)進(jìn)行關(guān)鍵詞查詢(xún)和各種相關(guān)查詢(xún)，所以從實(shí)用的角度來(lái)看，5118占優(yōu)。

　　總結：關(guān)于百度權重查詢(xún)用什么工具，我的建議是三個(gè)工具都用。如果你想很好地了解你的心，我們可以用愛(ài)站來(lái)查詢(xún)。如果要和對方交換鏈接，可以提示對方去站長(cháng)工具查詢(xún)，而5118，我們在進(jìn)行數據查詢(xún)的時(shí)候可以看到權重，所以用什么工具查詢(xún)要看情況在其下使用。

　　1.發(fā)布相關(guān)內容

　　優(yōu)質(zhì)內容是您搜索引擎排名的驅動(dòng)力，優(yōu)質(zhì)內容是無(wú)可替代的。專(zhuān)門(mén)為您的目標受眾創(chuàng )建的優(yōu)質(zhì)內容將增加流量，提高您的知名度和相關(guān)性。

　　識別和定位每個(gè)頁(yè)面的關(guān)鍵字詞組。想一想您的讀者如何搜索該特定頁(yè)面（使用諸如“密歇根機械工程”、“應用物理程序”或“密歇根技術(shù)學(xué)位”等短語(yǔ)）。然后，在整個(gè)頁(yè)面中多次重復這個(gè)短語(yǔ)——在開(kāi)頭和結尾段落中重復一次或兩次，在其余內容中重復兩到四次。

　　不要忘記使用粗體、斜體、標題標簽和其他強調標簽來(lái)突出這些關(guān)鍵詞短語(yǔ)，但不要過(guò)度使用它們。永遠不要為了 SEO 犧牲好的寫(xiě)作。您的頁(yè)面是為用戶(hù)而不是搜索引擎編寫(xiě)的。

　　SEO優(yōu)化：如何優(yōu)化，如何通過(guò)SEO優(yōu)化提高排名

　　在如今的互聯(lián)網(wǎng)時(shí)代，越來(lái)越多的企業(yè)擁有自己的搜索引擎，如何讓搜索引擎收錄成為企業(yè)面臨的重要課題。如果他們想被搜索引擎收錄，那么優(yōu)化是唯一的途徑。如何讓搜索引擎快速提高收錄率，下面為大家分享。

　　我們要知道為什么要被收錄，一般站長(cháng)應該都知道，就是收錄是獲取頁(yè)面評分的前提，只有頁(yè)面中的頁(yè)面被收錄，我們才會(huì )有頁(yè)面評分，而收錄對于排名功能也具有決定性作用。但是想要獲得排名，就要看頁(yè)面內容的質(zhì)量了。

　　-/gbafcih/-

　　歡迎訪(fǎng)問(wèn)鄭州巨商網(wǎng)絡(luò )科技*敏*感*詞*網(wǎng)站，具體地址為京三路66號金城國際6號樓東單元1306室。聯(lián)系人為張某。