實(shí)時(shí)文章采集
實(shí)時(shí)文章采集(WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔、操作簡(jiǎn)單，不需要掌握專(zhuān)業(yè)的規則配置 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 106 次瀏覽 ? 2022-03-08 02:09
實(shí)時(shí)文章采集(WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔、操作簡(jiǎn)單，不需要掌握專(zhuān)業(yè)的規則配置
)
WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔易操作。無(wú)需掌握專(zhuān)業(yè)的規則配置和高級seo知識即可使用。無(wú)論是WordPresscms、dedecms、ABCcms還是小旋風(fēng)cms都可以使用。軟件還內置翻譯發(fā)布推送、數據查看等功能。讓我們的WordPress站長(cháng)通過(guò)軟件分析數據，實(shí)時(shí)調整優(yōu)化細節。
WordPress自動(dòng)采集軟件可以根據我們輸入的關(guān)鍵詞在全網(wǎng)各大平臺進(jìn)行內容采集。為提高搜索范圍和準確率，支持根據關(guān)鍵詞搜索熱門(mén)下拉詞。支持在下載過(guò)程中進(jìn)行敏感的 *words 過(guò)濾和 文章 清理。采集內容以多種格式（TXT、HTML 和漩渦樣式）保存。它支持保留標簽和圖像本地化等功能，并內置翻譯功能。有道、百度、谷歌以及自帶的翻譯功能都可以使用。
WordPress的自動(dòng)采集軟件網(wǎng)站優(yōu)化可以大大減輕我們站長(cháng)的工作強度。定期發(fā)布采集可以讓我們全天候掛機，網(wǎng)站一個(gè)好的“作息時(shí)間”可以讓我們每天網(wǎng)站更新內容，這也是一種友好的行為對于蜘蛛。
當然，僅靠?jì)热菔遣粔虻?，我們需要對內容進(jìn)行整理，提高內容質(zhì)量，吸引用戶(hù)，逐步完善我們的收錄，WordPress自動(dòng)采集軟件可以通過(guò)以下方式優(yōu)化我們的內容積分，實(shí)現我們的網(wǎng)站fast收錄，提升排名。
網(wǎng)站內容優(yōu)化
1、文章采集貨源質(zhì)量保證（大平臺、熱搜詞）
2、采集保留內容標簽
3、內置翻譯功能（英漢、繁簡(jiǎn)、簡(jiǎn)體到火星）
4、文章清洗（號碼、網(wǎng)址、機構名清洗）
3、關(guān)鍵詞保留（偽原創(chuàng )不會(huì )影響關(guān)鍵詞，保證核心關(guān)鍵詞顯示）
5、關(guān)鍵詞插入標題和文章
6、標題、內容偽原創(chuàng )
7、設置內容匹配標題（讓內容完全匹配標題）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
一個(gè)好的文章離不開(kāi)圖片的配合。合理插入我們的文章相關(guān)圖片，會(huì )大大降低用戶(hù)理解的難度。一張好的圖片有時(shí)可以很搶眼，反而讓文字成為一種點(diǎn)綴。為 網(wǎng)站 圖片添加 ALT 標簽還可以讓搜索引擎快速識別圖片。WordPress 自動(dòng) 采集 軟件圖像有哪些優(yōu)化？
網(wǎng)站圖像優(yōu)化
1、圖片云存儲（支持七牛、阿里、騰訊等云平臺）/本地化
2、給圖片添加alt標簽
3、圖片替換原圖
4、圖片水印/去水
5、圖片按頻率插入到文本中
三、網(wǎng)站管理優(yōu)化
WordPress自動(dòng)采集軟件具有全程優(yōu)化管理功能。采集、文本清洗、翻譯、偽原創(chuàng )、發(fā)布、推送的全流程管理都可以在軟件中實(shí)現，并提供各階段任務(wù)的進(jìn)度和反饋等信息可以實(shí)時(shí)查看任務(wù)的成敗。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為一個(gè)SEO從業(yè)者，我們必須足夠細心，才能做好SEO。無(wú)論是優(yōu)化文章內容還是通過(guò)alt標簽描述圖片，每一個(gè)小地方都可能是我們優(yōu)化的方向。在我的SEO工作中，一絲不茍、善于發(fā)現、堅持不懈是做好網(wǎng)站工作的必要因素。
查看全部
)
WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔易操作。無(wú)需掌握專(zhuān)業(yè)的規則配置和高級seo知識即可使用。無(wú)論是WordPresscms、dedecms、ABCcms還是小旋風(fēng)cms都可以使用。軟件還內置翻譯發(fā)布推送、數據查看等功能。讓我們的WordPress站長(cháng)通過(guò)軟件分析數據，實(shí)時(shí)調整優(yōu)化細節。
WordPress自動(dòng)采集軟件可以根據我們輸入的關(guān)鍵詞在全網(wǎng)各大平臺進(jìn)行內容采集。為提高搜索范圍和準確率，支持根據關(guān)鍵詞搜索熱門(mén)下拉詞。支持在下載過(guò)程中進(jìn)行敏感的 *words 過(guò)濾和 文章 清理。采集內容以多種格式（TXT、HTML 和漩渦樣式）保存。它支持保留標簽和圖像本地化等功能，并內置翻譯功能。有道、百度、谷歌以及自帶的翻譯功能都可以使用。
WordPress的自動(dòng)采集軟件網(wǎng)站優(yōu)化可以大大減輕我們站長(cháng)的工作強度。定期發(fā)布采集可以讓我們全天候掛機，網(wǎng)站一個(gè)好的“作息時(shí)間”可以讓我們每天網(wǎng)站更新內容，這也是一種友好的行為對于蜘蛛。
當然，僅靠?jì)热菔遣粔虻?，我們需要對內容進(jìn)行整理，提高內容質(zhì)量，吸引用戶(hù)，逐步完善我們的收錄，WordPress自動(dòng)采集軟件可以通過(guò)以下方式優(yōu)化我們的內容積分，實(shí)現我們的網(wǎng)站fast收錄，提升排名。
網(wǎng)站內容優(yōu)化
1、文章采集貨源質(zhì)量保證（大平臺、熱搜詞）
2、采集保留內容標簽
3、內置翻譯功能（英漢、繁簡(jiǎn)、簡(jiǎn)體到火星）
4、文章清洗（號碼、網(wǎng)址、機構名清洗）
3、關(guān)鍵詞保留（偽原創(chuàng )不會(huì )影響關(guān)鍵詞，保證核心關(guān)鍵詞顯示）
5、關(guān)鍵詞插入標題和文章
6、標題、內容偽原創(chuàng )
7、設置內容匹配標題（讓內容完全匹配標題）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
一個(gè)好的文章離不開(kāi)圖片的配合。合理插入我們的文章相關(guān)圖片，會(huì )大大降低用戶(hù)理解的難度。一張好的圖片有時(shí)可以很搶眼，反而讓文字成為一種點(diǎn)綴。為 網(wǎng)站 圖片添加 ALT 標簽還可以讓搜索引擎快速識別圖片。WordPress 自動(dòng) 采集 軟件圖像有哪些優(yōu)化？
網(wǎng)站圖像優(yōu)化
1、圖片云存儲（支持七牛、阿里、騰訊等云平臺）/本地化
2、給圖片添加alt標簽
3、圖片替換原圖
4、圖片水印/去水
5、圖片按頻率插入到文本中
三、網(wǎng)站管理優(yōu)化
WordPress自動(dòng)采集軟件具有全程優(yōu)化管理功能。采集、文本清洗、翻譯、偽原創(chuàng )、發(fā)布、推送的全流程管理都可以在軟件中實(shí)現，并提供各階段任務(wù)的進(jìn)度和反饋等信息可以實(shí)時(shí)查看任務(wù)的成敗。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為一個(gè)SEO從業(yè)者，我們必須足夠細心，才能做好SEO。無(wú)論是優(yōu)化文章內容還是通過(guò)alt標簽描述圖片，每一個(gè)小地方都可能是我們優(yōu)化的方向。在我的SEO工作中，一絲不茍、善于發(fā)現、堅持不懈是做好網(wǎng)站工作的必要因素。
查看全部
實(shí)時(shí)文章采集(WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔、操作簡(jiǎn)單，不需要掌握專(zhuān)業(yè)的規則配置
)
WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔易操作。無(wú)需掌握專(zhuān)業(yè)的規則配置和高級seo知識即可使用。無(wú)論是WordPresscms、dedecms、ABCcms還是小旋風(fēng)cms都可以使用。軟件還內置翻譯發(fā)布推送、數據查看等功能。讓我們的WordPress站長(cháng)通過(guò)軟件分析數據，實(shí)時(shí)調整優(yōu)化細節。
WordPress自動(dòng)采集軟件可以根據我們輸入的關(guān)鍵詞在全網(wǎng)各大平臺進(jìn)行內容采集。為提高搜索范圍和準確率，支持根據關(guān)鍵詞搜索熱門(mén)下拉詞。支持在下載過(guò)程中進(jìn)行敏感的 *words 過(guò)濾和 文章 清理。采集內容以多種格式（TXT、HTML 和漩渦樣式）保存。它支持保留標簽和圖像本地化等功能，并內置翻譯功能。有道、百度、谷歌以及自帶的翻譯功能都可以使用。
WordPress的自動(dòng)采集軟件網(wǎng)站優(yōu)化可以大大減輕我們站長(cháng)的工作強度。定期發(fā)布采集可以讓我們全天候掛機，網(wǎng)站一個(gè)好的“作息時(shí)間”可以讓我們每天網(wǎng)站更新內容，這也是一種友好的行為對于蜘蛛。
當然，僅靠?jì)热菔遣粔虻?，我們需要對內容進(jìn)行整理，提高內容質(zhì)量，吸引用戶(hù)，逐步完善我們的收錄，WordPress自動(dòng)采集軟件可以通過(guò)以下方式優(yōu)化我們的內容積分，實(shí)現我們的網(wǎng)站fast收錄，提升排名。
網(wǎng)站內容優(yōu)化
1、文章采集貨源質(zhì)量保證（大平臺、熱搜詞）
2、采集保留內容標簽
3、內置翻譯功能（英漢、繁簡(jiǎn)、簡(jiǎn)體到火星）
4、文章清洗（號碼、網(wǎng)址、機構名清洗）
3、關(guān)鍵詞保留（偽原創(chuàng )不會(huì )影響關(guān)鍵詞，保證核心關(guān)鍵詞顯示）
5、關(guān)鍵詞插入標題和文章
6、標題、內容偽原創(chuàng )
7、設置內容匹配標題（讓內容完全匹配標題）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
一個(gè)好的文章離不開(kāi)圖片的配合。合理插入我們的文章相關(guān)圖片，會(huì )大大降低用戶(hù)理解的難度。一張好的圖片有時(shí)可以很搶眼，反而讓文字成為一種點(diǎn)綴。為 網(wǎng)站 圖片添加 ALT 標簽還可以讓搜索引擎快速識別圖片。WordPress 自動(dòng) 采集 軟件圖像有哪些優(yōu)化？
網(wǎng)站圖像優(yōu)化
1、圖片云存儲（支持七牛、阿里、騰訊等云平臺）/本地化
2、給圖片添加alt標簽
3、圖片替換原圖
4、圖片水印/去水
5、圖片按頻率插入到文本中
三、網(wǎng)站管理優(yōu)化
WordPress自動(dòng)采集軟件具有全程優(yōu)化管理功能。采集、文本清洗、翻譯、偽原創(chuàng )、發(fā)布、推送的全流程管理都可以在軟件中實(shí)現，并提供各階段任務(wù)的進(jìn)度和反饋等信息可以實(shí)時(shí)查看任務(wù)的成敗。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為一個(gè)SEO從業(yè)者，我們必須足夠細心，才能做好SEO。無(wú)論是優(yōu)化文章內容還是通過(guò)alt標簽描述圖片，每一個(gè)小地方都可能是我們優(yōu)化的方向。在我的SEO工作中，一絲不茍、善于發(fā)現、堅持不懈是做好網(wǎng)站工作的必要因素。
實(shí)時(shí)文章采集( SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 189 次瀏覽 ? 2022-03-08 02:06
實(shí)時(shí)文章采集(
SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集我還能做嗎？讓網(wǎng)站采集的網(wǎng)站快速收錄發(fā)布工具
SEO技術(shù)分享2022-03-04
如何讓采集站快收錄和關(guān)鍵詞排名，相信各位站長(cháng)一定遇到過(guò)這種情況，采集站收錄波動(dòng)太大, 和 關(guān)鍵詞 不穩定的排名。尤其是剛剛沖上首頁(yè)的關(guān)鍵詞經(jīng)常掉出首頁(yè)，那么如何穩定首頁(yè)的排名關(guān)鍵詞又如何讓采集站得快收錄@ >。
一、觀(guān)察網(wǎng)站收錄情況
很多站長(cháng)在關(guān)鍵詞沖到首頁(yè)后開(kāi)始不關(guān)注網(wǎng)站的收錄。千萬(wàn)不能馬虎，要定期檢查網(wǎng)站收錄是否正常，只有保持一定的收錄，關(guān)鍵詞的排名才能穩定。順便在主頁(yè)上觀(guān)察一下同事，了解他們網(wǎng)站的優(yōu)點(diǎn)，放到我的網(wǎng)站中。
二、網(wǎng)站更新頻率
你為什么這么說(shuō)？當您點(diǎn)擊主頁(yè)時(shí)，您每天都會(huì )發(fā)布內容。到首頁(yè)后還需要發(fā)布嗎？很多站長(cháng)認為這沒(méi)有必要，但實(shí)際上是一個(gè)錯誤的判斷。前期我們發(fā)布了內容，為更多網(wǎng)站收錄打下基礎。后期發(fā)布內容的目的是為了保持一定的頻率，這樣既可以穩定快照的更新頻率，又可以防止搜索引擎將我們判斷為死站網(wǎng)站。
我們可以通過(guò)網(wǎng)站采集軟件實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，不需要專(zhuān)業(yè)技能，只需幾個(gè)簡(jiǎn)單的步驟。輕松的采集內容數據，用戶(hù)只需對網(wǎng)站采集軟件進(jìn)行簡(jiǎn)單設置，網(wǎng)站采集軟件根據用戶(hù)設置< @關(guān)鍵詞 準確采集文章，以確保與行業(yè)文章保持一致。采集 文章 from 采集 可以選擇在本地保存更改，也可以選擇自動(dòng)偽原創(chuàng ) 然后發(fā)布。
和其他網(wǎng)站采集軟件相比，這個(gè)網(wǎng)站采集軟件基本沒(méi)有規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽了，一分鐘就到上手，只需輸入關(guān)鍵詞即可實(shí)現采集（網(wǎng)站采集軟件也自帶關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)cms采集插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布也可以提升很多SEO優(yōu)化。
1、網(wǎng)站全網(wǎng)推送（主動(dòng)提交鏈接至百度/360/搜狗/神馬/今日頭條/bing/Google）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，則自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片并保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選擇將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
<p>7、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前采集 查看全部
SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集我還能做嗎？讓網(wǎng)站采集的網(wǎng)站快速收錄發(fā)布工具
SEO技術(shù)分享2022-03-04
如何讓采集站快收錄和關(guān)鍵詞排名，相信各位站長(cháng)一定遇到過(guò)這種情況，采集站收錄波動(dòng)太大, 和 關(guān)鍵詞 不穩定的排名。尤其是剛剛沖上首頁(yè)的關(guān)鍵詞經(jīng)常掉出首頁(yè)，那么如何穩定首頁(yè)的排名關(guān)鍵詞又如何讓采集站得快收錄@ >。
一、觀(guān)察網(wǎng)站收錄情況
很多站長(cháng)在關(guān)鍵詞沖到首頁(yè)后開(kāi)始不關(guān)注網(wǎng)站的收錄。千萬(wàn)不能馬虎，要定期檢查網(wǎng)站收錄是否正常，只有保持一定的收錄，關(guān)鍵詞的排名才能穩定。順便在主頁(yè)上觀(guān)察一下同事，了解他們網(wǎng)站的優(yōu)點(diǎn)，放到我的網(wǎng)站中。
二、網(wǎng)站更新頻率
你為什么這么說(shuō)？當您點(diǎn)擊主頁(yè)時(shí)，您每天都會(huì )發(fā)布內容。到首頁(yè)后還需要發(fā)布嗎？很多站長(cháng)認為這沒(méi)有必要，但實(shí)際上是一個(gè)錯誤的判斷。前期我們發(fā)布了內容，為更多網(wǎng)站收錄打下基礎。后期發(fā)布內容的目的是為了保持一定的頻率，這樣既可以穩定快照的更新頻率，又可以防止搜索引擎將我們判斷為死站網(wǎng)站。
我們可以通過(guò)網(wǎng)站采集軟件實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，不需要專(zhuān)業(yè)技能，只需幾個(gè)簡(jiǎn)單的步驟。輕松的采集內容數據，用戶(hù)只需對網(wǎng)站采集軟件進(jìn)行簡(jiǎn)單設置，網(wǎng)站采集軟件根據用戶(hù)設置< @關(guān)鍵詞 準確采集文章，以確保與行業(yè)文章保持一致。采集 文章 from 采集 可以選擇在本地保存更改，也可以選擇自動(dòng)偽原創(chuàng ) 然后發(fā)布。
和其他網(wǎng)站采集軟件相比，這個(gè)網(wǎng)站采集軟件基本沒(méi)有規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽了，一分鐘就到上手，只需輸入關(guān)鍵詞即可實(shí)現采集（網(wǎng)站采集軟件也自帶關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)cms采集插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布也可以提升很多SEO優(yōu)化。
1、網(wǎng)站全網(wǎng)推送（主動(dòng)提交鏈接至百度/360/搜狗/神馬/今日頭條/bing/Google）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，則自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片并保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選擇將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
<p>7、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前采集 查看全部
實(shí)時(shí)文章采集(
SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集我還能做嗎？讓網(wǎng)站采集的網(wǎng)站快速收錄發(fā)布工具
SEO技術(shù)分享2022-03-04
如何讓采集站快收錄和關(guān)鍵詞排名，相信各位站長(cháng)一定遇到過(guò)這種情況，采集站收錄波動(dòng)太大, 和 關(guān)鍵詞 不穩定的排名。尤其是剛剛沖上首頁(yè)的關(guān)鍵詞經(jīng)常掉出首頁(yè)，那么如何穩定首頁(yè)的排名關(guān)鍵詞又如何讓采集站得快收錄@ >。
一、觀(guān)察網(wǎng)站收錄情況
很多站長(cháng)在關(guān)鍵詞沖到首頁(yè)后開(kāi)始不關(guān)注網(wǎng)站的收錄。千萬(wàn)不能馬虎，要定期檢查網(wǎng)站收錄是否正常，只有保持一定的收錄，關(guān)鍵詞的排名才能穩定。順便在主頁(yè)上觀(guān)察一下同事，了解他們網(wǎng)站的優(yōu)點(diǎn)，放到我的網(wǎng)站中。
二、網(wǎng)站更新頻率
你為什么這么說(shuō)？當您點(diǎn)擊主頁(yè)時(shí)，您每天都會(huì )發(fā)布內容。到首頁(yè)后還需要發(fā)布嗎？很多站長(cháng)認為這沒(méi)有必要，但實(shí)際上是一個(gè)錯誤的判斷。前期我們發(fā)布了內容，為更多網(wǎng)站收錄打下基礎。后期發(fā)布內容的目的是為了保持一定的頻率，這樣既可以穩定快照的更新頻率，又可以防止搜索引擎將我們判斷為死站網(wǎng)站。
我們可以通過(guò)網(wǎng)站采集軟件實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，不需要專(zhuān)業(yè)技能，只需幾個(gè)簡(jiǎn)單的步驟。輕松的采集內容數據，用戶(hù)只需對網(wǎng)站采集軟件進(jìn)行簡(jiǎn)單設置，網(wǎng)站采集軟件根據用戶(hù)設置< @關(guān)鍵詞 準確采集文章，以確保與行業(yè)文章保持一致。采集 文章 from 采集 可以選擇在本地保存更改，也可以選擇自動(dòng)偽原創(chuàng ) 然后發(fā)布。
和其他網(wǎng)站采集軟件相比，這個(gè)網(wǎng)站采集軟件基本沒(méi)有規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽了，一分鐘就到上手，只需輸入關(guān)鍵詞即可實(shí)現采集（網(wǎng)站采集軟件也自帶關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)cms采集插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布也可以提升很多SEO優(yōu)化。
1、網(wǎng)站全網(wǎng)推送（主動(dòng)提交鏈接至百度/360/搜狗/神馬/今日頭條/bing/Google）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，則自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片并保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選擇將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
<p>7、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前采集
實(shí)時(shí)文章采集(如何采集豆瓣熱門(mén)電影，實(shí)時(shí)文章采集實(shí)踐十技巧分享)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 155 次瀏覽 ? 2022-03-08 02:02
實(shí)時(shí)文章采集(如何采集豆瓣熱門(mén)電影，實(shí)時(shí)文章采集實(shí)踐十技巧分享)
實(shí)時(shí)文章采集
一）、動(dòng)態(tài)文章采集
二）、基于目錄文章采集
三）、實(shí)時(shí)文章采集
四）、多維目錄文章采集
五）、實(shí)時(shí)文章采集之常用工具
六）、文章鏈接采集
七）、基于網(wǎng)頁(yè)采集
八）、文章采集指南
九）、文章采集實(shí)踐
十）
不如弄一個(gè)小型excel表格吧，就記錄每天每小時(shí)大家都發(fā)表的文章都是什么類(lèi)型的什么風(fēng)格的。當然這里面很多名詞都是網(wǎng)絡(luò )上搜不到的。再配上一些關(guān)鍵詞，關(guān)鍵詞間隔需要注意調整。畢竟很多說(shuō)高質(zhì)量新聞稿是軟文的。
每天每小時(shí)都重復性發(fā)明幾條文章
本專(zhuān)欄上篇文章跟大家分享了如何采集豆瓣熱門(mén)電影，本篇文章要談?wù)勛约簩?xiě)過(guò)的一篇采集文章，
有很多要注意的很難寫(xiě)一下，自己感覺(jué)，新聞跟帖不一樣，條數不多，關(guān)注人數固定，但是內容大都有些廣，數量多，文本樣式不固定，所以可能無(wú)法有效的聚合文本特征，太多的網(wǎng)站會(huì )導致內容過(guò)于相似，有可能會(huì )影響讀者，但是要注意需要控制好一個(gè)段落的數量，不然讀者看到長(cháng)的同一篇新聞跟帖，未必會(huì )關(guān)注細節！當然特別喜歡某一個(gè)事情或者細節的人，你還是要多關(guān)注他的！。
我是用的qq發(fā)布，自己點(diǎn)發(fā)布之后，再搜索一下別人的發(fā)布時(shí)間，有人發(fā)布可以隨時(shí)寫(xiě)隨時(shí)發(fā)布，不過(guò)需要你寫(xiě)入的詞， 查看全部
實(shí)時(shí)文章采集
一）、動(dòng)態(tài)文章采集
二）、基于目錄文章采集
三）、實(shí)時(shí)文章采集
四）、多維目錄文章采集
五）、實(shí)時(shí)文章采集之常用工具
六）、文章鏈接采集
七）、基于網(wǎng)頁(yè)采集
八）、文章采集指南
九）、文章采集實(shí)踐
十）
不如弄一個(gè)小型excel表格吧，就記錄每天每小時(shí)大家都發(fā)表的文章都是什么類(lèi)型的什么風(fēng)格的。當然這里面很多名詞都是網(wǎng)絡(luò )上搜不到的。再配上一些關(guān)鍵詞，關(guān)鍵詞間隔需要注意調整。畢竟很多說(shuō)高質(zhì)量新聞稿是軟文的。
每天每小時(shí)都重復性發(fā)明幾條文章
本專(zhuān)欄上篇文章跟大家分享了如何采集豆瓣熱門(mén)電影，本篇文章要談?wù)勛约簩?xiě)過(guò)的一篇采集文章，
有很多要注意的很難寫(xiě)一下，自己感覺(jué)，新聞跟帖不一樣，條數不多，關(guān)注人數固定，但是內容大都有些廣，數量多，文本樣式不固定，所以可能無(wú)法有效的聚合文本特征，太多的網(wǎng)站會(huì )導致內容過(guò)于相似，有可能會(huì )影響讀者，但是要注意需要控制好一個(gè)段落的數量，不然讀者看到長(cháng)的同一篇新聞跟帖，未必會(huì )關(guān)注細節！當然特別喜歡某一個(gè)事情或者細節的人，你還是要多關(guān)注他的！。
我是用的qq發(fā)布，自己點(diǎn)發(fā)布之后，再搜索一下別人的發(fā)布時(shí)間，有人發(fā)布可以隨時(shí)寫(xiě)隨時(shí)發(fā)布，不過(guò)需要你寫(xiě)入的詞， 查看全部
實(shí)時(shí)文章采集(如何采集豆瓣熱門(mén)電影，實(shí)時(shí)文章采集實(shí)踐十技巧分享)
實(shí)時(shí)文章采集
一）、動(dòng)態(tài)文章采集
二）、基于目錄文章采集
三）、實(shí)時(shí)文章采集
四）、多維目錄文章采集
五）、實(shí)時(shí)文章采集之常用工具
六）、文章鏈接采集
七）、基于網(wǎng)頁(yè)采集
八）、文章采集指南
九）、文章采集實(shí)踐
十）
不如弄一個(gè)小型excel表格吧，就記錄每天每小時(shí)大家都發(fā)表的文章都是什么類(lèi)型的什么風(fēng)格的。當然這里面很多名詞都是網(wǎng)絡(luò )上搜不到的。再配上一些關(guān)鍵詞，關(guān)鍵詞間隔需要注意調整。畢竟很多說(shuō)高質(zhì)量新聞稿是軟文的。
每天每小時(shí)都重復性發(fā)明幾條文章
本專(zhuān)欄上篇文章跟大家分享了如何采集豆瓣熱門(mén)電影，本篇文章要談?wù)勛约簩?xiě)過(guò)的一篇采集文章，
有很多要注意的很難寫(xiě)一下，自己感覺(jué)，新聞跟帖不一樣，條數不多，關(guān)注人數固定，但是內容大都有些廣，數量多，文本樣式不固定，所以可能無(wú)法有效的聚合文本特征，太多的網(wǎng)站會(huì )導致內容過(guò)于相似，有可能會(huì )影響讀者，但是要注意需要控制好一個(gè)段落的數量，不然讀者看到長(cháng)的同一篇新聞跟帖，未必會(huì )關(guān)注細節！當然特別喜歡某一個(gè)事情或者細節的人，你還是要多關(guān)注他的！。
我是用的qq發(fā)布，自己點(diǎn)發(fā)布之后，再搜索一下別人的發(fā)布時(shí)間，有人發(fā)布可以隨時(shí)寫(xiě)隨時(shí)發(fā)布，不過(guò)需要你寫(xiě)入的詞，
實(shí)時(shí)文章采集(一個(gè)好的網(wǎng)站采集軟件認為需要以下幾點(diǎn)功能：以下幾點(diǎn) )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 134 次瀏覽 ? 2022-03-06 15:12
實(shí)時(shí)文章采集(一個(gè)好的網(wǎng)站采集軟件認為需要以下幾點(diǎn)功能：以下幾點(diǎn)
)
網(wǎng)站采集大家都比較熟悉，通過(guò)網(wǎng)站采集我們可以把自己感興趣的網(wǎng)站數據下載到自己的網(wǎng)站或者放一些內容其他人 網(wǎng)站 被保存到他們自己的服務(wù)器。通過(guò)網(wǎng)站采集可以得到我們想要的相關(guān)數據、文章、圖片等。這些材料經(jīng)過(guò)加工?？梢猿蔀槲覀冏约旱木W(wǎng)站內容，維護我們的網(wǎng)站持續更新。
網(wǎng)站采集有很多方式供我們選擇，無(wú)論是采集插件，采集軟件，還是cms自帶采集函數，我們總能在網(wǎng)上找到各種采集器。一個(gè)好的網(wǎng)站采集軟件博主認為需要具備以下特點(diǎn)：
一、高效簡(jiǎn)潔
網(wǎng)站采集可以為我們提供非常方便的采集服務(wù)，但是我們很多站長(cháng)不知道如何配置采集規則，所以從大部分用戶(hù)體驗出發(fā)，易于操作，采集穩定快速的軟件是大多數站長(cháng)喜歡的。
二、采集精準內容
網(wǎng)站采集只追求速度肯定是不夠的。一個(gè)好的采集軟件需要有精確的采集規則。它可以為我們的用戶(hù)提供可靠準確的采集素材，方便我們創(chuàng )作。
三、保留原標簽
網(wǎng)站標簽保留可以在偽原創(chuàng )時(shí)為我們提供更好的用戶(hù)體驗。無(wú)論是數據提取還是文章的重新創(chuàng )建，都將幫助我們創(chuàng )建自己的文章。
四、圖像本地化
由于缺少此功能，我們的許多 采集 圖像會(huì )降低我們的 原創(chuàng ) 度數。通過(guò)圖像定位，可以減輕替換原圖的工作強度，加強我們文章的原創(chuàng )。最好添加自己的 ALT 標簽來(lái)替換圖像。
網(wǎng)站采集可以為我們提供素材，這有助于我們的網(wǎng)站內容不斷更新，但是對于網(wǎng)站的建設來(lái)說(shuō)肯定是不夠的。我們網(wǎng)站的主要目的是為了更好的服務(wù)客戶(hù)，從而增強用戶(hù)粘性，完成流量轉化。所以在做網(wǎng)站的時(shí)候，首先要考慮的是用戶(hù)的需求。只有用戶(hù)才有評價(jià)網(wǎng)站質(zhì)量的權利。如果用戶(hù)說(shuō)是，網(wǎng)站 才是真正的好東西。所以，一定要了解用戶(hù)的需求，把用戶(hù)需求放在首位，參與網(wǎng)站的制作。只有當你的網(wǎng)站擁有了客戶(hù)真正想要的東西，你的網(wǎng)站才會(huì )成功，才能稱(chēng)得上是合格的網(wǎng)站。
網(wǎng)站Data不僅可以為我們提供內容素材，還可以通過(guò)采集data幫助我們分析市場(chǎng)和用戶(hù)需求：
一、滿(mǎn)足用戶(hù)需求
網(wǎng)站采集獲得的大數據讓我們了解用戶(hù)的顯性需求，但也有一些客戶(hù)的隱性需求，需要我們直接聯(lián)系用戶(hù)了解更多。所以，在做網(wǎng)站之前，要多做市場(chǎng)調研，一定要多接觸用戶(hù)，了解他們的需求和痛點(diǎn)。從一開(kāi)始就要有這個(gè)意識，靠采集數據分析還是片面的。在一個(gè)想法開(kāi)始之前與客戶(hù)進(jìn)行深入的溝通是最重要的。
二、增強網(wǎng)站實(shí)用程序
數據采集也可以讓我們獲得精準的用戶(hù)畫(huà)像，讓我們了解網(wǎng)站的用戶(hù)，所以網(wǎng)站的建設一定要實(shí)用、有針對性，讓網(wǎng)站有自己的核心競爭力。比如年輕人的博客肯定需要我們的網(wǎng)頁(yè)清晰整潔，動(dòng)畫(huà)網(wǎng)站肯定需要色彩來(lái)增強視覺(jué)沖擊力。所以，迎合用戶(hù)的喜好，讓用戶(hù)時(shí)時(shí)享受和感覺(jué)有用，這是一個(gè)基本的成功網(wǎng)站。
三、好網(wǎng)站經(jīng)得起時(shí)間的考驗
網(wǎng)站 的質(zhì)量將經(jīng)受時(shí)間的考驗。一個(gè)非常好的 網(wǎng)站 可以經(jīng)受住任何考驗。過(guò)了一段時(shí)間，這個(gè)網(wǎng)站還是很火的，說(shuō)明這個(gè)網(wǎng)站當然比較成功。如果他想繼續成功，他必須在后期有完美的工作。
網(wǎng)站采集可以為我們提供網(wǎng)站內容的素材。它還可以為我們提供行業(yè)分析所需的數據。只要我們善用它，就可以創(chuàng )建自己的網(wǎng)站。
查看全部
)
網(wǎng)站采集大家都比較熟悉，通過(guò)網(wǎng)站采集我們可以把自己感興趣的網(wǎng)站數據下載到自己的網(wǎng)站或者放一些內容其他人 網(wǎng)站 被保存到他們自己的服務(wù)器。通過(guò)網(wǎng)站采集可以得到我們想要的相關(guān)數據、文章、圖片等。這些材料經(jīng)過(guò)加工?？梢猿蔀槲覀冏约旱木W(wǎng)站內容，維護我們的網(wǎng)站持續更新。
網(wǎng)站采集有很多方式供我們選擇，無(wú)論是采集插件，采集軟件，還是cms自帶采集函數，我們總能在網(wǎng)上找到各種采集器。一個(gè)好的網(wǎng)站采集軟件博主認為需要具備以下特點(diǎn)：
一、高效簡(jiǎn)潔
網(wǎng)站采集可以為我們提供非常方便的采集服務(wù)，但是我們很多站長(cháng)不知道如何配置采集規則，所以從大部分用戶(hù)體驗出發(fā)，易于操作，采集穩定快速的軟件是大多數站長(cháng)喜歡的。
二、采集精準內容
網(wǎng)站采集只追求速度肯定是不夠的。一個(gè)好的采集軟件需要有精確的采集規則。它可以為我們的用戶(hù)提供可靠準確的采集素材，方便我們創(chuàng )作。
三、保留原標簽
網(wǎng)站標簽保留可以在偽原創(chuàng )時(shí)為我們提供更好的用戶(hù)體驗。無(wú)論是數據提取還是文章的重新創(chuàng )建，都將幫助我們創(chuàng )建自己的文章。
四、圖像本地化
由于缺少此功能，我們的許多 采集 圖像會(huì )降低我們的 原創(chuàng ) 度數。通過(guò)圖像定位，可以減輕替換原圖的工作強度，加強我們文章的原創(chuàng )。最好添加自己的 ALT 標簽來(lái)替換圖像。
網(wǎng)站采集可以為我們提供素材，這有助于我們的網(wǎng)站內容不斷更新，但是對于網(wǎng)站的建設來(lái)說(shuō)肯定是不夠的。我們網(wǎng)站的主要目的是為了更好的服務(wù)客戶(hù)，從而增強用戶(hù)粘性，完成流量轉化。所以在做網(wǎng)站的時(shí)候，首先要考慮的是用戶(hù)的需求。只有用戶(hù)才有評價(jià)網(wǎng)站質(zhì)量的權利。如果用戶(hù)說(shuō)是，網(wǎng)站 才是真正的好東西。所以，一定要了解用戶(hù)的需求，把用戶(hù)需求放在首位，參與網(wǎng)站的制作。只有當你的網(wǎng)站擁有了客戶(hù)真正想要的東西，你的網(wǎng)站才會(huì )成功，才能稱(chēng)得上是合格的網(wǎng)站。
網(wǎng)站Data不僅可以為我們提供內容素材，還可以通過(guò)采集data幫助我們分析市場(chǎng)和用戶(hù)需求：
一、滿(mǎn)足用戶(hù)需求
網(wǎng)站采集獲得的大數據讓我們了解用戶(hù)的顯性需求，但也有一些客戶(hù)的隱性需求，需要我們直接聯(lián)系用戶(hù)了解更多。所以，在做網(wǎng)站之前，要多做市場(chǎng)調研，一定要多接觸用戶(hù)，了解他們的需求和痛點(diǎn)。從一開(kāi)始就要有這個(gè)意識，靠采集數據分析還是片面的。在一個(gè)想法開(kāi)始之前與客戶(hù)進(jìn)行深入的溝通是最重要的。
二、增強網(wǎng)站實(shí)用程序
數據采集也可以讓我們獲得精準的用戶(hù)畫(huà)像，讓我們了解網(wǎng)站的用戶(hù)，所以網(wǎng)站的建設一定要實(shí)用、有針對性，讓網(wǎng)站有自己的核心競爭力。比如年輕人的博客肯定需要我們的網(wǎng)頁(yè)清晰整潔，動(dòng)畫(huà)網(wǎng)站肯定需要色彩來(lái)增強視覺(jué)沖擊力。所以，迎合用戶(hù)的喜好，讓用戶(hù)時(shí)時(shí)享受和感覺(jué)有用，這是一個(gè)基本的成功網(wǎng)站。
三、好網(wǎng)站經(jīng)得起時(shí)間的考驗
網(wǎng)站 的質(zhì)量將經(jīng)受時(shí)間的考驗。一個(gè)非常好的 網(wǎng)站 可以經(jīng)受住任何考驗。過(guò)了一段時(shí)間，這個(gè)網(wǎng)站還是很火的，說(shuō)明這個(gè)網(wǎng)站當然比較成功。如果他想繼續成功，他必須在后期有完美的工作。
網(wǎng)站采集可以為我們提供網(wǎng)站內容的素材。它還可以為我們提供行業(yè)分析所需的數據。只要我們善用它，就可以創(chuàng )建自己的網(wǎng)站。
查看全部
實(shí)時(shí)文章采集(一個(gè)好的網(wǎng)站采集軟件認為需要以下幾點(diǎn)功能：以下幾點(diǎn)
)
網(wǎng)站采集大家都比較熟悉，通過(guò)網(wǎng)站采集我們可以把自己感興趣的網(wǎng)站數據下載到自己的網(wǎng)站或者放一些內容其他人 網(wǎng)站 被保存到他們自己的服務(wù)器。通過(guò)網(wǎng)站采集可以得到我們想要的相關(guān)數據、文章、圖片等。這些材料經(jīng)過(guò)加工?？梢猿蔀槲覀冏约旱木W(wǎng)站內容，維護我們的網(wǎng)站持續更新。
網(wǎng)站采集有很多方式供我們選擇，無(wú)論是采集插件，采集軟件，還是cms自帶采集函數，我們總能在網(wǎng)上找到各種采集器。一個(gè)好的網(wǎng)站采集軟件博主認為需要具備以下特點(diǎn)：
一、高效簡(jiǎn)潔
網(wǎng)站采集可以為我們提供非常方便的采集服務(wù)，但是我們很多站長(cháng)不知道如何配置采集規則，所以從大部分用戶(hù)體驗出發(fā)，易于操作，采集穩定快速的軟件是大多數站長(cháng)喜歡的。
二、采集精準內容
網(wǎng)站采集只追求速度肯定是不夠的。一個(gè)好的采集軟件需要有精確的采集規則。它可以為我們的用戶(hù)提供可靠準確的采集素材，方便我們創(chuàng )作。
三、保留原標簽
網(wǎng)站標簽保留可以在偽原創(chuàng )時(shí)為我們提供更好的用戶(hù)體驗。無(wú)論是數據提取還是文章的重新創(chuàng )建，都將幫助我們創(chuàng )建自己的文章。
四、圖像本地化
由于缺少此功能，我們的許多 采集 圖像會(huì )降低我們的 原創(chuàng ) 度數。通過(guò)圖像定位，可以減輕替換原圖的工作強度，加強我們文章的原創(chuàng )。最好添加自己的 ALT 標簽來(lái)替換圖像。
網(wǎng)站采集可以為我們提供素材，這有助于我們的網(wǎng)站內容不斷更新，但是對于網(wǎng)站的建設來(lái)說(shuō)肯定是不夠的。我們網(wǎng)站的主要目的是為了更好的服務(wù)客戶(hù)，從而增強用戶(hù)粘性，完成流量轉化。所以在做網(wǎng)站的時(shí)候，首先要考慮的是用戶(hù)的需求。只有用戶(hù)才有評價(jià)網(wǎng)站質(zhì)量的權利。如果用戶(hù)說(shuō)是，網(wǎng)站 才是真正的好東西。所以，一定要了解用戶(hù)的需求，把用戶(hù)需求放在首位，參與網(wǎng)站的制作。只有當你的網(wǎng)站擁有了客戶(hù)真正想要的東西，你的網(wǎng)站才會(huì )成功，才能稱(chēng)得上是合格的網(wǎng)站。
網(wǎng)站Data不僅可以為我們提供內容素材，還可以通過(guò)采集data幫助我們分析市場(chǎng)和用戶(hù)需求：
一、滿(mǎn)足用戶(hù)需求
網(wǎng)站采集獲得的大數據讓我們了解用戶(hù)的顯性需求，但也有一些客戶(hù)的隱性需求，需要我們直接聯(lián)系用戶(hù)了解更多。所以，在做網(wǎng)站之前，要多做市場(chǎng)調研，一定要多接觸用戶(hù)，了解他們的需求和痛點(diǎn)。從一開(kāi)始就要有這個(gè)意識，靠采集數據分析還是片面的。在一個(gè)想法開(kāi)始之前與客戶(hù)進(jìn)行深入的溝通是最重要的。
二、增強網(wǎng)站實(shí)用程序
數據采集也可以讓我們獲得精準的用戶(hù)畫(huà)像，讓我們了解網(wǎng)站的用戶(hù)，所以網(wǎng)站的建設一定要實(shí)用、有針對性，讓網(wǎng)站有自己的核心競爭力。比如年輕人的博客肯定需要我們的網(wǎng)頁(yè)清晰整潔，動(dòng)畫(huà)網(wǎng)站肯定需要色彩來(lái)增強視覺(jué)沖擊力。所以，迎合用戶(hù)的喜好，讓用戶(hù)時(shí)時(shí)享受和感覺(jué)有用，這是一個(gè)基本的成功網(wǎng)站。
三、好網(wǎng)站經(jīng)得起時(shí)間的考驗
網(wǎng)站 的質(zhì)量將經(jīng)受時(shí)間的考驗。一個(gè)非常好的 網(wǎng)站 可以經(jīng)受住任何考驗。過(guò)了一段時(shí)間，這個(gè)網(wǎng)站還是很火的，說(shuō)明這個(gè)網(wǎng)站當然比較成功。如果他想繼續成功，他必須在后期有完美的工作。
網(wǎng)站采集可以為我們提供網(wǎng)站內容的素材。它還可以為我們提供行業(yè)分析所需的數據。只要我們善用它，就可以創(chuàng )建自己的網(wǎng)站。
實(shí)時(shí)文章采集(小說(shuō)網(wǎng)站怎么做？小說(shuō)規則怎么寫(xiě)？其中的原因)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 95 次瀏覽 ? 2022-03-05 05:00
實(shí)時(shí)文章采集(小說(shuō)網(wǎng)站怎么做？小說(shuō)規則怎么寫(xiě)？其中的原因)
小說(shuō)網(wǎng)站怎么辦？小說(shuō)的規則怎么寫(xiě)？大量采集小說(shuō)網(wǎng)站和免費采集工具，讓關(guān)鍵詞排名網(wǎng)站快速收錄。關(guān)鍵詞搜索引擎首頁(yè)的穩定性是我們網(wǎng)站優(yōu)化的目標，但是有的網(wǎng)站可以做到，有的網(wǎng)站一直沒(méi)有效果。無(wú)效的原因有很多。今天小編就為大家分析一下原因。
一、服務(wù)器原因
服務(wù)器是網(wǎng)站 的基礎，也是必要的設施之一。選擇服務(wù)器時(shí)，建議選擇官方備案的服務(wù)器。糟糕的服務(wù)器通常會(huì )導致 網(wǎng)站 打開(kāi)緩慢或無(wú)法訪(fǎng)問(wèn)。發(fā)生這種情況，搜索引擎不會(huì )給出最高排名。
二、網(wǎng)站內容
網(wǎng)站更新頻率A網(wǎng)站更新頻率越高，搜索引擎蜘蛛來(lái)的頻率越高。因此，我們可以利用小說(shuō)采集器實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布，主動(dòng)推送給搜索引擎，提高搜索引擎的抓取頻率。本小說(shuō)采集器操作簡(jiǎn)單，不需要學(xué)習更專(zhuān)業(yè)的技術(shù)，只需幾步即可輕松采集內容數據。用戶(hù)只需對小說(shuō)采集器進(jìn)行簡(jiǎn)單的設置，小說(shuō)采集器會(huì )根據用戶(hù)的設置關(guān)鍵詞精確采集文章進(jìn)行設置，所以以確保與行業(yè) 文章 保持一致。采集文章 from 采集可以選擇保存在本地，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，
和其他網(wǎng)站插件相比，這部小說(shuō)采集器基本沒(méi)有什么規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，輸入關(guān)鍵詞@ > 采集（小說(shuō)采集器也配備了關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)網(wǎng)站插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（讓內容沒(méi)有不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前的采集關(guān)鍵詞 是自動(dòng)添加的。文本 Automatically insert the current 采集關(guān)鍵詞 在隨機位置兩次。當當前 采集 的 關(guān)鍵詞 出現在文本中時(shí)，< @關(guān)鍵詞 將自動(dòng)加粗。）
7、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），而不是每次登錄網(wǎng)站后臺日。SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
三、鏈接
友情鏈接有很多功能。它們可以增加網(wǎng)站 流量和收錄 彼此。是大家喜歡的優(yōu)化推廣方式之一。但是，如果網(wǎng)站有惡意交流鏈接和垃圾郵件，也會(huì )影響網(wǎng)站的排名，也有可能被搜索引擎降級。建議大家交流一些相關(guān)的正式的網(wǎng)站，當然最好有一定的分量。
四、搜索引擎算法
網(wǎng)站在優(yōu)化過(guò)程中，網(wǎng)站的每一個(gè)操作細節都會(huì )影響到網(wǎng)站，而網(wǎng)站在優(yōu)化過(guò)程中出現的頻率相當于< @網(wǎng)站基本，影響網(wǎng)站爬取頻率的主要因素有哪些？今天云無(wú)限小編就帶大家詳細了解一下。
網(wǎng)站優(yōu)化
1、網(wǎng)站域名的選擇；
選擇網(wǎng)站域名時(shí)，盡量選擇比較短的域名，目錄層次盡量控制在3層以?xún)?，有利于蜘蛛爬?。?br /> 2、更新頻率和原創(chuàng )內容程度；
更新網(wǎng)站的內容時(shí)，盡量做原創(chuàng )文章。對于蜘蛛來(lái)說(shuō)，喜歡原創(chuàng )，文章度數高，更新頻率要掌握一定的頻率；
3、頁(yè)面加載速度；
蜘蛛在抓取網(wǎng)站的時(shí)候，非常關(guān)心頁(yè)面的加載速度。頁(yè)面打開(kāi)時(shí)，盡量控制在3秒以?xún)?。這也是蜘蛛更敏感的地方。網(wǎng)站溜走；
4、 主動(dòng)提交；
我們需要提交網(wǎng)站的URL，這樣可以更好的增加網(wǎng)站收錄的數量；
5、優(yōu)質(zhì)的外部鏈接；
網(wǎng)站在優(yōu)化過(guò)程中，少不了優(yōu)質(zhì)優(yōu)質(zhì)的外鏈，可以更好的幫助你網(wǎng)站打好基礎。這些優(yōu)質(zhì)的外鏈主要包括友情鏈接等；
關(guān)鍵詞3@>網(wǎng)站未排名
對于很多站長(cháng)來(lái)說(shuō)，關(guān)鍵詞沒(méi)有被排名是一件非常痛苦的事情。他們每天都在運轉，但效果并沒(méi)有明顯改善。為什么是這樣？關(guān)鍵詞讓我們看看如果我們長(cháng)時(shí)間沒(méi)有排名該怎么辦！
關(guān)鍵詞4@>修改TDK
我們都知道TDK是網(wǎng)站最重要的部分。如果一個(gè)網(wǎng)站的TDK寫(xiě)得不好，那么網(wǎng)站的排名肯定會(huì )受到影響，也有可能是算法變化造成的。所以如果網(wǎng)站長(cháng)時(shí)間沒(méi)有排名，可以適當修改TDK，讓關(guān)鍵詞的排名也有可能出現。
關(guān)鍵詞5@>檢查網(wǎng)站代碼
網(wǎng)站的代碼有很多種，其中圖片優(yōu)化、推送代碼、H1標簽、nofollow標簽大家應該熟悉。它可能是這些標簽代碼之一，它會(huì )影響您對 關(guān)鍵詞 的排名。所以?xún)?yōu)化是一項細心的工作，這些小細節不能馬虎。
關(guān)鍵詞6@>修改關(guān)鍵詞密度
關(guān)鍵詞的密度官方說(shuō)在2-8%之間，注意這只是一個(gè)大概的比例！如果你的網(wǎng)站內容很多（以1000字為例），關(guān)鍵詞出現5次，而內容很少（只有500字）關(guān)鍵詞也出現5次，那么這個(gè)密度就不一樣了！因此，合理設置關(guān)鍵詞的密度是必不可少的過(guò)程。
關(guān)鍵詞7@>
看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
小說(shuō)網(wǎng)站怎么辦？小說(shuō)的規則怎么寫(xiě)？大量采集小說(shuō)網(wǎng)站和免費采集工具，讓關(guān)鍵詞排名網(wǎng)站快速收錄。關(guān)鍵詞搜索引擎首頁(yè)的穩定性是我們網(wǎng)站優(yōu)化的目標，但是有的網(wǎng)站可以做到，有的網(wǎng)站一直沒(méi)有效果。無(wú)效的原因有很多。今天小編就為大家分析一下原因。
一、服務(wù)器原因
服務(wù)器是網(wǎng)站 的基礎，也是必要的設施之一。選擇服務(wù)器時(shí)，建議選擇官方備案的服務(wù)器。糟糕的服務(wù)器通常會(huì )導致 網(wǎng)站 打開(kāi)緩慢或無(wú)法訪(fǎng)問(wèn)。發(fā)生這種情況，搜索引擎不會(huì )給出最高排名。
二、網(wǎng)站內容
網(wǎng)站更新頻率A網(wǎng)站更新頻率越高，搜索引擎蜘蛛來(lái)的頻率越高。因此，我們可以利用小說(shuō)采集器實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布，主動(dòng)推送給搜索引擎，提高搜索引擎的抓取頻率。本小說(shuō)采集器操作簡(jiǎn)單，不需要學(xué)習更專(zhuān)業(yè)的技術(shù)，只需幾步即可輕松采集內容數據。用戶(hù)只需對小說(shuō)采集器進(jìn)行簡(jiǎn)單的設置，小說(shuō)采集器會(huì )根據用戶(hù)的設置關(guān)鍵詞精確采集文章進(jìn)行設置，所以以確保與行業(yè) 文章 保持一致。采集文章 from 采集可以選擇保存在本地，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，
和其他網(wǎng)站插件相比，這部小說(shuō)采集器基本沒(méi)有什么規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，輸入關(guān)鍵詞@ > 采集（小說(shuō)采集器也配備了關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)網(wǎng)站插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（讓內容沒(méi)有不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前的采集關(guān)鍵詞 是自動(dòng)添加的。文本 Automatically insert the current 采集關(guān)鍵詞 在隨機位置兩次。當當前 采集 的 關(guān)鍵詞 出現在文本中時(shí)，< @關(guān)鍵詞 將自動(dòng)加粗。）
7、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），而不是每次登錄網(wǎng)站后臺日。SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
三、鏈接
友情鏈接有很多功能。它們可以增加網(wǎng)站 流量和收錄 彼此。是大家喜歡的優(yōu)化推廣方式之一。但是，如果網(wǎng)站有惡意交流鏈接和垃圾郵件，也會(huì )影響網(wǎng)站的排名，也有可能被搜索引擎降級。建議大家交流一些相關(guān)的正式的網(wǎng)站，當然最好有一定的分量。
四、搜索引擎算法
網(wǎng)站在優(yōu)化過(guò)程中，網(wǎng)站的每一個(gè)操作細節都會(huì )影響到網(wǎng)站，而網(wǎng)站在優(yōu)化過(guò)程中出現的頻率相當于< @網(wǎng)站基本，影響網(wǎng)站爬取頻率的主要因素有哪些？今天云無(wú)限小編就帶大家詳細了解一下。
網(wǎng)站優(yōu)化
1、網(wǎng)站域名的選擇；
選擇網(wǎng)站域名時(shí)，盡量選擇比較短的域名，目錄層次盡量控制在3層以?xún)?，有利于蜘蛛爬?。?br /> 2、更新頻率和原創(chuàng )內容程度；
更新網(wǎng)站的內容時(shí)，盡量做原創(chuàng )文章。對于蜘蛛來(lái)說(shuō)，喜歡原創(chuàng )，文章度數高，更新頻率要掌握一定的頻率；
3、頁(yè)面加載速度；
蜘蛛在抓取網(wǎng)站的時(shí)候，非常關(guān)心頁(yè)面的加載速度。頁(yè)面打開(kāi)時(shí)，盡量控制在3秒以?xún)?。這也是蜘蛛更敏感的地方。網(wǎng)站溜走；
4、 主動(dòng)提交；
我們需要提交網(wǎng)站的URL，這樣可以更好的增加網(wǎng)站收錄的數量；
5、優(yōu)質(zhì)的外部鏈接；
網(wǎng)站在優(yōu)化過(guò)程中，少不了優(yōu)質(zhì)優(yōu)質(zhì)的外鏈，可以更好的幫助你網(wǎng)站打好基礎。這些優(yōu)質(zhì)的外鏈主要包括友情鏈接等；
關(guān)鍵詞3@>網(wǎng)站未排名
對于很多站長(cháng)來(lái)說(shuō)，關(guān)鍵詞沒(méi)有被排名是一件非常痛苦的事情。他們每天都在運轉，但效果并沒(méi)有明顯改善。為什么是這樣？關(guān)鍵詞讓我們看看如果我們長(cháng)時(shí)間沒(méi)有排名該怎么辦！
關(guān)鍵詞4@>修改TDK
我們都知道TDK是網(wǎng)站最重要的部分。如果一個(gè)網(wǎng)站的TDK寫(xiě)得不好，那么網(wǎng)站的排名肯定會(huì )受到影響，也有可能是算法變化造成的。所以如果網(wǎng)站長(cháng)時(shí)間沒(méi)有排名，可以適當修改TDK，讓關(guān)鍵詞的排名也有可能出現。
關(guān)鍵詞5@>檢查網(wǎng)站代碼
網(wǎng)站的代碼有很多種，其中圖片優(yōu)化、推送代碼、H1標簽、nofollow標簽大家應該熟悉。它可能是這些標簽代碼之一，它會(huì )影響您對 關(guān)鍵詞 的排名。所以?xún)?yōu)化是一項細心的工作，這些小細節不能馬虎。
關(guān)鍵詞6@>修改關(guān)鍵詞密度
關(guān)鍵詞的密度官方說(shuō)在2-8%之間，注意這只是一個(gè)大概的比例！如果你的網(wǎng)站內容很多（以1000字為例），關(guān)鍵詞出現5次，而內容很少（只有500字）關(guān)鍵詞也出現5次，那么這個(gè)密度就不一樣了！因此，合理設置關(guān)鍵詞的密度是必不可少的過(guò)程。
關(guān)鍵詞7@>
看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
實(shí)時(shí)文章采集(小說(shuō)網(wǎng)站怎么做？小說(shuō)規則怎么寫(xiě)？其中的原因)
小說(shuō)網(wǎng)站怎么辦？小說(shuō)的規則怎么寫(xiě)？大量采集小說(shuō)網(wǎng)站和免費采集工具，讓關(guān)鍵詞排名網(wǎng)站快速收錄。關(guān)鍵詞搜索引擎首頁(yè)的穩定性是我們網(wǎng)站優(yōu)化的目標，但是有的網(wǎng)站可以做到，有的網(wǎng)站一直沒(méi)有效果。無(wú)效的原因有很多。今天小編就為大家分析一下原因。
一、服務(wù)器原因
服務(wù)器是網(wǎng)站 的基礎，也是必要的設施之一。選擇服務(wù)器時(shí)，建議選擇官方備案的服務(wù)器。糟糕的服務(wù)器通常會(huì )導致 網(wǎng)站 打開(kāi)緩慢或無(wú)法訪(fǎng)問(wèn)。發(fā)生這種情況，搜索引擎不會(huì )給出最高排名。
二、網(wǎng)站內容
網(wǎng)站更新頻率A網(wǎng)站更新頻率越高，搜索引擎蜘蛛來(lái)的頻率越高。因此，我們可以利用小說(shuō)采集器實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布，主動(dòng)推送給搜索引擎，提高搜索引擎的抓取頻率。本小說(shuō)采集器操作簡(jiǎn)單，不需要學(xué)習更專(zhuān)業(yè)的技術(shù)，只需幾步即可輕松采集內容數據。用戶(hù)只需對小說(shuō)采集器進(jìn)行簡(jiǎn)單的設置，小說(shuō)采集器會(huì )根據用戶(hù)的設置關(guān)鍵詞精確采集文章進(jìn)行設置，所以以確保與行業(yè) 文章 保持一致。采集文章 from 采集可以選擇保存在本地，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，
和其他網(wǎng)站插件相比，這部小說(shuō)采集器基本沒(méi)有什么規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，輸入關(guān)鍵詞@ > 采集（小說(shuō)采集器也配備了關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)網(wǎng)站插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（讓內容沒(méi)有不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前的采集關(guān)鍵詞 是自動(dòng)添加的。文本 Automatically insert the current 采集關(guān)鍵詞 在隨機位置兩次。當當前 采集 的 關(guān)鍵詞 出現在文本中時(shí)，< @關(guān)鍵詞 將自動(dòng)加粗。）
7、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），而不是每次登錄網(wǎng)站后臺日。SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
三、鏈接
友情鏈接有很多功能。它們可以增加網(wǎng)站 流量和收錄 彼此。是大家喜歡的優(yōu)化推廣方式之一。但是，如果網(wǎng)站有惡意交流鏈接和垃圾郵件，也會(huì )影響網(wǎng)站的排名，也有可能被搜索引擎降級。建議大家交流一些相關(guān)的正式的網(wǎng)站，當然最好有一定的分量。
四、搜索引擎算法
網(wǎng)站在優(yōu)化過(guò)程中，網(wǎng)站的每一個(gè)操作細節都會(huì )影響到網(wǎng)站，而網(wǎng)站在優(yōu)化過(guò)程中出現的頻率相當于< @網(wǎng)站基本，影響網(wǎng)站爬取頻率的主要因素有哪些？今天云無(wú)限小編就帶大家詳細了解一下。
網(wǎng)站優(yōu)化
1、網(wǎng)站域名的選擇；
選擇網(wǎng)站域名時(shí)，盡量選擇比較短的域名，目錄層次盡量控制在3層以?xún)?，有利于蜘蛛爬?。?br /> 2、更新頻率和原創(chuàng )內容程度；
更新網(wǎng)站的內容時(shí)，盡量做原創(chuàng )文章。對于蜘蛛來(lái)說(shuō)，喜歡原創(chuàng )，文章度數高，更新頻率要掌握一定的頻率；
3、頁(yè)面加載速度；
蜘蛛在抓取網(wǎng)站的時(shí)候，非常關(guān)心頁(yè)面的加載速度。頁(yè)面打開(kāi)時(shí)，盡量控制在3秒以?xún)?。這也是蜘蛛更敏感的地方。網(wǎng)站溜走；
4、 主動(dòng)提交；
我們需要提交網(wǎng)站的URL，這樣可以更好的增加網(wǎng)站收錄的數量；
5、優(yōu)質(zhì)的外部鏈接；
網(wǎng)站在優(yōu)化過(guò)程中，少不了優(yōu)質(zhì)優(yōu)質(zhì)的外鏈，可以更好的幫助你網(wǎng)站打好基礎。這些優(yōu)質(zhì)的外鏈主要包括友情鏈接等；
關(guān)鍵詞3@>網(wǎng)站未排名
對于很多站長(cháng)來(lái)說(shuō)，關(guān)鍵詞沒(méi)有被排名是一件非常痛苦的事情。他們每天都在運轉，但效果并沒(méi)有明顯改善。為什么是這樣？關(guān)鍵詞讓我們看看如果我們長(cháng)時(shí)間沒(méi)有排名該怎么辦！
關(guān)鍵詞4@>修改TDK
我們都知道TDK是網(wǎng)站最重要的部分。如果一個(gè)網(wǎng)站的TDK寫(xiě)得不好，那么網(wǎng)站的排名肯定會(huì )受到影響，也有可能是算法變化造成的。所以如果網(wǎng)站長(cháng)時(shí)間沒(méi)有排名，可以適當修改TDK，讓關(guān)鍵詞的排名也有可能出現。
關(guān)鍵詞5@>檢查網(wǎng)站代碼
網(wǎng)站的代碼有很多種，其中圖片優(yōu)化、推送代碼、H1標簽、nofollow標簽大家應該熟悉。它可能是這些標簽代碼之一，它會(huì )影響您對 關(guān)鍵詞 的排名。所以?xún)?yōu)化是一項細心的工作，這些小細節不能馬虎。
關(guān)鍵詞6@>修改關(guān)鍵詞密度
關(guān)鍵詞的密度官方說(shuō)在2-8%之間，注意這只是一個(gè)大概的比例！如果你的網(wǎng)站內容很多（以1000字為例），關(guān)鍵詞出現5次，而內容很少（只有500字）關(guān)鍵詞也出現5次，那么這個(gè)密度就不一樣了！因此，合理設置關(guān)鍵詞的密度是必不可少的過(guò)程。
關(guān)鍵詞7@>
看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！
實(shí)時(shí)文章采集(DMCMS插件是否有用，DM建站系統是一款小眾CMS！ )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 124 次瀏覽 ? 2022-03-05 04:21
實(shí)時(shí)文章采集(DMCMS插件是否有用，DM建站系統是一款小眾CMS！
)
DMcms插件有沒(méi)有用，今天跟大家分享一下，DM建站系統是一個(gè)小眾cms，php+mysql開(kāi)發(fā)的一個(gè)開(kāi)源的，用于中小型建設的企業(yè) 網(wǎng)站 cms, DMcms 后臺有塊和布局兩個(gè)功能。block函數用于效果，layout函數用于結構。帶有一些 SEO 處理功能。雖然是開(kāi)源的cms，但是由于用戶(hù)比較少，DMcms的插件并不多。
DMcms插件使用非常簡(jiǎn)單，所有操作頁(yè)面可視化點(diǎn)擊，無(wú)需專(zhuān)業(yè)規則配置，兼容性好，無(wú)論是DMcms，dedecms@ >、鯰魚(yú)cms或者小旋風(fēng)cms的大小都可以。DMcms插件實(shí)現網(wǎng)站采集—文章翻譯—內容偽原創(chuàng )—主要cms發(fā)布—實(shí)時(shí)推送等職能。網(wǎng)站自動(dòng)管理，任務(wù)進(jìn)度（成功/失?。顟B(tài)可見(jiàn)。
網(wǎng)站 的構建肯定需要 SEO。SEO是一種全過(guò)程的優(yōu)化行為。從我們決定建立 網(wǎng)站 開(kāi)始，就應該建立 SEO 意識。讓我們簡(jiǎn)單談?wù)勔恍┗镜腟EO：
一、 網(wǎng)站TDK
TDK是我們常說(shuō)的title、description、keywords的縮寫(xiě)。TDK 對我們來(lái)說(shuō)是一個(gè)非常重要的設置網(wǎng)站。就像我們的身份信息一樣，盡量不要填寫(xiě)。改變。
二、TDK相關(guān)內容
網(wǎng)站的主題一定要明確，每個(gè)頁(yè)面的內容都要呼應我們的網(wǎng)站TDK，通過(guò)采集的DMcms插件，輸入關(guān)鍵詞可以啟動(dòng)采集，采集內容覆蓋全網(wǎng)頭平臺（如圖），不斷更新方向，遞增采集。一次可以創(chuàng )建多個(gè)采集任務(wù)，可以同時(shí)執行不同域名和重復域名的任務(wù)。
三、內容優(yōu)化
1、采集內容敏感*字過(guò)濾，
2、 清洗（號碼清洗、網(wǎng)站清洗、機構名稱(chēng)清洗）
3、內置翻譯功能（英譯中、繁譯簡(jiǎn)、簡(jiǎn)譯火星）
4、偽原創(chuàng )關(guān)鍵詞（關(guān)鍵詞不受偽原創(chuàng )影響，保證核心關(guān)鍵詞或品牌展示）
5、采集保留內容標簽
6、標題、內容偽原創(chuàng )
7、設置內容與標題一致（使內容與標題完全匹配）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
四、圖像優(yōu)化
圖文結合受到用戶(hù)和搜索引擎的歡迎。一個(gè)高質(zhì)量的文章 不能沒(méi)有圖片。搜索引擎使用圖片標簽和描述來(lái)識別圖片。通過(guò) DMcms 插件可以?xún)?yōu)化圖像的方式有哪些。
1、圖片本地化/云存儲
2、給圖片添加標簽
3、圖片按頻率插入到文本中
4、圖片水印/去水
五、流程 SEO 管理
SEO與SEM的不同之處在于看到結果需要時(shí)間，因此我們需要更加關(guān)注優(yōu)化過(guò)程。DMcms插件可以實(shí)時(shí)查看任務(wù)已發(fā)布、待發(fā)布、是否為偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等信息。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為搜索引擎優(yōu)化從業(yè)者，需要有良好的心理素質(zhì)，不斷學(xué)習和掌握新的SEO技巧，總結每日數據曲線(xiàn)，根據行業(yè)趨勢和網(wǎng)站曲線(xiàn)變化調整思路，靈活運用及時(shí)調整能力。任務(wù)完成。這就是今天分享的全部?jì)热?。喜歡的話(huà)可以連續點(diǎn)三下。
查看全部
)
DMcms插件有沒(méi)有用，今天跟大家分享一下，DM建站系統是一個(gè)小眾cms，php+mysql開(kāi)發(fā)的一個(gè)開(kāi)源的，用于中小型建設的企業(yè) 網(wǎng)站 cms, DMcms 后臺有塊和布局兩個(gè)功能。block函數用于效果，layout函數用于結構。帶有一些 SEO 處理功能。雖然是開(kāi)源的cms，但是由于用戶(hù)比較少，DMcms的插件并不多。
DMcms插件使用非常簡(jiǎn)單，所有操作頁(yè)面可視化點(diǎn)擊，無(wú)需專(zhuān)業(yè)規則配置，兼容性好，無(wú)論是DMcms，dedecms@ >、鯰魚(yú)cms或者小旋風(fēng)cms的大小都可以。DMcms插件實(shí)現網(wǎng)站采集—文章翻譯—內容偽原創(chuàng )—主要cms發(fā)布—實(shí)時(shí)推送等職能。網(wǎng)站自動(dòng)管理，任務(wù)進(jìn)度（成功/失?。顟B(tài)可見(jiàn)。
網(wǎng)站 的構建肯定需要 SEO。SEO是一種全過(guò)程的優(yōu)化行為。從我們決定建立 網(wǎng)站 開(kāi)始，就應該建立 SEO 意識。讓我們簡(jiǎn)單談?wù)勔恍┗镜腟EO：
一、 網(wǎng)站TDK
TDK是我們常說(shuō)的title、description、keywords的縮寫(xiě)。TDK 對我們來(lái)說(shuō)是一個(gè)非常重要的設置網(wǎng)站。就像我們的身份信息一樣，盡量不要填寫(xiě)。改變。
二、TDK相關(guān)內容
網(wǎng)站的主題一定要明確，每個(gè)頁(yè)面的內容都要呼應我們的網(wǎng)站TDK，通過(guò)采集的DMcms插件，輸入關(guān)鍵詞可以啟動(dòng)采集，采集內容覆蓋全網(wǎng)頭平臺（如圖），不斷更新方向，遞增采集。一次可以創(chuàng )建多個(gè)采集任務(wù)，可以同時(shí)執行不同域名和重復域名的任務(wù)。
三、內容優(yōu)化
1、采集內容敏感*字過(guò)濾，
2、 清洗（號碼清洗、網(wǎng)站清洗、機構名稱(chēng)清洗）
3、內置翻譯功能（英譯中、繁譯簡(jiǎn)、簡(jiǎn)譯火星）
4、偽原創(chuàng )關(guān)鍵詞（關(guān)鍵詞不受偽原創(chuàng )影響，保證核心關(guān)鍵詞或品牌展示）
5、采集保留內容標簽
6、標題、內容偽原創(chuàng )
7、設置內容與標題一致（使內容與標題完全匹配）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
四、圖像優(yōu)化
圖文結合受到用戶(hù)和搜索引擎的歡迎。一個(gè)高質(zhì)量的文章 不能沒(méi)有圖片。搜索引擎使用圖片標簽和描述來(lái)識別圖片。通過(guò) DMcms 插件可以?xún)?yōu)化圖像的方式有哪些。
1、圖片本地化/云存儲
2、給圖片添加標簽
3、圖片按頻率插入到文本中
4、圖片水印/去水
五、流程 SEO 管理
SEO與SEM的不同之處在于看到結果需要時(shí)間，因此我們需要更加關(guān)注優(yōu)化過(guò)程。DMcms插件可以實(shí)時(shí)查看任務(wù)已發(fā)布、待發(fā)布、是否為偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等信息。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為搜索引擎優(yōu)化從業(yè)者，需要有良好的心理素質(zhì)，不斷學(xué)習和掌握新的SEO技巧，總結每日數據曲線(xiàn)，根據行業(yè)趨勢和網(wǎng)站曲線(xiàn)變化調整思路，靈活運用及時(shí)調整能力。任務(wù)完成。這就是今天分享的全部?jì)热?。喜歡的話(huà)可以連續點(diǎn)三下。
查看全部
實(shí)時(shí)文章采集(DMCMS插件是否有用，DM建站系統是一款小眾CMS！
)
DMcms插件有沒(méi)有用，今天跟大家分享一下，DM建站系統是一個(gè)小眾cms，php+mysql開(kāi)發(fā)的一個(gè)開(kāi)源的，用于中小型建設的企業(yè) 網(wǎng)站 cms, DMcms 后臺有塊和布局兩個(gè)功能。block函數用于效果，layout函數用于結構。帶有一些 SEO 處理功能。雖然是開(kāi)源的cms，但是由于用戶(hù)比較少，DMcms的插件并不多。
DMcms插件使用非常簡(jiǎn)單，所有操作頁(yè)面可視化點(diǎn)擊，無(wú)需專(zhuān)業(yè)規則配置，兼容性好，無(wú)論是DMcms，dedecms@ >、鯰魚(yú)cms或者小旋風(fēng)cms的大小都可以。DMcms插件實(shí)現網(wǎng)站采集—文章翻譯—內容偽原創(chuàng )—主要cms發(fā)布—實(shí)時(shí)推送等職能。網(wǎng)站自動(dòng)管理，任務(wù)進(jìn)度（成功/失?。顟B(tài)可見(jiàn)。
網(wǎng)站 的構建肯定需要 SEO。SEO是一種全過(guò)程的優(yōu)化行為。從我們決定建立 網(wǎng)站 開(kāi)始，就應該建立 SEO 意識。讓我們簡(jiǎn)單談?wù)勔恍┗镜腟EO：
一、 網(wǎng)站TDK
TDK是我們常說(shuō)的title、description、keywords的縮寫(xiě)。TDK 對我們來(lái)說(shuō)是一個(gè)非常重要的設置網(wǎng)站。就像我們的身份信息一樣，盡量不要填寫(xiě)。改變。
二、TDK相關(guān)內容
網(wǎng)站的主題一定要明確，每個(gè)頁(yè)面的內容都要呼應我們的網(wǎng)站TDK，通過(guò)采集的DMcms插件，輸入關(guān)鍵詞可以啟動(dòng)采集，采集內容覆蓋全網(wǎng)頭平臺（如圖），不斷更新方向，遞增采集。一次可以創(chuàng )建多個(gè)采集任務(wù)，可以同時(shí)執行不同域名和重復域名的任務(wù)。
三、內容優(yōu)化
1、采集內容敏感*字過(guò)濾，
2、 清洗（號碼清洗、網(wǎng)站清洗、機構名稱(chēng)清洗）
3、內置翻譯功能（英譯中、繁譯簡(jiǎn)、簡(jiǎn)譯火星）
4、偽原創(chuàng )關(guān)鍵詞（關(guān)鍵詞不受偽原創(chuàng )影響，保證核心關(guān)鍵詞或品牌展示）
5、采集保留內容標簽
6、標題、內容偽原創(chuàng )
7、設置內容與標題一致（使內容與標題完全匹配）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
四、圖像優(yōu)化
圖文結合受到用戶(hù)和搜索引擎的歡迎。一個(gè)高質(zhì)量的文章 不能沒(méi)有圖片。搜索引擎使用圖片標簽和描述來(lái)識別圖片。通過(guò) DMcms 插件可以?xún)?yōu)化圖像的方式有哪些。
1、圖片本地化/云存儲
2、給圖片添加標簽
3、圖片按頻率插入到文本中
4、圖片水印/去水
五、流程 SEO 管理
SEO與SEM的不同之處在于看到結果需要時(shí)間，因此我們需要更加關(guān)注優(yōu)化過(guò)程。DMcms插件可以實(shí)時(shí)查看任務(wù)已發(fā)布、待發(fā)布、是否為偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等信息。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為搜索引擎優(yōu)化從業(yè)者，需要有良好的心理素質(zhì)，不斷學(xué)習和掌握新的SEO技巧，總結每日數據曲線(xiàn)，根據行業(yè)趨勢和網(wǎng)站曲線(xiàn)變化調整思路，靈活運用及時(shí)調整能力。任務(wù)完成。這就是今天分享的全部?jì)热?。喜歡的話(huà)可以連續點(diǎn)三下。
實(shí)時(shí)文章采集(0服務(wù)出現錯誤的根因服務(wù)的設計方法與設計 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 291 次瀏覽 ? 2022-03-03 16:06
實(shí)時(shí)文章采集(0服務(wù)出現錯誤的根因服務(wù)的設計方法與設計
)
0 1 背景
目前閑魚(yú)的實(shí)際生產(chǎn)部署環(huán)境越來(lái)越復雜。各種服務(wù)的橫向依賴(lài)相互交織，運行環(huán)境的縱向依賴(lài)也越來(lái)越復雜。當服務(wù)出現問(wèn)題時(shí)，能否在海量數據中及時(shí)定位問(wèn)題根源，成為考驗閑魚(yú)服務(wù)能力的嚴峻挑戰。
當網(wǎng)上出現問(wèn)題時(shí)，往往需要十多分鐘甚至更長(cháng)時(shí)間才能找到問(wèn)題的原因。因此，需要應用能夠快速進(jìn)行自動(dòng)診斷的系統，而快速診斷的基礎是高性能的實(shí)時(shí)數據。處理系統。該實(shí)時(shí)數據處理系統需要具備以下能力：
1、數據實(shí)時(shí)采集，實(shí)時(shí)分析，計算復雜，分析結果持久化。
2、 可以處理各種各樣的數據。收錄應用日志、主機性能監控指標和調用鏈接圖。
3、高可靠性。系統沒(méi)有問(wèn)題，數據不會(huì )丟失。
4、高性能，底部延遲。數據處理時(shí)延不超過(guò)3秒，支持每秒千萬(wàn)級數據處理。
本文不涉及自動(dòng)問(wèn)題診斷的具體分析模型，只討論整體實(shí)時(shí)數據處理環(huán)節的設計。
02 I/O 定義
為了便于理解系統的運行，我們將系統的整體輸入輸出定義如下：
輸入：
服務(wù)請求日志（包括traceid、時(shí)間戳、客戶(hù)端ip、服務(wù)器ip、耗時(shí)、返回碼、服務(wù)名、方法名）
環(huán)境監測數據（指標名稱(chēng)、ip、時(shí)間戳、指標值）。比如cpu、jvm gc次數、jvm gc耗時(shí)、數據庫指標。
輸出：
某服務(wù)在一段時(shí)間內出錯的根本原因，每個(gè)服務(wù)的錯誤分析結果用有向無(wú)環(huán)圖表示。 （根節點(diǎn)是被分析的錯誤節點(diǎn)，葉子節點(diǎn)是錯誤根因節點(diǎn)，葉子節點(diǎn)可能是外部依賴(lài)的服務(wù)錯誤或者jvm異常等）。
03 建筑設計
在實(shí)際系統運行過(guò)程中，隨著(zhù)時(shí)間的推移，會(huì )不斷產(chǎn)生日志數據和監控數據。每條生成的數據都有自己的時(shí)間戳。實(shí)時(shí)流式傳輸這些帶時(shí)間戳的數據就像流過(guò)不同管道的水一樣。
如果將源源不斷的實(shí)時(shí)數據比作自來(lái)水，數據處理過(guò)程類(lèi)似于自來(lái)水生產(chǎn)的過(guò)程：
當然，我們也將實(shí)時(shí)數據處理分解為采集、傳輸、預處理、計算和存儲階段。
整體系統架構設計如下：
采集
使用阿里巴巴自主研發(fā)的sls日志服務(wù)產(chǎn)品（包括logtail+loghub組件），logtail是一個(gè)采集客戶(hù)端。之所以選擇logtail，是因為其卓越的性能、高可靠性以及靈活的插件擴展機制，閑魚(yú)可以定制自己的采集插件，實(shí)現各種數據的實(shí)時(shí)采集。
傳輸
loghub可以理解為數據發(fā)布訂閱組件，功能類(lèi)似于kafka，作為數據傳輸通道，更穩定安全，詳細對比文章參考：
預處理
實(shí)時(shí)數據預處理部分使用blink流計算處理組件（開(kāi)源版本稱(chēng)為flink，blink是阿里巴巴內部基于flink的增強版）。目前常用的實(shí)時(shí)流計算開(kāi)源產(chǎn)品有Jstorm、SparkStream、Flink。由于Jstorm沒(méi)有中間計算狀態(tài)，其計算過(guò)程中需要的中間結果必須依賴(lài)外部存儲，這會(huì )導致頻繁的io影響其性能； SparkStream本質(zhì)上是用小批量來(lái)模擬實(shí)時(shí)計算，但實(shí)際上還是有一定的延遲； Flink 以其優(yōu)秀的狀態(tài)管理機制保證了其計算的性能和實(shí)時(shí)性，并提供了完整的 SQL 表達式，使得流計算更容易。
計算和持久性
數據經(jīng)過(guò)預處理后，最終生成調用鏈路聚合日志和主機監控數據。主機監控數據會(huì )獨立存儲在tsdb時(shí)序數據庫中，供后續統計分析。由于對時(shí)間指標數據的特殊存儲結構設計，tsdb非常適合時(shí)間序列數據的存儲和查詢(xún)。調用鏈接日志聚合數據，提供給cep/graph服務(wù)進(jìn)行診斷模型分析。 cep/graph service是閑魚(yú)開(kāi)發(fā)的一款應用，實(shí)現模型分析、復雜數據處理以及與外部服務(wù)的交互，借助rdb實(shí)現圖數據的實(shí)時(shí)聚合。
最后一次cep/graph服務(wù)分析的結果作為圖數據，在lindorm中提供實(shí)時(shí)轉儲在線(xiàn)查詢(xún)。 Lindorm 可以看作是 hbase 的增強版，在系統中充當持久存儲。
04 詳細設計和性能優(yōu)化
采集
日志和指標數據采集使用logtail，整個(gè)數據采集流程如圖：
它提供了非常靈活的插件機制，有四種類(lèi)型的插件：
由于指標數據（如cpu、內存、jvm指標）的獲取需要調用本機的服務(wù)接口，所以盡量減少請求的數量。在 logtail 中，一個(gè)輸入占用一個(gè) goroutine。閑魚(yú)通過(guò)自定義輸入插件和處理器插件，通過(guò)服務(wù)請求（指標獲取接口由基礎監控團隊提供）在一個(gè)輸入插件中獲取多個(gè)指標數據（如cpu、內存、jvm指標），并將其格式化為一個(gè)json數組對象在處理器插件中被拆分成多條數據，以減少系統中io的數量，提高性能。
傳輸
LogHub 用于數據傳輸。 logtail寫(xiě)入數據后，blink直接消費數據。只需設置合理數量的分區即可。分區數必須大于等于并發(fā)blink讀任務(wù)數，避免blink任務(wù)空閑。
預處理
預處理主要通過(guò)blink實(shí)現，主要設計和優(yōu)化點(diǎn)：
寫(xiě)一個(gè)高效的計算過(guò)程
blink是一個(gè)有狀態(tài)的流計算框架，非常適合實(shí)時(shí)聚合、join等操作。
在我們的應用中，我們只需要注意對有錯誤請求的相關(guān)服務(wù)鏈接的調用，所以整個(gè)日志處理流程分為兩個(gè)流程：
1、服務(wù)的請求入口日志作為單獨的流處理，過(guò)濾掉請求錯誤的數據。
2、其他中間環(huán)節的調用日志作為另一個(gè)獨立的流處理。通過(guò)在traceid上加入上述流，實(shí)現了錯誤服務(wù)所依賴(lài)的請求數據的插入。
如上圖所示，雙流join后，輸出的是與請求錯誤相關(guān)的所有鏈接的完整數據。
設置合理的狀態(tài)生命周期
blink本質(zhì)上是在做join的時(shí)候通過(guò)state緩存中間數據狀態(tài)，然后再匹配數據。如果狀態(tài)的生命周期過(guò)長(cháng)，會(huì )造成數據膨脹，影響性能。如果狀態(tài)的生命周期太短，將無(wú)法正確關(guān)聯(lián)一些延遲的數據。因此，需要合理配置狀態(tài)生命周期，并允許該應用的最大數據延遲。 1 分鐘。
使用niagara作為statebackend，以及設定state數據生命周期，單位毫秒
state.backend.type=niagara
state.backend.niagara.ttl.ms=60000
打開(kāi) MicroBatch/MiniBatch
MicroBatch 和 MiniBatch 都是 micro-batch，但 micro-batch 的觸發(fā)機制略有不同。原則上，在觸發(fā)處理前緩存一定量的數據，減少對狀態(tài)的訪(fǎng)問(wèn)，從而顯著(zhù)提高吞吐量，減少輸出數據量。
開(kāi)啟join
blink.miniBatch.join.enabled=true
使用 microbatch 時(shí)需要保留以下兩個(gè) minibatch 配置
blink.miniBatch.allowLatencyMs=5000
防止OOM，每個(gè)批次最多緩存多少條數據
blink.miniBatch.size=20000
對動(dòng)態(tài)負載使用動(dòng)態(tài)再平衡而不是再平衡
blink 任務(wù)最忌諱的就是計算熱點(diǎn)的存在。 Dynamic Rebalance為了保證數據均勻使用，可以根據當前子分區中累積的buffer個(gè)數，選擇負載較輕的子分區進(jìn)行寫(xiě)入，從而實(shí)現動(dòng)態(tài)負載均衡。與靜態(tài)再平衡策略相比，當下游任務(wù)的計算能力不均衡時(shí)，可以更加均衡各個(gè)任務(wù)的相對負載，從而提升整個(gè)作業(yè)的性能。
開(kāi)啟動(dòng)態(tài)負載
task.dynamic.rebalance.enabled=true
自定義輸出插件
數據關(guān)聯(lián)后，統一請求鏈路上的數據需要以數據包的形式通知給下游圖分析節點(diǎn)。傳統的方式是通過(guò)消息服務(wù)傳遞數據。但是消息服務(wù)有兩個(gè)缺點(diǎn)：
1、與rdb等內存數據庫相比，它的吞吐量還是有很大差距（差一個(gè)數量級左右）。
2、在接收端，也需要根據traceid進(jìn)行數據關(guān)聯(lián)。
我們通過(guò)自定義插件異步向RDB寫(xiě)入數據，同時(shí)設置數據過(guò)期時(shí)間。存儲在 RDB 中的數據結構中。編寫(xiě)時(shí)只使用traceid作為消息內容，通過(guò)metaQ通知下游計算服務(wù)，大大降低了metaQ的數據傳輸壓力。
圖形聚合計算
收到metaQ的通知后，cep/graph計算服務(wù)節點(diǎn)會(huì )根據請求的鏈路數據和依賴(lài)的環(huán)境監測數據實(shí)時(shí)生成診斷結果。診斷結果簡(jiǎn)化如下：
表示這個(gè)請求是由下游jvm的線(xiàn)程池滿(mǎn)造成的，但是一次調用并沒(méi)有說(shuō)明服務(wù)不可用的根本原因。分析整體的錯誤情況，需要對圖數據進(jìn)行實(shí)時(shí)聚合。
聚合設計如下（為了說(shuō)明基本思想而進(jìn)行了簡(jiǎn)化）：
1、首先利用redis的zrank能力，根據服務(wù)名或者ip信息給每個(gè)節點(diǎn)分配一個(gè)全局唯一的序號。
2、為圖中的每個(gè)節點(diǎn)生成對應的圖節點(diǎn)代碼，代碼格式：
- 對于頭節點(diǎn)：頭節點(diǎn)序號 |圓形時(shí)間戳 |節點(diǎn)代碼
- 對于普通節點(diǎn)：|圓形時(shí)間戳 |節點(diǎn)編碼
3、由于每個(gè)節點(diǎn)在一個(gè)時(shí)間段內都有唯一的key，所以可以使用節點(diǎn)代碼作為key來(lái)統計每個(gè)節點(diǎn)使用redis。同時(shí)消除了并發(fā)讀寫(xiě)的問(wèn)題。
4、在redis中使用set集合可以很方便的疊加圖的邊。
5、記錄根節點(diǎn)，通過(guò)遍歷恢復聚合圖結構。
匯總結果大致如下：
這樣，最終產(chǎn)生了服務(wù)不可用的整體原因，可以通過(guò)葉子節點(diǎn)的數量對根本原因進(jìn)行排序。
05 收益
系統上線(xiàn)后，整個(gè)實(shí)時(shí)處理數據鏈路延遲不超過(guò)三秒。定位閑魚(yú)服務(wù)器問(wèn)題的時(shí)間從十多分鐘甚至更長(cháng)的時(shí)間縮短到了五秒以?xún)?。這大大提高了問(wèn)題定位的效率。
06 展望
目前的系統可以支持閑魚(yú)每秒千萬(wàn)級的數據處理能力。自動(dòng)定位問(wèn)題的后續服務(wù)可能會(huì )擴展到阿里巴巴內部更多的業(yè)務(wù)場(chǎng)景，數據量將成倍增長(cháng)，因此對效率和成本提出了更好的要求。
未來(lái)可能的改進(jìn)：
1、處理后的數據可以自動(dòng)縮減或壓縮。
2、復雜的模型分析計算也可以瞬間完成，減少io，提高性能。
3、支持多租戶(hù)數據隔離。
查看全部
)
0 1 背景
目前閑魚(yú)的實(shí)際生產(chǎn)部署環(huán)境越來(lái)越復雜。各種服務(wù)的橫向依賴(lài)相互交織，運行環(huán)境的縱向依賴(lài)也越來(lái)越復雜。當服務(wù)出現問(wèn)題時(shí)，能否在海量數據中及時(shí)定位問(wèn)題根源，成為考驗閑魚(yú)服務(wù)能力的嚴峻挑戰。
當網(wǎng)上出現問(wèn)題時(shí)，往往需要十多分鐘甚至更長(cháng)時(shí)間才能找到問(wèn)題的原因。因此，需要應用能夠快速進(jìn)行自動(dòng)診斷的系統，而快速診斷的基礎是高性能的實(shí)時(shí)數據。處理系統。該實(shí)時(shí)數據處理系統需要具備以下能力：
1、數據實(shí)時(shí)采集，實(shí)時(shí)分析，計算復雜，分析結果持久化。
2、 可以處理各種各樣的數據。收錄應用日志、主機性能監控指標和調用鏈接圖。
3、高可靠性。系統沒(méi)有問(wèn)題，數據不會(huì )丟失。
4、高性能，底部延遲。數據處理時(shí)延不超過(guò)3秒，支持每秒千萬(wàn)級數據處理。
本文不涉及自動(dòng)問(wèn)題診斷的具體分析模型，只討論整體實(shí)時(shí)數據處理環(huán)節的設計。
02 I/O 定義
為了便于理解系統的運行，我們將系統的整體輸入輸出定義如下：
輸入：
服務(wù)請求日志（包括traceid、時(shí)間戳、客戶(hù)端ip、服務(wù)器ip、耗時(shí)、返回碼、服務(wù)名、方法名）
環(huán)境監測數據（指標名稱(chēng)、ip、時(shí)間戳、指標值）。比如cpu、jvm gc次數、jvm gc耗時(shí)、數據庫指標。
輸出：
某服務(wù)在一段時(shí)間內出錯的根本原因，每個(gè)服務(wù)的錯誤分析結果用有向無(wú)環(huán)圖表示。 （根節點(diǎn)是被分析的錯誤節點(diǎn)，葉子節點(diǎn)是錯誤根因節點(diǎn)，葉子節點(diǎn)可能是外部依賴(lài)的服務(wù)錯誤或者jvm異常等）。
03 建筑設計
在實(shí)際系統運行過(guò)程中，隨著(zhù)時(shí)間的推移，會(huì )不斷產(chǎn)生日志數據和監控數據。每條生成的數據都有自己的時(shí)間戳。實(shí)時(shí)流式傳輸這些帶時(shí)間戳的數據就像流過(guò)不同管道的水一樣。
如果將源源不斷的實(shí)時(shí)數據比作自來(lái)水，數據處理過(guò)程類(lèi)似于自來(lái)水生產(chǎn)的過(guò)程：
當然，我們也將實(shí)時(shí)數據處理分解為采集、傳輸、預處理、計算和存儲階段。
整體系統架構設計如下：
采集
使用阿里巴巴自主研發(fā)的sls日志服務(wù)產(chǎn)品（包括logtail+loghub組件），logtail是一個(gè)采集客戶(hù)端。之所以選擇logtail，是因為其卓越的性能、高可靠性以及靈活的插件擴展機制，閑魚(yú)可以定制自己的采集插件，實(shí)現各種數據的實(shí)時(shí)采集。
傳輸
loghub可以理解為數據發(fā)布訂閱組件，功能類(lèi)似于kafka，作為數據傳輸通道，更穩定安全，詳細對比文章參考：
預處理
實(shí)時(shí)數據預處理部分使用blink流計算處理組件（開(kāi)源版本稱(chēng)為flink，blink是阿里巴巴內部基于flink的增強版）。目前常用的實(shí)時(shí)流計算開(kāi)源產(chǎn)品有Jstorm、SparkStream、Flink。由于Jstorm沒(méi)有中間計算狀態(tài)，其計算過(guò)程中需要的中間結果必須依賴(lài)外部存儲，這會(huì )導致頻繁的io影響其性能； SparkStream本質(zhì)上是用小批量來(lái)模擬實(shí)時(shí)計算，但實(shí)際上還是有一定的延遲； Flink 以其優(yōu)秀的狀態(tài)管理機制保證了其計算的性能和實(shí)時(shí)性，并提供了完整的 SQL 表達式，使得流計算更容易。
計算和持久性
數據經(jīng)過(guò)預處理后，最終生成調用鏈路聚合日志和主機監控數據。主機監控數據會(huì )獨立存儲在tsdb時(shí)序數據庫中，供后續統計分析。由于對時(shí)間指標數據的特殊存儲結構設計，tsdb非常適合時(shí)間序列數據的存儲和查詢(xún)。調用鏈接日志聚合數據，提供給cep/graph服務(wù)進(jìn)行診斷模型分析。 cep/graph service是閑魚(yú)開(kāi)發(fā)的一款應用，實(shí)現模型分析、復雜數據處理以及與外部服務(wù)的交互，借助rdb實(shí)現圖數據的實(shí)時(shí)聚合。
最后一次cep/graph服務(wù)分析的結果作為圖數據，在lindorm中提供實(shí)時(shí)轉儲在線(xiàn)查詢(xún)。 Lindorm 可以看作是 hbase 的增強版，在系統中充當持久存儲。
04 詳細設計和性能優(yōu)化
采集
日志和指標數據采集使用logtail，整個(gè)數據采集流程如圖：
它提供了非常靈活的插件機制，有四種類(lèi)型的插件：
由于指標數據（如cpu、內存、jvm指標）的獲取需要調用本機的服務(wù)接口，所以盡量減少請求的數量。在 logtail 中，一個(gè)輸入占用一個(gè) goroutine。閑魚(yú)通過(guò)自定義輸入插件和處理器插件，通過(guò)服務(wù)請求（指標獲取接口由基礎監控團隊提供）在一個(gè)輸入插件中獲取多個(gè)指標數據（如cpu、內存、jvm指標），并將其格式化為一個(gè)json數組對象在處理器插件中被拆分成多條數據，以減少系統中io的數量，提高性能。
傳輸
LogHub 用于數據傳輸。 logtail寫(xiě)入數據后，blink直接消費數據。只需設置合理數量的分區即可。分區數必須大于等于并發(fā)blink讀任務(wù)數，避免blink任務(wù)空閑。
預處理
預處理主要通過(guò)blink實(shí)現，主要設計和優(yōu)化點(diǎn)：
寫(xiě)一個(gè)高效的計算過(guò)程
blink是一個(gè)有狀態(tài)的流計算框架，非常適合實(shí)時(shí)聚合、join等操作。
在我們的應用中，我們只需要注意對有錯誤請求的相關(guān)服務(wù)鏈接的調用，所以整個(gè)日志處理流程分為兩個(gè)流程：
1、服務(wù)的請求入口日志作為單獨的流處理，過(guò)濾掉請求錯誤的數據。
2、其他中間環(huán)節的調用日志作為另一個(gè)獨立的流處理。通過(guò)在traceid上加入上述流，實(shí)現了錯誤服務(wù)所依賴(lài)的請求數據的插入。
如上圖所示，雙流join后，輸出的是與請求錯誤相關(guān)的所有鏈接的完整數據。
設置合理的狀態(tài)生命周期
blink本質(zhì)上是在做join的時(shí)候通過(guò)state緩存中間數據狀態(tài)，然后再匹配數據。如果狀態(tài)的生命周期過(guò)長(cháng)，會(huì )造成數據膨脹，影響性能。如果狀態(tài)的生命周期太短，將無(wú)法正確關(guān)聯(lián)一些延遲的數據。因此，需要合理配置狀態(tài)生命周期，并允許該應用的最大數據延遲。 1 分鐘。
使用niagara作為statebackend，以及設定state數據生命周期，單位毫秒
state.backend.type=niagara
state.backend.niagara.ttl.ms=60000
打開(kāi) MicroBatch/MiniBatch
MicroBatch 和 MiniBatch 都是 micro-batch，但 micro-batch 的觸發(fā)機制略有不同。原則上，在觸發(fā)處理前緩存一定量的數據，減少對狀態(tài)的訪(fǎng)問(wèn)，從而顯著(zhù)提高吞吐量，減少輸出數據量。
開(kāi)啟join
blink.miniBatch.join.enabled=true
使用 microbatch 時(shí)需要保留以下兩個(gè) minibatch 配置
blink.miniBatch.allowLatencyMs=5000
防止OOM，每個(gè)批次最多緩存多少條數據
blink.miniBatch.size=20000
對動(dòng)態(tài)負載使用動(dòng)態(tài)再平衡而不是再平衡
blink 任務(wù)最忌諱的就是計算熱點(diǎn)的存在。 Dynamic Rebalance為了保證數據均勻使用，可以根據當前子分區中累積的buffer個(gè)數，選擇負載較輕的子分區進(jìn)行寫(xiě)入，從而實(shí)現動(dòng)態(tài)負載均衡。與靜態(tài)再平衡策略相比，當下游任務(wù)的計算能力不均衡時(shí)，可以更加均衡各個(gè)任務(wù)的相對負載，從而提升整個(gè)作業(yè)的性能。
開(kāi)啟動(dòng)態(tài)負載
task.dynamic.rebalance.enabled=true
自定義輸出插件
數據關(guān)聯(lián)后，統一請求鏈路上的數據需要以數據包的形式通知給下游圖分析節點(diǎn)。傳統的方式是通過(guò)消息服務(wù)傳遞數據。但是消息服務(wù)有兩個(gè)缺點(diǎn)：
1、與rdb等內存數據庫相比，它的吞吐量還是有很大差距（差一個(gè)數量級左右）。
2、在接收端，也需要根據traceid進(jìn)行數據關(guān)聯(lián)。
我們通過(guò)自定義插件異步向RDB寫(xiě)入數據，同時(shí)設置數據過(guò)期時(shí)間。存儲在 RDB 中的數據結構中。編寫(xiě)時(shí)只使用traceid作為消息內容，通過(guò)metaQ通知下游計算服務(wù)，大大降低了metaQ的數據傳輸壓力。
圖形聚合計算
收到metaQ的通知后，cep/graph計算服務(wù)節點(diǎn)會(huì )根據請求的鏈路數據和依賴(lài)的環(huán)境監測數據實(shí)時(shí)生成診斷結果。診斷結果簡(jiǎn)化如下：
表示這個(gè)請求是由下游jvm的線(xiàn)程池滿(mǎn)造成的，但是一次調用并沒(méi)有說(shuō)明服務(wù)不可用的根本原因。分析整體的錯誤情況，需要對圖數據進(jìn)行實(shí)時(shí)聚合。
聚合設計如下（為了說(shuō)明基本思想而進(jìn)行了簡(jiǎn)化）：
1、首先利用redis的zrank能力，根據服務(wù)名或者ip信息給每個(gè)節點(diǎn)分配一個(gè)全局唯一的序號。
2、為圖中的每個(gè)節點(diǎn)生成對應的圖節點(diǎn)代碼，代碼格式：
- 對于頭節點(diǎn)：頭節點(diǎn)序號 |圓形時(shí)間戳 |節點(diǎn)代碼
- 對于普通節點(diǎn)：|圓形時(shí)間戳 |節點(diǎn)編碼
3、由于每個(gè)節點(diǎn)在一個(gè)時(shí)間段內都有唯一的key，所以可以使用節點(diǎn)代碼作為key來(lái)統計每個(gè)節點(diǎn)使用redis。同時(shí)消除了并發(fā)讀寫(xiě)的問(wèn)題。
4、在redis中使用set集合可以很方便的疊加圖的邊。
5、記錄根節點(diǎn)，通過(guò)遍歷恢復聚合圖結構。
匯總結果大致如下：
這樣，最終產(chǎn)生了服務(wù)不可用的整體原因，可以通過(guò)葉子節點(diǎn)的數量對根本原因進(jìn)行排序。
05 收益
系統上線(xiàn)后，整個(gè)實(shí)時(shí)處理數據鏈路延遲不超過(guò)三秒。定位閑魚(yú)服務(wù)器問(wèn)題的時(shí)間從十多分鐘甚至更長(cháng)的時(shí)間縮短到了五秒以?xún)?。這大大提高了問(wèn)題定位的效率。
06 展望
目前的系統可以支持閑魚(yú)每秒千萬(wàn)級的數據處理能力。自動(dòng)定位問(wèn)題的后續服務(wù)可能會(huì )擴展到阿里巴巴內部更多的業(yè)務(wù)場(chǎng)景，數據量將成倍增長(cháng)，因此對效率和成本提出了更好的要求。
未來(lái)可能的改進(jìn)：
1、處理后的數據可以自動(dòng)縮減或壓縮。
2、復雜的模型分析計算也可以瞬間完成，減少io，提高性能。
3、支持多租戶(hù)數據隔離。
查看全部
實(shí)時(shí)文章采集(0服務(wù)出現錯誤的根因服務(wù)的設計方法與設計
)
0 1 背景
目前閑魚(yú)的實(shí)際生產(chǎn)部署環(huán)境越來(lái)越復雜。各種服務(wù)的橫向依賴(lài)相互交織，運行環(huán)境的縱向依賴(lài)也越來(lái)越復雜。當服務(wù)出現問(wèn)題時(shí)，能否在海量數據中及時(shí)定位問(wèn)題根源，成為考驗閑魚(yú)服務(wù)能力的嚴峻挑戰。
當網(wǎng)上出現問(wèn)題時(shí)，往往需要十多分鐘甚至更長(cháng)時(shí)間才能找到問(wèn)題的原因。因此，需要應用能夠快速進(jìn)行自動(dòng)診斷的系統，而快速診斷的基礎是高性能的實(shí)時(shí)數據。處理系統。該實(shí)時(shí)數據處理系統需要具備以下能力：
1、數據實(shí)時(shí)采集，實(shí)時(shí)分析，計算復雜，分析結果持久化。
2、 可以處理各種各樣的數據。收錄應用日志、主機性能監控指標和調用鏈接圖。
3、高可靠性。系統沒(méi)有問(wèn)題，數據不會(huì )丟失。
4、高性能，底部延遲。數據處理時(shí)延不超過(guò)3秒，支持每秒千萬(wàn)級數據處理。
本文不涉及自動(dòng)問(wèn)題診斷的具體分析模型，只討論整體實(shí)時(shí)數據處理環(huán)節的設計。
02 I/O 定義
為了便于理解系統的運行，我們將系統的整體輸入輸出定義如下：
輸入：
服務(wù)請求日志（包括traceid、時(shí)間戳、客戶(hù)端ip、服務(wù)器ip、耗時(shí)、返回碼、服務(wù)名、方法名）
環(huán)境監測數據（指標名稱(chēng)、ip、時(shí)間戳、指標值）。比如cpu、jvm gc次數、jvm gc耗時(shí)、數據庫指標。
輸出：
某服務(wù)在一段時(shí)間內出錯的根本原因，每個(gè)服務(wù)的錯誤分析結果用有向無(wú)環(huán)圖表示。 （根節點(diǎn)是被分析的錯誤節點(diǎn)，葉子節點(diǎn)是錯誤根因節點(diǎn)，葉子節點(diǎn)可能是外部依賴(lài)的服務(wù)錯誤或者jvm異常等）。
03 建筑設計
在實(shí)際系統運行過(guò)程中，隨著(zhù)時(shí)間的推移，會(huì )不斷產(chǎn)生日志數據和監控數據。每條生成的數據都有自己的時(shí)間戳。實(shí)時(shí)流式傳輸這些帶時(shí)間戳的數據就像流過(guò)不同管道的水一樣。
如果將源源不斷的實(shí)時(shí)數據比作自來(lái)水，數據處理過(guò)程類(lèi)似于自來(lái)水生產(chǎn)的過(guò)程：
當然，我們也將實(shí)時(shí)數據處理分解為采集、傳輸、預處理、計算和存儲階段。
整體系統架構設計如下：
采集
使用阿里巴巴自主研發(fā)的sls日志服務(wù)產(chǎn)品（包括logtail+loghub組件），logtail是一個(gè)采集客戶(hù)端。之所以選擇logtail，是因為其卓越的性能、高可靠性以及靈活的插件擴展機制，閑魚(yú)可以定制自己的采集插件，實(shí)現各種數據的實(shí)時(shí)采集。
傳輸
loghub可以理解為數據發(fā)布訂閱組件，功能類(lèi)似于kafka，作為數據傳輸通道，更穩定安全，詳細對比文章參考：
預處理
實(shí)時(shí)數據預處理部分使用blink流計算處理組件（開(kāi)源版本稱(chēng)為flink，blink是阿里巴巴內部基于flink的增強版）。目前常用的實(shí)時(shí)流計算開(kāi)源產(chǎn)品有Jstorm、SparkStream、Flink。由于Jstorm沒(méi)有中間計算狀態(tài)，其計算過(guò)程中需要的中間結果必須依賴(lài)外部存儲，這會(huì )導致頻繁的io影響其性能； SparkStream本質(zhì)上是用小批量來(lái)模擬實(shí)時(shí)計算，但實(shí)際上還是有一定的延遲； Flink 以其優(yōu)秀的狀態(tài)管理機制保證了其計算的性能和實(shí)時(shí)性，并提供了完整的 SQL 表達式，使得流計算更容易。
計算和持久性
數據經(jīng)過(guò)預處理后，最終生成調用鏈路聚合日志和主機監控數據。主機監控數據會(huì )獨立存儲在tsdb時(shí)序數據庫中，供后續統計分析。由于對時(shí)間指標數據的特殊存儲結構設計，tsdb非常適合時(shí)間序列數據的存儲和查詢(xún)。調用鏈接日志聚合數據，提供給cep/graph服務(wù)進(jìn)行診斷模型分析。 cep/graph service是閑魚(yú)開(kāi)發(fā)的一款應用，實(shí)現模型分析、復雜數據處理以及與外部服務(wù)的交互，借助rdb實(shí)現圖數據的實(shí)時(shí)聚合。
最后一次cep/graph服務(wù)分析的結果作為圖數據，在lindorm中提供實(shí)時(shí)轉儲在線(xiàn)查詢(xún)。 Lindorm 可以看作是 hbase 的增強版，在系統中充當持久存儲。
04 詳細設計和性能優(yōu)化
采集
日志和指標數據采集使用logtail，整個(gè)數據采集流程如圖：
它提供了非常靈活的插件機制，有四種類(lèi)型的插件：
由于指標數據（如cpu、內存、jvm指標）的獲取需要調用本機的服務(wù)接口，所以盡量減少請求的數量。在 logtail 中，一個(gè)輸入占用一個(gè) goroutine。閑魚(yú)通過(guò)自定義輸入插件和處理器插件，通過(guò)服務(wù)請求（指標獲取接口由基礎監控團隊提供）在一個(gè)輸入插件中獲取多個(gè)指標數據（如cpu、內存、jvm指標），并將其格式化為一個(gè)json數組對象在處理器插件中被拆分成多條數據，以減少系統中io的數量，提高性能。
傳輸
LogHub 用于數據傳輸。 logtail寫(xiě)入數據后，blink直接消費數據。只需設置合理數量的分區即可。分區數必須大于等于并發(fā)blink讀任務(wù)數，避免blink任務(wù)空閑。
預處理
預處理主要通過(guò)blink實(shí)現，主要設計和優(yōu)化點(diǎn)：
寫(xiě)一個(gè)高效的計算過(guò)程
blink是一個(gè)有狀態(tài)的流計算框架，非常適合實(shí)時(shí)聚合、join等操作。
在我們的應用中，我們只需要注意對有錯誤請求的相關(guān)服務(wù)鏈接的調用，所以整個(gè)日志處理流程分為兩個(gè)流程：
1、服務(wù)的請求入口日志作為單獨的流處理，過(guò)濾掉請求錯誤的數據。
2、其他中間環(huán)節的調用日志作為另一個(gè)獨立的流處理。通過(guò)在traceid上加入上述流，實(shí)現了錯誤服務(wù)所依賴(lài)的請求數據的插入。
如上圖所示，雙流join后，輸出的是與請求錯誤相關(guān)的所有鏈接的完整數據。
設置合理的狀態(tài)生命周期
blink本質(zhì)上是在做join的時(shí)候通過(guò)state緩存中間數據狀態(tài)，然后再匹配數據。如果狀態(tài)的生命周期過(guò)長(cháng)，會(huì )造成數據膨脹，影響性能。如果狀態(tài)的生命周期太短，將無(wú)法正確關(guān)聯(lián)一些延遲的數據。因此，需要合理配置狀態(tài)生命周期，并允許該應用的最大數據延遲。 1 分鐘。
使用niagara作為statebackend，以及設定state數據生命周期，單位毫秒
state.backend.type=niagara
state.backend.niagara.ttl.ms=60000
打開(kāi) MicroBatch/MiniBatch
MicroBatch 和 MiniBatch 都是 micro-batch，但 micro-batch 的觸發(fā)機制略有不同。原則上，在觸發(fā)處理前緩存一定量的數據，減少對狀態(tài)的訪(fǎng)問(wèn)，從而顯著(zhù)提高吞吐量，減少輸出數據量。
開(kāi)啟join
blink.miniBatch.join.enabled=true
使用 microbatch 時(shí)需要保留以下兩個(gè) minibatch 配置
blink.miniBatch.allowLatencyMs=5000
防止OOM，每個(gè)批次最多緩存多少條數據
blink.miniBatch.size=20000
對動(dòng)態(tài)負載使用動(dòng)態(tài)再平衡而不是再平衡
blink 任務(wù)最忌諱的就是計算熱點(diǎn)的存在。 Dynamic Rebalance為了保證數據均勻使用，可以根據當前子分區中累積的buffer個(gè)數，選擇負載較輕的子分區進(jìn)行寫(xiě)入，從而實(shí)現動(dòng)態(tài)負載均衡。與靜態(tài)再平衡策略相比，當下游任務(wù)的計算能力不均衡時(shí)，可以更加均衡各個(gè)任務(wù)的相對負載，從而提升整個(gè)作業(yè)的性能。
開(kāi)啟動(dòng)態(tài)負載
task.dynamic.rebalance.enabled=true
自定義輸出插件
數據關(guān)聯(lián)后，統一請求鏈路上的數據需要以數據包的形式通知給下游圖分析節點(diǎn)。傳統的方式是通過(guò)消息服務(wù)傳遞數據。但是消息服務(wù)有兩個(gè)缺點(diǎn)：
1、與rdb等內存數據庫相比，它的吞吐量還是有很大差距（差一個(gè)數量級左右）。
2、在接收端，也需要根據traceid進(jìn)行數據關(guān)聯(lián)。
我們通過(guò)自定義插件異步向RDB寫(xiě)入數據，同時(shí)設置數據過(guò)期時(shí)間。存儲在 RDB 中的數據結構中。編寫(xiě)時(shí)只使用traceid作為消息內容，通過(guò)metaQ通知下游計算服務(wù)，大大降低了metaQ的數據傳輸壓力。
圖形聚合計算
收到metaQ的通知后，cep/graph計算服務(wù)節點(diǎn)會(huì )根據請求的鏈路數據和依賴(lài)的環(huán)境監測數據實(shí)時(shí)生成診斷結果。診斷結果簡(jiǎn)化如下：
表示這個(gè)請求是由下游jvm的線(xiàn)程池滿(mǎn)造成的，但是一次調用并沒(méi)有說(shuō)明服務(wù)不可用的根本原因。分析整體的錯誤情況，需要對圖數據進(jìn)行實(shí)時(shí)聚合。
聚合設計如下（為了說(shuō)明基本思想而進(jìn)行了簡(jiǎn)化）：
1、首先利用redis的zrank能力，根據服務(wù)名或者ip信息給每個(gè)節點(diǎn)分配一個(gè)全局唯一的序號。
2、為圖中的每個(gè)節點(diǎn)生成對應的圖節點(diǎn)代碼，代碼格式：
- 對于頭節點(diǎn)：頭節點(diǎn)序號 |圓形時(shí)間戳 |節點(diǎn)代碼
- 對于普通節點(diǎn)：|圓形時(shí)間戳 |節點(diǎn)編碼
3、由于每個(gè)節點(diǎn)在一個(gè)時(shí)間段內都有唯一的key，所以可以使用節點(diǎn)代碼作為key來(lái)統計每個(gè)節點(diǎn)使用redis。同時(shí)消除了并發(fā)讀寫(xiě)的問(wèn)題。
4、在redis中使用set集合可以很方便的疊加圖的邊。
5、記錄根節點(diǎn)，通過(guò)遍歷恢復聚合圖結構。
匯總結果大致如下：
這樣，最終產(chǎn)生了服務(wù)不可用的整體原因，可以通過(guò)葉子節點(diǎn)的數量對根本原因進(jìn)行排序。
05 收益
系統上線(xiàn)后，整個(gè)實(shí)時(shí)處理數據鏈路延遲不超過(guò)三秒。定位閑魚(yú)服務(wù)器問(wèn)題的時(shí)間從十多分鐘甚至更長(cháng)的時(shí)間縮短到了五秒以?xún)?。這大大提高了問(wèn)題定位的效率。
06 展望
目前的系統可以支持閑魚(yú)每秒千萬(wàn)級的數據處理能力。自動(dòng)定位問(wèn)題的后續服務(wù)可能會(huì )擴展到阿里巴巴內部更多的業(yè)務(wù)場(chǎng)景，數據量將成倍增長(cháng)，因此對效率和成本提出了更好的要求。
未來(lái)可能的改進(jìn)：
1、處理后的數據可以自動(dòng)縮減或壓縮。
2、復雜的模型分析計算也可以瞬間完成，減少io，提高性能。
3、支持多租戶(hù)數據隔離。
實(shí)時(shí)文章采集(簡(jiǎn)單幾個(gè)打包為exe命令全部源碼參考資料多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 130 次瀏覽 ? 2022-03-02 03:20
實(shí)時(shí)文章采集(簡(jiǎn)單幾個(gè)打包為exe命令全部源碼參考資料多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI)
最近幫朋友寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)。對了，我做了一個(gè)小說(shuō)爬蟲(chóng)工具，有GUI界面，可以從筆趣閣爬取小說(shuō)。
開(kāi)發(fā)完成后的界面
采集進(jìn)程接口
采集之后保存
主要實(shí)現的功能是多線(xiàn)程采集，一個(gè)線(xiàn)程采集小說(shuō)支持使用代理，尤其是多線(xiàn)程采集時(shí)，沒(méi)有ip可能會(huì )被阻塞使用代理
實(shí)時(shí)輸出采集結果
使用threading.BoundedSemaphore() pool_sema.acquire() pool_sema.release() 限制線(xiàn)程數，防止并發(fā)線(xiàn)程溢出。具體限制可在軟件界面輸入，默認為5個(gè)線(xiàn)程
所有線(xiàn)程任務(wù)開(kāi)始前
pool_sema.threading.BoundedSemaphore(5)
具體每個(gè)線(xiàn)程開(kāi)始前 鎖
pool_sema.acquire()
....
# 線(xiàn)程任務(wù)執行結束釋放
pol_sema.release()
使用的第三方模塊
pip install requests
pip install pysimplegui
pip install lxml
pip install pyinstaller
GUI界面使用了一個(gè)tkinter包庫PySimpleGUI，使用起來(lái)非常方便。界面雖然不是很漂亮，但是很簡(jiǎn)單，很適合開(kāi)發(fā)一些小工具。 pysimplegui.readthedocs.io/en/latest/ 比如這個(gè)界面的布局，就是幾個(gè)簡(jiǎn)單的列表
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
打包成exe命令
pyinstaller -Fw start.py
全部源代碼
import time
import requests
import os
import sys
import re
import random
from lxml import etree
import webbrowser
import PySimpleGUI as sg
import threading
# user-agent
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}
# 代理
proxies = {}
# 刪除書(shū)名中特殊符號
# 筆趣閣基地址
baseurl = 'https://www.xbiquwx.la/'
# 線(xiàn)程數量
threadNum = 6
pool_sema = None
THREAD_EVENT = '-THREAD-'
cjstatus = False
# txt存儲目錄
filePath = os.path.abspath(os.path.join(os.getcwd(), 'txt'))
if not os.path.exists(filePath):
os.mkdir(filePath)
# 刪除特殊字符
def deletetag(text):
return re.sub(r'[\[\]#\/\\:*\,;\?\"\'\|\(\)《》&\^!~=%\{\}@?。??！ぃ。ぁǎ?]','',text)
# 入口
def main():
global cjstatus, proxies, threadNum, pool_sema
sg.theme("reddit")
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
window = sg.Window('采集筆趣閣小說(shuō)', layout, size=(800, 500), resizable=True,)
while True:
event, values = window.read()
if event == sg.WIN_CLOSED or event == 'close': # if user closes window or clicks cancel
break
if event == "openwebsite":
webbrowser.open('%s' % baseurl)
elif event == 'opendir':
os.system('start explorer ' + filePath)
elif event == 'start':
if cjstatus:
cjstatus = False
window['start'].update('已停止...點(diǎn)擊重新開(kāi)始')
continue
window['error'].update("", visible=False)
urls = values['url'].strip().split("\n")
lenth = len(urls)
for k, url in enumerate(urls):
if (not re.match(r'%s\d+_\d+/' % baseurl, url.strip())):
if len(url.strip()) > 0:
window['error'].update("地址錯誤:%s" % url, visible=True)
del urls[k]
if len(urls) < 1:
window['error'].update(
"每行地址需符合 %s84_84370/ 形式" % baseurlr, visible=True)
continue
# 代理
if len(values['proxy']) > 8:
proxies = {
"http": "http://%s" % values['proxy'],
"https": "http://%s" % values['proxy']
}
# 線(xiàn)程數量
if values['threadnum'] and int(values['threadnum']) > 0:
threadNum = int(values['threadnum'])
pool_sema = threading.BoundedSemaphore(threadNum)
cjstatus = True
window['start'].update('采集中...點(diǎn)擊停止')
window['res'].update('開(kāi)始采集')
for url in urls:
threading.Thread(target=downloadbybook, args=(
url.strip(), window,), daemon=True).start()
elif event == "粘貼":
window['url'].update(sg.clipboard_get())
print("event", event)
if event == THREAD_EVENT:
strtext = values[THREAD_EVENT][1]
window['res'].update(window['res'].get()+"\n"+strtext)
cjstatus = False
window.close()
#下載
def downloadbybook(page_url, window):
try:
bookpage = requests.get(url=page_url, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求 %s 錯誤，原因:%s' % (page_url, e)))
return
if not cjstatus:
return
# 鎖線(xiàn)程
pool_sema.acquire()
if bookpage.status_code != 200:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求%s錯誤，原因:%s' % (page_url, page.reason)))
return
bookpage.encoding = 'utf-8'
page_tree = etree.HTML(bookpage.text)
bookname = page_tree.xpath('//div[@id="info"]/h1/text()')[0]
bookfilename = filePath + '/' + deletetag(bookname)+'.txt'
zj_list = page_tree.xpath(
'//div[@class="box_con"]/div[@id="list"]/dl/dd')
for _ in zj_list:
if not cjstatus:
break
zjurl = page_url + _.xpath('./a/@href')[0]
zjname = _.xpath('./a/@title')[0]
try:
zjpage = requests.get(
zjurl, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
continue
if zjpage.status_code != 200:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
return
zjpage.encoding = 'utf-8'
zjpage_content = etree.HTML(zjpage.text).xpath('//div[@id="content"]/text()')
content = "\n【"+zjname+"】\n"
for _ in zjpage_content:
content += _.strip() + '\n'
with open(bookfilename, 'a+', encoding='utf-8') as fs:
fs.write(content)
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n%s:%s 采集成功' % (bookname, zjname)))
time.sleep(random.uniform(0.05, 0.2))
# 下載完畢
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求 %s 結束' % page_url))
pool_sema.release()
if __name__ == '__main__':
main()
參考多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI 查看全部
最近幫朋友寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)。對了，我做了一個(gè)小說(shuō)爬蟲(chóng)工具，有GUI界面，可以從筆趣閣爬取小說(shuō)。
開(kāi)發(fā)完成后的界面
采集進(jìn)程接口
采集之后保存
主要實(shí)現的功能是多線(xiàn)程采集，一個(gè)線(xiàn)程采集小說(shuō)支持使用代理，尤其是多線(xiàn)程采集時(shí)，沒(méi)有ip可能會(huì )被阻塞使用代理
實(shí)時(shí)輸出采集結果
使用threading.BoundedSemaphore() pool_sema.acquire() pool_sema.release() 限制線(xiàn)程數，防止并發(fā)線(xiàn)程溢出。具體限制可在軟件界面輸入，默認為5個(gè)線(xiàn)程
所有線(xiàn)程任務(wù)開(kāi)始前
pool_sema.threading.BoundedSemaphore(5)
具體每個(gè)線(xiàn)程開(kāi)始前 鎖
pool_sema.acquire()
....
# 線(xiàn)程任務(wù)執行結束釋放
pol_sema.release()
使用的第三方模塊
pip install requests
pip install pysimplegui
pip install lxml
pip install pyinstaller
GUI界面使用了一個(gè)tkinter包庫PySimpleGUI，使用起來(lái)非常方便。界面雖然不是很漂亮，但是很簡(jiǎn)單，很適合開(kāi)發(fā)一些小工具。 pysimplegui.readthedocs.io/en/latest/ 比如這個(gè)界面的布局，就是幾個(gè)簡(jiǎn)單的列表
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
打包成exe命令
pyinstaller -Fw start.py
全部源代碼
import time
import requests
import os
import sys
import re
import random
from lxml import etree
import webbrowser
import PySimpleGUI as sg
import threading
# user-agent
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}
# 代理
proxies = {}
# 刪除書(shū)名中特殊符號
# 筆趣閣基地址
baseurl = 'https://www.xbiquwx.la/'
# 線(xiàn)程數量
threadNum = 6
pool_sema = None
THREAD_EVENT = '-THREAD-'
cjstatus = False
# txt存儲目錄
filePath = os.path.abspath(os.path.join(os.getcwd(), 'txt'))
if not os.path.exists(filePath):
os.mkdir(filePath)
# 刪除特殊字符
def deletetag(text):
return re.sub(r'[\[\]#\/\\:*\,;\?\"\'\|\(\)《》&\^!~=%\{\}@?。??！ぃ。ぁǎ?]','',text)
# 入口
def main():
global cjstatus, proxies, threadNum, pool_sema
sg.theme("reddit")
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
window = sg.Window('采集筆趣閣小說(shuō)', layout, size=(800, 500), resizable=True,)
while True:
event, values = window.read()
if event == sg.WIN_CLOSED or event == 'close': # if user closes window or clicks cancel
break
if event == "openwebsite":
webbrowser.open('%s' % baseurl)
elif event == 'opendir':
os.system('start explorer ' + filePath)
elif event == 'start':
if cjstatus:
cjstatus = False
window['start'].update('已停止...點(diǎn)擊重新開(kāi)始')
continue
window['error'].update("", visible=False)
urls = values['url'].strip().split("\n")
lenth = len(urls)
for k, url in enumerate(urls):
if (not re.match(r'%s\d+_\d+/' % baseurl, url.strip())):
if len(url.strip()) > 0:
window['error'].update("地址錯誤:%s" % url, visible=True)
del urls[k]
if len(urls) < 1:
window['error'].update(
"每行地址需符合 %s84_84370/ 形式" % baseurlr, visible=True)
continue
# 代理
if len(values['proxy']) > 8:
proxies = {
"http": "http://%s" % values['proxy'],
"https": "http://%s" % values['proxy']
}
# 線(xiàn)程數量
if values['threadnum'] and int(values['threadnum']) > 0:
threadNum = int(values['threadnum'])
pool_sema = threading.BoundedSemaphore(threadNum)
cjstatus = True
window['start'].update('采集中...點(diǎn)擊停止')
window['res'].update('開(kāi)始采集')
for url in urls:
threading.Thread(target=downloadbybook, args=(
url.strip(), window,), daemon=True).start()
elif event == "粘貼":
window['url'].update(sg.clipboard_get())
print("event", event)
if event == THREAD_EVENT:
strtext = values[THREAD_EVENT][1]
window['res'].update(window['res'].get()+"\n"+strtext)
cjstatus = False
window.close()
#下載
def downloadbybook(page_url, window):
try:
bookpage = requests.get(url=page_url, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求 %s 錯誤，原因:%s' % (page_url, e)))
return
if not cjstatus:
return
# 鎖線(xiàn)程
pool_sema.acquire()
if bookpage.status_code != 200:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求%s錯誤，原因:%s' % (page_url, page.reason)))
return
bookpage.encoding = 'utf-8'
page_tree = etree.HTML(bookpage.text)
bookname = page_tree.xpath('//div[@id="info"]/h1/text()')[0]
bookfilename = filePath + '/' + deletetag(bookname)+'.txt'
zj_list = page_tree.xpath(
'//div[@class="box_con"]/div[@id="list"]/dl/dd')
for _ in zj_list:
if not cjstatus:
break
zjurl = page_url + _.xpath('./a/@href')[0]
zjname = _.xpath('./a/@title')[0]
try:
zjpage = requests.get(
zjurl, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
continue
if zjpage.status_code != 200:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
return
zjpage.encoding = 'utf-8'
zjpage_content = etree.HTML(zjpage.text).xpath('//div[@id="content"]/text()')
content = "\n【"+zjname+"】\n"
for _ in zjpage_content:
content += _.strip() + '\n'
with open(bookfilename, 'a+', encoding='utf-8') as fs:
fs.write(content)
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n%s:%s 采集成功' % (bookname, zjname)))
time.sleep(random.uniform(0.05, 0.2))
# 下載完畢
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求 %s 結束' % page_url))
pool_sema.release()
if __name__ == '__main__':
main()
參考多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI 查看全部
實(shí)時(shí)文章采集(簡(jiǎn)單幾個(gè)打包為exe命令全部源碼參考資料多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI)
最近幫朋友寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)。對了，我做了一個(gè)小說(shuō)爬蟲(chóng)工具，有GUI界面，可以從筆趣閣爬取小說(shuō)。
開(kāi)發(fā)完成后的界面
采集進(jìn)程接口
采集之后保存
主要實(shí)現的功能是多線(xiàn)程采集，一個(gè)線(xiàn)程采集小說(shuō)支持使用代理，尤其是多線(xiàn)程采集時(shí)，沒(méi)有ip可能會(huì )被阻塞使用代理
實(shí)時(shí)輸出采集結果
使用threading.BoundedSemaphore() pool_sema.acquire() pool_sema.release() 限制線(xiàn)程數，防止并發(fā)線(xiàn)程溢出。具體限制可在軟件界面輸入，默認為5個(gè)線(xiàn)程
所有線(xiàn)程任務(wù)開(kāi)始前
pool_sema.threading.BoundedSemaphore(5)
具體每個(gè)線(xiàn)程開(kāi)始前 鎖
pool_sema.acquire()
....
# 線(xiàn)程任務(wù)執行結束釋放
pol_sema.release()
使用的第三方模塊
pip install requests
pip install pysimplegui
pip install lxml
pip install pyinstaller
GUI界面使用了一個(gè)tkinter包庫PySimpleGUI，使用起來(lái)非常方便。界面雖然不是很漂亮，但是很簡(jiǎn)單，很適合開(kāi)發(fā)一些小工具。 pysimplegui.readthedocs.io/en/latest/ 比如這個(gè)界面的布局，就是幾個(gè)簡(jiǎn)單的列表
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
打包成exe命令
pyinstaller -Fw start.py
全部源代碼
import time
import requests
import os
import sys
import re
import random
from lxml import etree
import webbrowser
import PySimpleGUI as sg
import threading
# user-agent
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}
# 代理
proxies = {}
# 刪除書(shū)名中特殊符號
# 筆趣閣基地址
baseurl = 'https://www.xbiquwx.la/'
# 線(xiàn)程數量
threadNum = 6
pool_sema = None
THREAD_EVENT = '-THREAD-'
cjstatus = False
# txt存儲目錄
filePath = os.path.abspath(os.path.join(os.getcwd(), 'txt'))
if not os.path.exists(filePath):
os.mkdir(filePath)
# 刪除特殊字符
def deletetag(text):
return re.sub(r'[\[\]#\/\\:*\,;\?\"\'\|\(\)《》&\^!~=%\{\}@?。??！ぃ。ぁǎ?]','',text)
# 入口
def main():
global cjstatus, proxies, threadNum, pool_sema
sg.theme("reddit")
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
window = sg.Window('采集筆趣閣小說(shuō)', layout, size=(800, 500), resizable=True,)
while True:
event, values = window.read()
if event == sg.WIN_CLOSED or event == 'close': # if user closes window or clicks cancel
break
if event == "openwebsite":
webbrowser.open('%s' % baseurl)
elif event == 'opendir':
os.system('start explorer ' + filePath)
elif event == 'start':
if cjstatus:
cjstatus = False
window['start'].update('已停止...點(diǎn)擊重新開(kāi)始')
continue
window['error'].update("", visible=False)
urls = values['url'].strip().split("\n")
lenth = len(urls)
for k, url in enumerate(urls):
if (not re.match(r'%s\d+_\d+/' % baseurl, url.strip())):
if len(url.strip()) > 0:
window['error'].update("地址錯誤:%s" % url, visible=True)
del urls[k]
if len(urls) < 1:
window['error'].update(
"每行地址需符合 %s84_84370/ 形式" % baseurlr, visible=True)
continue
# 代理
if len(values['proxy']) > 8:
proxies = {
"http": "http://%s" % values['proxy'],
"https": "http://%s" % values['proxy']
}
# 線(xiàn)程數量
if values['threadnum'] and int(values['threadnum']) > 0:
threadNum = int(values['threadnum'])
pool_sema = threading.BoundedSemaphore(threadNum)
cjstatus = True
window['start'].update('采集中...點(diǎn)擊停止')
window['res'].update('開(kāi)始采集')
for url in urls:
threading.Thread(target=downloadbybook, args=(
url.strip(), window,), daemon=True).start()
elif event == "粘貼":
window['url'].update(sg.clipboard_get())
print("event", event)
if event == THREAD_EVENT:
strtext = values[THREAD_EVENT][1]
window['res'].update(window['res'].get()+"\n"+strtext)
cjstatus = False
window.close()
#下載
def downloadbybook(page_url, window):
try:
bookpage = requests.get(url=page_url, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求 %s 錯誤，原因:%s' % (page_url, e)))
return
if not cjstatus:
return
# 鎖線(xiàn)程
pool_sema.acquire()
if bookpage.status_code != 200:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求%s錯誤，原因:%s' % (page_url, page.reason)))
return
bookpage.encoding = 'utf-8'
page_tree = etree.HTML(bookpage.text)
bookname = page_tree.xpath('//div[@id="info"]/h1/text()')[0]
bookfilename = filePath + '/' + deletetag(bookname)+'.txt'
zj_list = page_tree.xpath(
'//div[@class="box_con"]/div[@id="list"]/dl/dd')
for _ in zj_list:
if not cjstatus:
break
zjurl = page_url + _.xpath('./a/@href')[0]
zjname = _.xpath('./a/@title')[0]
try:
zjpage = requests.get(
zjurl, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
continue
if zjpage.status_code != 200:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
return
zjpage.encoding = 'utf-8'
zjpage_content = etree.HTML(zjpage.text).xpath('//div[@id="content"]/text()')
content = "\n【"+zjname+"】\n"
for _ in zjpage_content:
content += _.strip() + '\n'
with open(bookfilename, 'a+', encoding='utf-8') as fs:
fs.write(content)
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n%s:%s 采集成功' % (bookname, zjname)))
time.sleep(random.uniform(0.05, 0.2))
# 下載完畢
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求 %s 結束' % page_url))
pool_sema.release()
if __name__ == '__main__':
main()
參考多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI
實(shí)時(shí)文章采集(易通CMS采集可以自動(dòng)采集并發(fā)布網(wǎng)站內容，免接口發(fā)布)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 142 次瀏覽 ? 2022-03-02 01:23
實(shí)時(shí)文章采集(易通CMS采集可以自動(dòng)采集并發(fā)布網(wǎng)站內容，免接口發(fā)布)
一通cms采集，可實(shí)現網(wǎng)站無(wú)需人工值班，24小時(shí)自動(dòng)實(shí)時(shí)監控目標，對目標實(shí)時(shí)高效采集，以便它可以全天候為 網(wǎng)站 @網(wǎng)站 提供內容更新?？梢詽M(mǎn)足網(wǎng)站長(cháng)期的運營(yíng)需求，讓網(wǎng)站站長(cháng)們從繁重的工作中解脫出來(lái)。一通cms采集，可以采集任意類(lèi)型網(wǎng)站，99.9%采集識別成功率，然后自動(dòng)批量發(fā)布到所有cms類(lèi)型的程序，也可以直接采集本地文件，無(wú)需界面發(fā)布。
一通cms采集可以支持網(wǎng)站內容和信息的自由組合，通過(guò)強大的數據排序功能對信息進(jìn)行深度加工，創(chuàng )造出新的內容。無(wú)論是靜態(tài)還是動(dòng)態(tài)，包括圖片、音樂(lè )、文字、軟件，甚至PDF文檔和WORD文檔都可以準確采集，然后進(jìn)行處理。并且使用同義詞替換、多詞隨機替換、段落隨機排序，讓二次創(chuàng )作的內容更有利于網(wǎng)站SEO。
一通cms采集從支持多級目錄入手，無(wú)論是垂直多級信息頁(yè)面，還是并行多內容分頁(yè)、AJAX調用頁(yè)面，都可以輕松采集訪(fǎng)問(wèn). 再加上開(kāi)放的界面模式，站長(cháng)可以自由地進(jìn)行二次開(kāi)發(fā)，自定義任何功能，實(shí)現網(wǎng)站的所有需求。
大部分網(wǎng)站都無(wú)法實(shí)現長(cháng)期穩定的網(wǎng)站內容輸出，因為遠程真的很累。一通cms采集可以自動(dòng)采集和發(fā)布網(wǎng)站內容，這是很多站長(cháng)感興趣的，一通cms采集沒(méi)有使用門(mén)檻，所以對于沒(méi)有基礎知識的用戶(hù)來(lái)說(shuō)會(huì )非常簡(jiǎn)單易用。因為不需要編寫(xiě)適當的 采集 規則。
一通cms采集可以在短時(shí)間內豐富網(wǎng)站的內容，讓搜索引擎的蜘蛛正常抓取一個(gè)網(wǎng)站。它允許用戶(hù)在訪(fǎng)問(wèn)網(wǎng)站時(shí)看到一些內容，并根據用戶(hù)的搜索需要自動(dòng)顯示相應的界面。
一通cms采集可以快速獲取最新的網(wǎng)站相關(guān)內容。因為采集的內容可以基于網(wǎng)站的關(guān)鍵詞的內容和相關(guān)欄目采集的內容，而這些內容可以是最新鮮的內容，所以用戶(hù)瀏覽網(wǎng)站，也可以快速獲取相關(guān)內容，無(wú)需通過(guò)搜索引擎再次搜索，一定程度上提升了網(wǎng)站的用戶(hù)體驗。
一通cms采集將采集內容基于智能算法。也就是說(shuō)，選擇與網(wǎng)站相關(guān)的內容，盡量新鮮。如果太陳舊了，尤其是新聞內容，過(guò)時(shí)的內容不需要采集，但是對于技術(shù)帖，那么就能夠妥妥的采集，因為這些技術(shù)帖對于很多新人都有很好的幫助作用。 查看全部
一通cms采集，可實(shí)現網(wǎng)站無(wú)需人工值班，24小時(shí)自動(dòng)實(shí)時(shí)監控目標，對目標實(shí)時(shí)高效采集，以便它可以全天候為 網(wǎng)站 @網(wǎng)站 提供內容更新?？梢詽M(mǎn)足網(wǎng)站長(cháng)期的運營(yíng)需求，讓網(wǎng)站站長(cháng)們從繁重的工作中解脫出來(lái)。一通cms采集，可以采集任意類(lèi)型網(wǎng)站，99.9%采集識別成功率，然后自動(dòng)批量發(fā)布到所有cms類(lèi)型的程序，也可以直接采集本地文件，無(wú)需界面發(fā)布。
一通cms采集可以支持網(wǎng)站內容和信息的自由組合，通過(guò)強大的數據排序功能對信息進(jìn)行深度加工，創(chuàng )造出新的內容。無(wú)論是靜態(tài)還是動(dòng)態(tài)，包括圖片、音樂(lè )、文字、軟件，甚至PDF文檔和WORD文檔都可以準確采集，然后進(jìn)行處理。并且使用同義詞替換、多詞隨機替換、段落隨機排序，讓二次創(chuàng )作的內容更有利于網(wǎng)站SEO。
一通cms采集從支持多級目錄入手，無(wú)論是垂直多級信息頁(yè)面，還是并行多內容分頁(yè)、AJAX調用頁(yè)面，都可以輕松采集訪(fǎng)問(wèn). 再加上開(kāi)放的界面模式，站長(cháng)可以自由地進(jìn)行二次開(kāi)發(fā)，自定義任何功能，實(shí)現網(wǎng)站的所有需求。
大部分網(wǎng)站都無(wú)法實(shí)現長(cháng)期穩定的網(wǎng)站內容輸出，因為遠程真的很累。一通cms采集可以自動(dòng)采集和發(fā)布網(wǎng)站內容，這是很多站長(cháng)感興趣的，一通cms采集沒(méi)有使用門(mén)檻，所以對于沒(méi)有基礎知識的用戶(hù)來(lái)說(shuō)會(huì )非常簡(jiǎn)單易用。因為不需要編寫(xiě)適當的 采集 規則。
一通cms采集可以在短時(shí)間內豐富網(wǎng)站的內容，讓搜索引擎的蜘蛛正常抓取一個(gè)網(wǎng)站。它允許用戶(hù)在訪(fǎng)問(wèn)網(wǎng)站時(shí)看到一些內容，并根據用戶(hù)的搜索需要自動(dòng)顯示相應的界面。
一通cms采集可以快速獲取最新的網(wǎng)站相關(guān)內容。因為采集的內容可以基于網(wǎng)站的關(guān)鍵詞的內容和相關(guān)欄目采集的內容，而這些內容可以是最新鮮的內容，所以用戶(hù)瀏覽網(wǎng)站，也可以快速獲取相關(guān)內容，無(wú)需通過(guò)搜索引擎再次搜索，一定程度上提升了網(wǎng)站的用戶(hù)體驗。
一通cms采集將采集內容基于智能算法。也就是說(shuō)，選擇與網(wǎng)站相關(guān)的內容，盡量新鮮。如果太陳舊了，尤其是新聞內容，過(guò)時(shí)的內容不需要采集，但是對于技術(shù)帖，那么就能夠妥妥的采集，因為這些技術(shù)帖對于很多新人都有很好的幫助作用。 查看全部
實(shí)時(shí)文章采集(易通CMS采集可以自動(dòng)采集并發(fā)布網(wǎng)站內容，免接口發(fā)布)
一通cms采集，可實(shí)現網(wǎng)站無(wú)需人工值班，24小時(shí)自動(dòng)實(shí)時(shí)監控目標，對目標實(shí)時(shí)高效采集，以便它可以全天候為 網(wǎng)站 @網(wǎng)站 提供內容更新?？梢詽M(mǎn)足網(wǎng)站長(cháng)期的運營(yíng)需求，讓網(wǎng)站站長(cháng)們從繁重的工作中解脫出來(lái)。一通cms采集，可以采集任意類(lèi)型網(wǎng)站，99.9%采集識別成功率，然后自動(dòng)批量發(fā)布到所有cms類(lèi)型的程序，也可以直接采集本地文件，無(wú)需界面發(fā)布。
一通cms采集可以支持網(wǎng)站內容和信息的自由組合，通過(guò)強大的數據排序功能對信息進(jìn)行深度加工，創(chuàng )造出新的內容。無(wú)論是靜態(tài)還是動(dòng)態(tài)，包括圖片、音樂(lè )、文字、軟件，甚至PDF文檔和WORD文檔都可以準確采集，然后進(jìn)行處理。并且使用同義詞替換、多詞隨機替換、段落隨機排序，讓二次創(chuàng )作的內容更有利于網(wǎng)站SEO。
一通cms采集從支持多級目錄入手，無(wú)論是垂直多級信息頁(yè)面，還是并行多內容分頁(yè)、AJAX調用頁(yè)面，都可以輕松采集訪(fǎng)問(wèn). 再加上開(kāi)放的界面模式，站長(cháng)可以自由地進(jìn)行二次開(kāi)發(fā)，自定義任何功能，實(shí)現網(wǎng)站的所有需求。
大部分網(wǎng)站都無(wú)法實(shí)現長(cháng)期穩定的網(wǎng)站內容輸出，因為遠程真的很累。一通cms采集可以自動(dòng)采集和發(fā)布網(wǎng)站內容，這是很多站長(cháng)感興趣的，一通cms采集沒(méi)有使用門(mén)檻，所以對于沒(méi)有基礎知識的用戶(hù)來(lái)說(shuō)會(huì )非常簡(jiǎn)單易用。因為不需要編寫(xiě)適當的 采集 規則。
一通cms采集可以在短時(shí)間內豐富網(wǎng)站的內容，讓搜索引擎的蜘蛛正常抓取一個(gè)網(wǎng)站。它允許用戶(hù)在訪(fǎng)問(wèn)網(wǎng)站時(shí)看到一些內容，并根據用戶(hù)的搜索需要自動(dòng)顯示相應的界面。
一通cms采集可以快速獲取最新的網(wǎng)站相關(guān)內容。因為采集的內容可以基于網(wǎng)站的關(guān)鍵詞的內容和相關(guān)欄目采集的內容，而這些內容可以是最新鮮的內容，所以用戶(hù)瀏覽網(wǎng)站，也可以快速獲取相關(guān)內容，無(wú)需通過(guò)搜索引擎再次搜索，一定程度上提升了網(wǎng)站的用戶(hù)體驗。
一通cms采集將采集內容基于智能算法。也就是說(shuō)，選擇與網(wǎng)站相關(guān)的內容，盡量新鮮。如果太陳舊了，尤其是新聞內容，過(guò)時(shí)的內容不需要采集，但是對于技術(shù)帖，那么就能夠妥妥的采集，因為這些技術(shù)帖對于很多新人都有很好的幫助作用。
實(shí)時(shí)文章采集(6個(gè)K8s日志系統建設中的典型問(wèn)題，你遇到過(guò)幾個(gè)？)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 135 次瀏覽 ? 2022-02-28 20:19
實(shí)時(shí)文章采集(6個(gè)K8s日志系統建設中的典型問(wèn)題，你遇到過(guò)幾個(gè)？)
個(gè)人博客導航頁(yè)面（點(diǎn)擊右側鏈接打開(kāi)個(gè)人博客）：大牛帶你進(jìn)入技術(shù)棧
簡(jiǎn)介：上一篇文章主要介紹了Kubernetes日志輸出的一些注意事項。日志輸出的最終目的是做統一的采集和分析。在Kubernetes中，記錄采集的方式與普通虛擬機有很大不同，相對實(shí)現難度和部署成本也略高，但如果使用得當，自動(dòng)化程度比傳統方式高，運維成本更低。本文是日志系列文章的第四篇。
第一篇：《K8s日志系統建設中的6個(gè)典型問(wèn)題，你遇到過(guò)幾個(gè)？》
第二篇：《一篇文章理解K8s日志系統的設計與實(shí)踐》
第三篇：《解決K8s中日志輸出問(wèn)題的9個(gè)技巧》
Kubernetes 日志采集 難點(diǎn)
在 Kubernetes 中，log采集 比傳統的虛擬機和物理機要復雜得多。最根本的原因是Kubernetes屏蔽了底層異常，提供了更細粒度的資源調度，向上提供了一個(gè)穩定動(dòng)態(tài)的環(huán)境。因此，log采集面臨著(zhù)更豐富、更動(dòng)態(tài)的環(huán)境，需要考慮的點(diǎn)也更多。
例如：
Kubernetes 傳統方式
日志類(lèi)型
文件、標準輸出、主機文件、日志
檔案、日記
日志源
業(yè)務(wù)容器、系統組件、主機
商務(wù)，主持人
采集如何
Agent (Sidecar, DaemonSet), Direct Write (DockerEngine, Business)
代理，直寫(xiě)
獨立應用程序的數量
10-100
1-10
應用動(dòng)態(tài)
高的
低的
節點(diǎn)動(dòng)態(tài)
高的
低的
采集部署方式
手動(dòng)，Yaml
手動(dòng), 定制
采集模式：主動(dòng)或被動(dòng)
日志采集方法有兩種：被動(dòng)采集和主動(dòng)推送。在K8s中，被動(dòng)采集一般分為Sidecar和DaemonSet兩種方式。主動(dòng)推送包括 DockerEngine 推送和業(yè)務(wù)直推。寫(xiě)兩種方式。
總結一下：
各種采集方法的詳細對比如下：
DockerEngine 業(yè)務(wù)直寫(xiě) DaemonSet 方法 Sidecar 方法
采集日志類(lèi)型
標準輸出
業(yè)務(wù)日志
標準輸出 + 部分文件
文檔
部署和維護
低原生支持
低，只維護配置文件
一般需要維護DaemonSet
更高，每個(gè)需要采集日志的POD都需要部署一個(gè)sidecar容器
日志分類(lèi)存儲
達不到
業(yè)務(wù)獨立配置
一般可以通過(guò)容器/路徑等方式進(jìn)行映射。
每個(gè) POD 都可以單獨配置以實(shí)現高靈活性
多租戶(hù)隔離
虛弱的
弱，日志直寫(xiě)會(huì )和業(yè)務(wù)邏輯競爭資源
一般只通過(guò)配置之間的隔離
強，通過(guò)容器隔離，資源可單獨分配
支持集群大小
無(wú)限本地存儲，如果使用syslog和fluentd，會(huì )有單點(diǎn)限制
無(wú)限
取決于配置的數量
無(wú)限
資源占用
低，碼頭工人
引擎提供
總體最低，節省 采集 開(kāi)銷(xiāo)
較低，每個(gè)節點(diǎn)運行一個(gè)容器
更高，每個(gè) POD 運行一個(gè)容器
查詢(xún)方便
低，只能grep原創(chuàng )日志
高，可根據業(yè)務(wù)特點(diǎn)定制
高，可進(jìn)行自定義查詢(xún)和統計
高，可根據業(yè)務(wù)特點(diǎn)定制
可定制性
低的
高，可自由擴展
低的
高，每個(gè) POD 單獨配置
耦合
高，強綁定DockerEngine，修改需要重啟DockerEngine
高，采集模塊修改/升級需要重新發(fā)布業(yè)務(wù)
低，代理可以獨立升級
一般默認的采集Sidecar服務(wù)對應的Agent升級也會(huì )重啟（部分擴展包可以支持Sidecar熱升級）
適用場(chǎng)景
測試、POC等非生產(chǎn)場(chǎng)景
對性能要求極高的場(chǎng)景
日志分類(lèi)清晰、功能單一的集群
大型混合 PAAS 集群
日志輸出：標準輸出或文件
與虛擬機/物理機不同，K8s 容器提供標準輸出和文件。在容器中，標準輸出直接將日志輸出到stdout或stderr，而DockerEngine接管stdout和stderr文件描述符，收到日志后根據DockerEngine配置的LogDriver規則進(jìn)行處理；日志打印到文件的方式與虛擬機/物理機基本相似，只是日志可以使用不同的存儲方式，如默認存儲、EmptyDir、HostVolume、NFS等。
雖然 Docker 官方推薦使用 Stdout 打印日志，但大家需要注意：這個(gè)推薦是基于容器僅作為簡(jiǎn)單應用使用的場(chǎng)景。在實(shí)際業(yè)務(wù)場(chǎng)景中，我們還是建議大家盡量使用文件方式。主要原因有以下幾點(diǎn)：
因此，我們建議在線(xiàn)應用使用文件輸出日志，而Stdout僅用于功能單一或部分K8s系統/運維組件的應用。
CICD 集成：日志記錄操作員
Kubernetes提供了標準化的業(yè)務(wù)部署方式，可以通過(guò)yaml（K8s API）聲明路由規則、暴露服務(wù)、掛載存儲、運行業(yè)務(wù)、定義伸縮規則等，因此Kubernetes很容易與CICD系統集成。日志采集也是運維監控過(guò)程的重要組成部分。必須實(shí)時(shí)采集業(yè)務(wù)上線(xiàn)后的所有日志。
原來(lái)的方法是在發(fā)布后手動(dòng)部署log采集的邏輯。這種方式需要人工干預，違背了CICD自動(dòng)化的目的；為了實(shí)現自動(dòng)化，有人開(kāi)始根據日志打包API/SDK采集發(fā)布后通過(guò)CICD的webhook調用自動(dòng)部署的服務(wù)，但這種方式開(kāi)發(fā)成本高。
在 Kubernetes 中，集成日志最標準的方式是在 Kubernetes 系統中注冊一個(gè)新資源，并以 Operator（CRD）的形式對其進(jìn)行管理和維護。這樣CICD系統就不需要額外開(kāi)發(fā)，部署到Kubernetes系統時(shí)只需要附加日志相關(guān)的配置即可。
Kubernetes 日志采集 方案
早在 Kubernetes 出現之前，我們就開(kāi)始為容器環(huán)境開(kāi)發(fā) log采集 解決方案。隨著(zhù)K8s的逐漸穩定，我們開(kāi)始將很多業(yè)務(wù)遷移到K8s平臺上，所以我們也在之前的基礎上開(kāi)發(fā)了一套。K8s 上的 log采集 方案。主要功能有：
安裝日志采集組件
目前，這個(gè)采集解決方案已經(jīng)對外開(kāi)放。我們提供 Helm 安裝包，收錄 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 聲明和 CRD Controller。安裝后，可以直接使用 DaemonSet 采集 和 CRD 配置。安裝方法如下：
當阿里云Kubernetes集群?jiǎn)?dòng)時(shí)，您可以選擇安裝它，這樣在創(chuàng )建集群時(shí)會(huì )自動(dòng)安裝上述組件。如果激活的時(shí)候沒(méi)有安裝，可以手動(dòng)安裝；如果是自建Kubernetes，無(wú)論是在阿里云上自建還是在其他云還是離線(xiàn)，也可以使用這個(gè)采集方案，具體安裝方法參考自建Kubernetes安裝。
上述組件安裝完成后，Logtail和對應的Controller就會(huì )在集群中運行，但是這些組件默認沒(méi)有采集任何日志，需要將日志采集規則配置為采集@ > 指定各種日志的Pod。
采集規則配置：環(huán)境變量或CRD
除了在日志服務(wù)控制臺上手動(dòng)配置外，Kubernetes 還支持另外兩種配置方式：環(huán)境變量和 CRD。
該方法部署簡(jiǎn)單，學(xué)習成本低，易于使用；但是可以支持的配置規則很少，很多高級配置（如解析方式、過(guò)濾方式、黑白名單等）都不支持，而且這種聲明方式也不支持修改/刪除，每個(gè)修改實(shí)際上創(chuàng )建了一個(gè)新的 采集 配置。歷史采集配置需要手動(dòng)清理，否則會(huì )造成資源浪費。
比如下面的例子是部署一個(gè)容器的stdout采集，其中定義需要stdout和stderr采集，排除環(huán)境變量中收錄COLLEXT_STDOUT_FLAG: false的容器。
基于CRD的配置方式以Kubernetes標準擴展資源的方式進(jìn)行管理，支持配置的完整語(yǔ)義的增刪改查，支持各種高級配置。這是我們強烈推薦的 采集 配置方法。
采集推薦的規則配置方式
在實(shí)際應用場(chǎng)景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的優(yōu)點(diǎn)是資源利用率高，但存在一個(gè)問(wèn)題，DaemonSet 的所有 Logtail 共享全局配置，而單個(gè) Logtail 的配置支持有上限。因此，它無(wú)法支持具有大量應用程序的集群。
以上是我們給出的推薦配置方式。核心思想是：
練習 1 - 中小型集群
大多數 Kubernetes 集群都是中小型的。中小企業(yè)沒(méi)有明確的定義。一般應用數量小于500，節點(diǎn)規模小于1000。沒(méi)有功能清晰的Kubernetes平臺運維。這個(gè)場(chǎng)景的應用數量不是特別多，DaemonSet可以支持所有的采集配置：
練習 2 - 大型集群
對于一些用作PaaS平臺的大型/超大型集群，一般業(yè)務(wù)在1000以上，節點(diǎn)規模也在1000以上，并且有專(zhuān)門(mén)的Kubernetes平臺運維人員。該場(chǎng)景對應用數量沒(méi)有限制，DaemonSet無(wú)法支持，所以必須使用Sidecar方式?？傮w規劃如下：
Java/C/C++/機器學(xué)習/算法與數據結構/前端/Android/Python/程序員必讀/書(shū)籍清單：
?。c(diǎn)擊右側打開(kāi)個(gè)人博客有干貨）：科技干貨店
=====>>①【Java大牛帶你從入門(mén)到進(jìn)階之路】②【算法數據結構+acm大牛帶你從入門(mén)到進(jìn)階之路】③【數據庫大牛帶你從入門(mén)到進(jìn)階之路】④【W(wǎng)eb前端大牛帶你進(jìn)階之路】⑤【機器學(xué)習與python大牛帶你進(jìn)階之路】⑥【架構師大牛帶你進(jìn)階之路】⑦【C++大牛帶你進(jìn)階之路】⑧【ios大牛帶你進(jìn)階之路】⑨【W(wǎng)eb安全大牛帶你進(jìn)階之路】⑩【Linux與操作系統牛帶你從入門(mén)到進(jìn)階之路】 查看全部
個(gè)人博客導航頁(yè)面（點(diǎn)擊右側鏈接打開(kāi)個(gè)人博客）：大牛帶你進(jìn)入技術(shù)棧
簡(jiǎn)介：上一篇文章主要介紹了Kubernetes日志輸出的一些注意事項。日志輸出的最終目的是做統一的采集和分析。在Kubernetes中，記錄采集的方式與普通虛擬機有很大不同，相對實(shí)現難度和部署成本也略高，但如果使用得當，自動(dòng)化程度比傳統方式高，運維成本更低。本文是日志系列文章的第四篇。
第一篇：《K8s日志系統建設中的6個(gè)典型問(wèn)題，你遇到過(guò)幾個(gè)？》
第二篇：《一篇文章理解K8s日志系統的設計與實(shí)踐》
第三篇：《解決K8s中日志輸出問(wèn)題的9個(gè)技巧》
Kubernetes 日志采集 難點(diǎn)
在 Kubernetes 中，log采集 比傳統的虛擬機和物理機要復雜得多。最根本的原因是Kubernetes屏蔽了底層異常，提供了更細粒度的資源調度，向上提供了一個(gè)穩定動(dòng)態(tài)的環(huán)境。因此，log采集面臨著(zhù)更豐富、更動(dòng)態(tài)的環(huán)境，需要考慮的點(diǎn)也更多。
例如：
Kubernetes 傳統方式
日志類(lèi)型
文件、標準輸出、主機文件、日志
檔案、日記
日志源
業(yè)務(wù)容器、系統組件、主機
商務(wù)，主持人
采集如何
Agent (Sidecar, DaemonSet), Direct Write (DockerEngine, Business)
代理，直寫(xiě)
獨立應用程序的數量
10-100
1-10
應用動(dòng)態(tài)
高的
低的
節點(diǎn)動(dòng)態(tài)
高的
低的
采集部署方式
手動(dòng)，Yaml
手動(dòng), 定制
采集模式：主動(dòng)或被動(dòng)
日志采集方法有兩種：被動(dòng)采集和主動(dòng)推送。在K8s中，被動(dòng)采集一般分為Sidecar和DaemonSet兩種方式。主動(dòng)推送包括 DockerEngine 推送和業(yè)務(wù)直推。寫(xiě)兩種方式。
總結一下：
各種采集方法的詳細對比如下：
DockerEngine 業(yè)務(wù)直寫(xiě) DaemonSet 方法 Sidecar 方法
采集日志類(lèi)型
標準輸出
業(yè)務(wù)日志
標準輸出 + 部分文件
文檔
部署和維護
低原生支持
低，只維護配置文件
一般需要維護DaemonSet
更高，每個(gè)需要采集日志的POD都需要部署一個(gè)sidecar容器
日志分類(lèi)存儲
達不到
業(yè)務(wù)獨立配置
一般可以通過(guò)容器/路徑等方式進(jìn)行映射。
每個(gè) POD 都可以單獨配置以實(shí)現高靈活性
多租戶(hù)隔離
虛弱的
弱，日志直寫(xiě)會(huì )和業(yè)務(wù)邏輯競爭資源
一般只通過(guò)配置之間的隔離
強，通過(guò)容器隔離，資源可單獨分配
支持集群大小
無(wú)限本地存儲，如果使用syslog和fluentd，會(huì )有單點(diǎn)限制
無(wú)限
取決于配置的數量
無(wú)限
資源占用
低，碼頭工人
引擎提供
總體最低，節省 采集 開(kāi)銷(xiāo)
較低，每個(gè)節點(diǎn)運行一個(gè)容器
更高，每個(gè) POD 運行一個(gè)容器
查詢(xún)方便
低，只能grep原創(chuàng )日志
高，可根據業(yè)務(wù)特點(diǎn)定制
高，可進(jìn)行自定義查詢(xún)和統計
高，可根據業(yè)務(wù)特點(diǎn)定制
可定制性
低的
高，可自由擴展
低的
高，每個(gè) POD 單獨配置
耦合
高，強綁定DockerEngine，修改需要重啟DockerEngine
高，采集模塊修改/升級需要重新發(fā)布業(yè)務(wù)
低，代理可以獨立升級
一般默認的采集Sidecar服務(wù)對應的Agent升級也會(huì )重啟（部分擴展包可以支持Sidecar熱升級）
適用場(chǎng)景
測試、POC等非生產(chǎn)場(chǎng)景
對性能要求極高的場(chǎng)景
日志分類(lèi)清晰、功能單一的集群
大型混合 PAAS 集群
日志輸出：標準輸出或文件
與虛擬機/物理機不同，K8s 容器提供標準輸出和文件。在容器中，標準輸出直接將日志輸出到stdout或stderr，而DockerEngine接管stdout和stderr文件描述符，收到日志后根據DockerEngine配置的LogDriver規則進(jìn)行處理；日志打印到文件的方式與虛擬機/物理機基本相似，只是日志可以使用不同的存儲方式，如默認存儲、EmptyDir、HostVolume、NFS等。
雖然 Docker 官方推薦使用 Stdout 打印日志，但大家需要注意：這個(gè)推薦是基于容器僅作為簡(jiǎn)單應用使用的場(chǎng)景。在實(shí)際業(yè)務(wù)場(chǎng)景中，我們還是建議大家盡量使用文件方式。主要原因有以下幾點(diǎn)：
因此，我們建議在線(xiàn)應用使用文件輸出日志，而Stdout僅用于功能單一或部分K8s系統/運維組件的應用。
CICD 集成：日志記錄操作員
Kubernetes提供了標準化的業(yè)務(wù)部署方式，可以通過(guò)yaml（K8s API）聲明路由規則、暴露服務(wù)、掛載存儲、運行業(yè)務(wù)、定義伸縮規則等，因此Kubernetes很容易與CICD系統集成。日志采集也是運維監控過(guò)程的重要組成部分。必須實(shí)時(shí)采集業(yè)務(wù)上線(xiàn)后的所有日志。
原來(lái)的方法是在發(fā)布后手動(dòng)部署log采集的邏輯。這種方式需要人工干預，違背了CICD自動(dòng)化的目的；為了實(shí)現自動(dòng)化，有人開(kāi)始根據日志打包API/SDK采集發(fā)布后通過(guò)CICD的webhook調用自動(dòng)部署的服務(wù)，但這種方式開(kāi)發(fā)成本高。
在 Kubernetes 中，集成日志最標準的方式是在 Kubernetes 系統中注冊一個(gè)新資源，并以 Operator（CRD）的形式對其進(jìn)行管理和維護。這樣CICD系統就不需要額外開(kāi)發(fā)，部署到Kubernetes系統時(shí)只需要附加日志相關(guān)的配置即可。
Kubernetes 日志采集 方案
早在 Kubernetes 出現之前，我們就開(kāi)始為容器環(huán)境開(kāi)發(fā) log采集 解決方案。隨著(zhù)K8s的逐漸穩定，我們開(kāi)始將很多業(yè)務(wù)遷移到K8s平臺上，所以我們也在之前的基礎上開(kāi)發(fā)了一套。K8s 上的 log采集 方案。主要功能有：
安裝日志采集組件
目前，這個(gè)采集解決方案已經(jīng)對外開(kāi)放。我們提供 Helm 安裝包，收錄 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 聲明和 CRD Controller。安裝后，可以直接使用 DaemonSet 采集 和 CRD 配置。安裝方法如下：
當阿里云Kubernetes集群?jiǎn)?dòng)時(shí)，您可以選擇安裝它，這樣在創(chuàng )建集群時(shí)會(huì )自動(dòng)安裝上述組件。如果激活的時(shí)候沒(méi)有安裝，可以手動(dòng)安裝；如果是自建Kubernetes，無(wú)論是在阿里云上自建還是在其他云還是離線(xiàn)，也可以使用這個(gè)采集方案，具體安裝方法參考自建Kubernetes安裝。
上述組件安裝完成后，Logtail和對應的Controller就會(huì )在集群中運行，但是這些組件默認沒(méi)有采集任何日志，需要將日志采集規則配置為采集@ > 指定各種日志的Pod。
采集規則配置：環(huán)境變量或CRD
除了在日志服務(wù)控制臺上手動(dòng)配置外，Kubernetes 還支持另外兩種配置方式：環(huán)境變量和 CRD。
該方法部署簡(jiǎn)單，學(xué)習成本低，易于使用；但是可以支持的配置規則很少，很多高級配置（如解析方式、過(guò)濾方式、黑白名單等）都不支持，而且這種聲明方式也不支持修改/刪除，每個(gè)修改實(shí)際上創(chuàng )建了一個(gè)新的 采集 配置。歷史采集配置需要手動(dòng)清理，否則會(huì )造成資源浪費。
比如下面的例子是部署一個(gè)容器的stdout采集，其中定義需要stdout和stderr采集，排除環(huán)境變量中收錄COLLEXT_STDOUT_FLAG: false的容器。
基于CRD的配置方式以Kubernetes標準擴展資源的方式進(jìn)行管理，支持配置的完整語(yǔ)義的增刪改查，支持各種高級配置。這是我們強烈推薦的 采集 配置方法。
采集推薦的規則配置方式
在實(shí)際應用場(chǎng)景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的優(yōu)點(diǎn)是資源利用率高，但存在一個(gè)問(wèn)題，DaemonSet 的所有 Logtail 共享全局配置，而單個(gè) Logtail 的配置支持有上限。因此，它無(wú)法支持具有大量應用程序的集群。
以上是我們給出的推薦配置方式。核心思想是：
練習 1 - 中小型集群
大多數 Kubernetes 集群都是中小型的。中小企業(yè)沒(méi)有明確的定義。一般應用數量小于500，節點(diǎn)規模小于1000。沒(méi)有功能清晰的Kubernetes平臺運維。這個(gè)場(chǎng)景的應用數量不是特別多，DaemonSet可以支持所有的采集配置：
練習 2 - 大型集群
對于一些用作PaaS平臺的大型/超大型集群，一般業(yè)務(wù)在1000以上，節點(diǎn)規模也在1000以上，并且有專(zhuān)門(mén)的Kubernetes平臺運維人員。該場(chǎng)景對應用數量沒(méi)有限制，DaemonSet無(wú)法支持，所以必須使用Sidecar方式?？傮w規劃如下：
Java/C/C++/機器學(xué)習/算法與數據結構/前端/Android/Python/程序員必讀/書(shū)籍清單：
?。c(diǎn)擊右側打開(kāi)個(gè)人博客有干貨）：科技干貨店
=====>>①【Java大牛帶你從入門(mén)到進(jìn)階之路】②【算法數據結構+acm大牛帶你從入門(mén)到進(jìn)階之路】③【數據庫大牛帶你從入門(mén)到進(jìn)階之路】④【W(wǎng)eb前端大牛帶你進(jìn)階之路】⑤【機器學(xué)習與python大牛帶你進(jìn)階之路】⑥【架構師大牛帶你進(jìn)階之路】⑦【C++大牛帶你進(jìn)階之路】⑧【ios大牛帶你進(jìn)階之路】⑨【W(wǎng)eb安全大牛帶你進(jìn)階之路】⑩【Linux與操作系統牛帶你從入門(mén)到進(jìn)階之路】 查看全部
實(shí)時(shí)文章采集(6個(gè)K8s日志系統建設中的典型問(wèn)題，你遇到過(guò)幾個(gè)？)
個(gè)人博客導航頁(yè)面（點(diǎn)擊右側鏈接打開(kāi)個(gè)人博客）：大牛帶你進(jìn)入技術(shù)棧
簡(jiǎn)介：上一篇文章主要介紹了Kubernetes日志輸出的一些注意事項。日志輸出的最終目的是做統一的采集和分析。在Kubernetes中，記錄采集的方式與普通虛擬機有很大不同，相對實(shí)現難度和部署成本也略高，但如果使用得當，自動(dòng)化程度比傳統方式高，運維成本更低。本文是日志系列文章的第四篇。
第一篇：《K8s日志系統建設中的6個(gè)典型問(wèn)題，你遇到過(guò)幾個(gè)？》
第二篇：《一篇文章理解K8s日志系統的設計與實(shí)踐》
第三篇：《解決K8s中日志輸出問(wèn)題的9個(gè)技巧》
Kubernetes 日志采集 難點(diǎn)
在 Kubernetes 中，log采集 比傳統的虛擬機和物理機要復雜得多。最根本的原因是Kubernetes屏蔽了底層異常，提供了更細粒度的資源調度，向上提供了一個(gè)穩定動(dòng)態(tài)的環(huán)境。因此，log采集面臨著(zhù)更豐富、更動(dòng)態(tài)的環(huán)境，需要考慮的點(diǎn)也更多。
例如：
Kubernetes 傳統方式
日志類(lèi)型
文件、標準輸出、主機文件、日志
檔案、日記
日志源
業(yè)務(wù)容器、系統組件、主機
商務(wù)，主持人
采集如何
Agent (Sidecar, DaemonSet), Direct Write (DockerEngine, Business)
代理，直寫(xiě)
獨立應用程序的數量
10-100
1-10
應用動(dòng)態(tài)
高的
低的
節點(diǎn)動(dòng)態(tài)
高的
低的
采集部署方式
手動(dòng)，Yaml
手動(dòng), 定制
采集模式：主動(dòng)或被動(dòng)
日志采集方法有兩種：被動(dòng)采集和主動(dòng)推送。在K8s中，被動(dòng)采集一般分為Sidecar和DaemonSet兩種方式。主動(dòng)推送包括 DockerEngine 推送和業(yè)務(wù)直推。寫(xiě)兩種方式。
總結一下：
各種采集方法的詳細對比如下：
DockerEngine 業(yè)務(wù)直寫(xiě) DaemonSet 方法 Sidecar 方法
采集日志類(lèi)型
標準輸出
業(yè)務(wù)日志
標準輸出 + 部分文件
文檔
部署和維護
低原生支持
低，只維護配置文件
一般需要維護DaemonSet
更高，每個(gè)需要采集日志的POD都需要部署一個(gè)sidecar容器
日志分類(lèi)存儲
達不到
業(yè)務(wù)獨立配置
一般可以通過(guò)容器/路徑等方式進(jìn)行映射。
每個(gè) POD 都可以單獨配置以實(shí)現高靈活性
多租戶(hù)隔離
虛弱的
弱，日志直寫(xiě)會(huì )和業(yè)務(wù)邏輯競爭資源
一般只通過(guò)配置之間的隔離
強，通過(guò)容器隔離，資源可單獨分配
支持集群大小
無(wú)限本地存儲，如果使用syslog和fluentd，會(huì )有單點(diǎn)限制
無(wú)限
取決于配置的數量
無(wú)限
資源占用
低，碼頭工人
引擎提供
總體最低，節省 采集 開(kāi)銷(xiāo)
較低，每個(gè)節點(diǎn)運行一個(gè)容器
更高，每個(gè) POD 運行一個(gè)容器
查詢(xún)方便
低，只能grep原創(chuàng )日志
高，可根據業(yè)務(wù)特點(diǎn)定制
高，可進(jìn)行自定義查詢(xún)和統計
高，可根據業(yè)務(wù)特點(diǎn)定制
可定制性
低的
高，可自由擴展
低的
高，每個(gè) POD 單獨配置
耦合
高，強綁定DockerEngine，修改需要重啟DockerEngine
高，采集模塊修改/升級需要重新發(fā)布業(yè)務(wù)
低，代理可以獨立升級
一般默認的采集Sidecar服務(wù)對應的Agent升級也會(huì )重啟（部分擴展包可以支持Sidecar熱升級）
適用場(chǎng)景
測試、POC等非生產(chǎn)場(chǎng)景
對性能要求極高的場(chǎng)景
日志分類(lèi)清晰、功能單一的集群
大型混合 PAAS 集群
日志輸出：標準輸出或文件
與虛擬機/物理機不同，K8s 容器提供標準輸出和文件。在容器中，標準輸出直接將日志輸出到stdout或stderr，而DockerEngine接管stdout和stderr文件描述符，收到日志后根據DockerEngine配置的LogDriver規則進(jìn)行處理；日志打印到文件的方式與虛擬機/物理機基本相似，只是日志可以使用不同的存儲方式，如默認存儲、EmptyDir、HostVolume、NFS等。
雖然 Docker 官方推薦使用 Stdout 打印日志，但大家需要注意：這個(gè)推薦是基于容器僅作為簡(jiǎn)單應用使用的場(chǎng)景。在實(shí)際業(yè)務(wù)場(chǎng)景中，我們還是建議大家盡量使用文件方式。主要原因有以下幾點(diǎn)：
因此，我們建議在線(xiàn)應用使用文件輸出日志，而Stdout僅用于功能單一或部分K8s系統/運維組件的應用。
CICD 集成：日志記錄操作員
Kubernetes提供了標準化的業(yè)務(wù)部署方式，可以通過(guò)yaml（K8s API）聲明路由規則、暴露服務(wù)、掛載存儲、運行業(yè)務(wù)、定義伸縮規則等，因此Kubernetes很容易與CICD系統集成。日志采集也是運維監控過(guò)程的重要組成部分。必須實(shí)時(shí)采集業(yè)務(wù)上線(xiàn)后的所有日志。
原來(lái)的方法是在發(fā)布后手動(dòng)部署log采集的邏輯。這種方式需要人工干預，違背了CICD自動(dòng)化的目的；為了實(shí)現自動(dòng)化，有人開(kāi)始根據日志打包API/SDK采集發(fā)布后通過(guò)CICD的webhook調用自動(dòng)部署的服務(wù)，但這種方式開(kāi)發(fā)成本高。
在 Kubernetes 中，集成日志最標準的方式是在 Kubernetes 系統中注冊一個(gè)新資源，并以 Operator（CRD）的形式對其進(jìn)行管理和維護。這樣CICD系統就不需要額外開(kāi)發(fā)，部署到Kubernetes系統時(shí)只需要附加日志相關(guān)的配置即可。
Kubernetes 日志采集 方案
早在 Kubernetes 出現之前，我們就開(kāi)始為容器環(huán)境開(kāi)發(fā) log采集 解決方案。隨著(zhù)K8s的逐漸穩定，我們開(kāi)始將很多業(yè)務(wù)遷移到K8s平臺上，所以我們也在之前的基礎上開(kāi)發(fā)了一套。K8s 上的 log采集 方案。主要功能有：
安裝日志采集組件
目前，這個(gè)采集解決方案已經(jīng)對外開(kāi)放。我們提供 Helm 安裝包，收錄 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 聲明和 CRD Controller。安裝后，可以直接使用 DaemonSet 采集 和 CRD 配置。安裝方法如下：
當阿里云Kubernetes集群?jiǎn)?dòng)時(shí)，您可以選擇安裝它，這樣在創(chuàng )建集群時(shí)會(huì )自動(dòng)安裝上述組件。如果激活的時(shí)候沒(méi)有安裝，可以手動(dòng)安裝；如果是自建Kubernetes，無(wú)論是在阿里云上自建還是在其他云還是離線(xiàn)，也可以使用這個(gè)采集方案，具體安裝方法參考自建Kubernetes安裝。
上述組件安裝完成后，Logtail和對應的Controller就會(huì )在集群中運行，但是這些組件默認沒(méi)有采集任何日志，需要將日志采集規則配置為采集@ > 指定各種日志的Pod。
采集規則配置：環(huán)境變量或CRD
除了在日志服務(wù)控制臺上手動(dòng)配置外，Kubernetes 還支持另外兩種配置方式：環(huán)境變量和 CRD。
該方法部署簡(jiǎn)單，學(xué)習成本低，易于使用；但是可以支持的配置規則很少，很多高級配置（如解析方式、過(guò)濾方式、黑白名單等）都不支持，而且這種聲明方式也不支持修改/刪除，每個(gè)修改實(shí)際上創(chuàng )建了一個(gè)新的 采集 配置。歷史采集配置需要手動(dòng)清理，否則會(huì )造成資源浪費。
比如下面的例子是部署一個(gè)容器的stdout采集，其中定義需要stdout和stderr采集，排除環(huán)境變量中收錄COLLEXT_STDOUT_FLAG: false的容器。
基于CRD的配置方式以Kubernetes標準擴展資源的方式進(jìn)行管理，支持配置的完整語(yǔ)義的增刪改查，支持各種高級配置。這是我們強烈推薦的 采集 配置方法。
采集推薦的規則配置方式
在實(shí)際應用場(chǎng)景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的優(yōu)點(diǎn)是資源利用率高，但存在一個(gè)問(wèn)題，DaemonSet 的所有 Logtail 共享全局配置，而單個(gè) Logtail 的配置支持有上限。因此，它無(wú)法支持具有大量應用程序的集群。
以上是我們給出的推薦配置方式。核心思想是：
練習 1 - 中小型集群
大多數 Kubernetes 集群都是中小型的。中小企業(yè)沒(méi)有明確的定義。一般應用數量小于500，節點(diǎn)規模小于1000。沒(méi)有功能清晰的Kubernetes平臺運維。這個(gè)場(chǎng)景的應用數量不是特別多，DaemonSet可以支持所有的采集配置：
練習 2 - 大型集群
對于一些用作PaaS平臺的大型/超大型集群，一般業(yè)務(wù)在1000以上，節點(diǎn)規模也在1000以上，并且有專(zhuān)門(mén)的Kubernetes平臺運維人員。該場(chǎng)景對應用數量沒(méi)有限制，DaemonSet無(wú)法支持，所以必須使用Sidecar方式?？傮w規劃如下：
Java/C/C++/機器學(xué)習/算法與數據結構/前端/Android/Python/程序員必讀/書(shū)籍清單：
?。c(diǎn)擊右側打開(kāi)個(gè)人博客有干貨）：科技干貨店
=====>>①【Java大牛帶你從入門(mén)到進(jìn)階之路】②【算法數據結構+acm大牛帶你從入門(mén)到進(jìn)階之路】③【數據庫大牛帶你從入門(mén)到進(jìn)階之路】④【W(wǎng)eb前端大牛帶你進(jìn)階之路】⑤【機器學(xué)習與python大牛帶你進(jìn)階之路】⑥【架構師大牛帶你進(jìn)階之路】⑦【C++大牛帶你進(jìn)階之路】⑧【ios大牛帶你進(jìn)階之路】⑨【W(wǎng)eb安全大牛帶你進(jìn)階之路】⑩【Linux與操作系統牛帶你從入門(mén)到進(jìn)階之路】
實(shí)時(shí)文章采集(怎么用PHP采集才能快速收錄以及關(guān)鍵詞排名？(圖))
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 116 次瀏覽 ? 2022-02-28 04:23
實(shí)時(shí)文章采集(怎么用PHP采集才能快速收錄以及關(guān)鍵詞排名？(圖))
如何使用PHP采集快速收錄和關(guān)鍵詞排名？本文分為2個(gè)部分，一個(gè)是網(wǎng)站程序的標準化，另一個(gè)是網(wǎng)站fast收錄和排名，我想大多數人都會(huì )遇到，公司的網(wǎng)站有程序問(wèn)題，url優(yōu)化要求等，但是程序部的小伙伴不配合！或者網(wǎng)站邀請第三方公司！如果你堅持做seo，你基本上就無(wú)法工作了！基本上以上都是公司程序部和我們seo網(wǎng)站優(yōu)化部沒(méi)有協(xié)調或者根本沒(méi)有嚴格規定造成的！要知道seo是一個(gè)非常復雜的行業(yè)和職位，所涉及的內容包羅萬(wàn)象。其中，程序對網(wǎng)站的支持非常重要！如果和seo配合不好，程序會(huì )比較麻煩！網(wǎng)站程序中需要滿(mǎn)足哪些規范才能適合SEO？
一、域和服務(wù)器相關(guān)
1、如果頁(yè)面不存在，應該返回404錯誤碼；
2、4XX、5XX服務(wù)器頭信息異常增加，及時(shí)通知SEO部門(mén)做進(jìn)一步檢查。
3、域名不使用泛解析。需要使用二級域名時(shí)，需要提前與SEO部門(mén)溝通，然后解決；
3、URL 規范化，URL 啟用 301
4、網(wǎng)站不能有多個(gè)域名打開(kāi)同一個(gè)頁(yè)面；
5、如果有打開(kāi)子域進(jìn)行測試，使用robots文件禁止搜索引擎抓??；
6、服務(wù)器開(kāi)啟gzip壓縮，提高瀏覽速度；
7、在新欄目上線(xiàn)前完成內容填充；網(wǎng)站 和內容未完成的欄目無(wú)法上線(xiàn)。
二、網(wǎng)站結構和URL相關(guān)
1、所有網(wǎng)址網(wǎng)站都是靜態(tài)的，除了計劃禁止搜索引擎抓取的內容和收錄。
2、 URL一旦確定在線(xiàn)，就不能隨意更改。特殊情況需要調整的，必須與SEO部門(mén)溝通；
3、網(wǎng)站 列和 URL 目錄需要一一對應。一級分類(lèi)對應一級分類(lèi)，二級分類(lèi)對應二級分類(lèi)。最多可以歸類(lèi)到二級目錄。如果產(chǎn)品/頁(yè)數需要分類(lèi)在三級以上，此時(shí)需要注意。
4、全站目錄URL以斜杠結尾，該URL不顯示index.php等文件名；
5、URL 中的列名、文件名等字母都是小寫(xiě)的。
6、網(wǎng)站的所有頁(yè)面都添加了面包屑；
7、URL中統一使用破折號或下劃線(xiàn)，不要添加其他特殊字符；
8、URL目錄名優(yōu)先對應英文單詞，不是中文拼音，而是數字或字母；
9、當URL發(fā)生變化時(shí)，舊的URL應該通過(guò)301重定向到新的URL；
三、頁(yè)面打開(kāi)速度相關(guān)
1、在不影響視覺(jué)效果的前提下，前端頁(yè)面的所有圖片都要壓縮；
2、刪除未使用的CSS代碼，盡可能將頁(yè)面樣式代碼合并到CSS文件中；
3、謹慎使用JS，謹慎使用JS，測試JS是否減慢頁(yè)面訪(fǎng)問(wèn)；
4、禁止使用session ID、Frame、Flash；
5、頁(yè)面的純文本代碼（包括HTML、JS、CSS）不超過(guò)500K。主頁(yè)等特殊頁(yè)面可以適當放寬。
6、使用主流瀏覽器實(shí)際測試頁(yè)面打開(kāi)速度，不要超過(guò)3秒。有條件的，從多個(gè)省市進(jìn)行測試。
四、TDK相關(guān)頁(yè)面
1、頁(yè)面的Title標簽、Description標簽、H1文字的默認版本是根據格式自動(dòng)生成的，但是系統需要為SEO人員預留填寫(xiě)功能。
2、欄目頁(yè)Title的默認格式：二級欄目名-一級欄目名-網(wǎng)站名稱(chēng)；
3、產(chǎn)品頁(yè)面標題默認格式：產(chǎn)品名稱(chēng)——網(wǎng)站名稱(chēng)；
4、文章頁(yè)面標題默認格式：文章標題——網(wǎng)站名稱(chēng)；
5、搜索頁(yè)面標題默認格式：搜索關(guān)鍵字-網(wǎng)站名稱(chēng)；；
6、每個(gè)頁(yè)面標題的默認格式：列名-X頁(yè)-網(wǎng)站名稱(chēng)；
7、除特殊要求外，網(wǎng)站使用HTML代碼鏈接代替JS生成的鏈接；
8、除好友鏈接外的導出鏈接添加nofollow屬性；
9、列，產(chǎn)品/文章將 ALT 文本添加到頁(yè)面的主圖像。后臺編輯器上傳圖片時(shí)，預留輸入框填寫(xiě)ATL文本；
10、一個(gè)頁(yè)面只使用一次H1。
五、函數使用及代碼
1、除非另有要求，網(wǎng)站確保在所有頁(yè)面都在線(xiàn)時(shí)添加流量統計代碼。
2、全部網(wǎng)站開(kāi)通百度資源平臺賬號。
3、在線(xiàn)網(wǎng)站，除非 SEO 或運營(yíng)部門(mén)另有要求，robots 文件對所有 URL 和文件（包括圖像、CSS、JS）的抓取都是開(kāi)放的。
4、XML版本的Sitemap在后臺實(shí)??時(shí)或定期生成更新，包括首頁(yè)、欄目和頁(yè)面、產(chǎn)品/文章頁(yè)面。是否收錄過(guò)濾條件頁(yè)面將在與SEO部門(mén)協(xié)調后確定。
5、新站點(diǎn)應始終使用響應式設計，不要使用獨立的移動(dòng)站點(diǎn)或移動(dòng)子域。已經(jīng)用移動(dòng)子域優(yōu)化過(guò)的老站暫時(shí)保持現狀，與SEO部門(mén)溝通后轉為響應式設計。
6、英文網(wǎng)站HTML 代碼中不應出現中文字符，包括注釋。
7、當由于各種原因需要更改URL時(shí)，舊的URL會(huì )被301重定向到新的URL，不要使用其他的轉向方式。
8、當由于各種原因更改 URL 時(shí)，導航和內頁(yè)鏈接會(huì )更新為新 URL。導航中禁止需要重定向的 URL。
六、使用PHP采集+SEO函數讓網(wǎng)站快收錄
如果以上都沒(méi)有問(wèn)題，我們可以使用這個(gè)PHP采集工具來(lái)實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，無(wú)需學(xué)習更專(zhuān)業(yè)的技術(shù)。只需幾個(gè)簡(jiǎn)單的步驟即可輕松實(shí)現采集內容數據，用戶(hù)只需在PHP采集上進(jìn)行簡(jiǎn)單設置，PHP采集工具會(huì )根據關(guān)鍵詞準確設置給用戶(hù)。采集文章，這確保了與行業(yè) 文章 的一致性。采集文章 from 采集可以選擇本地保存，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，提供方便快捷的內容采集和快速的內容創(chuàng )建偽原創(chuàng )。
與其他PHP采集相比，這個(gè)PHP采集基本沒(méi)有規則，更別說(shuō)花大量時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，直接輸入關(guān)鍵詞 采集可以實(shí)現（PHP采集也自帶關(guān)鍵詞采集函數）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)PHP采集還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），無(wú)需每天登錄網(wǎng)站后臺. SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
七、百度優(yōu)化排名最基本的原理！
一、網(wǎng)站優(yōu)化排名的對象是什么
1、一個(gè)網(wǎng)站由多個(gè)網(wǎng)頁(yè)組成，網(wǎng)站由一個(gè)或多個(gè)網(wǎng)頁(yè)組成。
2、seo優(yōu)化的對象是網(wǎng)頁(yè)而不是網(wǎng)站。關(guān)于網(wǎng)站優(yōu)化排名的誤區是，普通人總是認為優(yōu)化的對象是網(wǎng)站。我們通常所說(shuō)的“網(wǎng)站ranking”和“網(wǎng)站optimization”是不正確的。
二：百度蜘蛛的工作很簡(jiǎn)單：
找到頁(yè)面（發(fā)現網(wǎng)上有這個(gè)頁(yè)面）——頁(yè)面是否可以正常爬?。阍谂廊〉臅r(shí)候有沒(méi)有遇到困難：比如加載慢、質(zhì)量低、錯誤頁(yè)面多——你要爬嗎？ page)?是否應該爬??？爬取數據庫能給網(wǎng)名帶來(lái)實(shí)際的效果嗎？) 了解了這些基本原理后，我們就可以根據這些要求進(jìn)行嘗試了。比如，如何讓百度爬取更方便？方法如下：
1)百度主動(dòng)找到我們的頁(yè)面
2)我們提交給百度
3) 還有人告訴百度需要做一些外鏈推廣工作
三、什么是超鏈接分析，超鏈接分析簡(jiǎn)介
1、“超鏈接分析”
超鏈接分析是百度的專(zhuān)利。原理是通過(guò)分析鏈接網(wǎng)站的數量來(lái)評估鏈接網(wǎng)站的質(zhì)量。這樣做的效果是確保用戶(hù)使用搜索引擎。，質(zhì)量越高，頁(yè)面越受歡迎越高。百度總裁李彥宏是這項技術(shù)的擁有者，該技術(shù)已被全球主要搜索引擎廣泛采用。
2、我們如何理解超鏈分析技術(shù)？
總之，要判斷一個(gè)頁(yè)面是優(yōu)秀的還是權威的，其他頁(yè)面的“意見(jiàn)”是非常重要的。即使一個(gè)網(wǎng)頁(yè)不是那么好，只要其他網(wǎng)頁(yè)比其他網(wǎng)頁(yè)有更多的“信任票”（反向鏈接），那么它的排名就會(huì )更高。需要注意的是，“超鏈接分析”只是排名的一個(gè)重要參考。
四：分析模塊的工作，百度會(huì )對網(wǎng)頁(yè)進(jìn)行再加工預測評價(jià)：
1)網(wǎng)站頁(yè)面內容好不好？
2) 頁(yè)面的主題是什么？（標題、關(guān)鍵詞和網(wǎng)站描述、網(wǎng)站內容本身由網(wǎng)站的TDK決定）
3)多少錢(qián)？原創(chuàng )學(xué)位？
4)還有其他評分選項，比如多少個(gè)鏈接？
通過(guò)以上指標，百度會(huì )給搜索關(guān)鍵詞一個(gè)匹配排名，其匹配模式設計為??：完全匹配+詞組匹配+廣泛匹配。
我們seo優(yōu)化的價(jià)值在于匹配模式相當于排名機會(huì )，我們需要實(shí)現更多更好的排名機會(huì )。繼續增加匹配機會(huì )，讓更多流量找到我們的網(wǎng)站?？赐赀@篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
如何使用PHP采集快速收錄和關(guān)鍵詞排名？本文分為2個(gè)部分，一個(gè)是網(wǎng)站程序的標準化，另一個(gè)是網(wǎng)站fast收錄和排名，我想大多數人都會(huì )遇到，公司的網(wǎng)站有程序問(wèn)題，url優(yōu)化要求等，但是程序部的小伙伴不配合！或者網(wǎng)站邀請第三方公司！如果你堅持做seo，你基本上就無(wú)法工作了！基本上以上都是公司程序部和我們seo網(wǎng)站優(yōu)化部沒(méi)有協(xié)調或者根本沒(méi)有嚴格規定造成的！要知道seo是一個(gè)非常復雜的行業(yè)和職位，所涉及的內容包羅萬(wàn)象。其中，程序對網(wǎng)站的支持非常重要！如果和seo配合不好，程序會(huì )比較麻煩！網(wǎng)站程序中需要滿(mǎn)足哪些規范才能適合SEO？
一、域和服務(wù)器相關(guān)
1、如果頁(yè)面不存在，應該返回404錯誤碼；
2、4XX、5XX服務(wù)器頭信息異常增加，及時(shí)通知SEO部門(mén)做進(jìn)一步檢查。
3、域名不使用泛解析。需要使用二級域名時(shí)，需要提前與SEO部門(mén)溝通，然后解決；
3、URL 規范化，URL 啟用 301
4、網(wǎng)站不能有多個(gè)域名打開(kāi)同一個(gè)頁(yè)面；
5、如果有打開(kāi)子域進(jìn)行測試，使用robots文件禁止搜索引擎抓??；
6、服務(wù)器開(kāi)啟gzip壓縮，提高瀏覽速度；
7、在新欄目上線(xiàn)前完成內容填充；網(wǎng)站 和內容未完成的欄目無(wú)法上線(xiàn)。
二、網(wǎng)站結構和URL相關(guān)
1、所有網(wǎng)址網(wǎng)站都是靜態(tài)的，除了計劃禁止搜索引擎抓取的內容和收錄。
2、 URL一旦確定在線(xiàn)，就不能隨意更改。特殊情況需要調整的，必須與SEO部門(mén)溝通；
3、網(wǎng)站 列和 URL 目錄需要一一對應。一級分類(lèi)對應一級分類(lèi)，二級分類(lèi)對應二級分類(lèi)。最多可以歸類(lèi)到二級目錄。如果產(chǎn)品/頁(yè)數需要分類(lèi)在三級以上，此時(shí)需要注意。
4、全站目錄URL以斜杠結尾，該URL不顯示index.php等文件名；
5、URL 中的列名、文件名等字母都是小寫(xiě)的。
6、網(wǎng)站的所有頁(yè)面都添加了面包屑；
7、URL中統一使用破折號或下劃線(xiàn)，不要添加其他特殊字符；
8、URL目錄名優(yōu)先對應英文單詞，不是中文拼音，而是數字或字母；
9、當URL發(fā)生變化時(shí)，舊的URL應該通過(guò)301重定向到新的URL；
三、頁(yè)面打開(kāi)速度相關(guān)
1、在不影響視覺(jué)效果的前提下，前端頁(yè)面的所有圖片都要壓縮；
2、刪除未使用的CSS代碼，盡可能將頁(yè)面樣式代碼合并到CSS文件中；
3、謹慎使用JS，謹慎使用JS，測試JS是否減慢頁(yè)面訪(fǎng)問(wèn)；
4、禁止使用session ID、Frame、Flash；
5、頁(yè)面的純文本代碼（包括HTML、JS、CSS）不超過(guò)500K。主頁(yè)等特殊頁(yè)面可以適當放寬。
6、使用主流瀏覽器實(shí)際測試頁(yè)面打開(kāi)速度，不要超過(guò)3秒。有條件的，從多個(gè)省市進(jìn)行測試。
四、TDK相關(guān)頁(yè)面
1、頁(yè)面的Title標簽、Description標簽、H1文字的默認版本是根據格式自動(dòng)生成的，但是系統需要為SEO人員預留填寫(xiě)功能。
2、欄目頁(yè)Title的默認格式：二級欄目名-一級欄目名-網(wǎng)站名稱(chēng)；
3、產(chǎn)品頁(yè)面標題默認格式：產(chǎn)品名稱(chēng)——網(wǎng)站名稱(chēng)；
4、文章頁(yè)面標題默認格式：文章標題——網(wǎng)站名稱(chēng)；
5、搜索頁(yè)面標題默認格式：搜索關(guān)鍵字-網(wǎng)站名稱(chēng)；；
6、每個(gè)頁(yè)面標題的默認格式：列名-X頁(yè)-網(wǎng)站名稱(chēng)；
7、除特殊要求外，網(wǎng)站使用HTML代碼鏈接代替JS生成的鏈接；
8、除好友鏈接外的導出鏈接添加nofollow屬性；
9、列，產(chǎn)品/文章將 ALT 文本添加到頁(yè)面的主圖像。后臺編輯器上傳圖片時(shí)，預留輸入框填寫(xiě)ATL文本；
10、一個(gè)頁(yè)面只使用一次H1。
五、函數使用及代碼
1、除非另有要求，網(wǎng)站確保在所有頁(yè)面都在線(xiàn)時(shí)添加流量統計代碼。
2、全部網(wǎng)站開(kāi)通百度資源平臺賬號。
3、在線(xiàn)網(wǎng)站，除非 SEO 或運營(yíng)部門(mén)另有要求，robots 文件對所有 URL 和文件（包括圖像、CSS、JS）的抓取都是開(kāi)放的。
4、XML版本的Sitemap在后臺實(shí)??時(shí)或定期生成更新，包括首頁(yè)、欄目和頁(yè)面、產(chǎn)品/文章頁(yè)面。是否收錄過(guò)濾條件頁(yè)面將在與SEO部門(mén)協(xié)調后確定。
5、新站點(diǎn)應始終使用響應式設計，不要使用獨立的移動(dòng)站點(diǎn)或移動(dòng)子域。已經(jīng)用移動(dòng)子域優(yōu)化過(guò)的老站暫時(shí)保持現狀，與SEO部門(mén)溝通后轉為響應式設計。
6、英文網(wǎng)站HTML 代碼中不應出現中文字符，包括注釋。
7、當由于各種原因需要更改URL時(shí)，舊的URL會(huì )被301重定向到新的URL，不要使用其他的轉向方式。
8、當由于各種原因更改 URL 時(shí)，導航和內頁(yè)鏈接會(huì )更新為新 URL。導航中禁止需要重定向的 URL。
六、使用PHP采集+SEO函數讓網(wǎng)站快收錄
如果以上都沒(méi)有問(wèn)題，我們可以使用這個(gè)PHP采集工具來(lái)實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，無(wú)需學(xué)習更專(zhuān)業(yè)的技術(shù)。只需幾個(gè)簡(jiǎn)單的步驟即可輕松實(shí)現采集內容數據，用戶(hù)只需在PHP采集上進(jìn)行簡(jiǎn)單設置，PHP采集工具會(huì )根據關(guān)鍵詞準確設置給用戶(hù)。采集文章，這確保了與行業(yè) 文章 的一致性。采集文章 from 采集可以選擇本地保存，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，提供方便快捷的內容采集和快速的內容創(chuàng )建偽原創(chuàng )。
與其他PHP采集相比，這個(gè)PHP采集基本沒(méi)有規則，更別說(shuō)花大量時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，直接輸入關(guān)鍵詞 采集可以實(shí)現（PHP采集也自帶關(guān)鍵詞采集函數）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)PHP采集還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），無(wú)需每天登錄網(wǎng)站后臺. SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
七、百度優(yōu)化排名最基本的原理！
一、網(wǎng)站優(yōu)化排名的對象是什么
1、一個(gè)網(wǎng)站由多個(gè)網(wǎng)頁(yè)組成，網(wǎng)站由一個(gè)或多個(gè)網(wǎng)頁(yè)組成。
2、seo優(yōu)化的對象是網(wǎng)頁(yè)而不是網(wǎng)站。關(guān)于網(wǎng)站優(yōu)化排名的誤區是，普通人總是認為優(yōu)化的對象是網(wǎng)站。我們通常所說(shuō)的“網(wǎng)站ranking”和“網(wǎng)站optimization”是不正確的。
二：百度蜘蛛的工作很簡(jiǎn)單：
找到頁(yè)面（發(fā)現網(wǎng)上有這個(gè)頁(yè)面）——頁(yè)面是否可以正常爬?。阍谂廊〉臅r(shí)候有沒(méi)有遇到困難：比如加載慢、質(zhì)量低、錯誤頁(yè)面多——你要爬嗎？ page)?是否應該爬??？爬取數據庫能給網(wǎng)名帶來(lái)實(shí)際的效果嗎？) 了解了這些基本原理后，我們就可以根據這些要求進(jìn)行嘗試了。比如，如何讓百度爬取更方便？方法如下：
1)百度主動(dòng)找到我們的頁(yè)面
2)我們提交給百度
3) 還有人告訴百度需要做一些外鏈推廣工作
三、什么是超鏈接分析，超鏈接分析簡(jiǎn)介
1、“超鏈接分析”
超鏈接分析是百度的專(zhuān)利。原理是通過(guò)分析鏈接網(wǎng)站的數量來(lái)評估鏈接網(wǎng)站的質(zhì)量。這樣做的效果是確保用戶(hù)使用搜索引擎。，質(zhì)量越高，頁(yè)面越受歡迎越高。百度總裁李彥宏是這項技術(shù)的擁有者，該技術(shù)已被全球主要搜索引擎廣泛采用。
2、我們如何理解超鏈分析技術(shù)？
總之，要判斷一個(gè)頁(yè)面是優(yōu)秀的還是權威的，其他頁(yè)面的“意見(jiàn)”是非常重要的。即使一個(gè)網(wǎng)頁(yè)不是那么好，只要其他網(wǎng)頁(yè)比其他網(wǎng)頁(yè)有更多的“信任票”（反向鏈接），那么它的排名就會(huì )更高。需要注意的是，“超鏈接分析”只是排名的一個(gè)重要參考。
四：分析模塊的工作，百度會(huì )對網(wǎng)頁(yè)進(jìn)行再加工預測評價(jià)：
1)網(wǎng)站頁(yè)面內容好不好？
2) 頁(yè)面的主題是什么？（標題、關(guān)鍵詞和網(wǎng)站描述、網(wǎng)站內容本身由網(wǎng)站的TDK決定）
3)多少錢(qián)？原創(chuàng )學(xué)位？
4)還有其他評分選項，比如多少個(gè)鏈接？
通過(guò)以上指標，百度會(huì )給搜索關(guān)鍵詞一個(gè)匹配排名，其匹配模式設計為??：完全匹配+詞組匹配+廣泛匹配。
我們seo優(yōu)化的價(jià)值在于匹配模式相當于排名機會(huì )，我們需要實(shí)現更多更好的排名機會(huì )。繼續增加匹配機會(huì )，讓更多流量找到我們的網(wǎng)站?？赐赀@篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
實(shí)時(shí)文章采集(怎么用PHP采集才能快速收錄以及關(guān)鍵詞排名？(圖))
如何使用PHP采集快速收錄和關(guān)鍵詞排名？本文分為2個(gè)部分，一個(gè)是網(wǎng)站程序的標準化，另一個(gè)是網(wǎng)站fast收錄和排名，我想大多數人都會(huì )遇到，公司的網(wǎng)站有程序問(wèn)題，url優(yōu)化要求等，但是程序部的小伙伴不配合！或者網(wǎng)站邀請第三方公司！如果你堅持做seo，你基本上就無(wú)法工作了！基本上以上都是公司程序部和我們seo網(wǎng)站優(yōu)化部沒(méi)有協(xié)調或者根本沒(méi)有嚴格規定造成的！要知道seo是一個(gè)非常復雜的行業(yè)和職位，所涉及的內容包羅萬(wàn)象。其中，程序對網(wǎng)站的支持非常重要！如果和seo配合不好，程序會(huì )比較麻煩！網(wǎng)站程序中需要滿(mǎn)足哪些規范才能適合SEO？
一、域和服務(wù)器相關(guān)
1、如果頁(yè)面不存在，應該返回404錯誤碼；
2、4XX、5XX服務(wù)器頭信息異常增加，及時(shí)通知SEO部門(mén)做進(jìn)一步檢查。
3、域名不使用泛解析。需要使用二級域名時(shí)，需要提前與SEO部門(mén)溝通，然后解決；
3、URL 規范化，URL 啟用 301
4、網(wǎng)站不能有多個(gè)域名打開(kāi)同一個(gè)頁(yè)面；
5、如果有打開(kāi)子域進(jìn)行測試，使用robots文件禁止搜索引擎抓??；
6、服務(wù)器開(kāi)啟gzip壓縮，提高瀏覽速度；
7、在新欄目上線(xiàn)前完成內容填充；網(wǎng)站 和內容未完成的欄目無(wú)法上線(xiàn)。
二、網(wǎng)站結構和URL相關(guān)
1、所有網(wǎng)址網(wǎng)站都是靜態(tài)的，除了計劃禁止搜索引擎抓取的內容和收錄。
2、 URL一旦確定在線(xiàn)，就不能隨意更改。特殊情況需要調整的，必須與SEO部門(mén)溝通；
3、網(wǎng)站 列和 URL 目錄需要一一對應。一級分類(lèi)對應一級分類(lèi)，二級分類(lèi)對應二級分類(lèi)。最多可以歸類(lèi)到二級目錄。如果產(chǎn)品/頁(yè)數需要分類(lèi)在三級以上，此時(shí)需要注意。
4、全站目錄URL以斜杠結尾，該URL不顯示index.php等文件名；
5、URL 中的列名、文件名等字母都是小寫(xiě)的。
6、網(wǎng)站的所有頁(yè)面都添加了面包屑；
7、URL中統一使用破折號或下劃線(xiàn)，不要添加其他特殊字符；
8、URL目錄名優(yōu)先對應英文單詞，不是中文拼音，而是數字或字母；
9、當URL發(fā)生變化時(shí)，舊的URL應該通過(guò)301重定向到新的URL；
三、頁(yè)面打開(kāi)速度相關(guān)
1、在不影響視覺(jué)效果的前提下，前端頁(yè)面的所有圖片都要壓縮；
2、刪除未使用的CSS代碼，盡可能將頁(yè)面樣式代碼合并到CSS文件中；
3、謹慎使用JS，謹慎使用JS，測試JS是否減慢頁(yè)面訪(fǎng)問(wèn)；
4、禁止使用session ID、Frame、Flash；
5、頁(yè)面的純文本代碼（包括HTML、JS、CSS）不超過(guò)500K。主頁(yè)等特殊頁(yè)面可以適當放寬。
6、使用主流瀏覽器實(shí)際測試頁(yè)面打開(kāi)速度，不要超過(guò)3秒。有條件的，從多個(gè)省市進(jìn)行測試。
四、TDK相關(guān)頁(yè)面
1、頁(yè)面的Title標簽、Description標簽、H1文字的默認版本是根據格式自動(dòng)生成的，但是系統需要為SEO人員預留填寫(xiě)功能。
2、欄目頁(yè)Title的默認格式：二級欄目名-一級欄目名-網(wǎng)站名稱(chēng)；
3、產(chǎn)品頁(yè)面標題默認格式：產(chǎn)品名稱(chēng)——網(wǎng)站名稱(chēng)；
4、文章頁(yè)面標題默認格式：文章標題——網(wǎng)站名稱(chēng)；
5、搜索頁(yè)面標題默認格式：搜索關(guān)鍵字-網(wǎng)站名稱(chēng)；；
6、每個(gè)頁(yè)面標題的默認格式：列名-X頁(yè)-網(wǎng)站名稱(chēng)；
7、除特殊要求外，網(wǎng)站使用HTML代碼鏈接代替JS生成的鏈接；
8、除好友鏈接外的導出鏈接添加nofollow屬性；
9、列，產(chǎn)品/文章將 ALT 文本添加到頁(yè)面的主圖像。后臺編輯器上傳圖片時(shí)，預留輸入框填寫(xiě)ATL文本；
10、一個(gè)頁(yè)面只使用一次H1。
五、函數使用及代碼
1、除非另有要求，網(wǎng)站確保在所有頁(yè)面都在線(xiàn)時(shí)添加流量統計代碼。
2、全部網(wǎng)站開(kāi)通百度資源平臺賬號。
3、在線(xiàn)網(wǎng)站，除非 SEO 或運營(yíng)部門(mén)另有要求，robots 文件對所有 URL 和文件（包括圖像、CSS、JS）的抓取都是開(kāi)放的。
4、XML版本的Sitemap在后臺實(shí)??時(shí)或定期生成更新，包括首頁(yè)、欄目和頁(yè)面、產(chǎn)品/文章頁(yè)面。是否收錄過(guò)濾條件頁(yè)面將在與SEO部門(mén)協(xié)調后確定。
5、新站點(diǎn)應始終使用響應式設計，不要使用獨立的移動(dòng)站點(diǎn)或移動(dòng)子域。已經(jīng)用移動(dòng)子域優(yōu)化過(guò)的老站暫時(shí)保持現狀，與SEO部門(mén)溝通后轉為響應式設計。
6、英文網(wǎng)站HTML 代碼中不應出現中文字符，包括注釋。
7、當由于各種原因需要更改URL時(shí)，舊的URL會(huì )被301重定向到新的URL，不要使用其他的轉向方式。
8、當由于各種原因更改 URL 時(shí)，導航和內頁(yè)鏈接會(huì )更新為新 URL。導航中禁止需要重定向的 URL。
六、使用PHP采集+SEO函數讓網(wǎng)站快收錄
如果以上都沒(méi)有問(wèn)題，我們可以使用這個(gè)PHP采集工具來(lái)實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，無(wú)需學(xué)習更專(zhuān)業(yè)的技術(shù)。只需幾個(gè)簡(jiǎn)單的步驟即可輕松實(shí)現采集內容數據，用戶(hù)只需在PHP采集上進(jìn)行簡(jiǎn)單設置，PHP采集工具會(huì )根據關(guān)鍵詞準確設置給用戶(hù)。采集文章，這確保了與行業(yè) 文章 的一致性。采集文章 from 采集可以選擇本地保存，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，提供方便快捷的內容采集和快速的內容創(chuàng )建偽原創(chuàng )。
與其他PHP采集相比，這個(gè)PHP采集基本沒(méi)有規則，更別說(shuō)花大量時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，直接輸入關(guān)鍵詞 采集可以實(shí)現（PHP采集也自帶關(guān)鍵詞采集函數）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)PHP采集還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），無(wú)需每天登錄網(wǎng)站后臺. SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
七、百度優(yōu)化排名最基本的原理！
一、網(wǎng)站優(yōu)化排名的對象是什么
1、一個(gè)網(wǎng)站由多個(gè)網(wǎng)頁(yè)組成，網(wǎng)站由一個(gè)或多個(gè)網(wǎng)頁(yè)組成。
2、seo優(yōu)化的對象是網(wǎng)頁(yè)而不是網(wǎng)站。關(guān)于網(wǎng)站優(yōu)化排名的誤區是，普通人總是認為優(yōu)化的對象是網(wǎng)站。我們通常所說(shuō)的“網(wǎng)站ranking”和“網(wǎng)站optimization”是不正確的。
二：百度蜘蛛的工作很簡(jiǎn)單：
找到頁(yè)面（發(fā)現網(wǎng)上有這個(gè)頁(yè)面）——頁(yè)面是否可以正常爬?。阍谂廊〉臅r(shí)候有沒(méi)有遇到困難：比如加載慢、質(zhì)量低、錯誤頁(yè)面多——你要爬嗎？ page)?是否應該爬??？爬取數據庫能給網(wǎng)名帶來(lái)實(shí)際的效果嗎？) 了解了這些基本原理后，我們就可以根據這些要求進(jìn)行嘗試了。比如，如何讓百度爬取更方便？方法如下：
1)百度主動(dòng)找到我們的頁(yè)面
2)我們提交給百度
3) 還有人告訴百度需要做一些外鏈推廣工作
三、什么是超鏈接分析，超鏈接分析簡(jiǎn)介
1、“超鏈接分析”
超鏈接分析是百度的專(zhuān)利。原理是通過(guò)分析鏈接網(wǎng)站的數量來(lái)評估鏈接網(wǎng)站的質(zhì)量。這樣做的效果是確保用戶(hù)使用搜索引擎。，質(zhì)量越高，頁(yè)面越受歡迎越高。百度總裁李彥宏是這項技術(shù)的擁有者，該技術(shù)已被全球主要搜索引擎廣泛采用。
2、我們如何理解超鏈分析技術(shù)？
總之，要判斷一個(gè)頁(yè)面是優(yōu)秀的還是權威的，其他頁(yè)面的“意見(jiàn)”是非常重要的。即使一個(gè)網(wǎng)頁(yè)不是那么好，只要其他網(wǎng)頁(yè)比其他網(wǎng)頁(yè)有更多的“信任票”（反向鏈接），那么它的排名就會(huì )更高。需要注意的是，“超鏈接分析”只是排名的一個(gè)重要參考。
四：分析模塊的工作，百度會(huì )對網(wǎng)頁(yè)進(jìn)行再加工預測評價(jià)：
1)網(wǎng)站頁(yè)面內容好不好？
2) 頁(yè)面的主題是什么？（標題、關(guān)鍵詞和網(wǎng)站描述、網(wǎng)站內容本身由網(wǎng)站的TDK決定）
3)多少錢(qián)？原創(chuàng )學(xué)位？
4)還有其他評分選項，比如多少個(gè)鏈接？
通過(guò)以上指標，百度會(huì )給搜索關(guān)鍵詞一個(gè)匹配排名，其匹配模式設計為??：完全匹配+詞組匹配+廣泛匹配。
我們seo優(yōu)化的價(jià)值在于匹配模式相當于排名機會(huì )，我們需要實(shí)現更多更好的排名機會(huì )。繼續增加匹配機會(huì )，讓更多流量找到我們的網(wǎng)站?？赐赀@篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！
實(shí)時(shí)文章采集(開(kāi)發(fā)環(huán)境開(kāi)發(fā)語(yǔ)言Python，開(kāi)發(fā)架構Scrapy，非Python莫屬 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 119 次瀏覽 ? 2022-02-24 00:06
實(shí)時(shí)文章采集(開(kāi)發(fā)環(huán)境開(kāi)發(fā)語(yǔ)言Python，開(kāi)發(fā)架構Scrapy，非Python莫屬
)
背景
有朋友打算拓展業(yè)務(wù)渠道，準備在眾包平臺接單。他的主打產(chǎn)品是微信小程序，所以他想盡快收到客戶(hù)發(fā)來(lái)的需求信息，然后盡快聯(lián)系客戶(hù)，從而達成交易。只有費率才能保證，否則山棗會(huì )被其他同事接走，他的黃花菜就涼了。
開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架Scrapy，無(wú)非就是Python。數據神器采集！開(kāi)發(fā)工具 PyCharm；功能設計實(shí)時(shí)通知：使用郵件通知，將郵箱綁定微信，實(shí)現實(shí)時(shí)通知的效果。過(guò)濾模塊：根據標題和內容雙重過(guò)濾關(guān)鍵詞，丟棄不符合要求的訂單，實(shí)時(shí)通知符合要求的訂單。配置模塊：使用json文件配置。關(guān)鍵代碼
# -*- coding: utf-8 -*-<br />import re<br /><br />import scrapy<br />from flask import json<br />from requests import Request<br />from scrapy import Selector<br />from .. import common<br />import time<br /><br />from selenium import webdriver<br />from selenium.webdriver.chrome.options import Options<br /><br /><br />class CodemarttaskSpider(scrapy.Spider):<br /> name = 'codemarttask'<br /> allowed_domains = ['codemart.com']<br /> start_urls = ['https://codemart.com/api/project?page=1&roleTypeId=&status=RECRUITING']<br /><br /> # 重要，需要修改 application/json ，否則默認返回的是xml數據?。?！<br /> def parse(self, response):<br /> # 30 item per page<br /> # print(response.text)<br /> print(<br /> "--------------------------------------------------------------------------------------------------------")<br /> json_data = json.loads(response.text)<br /> rewards = json_data.get("rewards")<br /> print(rewards)<br /> url_prefix = "https://codemart.com/project/"<br /><br /> sended_id = common.read_taskid()<br /> max_id = sended_id<br /> print("sended_id ", sended_id)<br /> for node in rewards:<br /> id = node.get("id")<br /> id_str = str(id)<br /> name = node.get("name")<br /> description = node.get("description")<br /> price = node.get("price")<br /> roles = node.get("roles") # 招募：【roles】<br /> status = node.get("status")<br /> pubTime = node.get("pubTime")<br /> url = url_prefix + id_str<br /> print(name)<br /> print(pubTime)<br /> print(price)<br /><br /> if id > sended_id:<br /> if id > max_id:<br /> max_id = id<br /> subject = "CodeMart " + id_str + " " + name<br /> # content = price + "\n" + description + "\n" + url + "\n" + status + "\n" + roles + "\n"<br /> content = "%s <p> %s <p> < a href=%s>%s <p> %s <p> %s" % (price, description, url, url, status, roles)<br /> if common.send_mail(subject, content):<br /> print("CodeMart mail: send task sucess " % id)<br /> else:<br /> print("CodeMart mail: send task fail " % id)<br /> else:<br /> print("mail: task is already sended " % id)<br /> time.sleep(3)<br /><br /> # 記錄最大id<br /> common.write_taskid(id=max_id)
def send_mail(subject, content):<br /> sender = u'xxxxx@qq.com' # 發(fā)送人郵箱<br /> passwd = u'xxxxxx' # 發(fā)送人郵箱授權碼<br /> receivers = u'xxxxx@qq.com' # 收件人郵箱<br /><br /> # subject = u'一品威客 開(kāi)發(fā)任務(wù) ' #主題<br /> # content = u'這是我使用python smtplib模塊和email模塊自動(dòng)發(fā)送的郵件' #正文<br /> try:<br /> # msg = MIMEText(content, 'plain', 'utf-8')<br /> msg = MIMEText(content, 'html', 'utf-8')<br /> msg['Subject'] = subject<br /> msg['From'] = sender<br /> msg['TO'] = receivers<br /><br /> s = smtplib.SMTP_SSL('smtp.qq.com', 465)<br /> s.set_debuglevel(1)<br /> s.login(sender, passwd)<br /> s.sendmail(sender, receivers, msg.as_string())<br /> return True<br /> except Exception as e:<br /> print(e)<br /> return False
總結
程序上線(xiàn)后運行穩定，達到了預期效果。訂單接受率非常有效！
附：Scrapy結構圖
查看全部
)
背景
有朋友打算拓展業(yè)務(wù)渠道，準備在眾包平臺接單。他的主打產(chǎn)品是微信小程序，所以他想盡快收到客戶(hù)發(fā)來(lái)的需求信息，然后盡快聯(lián)系客戶(hù)，從而達成交易。只有費率才能保證，否則山棗會(huì )被其他同事接走，他的黃花菜就涼了。
開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架Scrapy，無(wú)非就是Python。數據神器采集！開(kāi)發(fā)工具 PyCharm；功能設計實(shí)時(shí)通知：使用郵件通知，將郵箱綁定微信，實(shí)現實(shí)時(shí)通知的效果。過(guò)濾模塊：根據標題和內容雙重過(guò)濾關(guān)鍵詞，丟棄不符合要求的訂單，實(shí)時(shí)通知符合要求的訂單。配置模塊：使用json文件配置。關(guān)鍵代碼
# -*- coding: utf-8 -*-<br />import re<br /><br />import scrapy<br />from flask import json<br />from requests import Request<br />from scrapy import Selector<br />from .. import common<br />import time<br /><br />from selenium import webdriver<br />from selenium.webdriver.chrome.options import Options<br /><br /><br />class CodemarttaskSpider(scrapy.Spider):<br /> name = 'codemarttask'<br /> allowed_domains = ['codemart.com']<br /> start_urls = ['https://codemart.com/api/project?page=1&roleTypeId=&status=RECRUITING']<br /><br /> # 重要，需要修改 application/json ，否則默認返回的是xml數據?。?！<br /> def parse(self, response):<br /> # 30 item per page<br /> # print(response.text)<br /> print(<br /> "--------------------------------------------------------------------------------------------------------")<br /> json_data = json.loads(response.text)<br /> rewards = json_data.get("rewards")<br /> print(rewards)<br /> url_prefix = "https://codemart.com/project/"<br /><br /> sended_id = common.read_taskid()<br /> max_id = sended_id<br /> print("sended_id ", sended_id)<br /> for node in rewards:<br /> id = node.get("id")<br /> id_str = str(id)<br /> name = node.get("name")<br /> description = node.get("description")<br /> price = node.get("price")<br /> roles = node.get("roles") # 招募：【roles】<br /> status = node.get("status")<br /> pubTime = node.get("pubTime")<br /> url = url_prefix + id_str<br /> print(name)<br /> print(pubTime)<br /> print(price)<br /><br /> if id > sended_id:<br /> if id > max_id:<br /> max_id = id<br /> subject = "CodeMart " + id_str + " " + name<br /> # content = price + "\n" + description + "\n" + url + "\n" + status + "\n" + roles + "\n"<br /> content = "%s <p> %s <p> < a href=%s>%s <p> %s <p> %s" % (price, description, url, url, status, roles)<br /> if common.send_mail(subject, content):<br /> print("CodeMart mail: send task sucess " % id)<br /> else:<br /> print("CodeMart mail: send task fail " % id)<br /> else:<br /> print("mail: task is already sended " % id)<br /> time.sleep(3)<br /><br /> # 記錄最大id<br /> common.write_taskid(id=max_id)
def send_mail(subject, content):<br /> sender = u'xxxxx@qq.com' # 發(fā)送人郵箱<br /> passwd = u'xxxxxx' # 發(fā)送人郵箱授權碼<br /> receivers = u'xxxxx@qq.com' # 收件人郵箱<br /><br /> # subject = u'一品威客 開(kāi)發(fā)任務(wù) ' #主題<br /> # content = u'這是我使用python smtplib模塊和email模塊自動(dòng)發(fā)送的郵件' #正文<br /> try:<br /> # msg = MIMEText(content, 'plain', 'utf-8')<br /> msg = MIMEText(content, 'html', 'utf-8')<br /> msg['Subject'] = subject<br /> msg['From'] = sender<br /> msg['TO'] = receivers<br /><br /> s = smtplib.SMTP_SSL('smtp.qq.com', 465)<br /> s.set_debuglevel(1)<br /> s.login(sender, passwd)<br /> s.sendmail(sender, receivers, msg.as_string())<br /> return True<br /> except Exception as e:<br /> print(e)<br /> return False
總結
程序上線(xiàn)后運行穩定，達到了預期效果。訂單接受率非常有效！
附：Scrapy結構圖
查看全部
實(shí)時(shí)文章采集(開(kāi)發(fā)環(huán)境開(kāi)發(fā)語(yǔ)言Python，開(kāi)發(fā)架構Scrapy，非Python莫屬
)
背景
有朋友打算拓展業(yè)務(wù)渠道，準備在眾包平臺接單。他的主打產(chǎn)品是微信小程序，所以他想盡快收到客戶(hù)發(fā)來(lái)的需求信息，然后盡快聯(lián)系客戶(hù)，從而達成交易。只有費率才能保證，否則山棗會(huì )被其他同事接走，他的黃花菜就涼了。
開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架Scrapy，無(wú)非就是Python。數據神器采集！開(kāi)發(fā)工具 PyCharm；功能設計實(shí)時(shí)通知：使用郵件通知，將郵箱綁定微信，實(shí)現實(shí)時(shí)通知的效果。過(guò)濾模塊：根據標題和內容雙重過(guò)濾關(guān)鍵詞，丟棄不符合要求的訂單，實(shí)時(shí)通知符合要求的訂單。配置模塊：使用json文件配置。關(guān)鍵代碼
# -*- coding: utf-8 -*-<br />import re<br /><br />import scrapy<br />from flask import json<br />from requests import Request<br />from scrapy import Selector<br />from .. import common<br />import time<br /><br />from selenium import webdriver<br />from selenium.webdriver.chrome.options import Options<br /><br /><br />class CodemarttaskSpider(scrapy.Spider):<br /> name = 'codemarttask'<br /> allowed_domains = ['codemart.com']<br /> start_urls = ['https://codemart.com/api/project?page=1&roleTypeId=&status=RECRUITING']<br /><br /> # 重要，需要修改 application/json ，否則默認返回的是xml數據?。?！<br /> def parse(self, response):<br /> # 30 item per page<br /> # print(response.text)<br /> print(<br /> "--------------------------------------------------------------------------------------------------------")<br /> json_data = json.loads(response.text)<br /> rewards = json_data.get("rewards")<br /> print(rewards)<br /> url_prefix = "https://codemart.com/project/"<br /><br /> sended_id = common.read_taskid()<br /> max_id = sended_id<br /> print("sended_id ", sended_id)<br /> for node in rewards:<br /> id = node.get("id")<br /> id_str = str(id)<br /> name = node.get("name")<br /> description = node.get("description")<br /> price = node.get("price")<br /> roles = node.get("roles") # 招募：【roles】<br /> status = node.get("status")<br /> pubTime = node.get("pubTime")<br /> url = url_prefix + id_str<br /> print(name)<br /> print(pubTime)<br /> print(price)<br /><br /> if id > sended_id:<br /> if id > max_id:<br /> max_id = id<br /> subject = "CodeMart " + id_str + " " + name<br /> # content = price + "\n" + description + "\n" + url + "\n" + status + "\n" + roles + "\n"<br /> content = "%s <p> %s <p> < a href=%s>%s <p> %s <p> %s" % (price, description, url, url, status, roles)<br /> if common.send_mail(subject, content):<br /> print("CodeMart mail: send task sucess " % id)<br /> else:<br /> print("CodeMart mail: send task fail " % id)<br /> else:<br /> print("mail: task is already sended " % id)<br /> time.sleep(3)<br /><br /> # 記錄最大id<br /> common.write_taskid(id=max_id)
def send_mail(subject, content):<br /> sender = u'xxxxx@qq.com' # 發(fā)送人郵箱<br /> passwd = u'xxxxxx' # 發(fā)送人郵箱授權碼<br /> receivers = u'xxxxx@qq.com' # 收件人郵箱<br /><br /> # subject = u'一品威客 開(kāi)發(fā)任務(wù) ' #主題<br /> # content = u'這是我使用python smtplib模塊和email模塊自動(dòng)發(fā)送的郵件' #正文<br /> try:<br /> # msg = MIMEText(content, 'plain', 'utf-8')<br /> msg = MIMEText(content, 'html', 'utf-8')<br /> msg['Subject'] = subject<br /> msg['From'] = sender<br /> msg['TO'] = receivers<br /><br /> s = smtplib.SMTP_SSL('smtp.qq.com', 465)<br /> s.set_debuglevel(1)<br /> s.login(sender, passwd)<br /> s.sendmail(sender, receivers, msg.as_string())<br /> return True<br /> except Exception as e:<br /> print(e)<br /> return False
總結
程序上線(xiàn)后運行穩定，達到了預期效果。訂單接受率非常有效！
附：Scrapy結構圖
實(shí)時(shí)文章采集(WordPress采集插件，自動(dòng)批量采集SEO功能選項(圖))
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 158 次瀏覽 ? 2022-02-21 03:17
實(shí)時(shí)文章采集(WordPress采集插件，自動(dòng)批量采集SEO功能選項(圖))
一個(gè) WordPress 采集 插件，允許 網(wǎng)站 每天自動(dòng)更新文章，保持 網(wǎng)站 的正常更新頻率。使用WordPress的采集插件代替手動(dòng)更新，自動(dòng)采集的內容會(huì )在偽原創(chuàng )之后自動(dòng)發(fā)布到WP網(wǎng)站，無(wú)需填寫(xiě)內容網(wǎng)站 的。擔心。如果想了解WordPress的采集插件，看圖1到圖4，略過(guò)文章的內容，圖片已經(jīng)很清楚的表達了本文的中心思想?！緢D一，WordPress采集插件，自動(dòng)批量采集發(fā)布】
在做SEO的時(shí)候，對于這些網(wǎng)站的操作，我們沒(méi)有多少資源可以利用，但是很多時(shí)候，是可以讓網(wǎng)站快速提升網(wǎng)站@權重的策略之一> 這一切都與使用高質(zhì)量的內容策略有關(guān)。關(guān)鍵是同時(shí)使用 SEO 和內容策略。SEO需要很多內容，內容SEO優(yōu)化很重要，我們可以從這個(gè)角度入手?！緢D2，WordPress采集插件，自動(dòng)SEO功能選項】
使用 WordPress 采集 插件來(lái)確定優(yōu)化的方向網(wǎng)站。為了首先吸引訪(fǎng)問(wèn)者，您可以更多地關(guān)注您的 SEO 內容策略，以吸引訪(fǎng)問(wèn)者訪(fǎng)問(wèn)您的 網(wǎng)站。如果您希望訪(fǎng)問(wèn)者在訪(fǎng)問(wèn)您的 網(wǎng)站 后獲得更高的轉化率，那么內容營(yíng)銷(xiāo)至關(guān)重要。但是，在大多數情況下，網(wǎng)站 應該既希望將訪(fǎng)問(wèn)者吸引到 網(wǎng)站，又希望在他們到達 網(wǎng)站 后進(jìn)行轉化。建立平衡后，您會(huì )看到訪(fǎng)問(wèn)者和轉化率都有所提高?！緢D3，WordPress采集插件，高效簡(jiǎn)單】
在搜索引擎優(yōu)化的過(guò)程中，對于網(wǎng)站，我們需要通過(guò)WordPress采集插件不斷輸出與目標受眾相關(guān)的專(zhuān)業(yè)內容，讓自己成為行業(yè)相關(guān)詞網(wǎng)站@ > 提高排名。在長(cháng)期的SEO運營(yíng)過(guò)程中，我們需要保持網(wǎng)站的每日更新頻率，比如WordPress的采集插件輸出了幾篇與行業(yè)相關(guān)的優(yōu)質(zhì)文章文章一天之內?！緢D4，WordPress采集插件，網(wǎng)站需要優(yōu)化】
剛開(kāi)始作為一個(gè)新站點(diǎn)，搜索引擎可能不知道你的網(wǎng)站，但是我們使用了有效的WordPress采集插件，例如采集相關(guān)的網(wǎng)站關(guān)鍵詞< @文章，使文章可以在短時(shí)間內被搜索引擎抓取。如果使用得當，WordPress 采集插件可以增加網(wǎng)站流量并繼續積累這些用戶(hù)。
吸引潛在搜索引擎的注意是每個(gè) SEO 網(wǎng)站管理員必須的。一旦用戶(hù)對網(wǎng)站有相關(guān)需求，搜索引擎可能會(huì )顯示你的網(wǎng)站。構建高質(zhì)量的內容策略非常棒，因為可以利用您深入且有用的內容來(lái)吸引新訪(fǎng)問(wèn)者。通常，這些訪(fǎng)問(wèn)者甚至可能不是特定于網(wǎng)站展示的界面，但他們需要網(wǎng)站其他展示信息。
WordPress 采集 插件確保為 網(wǎng)站 的訪(fǎng)問(wèn)者創(chuàng )建內容，使內容可讀，將搜索意圖與目標匹配，值得信賴(lài)，保持內容最新且結構合理 網(wǎng)站工作。通過(guò)這種方式，網(wǎng)站 將獲得吸引讀者的有趣內容。這將對 網(wǎng)站 的訪(fǎng)問(wèn)者數量、跳出率和轉化率產(chǎn)生積極影響。WordPress的采集插件可以全自動(dòng)批處理采集對采集，所以網(wǎng)站的SEO文案內容可以輕松搞定。 查看全部
一個(gè) WordPress 采集 插件，允許 網(wǎng)站 每天自動(dòng)更新文章，保持 網(wǎng)站 的正常更新頻率。使用WordPress的采集插件代替手動(dòng)更新，自動(dòng)采集的內容會(huì )在偽原創(chuàng )之后自動(dòng)發(fā)布到WP網(wǎng)站，無(wú)需填寫(xiě)內容網(wǎng)站 的。擔心。如果想了解WordPress的采集插件，看圖1到圖4，略過(guò)文章的內容，圖片已經(jīng)很清楚的表達了本文的中心思想?！緢D一，WordPress采集插件，自動(dòng)批量采集發(fā)布】
在做SEO的時(shí)候，對于這些網(wǎng)站的操作，我們沒(méi)有多少資源可以利用，但是很多時(shí)候，是可以讓網(wǎng)站快速提升網(wǎng)站@權重的策略之一> 這一切都與使用高質(zhì)量的內容策略有關(guān)。關(guān)鍵是同時(shí)使用 SEO 和內容策略。SEO需要很多內容，內容SEO優(yōu)化很重要，我們可以從這個(gè)角度入手?！緢D2，WordPress采集插件，自動(dòng)SEO功能選項】
使用 WordPress 采集 插件來(lái)確定優(yōu)化的方向網(wǎng)站。為了首先吸引訪(fǎng)問(wèn)者，您可以更多地關(guān)注您的 SEO 內容策略，以吸引訪(fǎng)問(wèn)者訪(fǎng)問(wèn)您的 網(wǎng)站。如果您希望訪(fǎng)問(wèn)者在訪(fǎng)問(wèn)您的 網(wǎng)站 后獲得更高的轉化率，那么內容營(yíng)銷(xiāo)至關(guān)重要。但是，在大多數情況下，網(wǎng)站 應該既希望將訪(fǎng)問(wèn)者吸引到 網(wǎng)站，又希望在他們到達 網(wǎng)站 后進(jìn)行轉化。建立平衡后，您會(huì )看到訪(fǎng)問(wèn)者和轉化率都有所提高?！緢D3，WordPress采集插件，高效簡(jiǎn)單】
在搜索引擎優(yōu)化的過(guò)程中，對于網(wǎng)站，我們需要通過(guò)WordPress采集插件不斷輸出與目標受眾相關(guān)的專(zhuān)業(yè)內容，讓自己成為行業(yè)相關(guān)詞網(wǎng)站@ > 提高排名。在長(cháng)期的SEO運營(yíng)過(guò)程中，我們需要保持網(wǎng)站的每日更新頻率，比如WordPress的采集插件輸出了幾篇與行業(yè)相關(guān)的優(yōu)質(zhì)文章文章一天之內?！緢D4，WordPress采集插件，網(wǎng)站需要優(yōu)化】
剛開(kāi)始作為一個(gè)新站點(diǎn)，搜索引擎可能不知道你的網(wǎng)站，但是我們使用了有效的WordPress采集插件，例如采集相關(guān)的網(wǎng)站關(guān)鍵詞< @文章，使文章可以在短時(shí)間內被搜索引擎抓取。如果使用得當，WordPress 采集插件可以增加網(wǎng)站流量并繼續積累這些用戶(hù)。
吸引潛在搜索引擎的注意是每個(gè) SEO 網(wǎng)站管理員必須的。一旦用戶(hù)對網(wǎng)站有相關(guān)需求，搜索引擎可能會(huì )顯示你的網(wǎng)站。構建高質(zhì)量的內容策略非常棒，因為可以利用您深入且有用的內容來(lái)吸引新訪(fǎng)問(wèn)者。通常，這些訪(fǎng)問(wèn)者甚至可能不是特定于網(wǎng)站展示的界面，但他們需要網(wǎng)站其他展示信息。
WordPress 采集 插件確保為 網(wǎng)站 的訪(fǎng)問(wèn)者創(chuàng )建內容，使內容可讀，將搜索意圖與目標匹配，值得信賴(lài)，保持內容最新且結構合理 網(wǎng)站工作。通過(guò)這種方式，網(wǎng)站 將獲得吸引讀者的有趣內容。這將對 網(wǎng)站 的訪(fǎng)問(wèn)者數量、跳出率和轉化率產(chǎn)生積極影響。WordPress的采集插件可以全自動(dòng)批處理采集對采集，所以網(wǎng)站的SEO文案內容可以輕松搞定。 查看全部
實(shí)時(shí)文章采集(WordPress采集插件，自動(dòng)批量采集SEO功能選項(圖))
一個(gè) WordPress 采集 插件，允許 網(wǎng)站 每天自動(dòng)更新文章，保持 網(wǎng)站 的正常更新頻率。使用WordPress的采集插件代替手動(dòng)更新，自動(dòng)采集的內容會(huì )在偽原創(chuàng )之后自動(dòng)發(fā)布到WP網(wǎng)站，無(wú)需填寫(xiě)內容網(wǎng)站 的。擔心。如果想了解WordPress的采集插件，看圖1到圖4，略過(guò)文章的內容，圖片已經(jīng)很清楚的表達了本文的中心思想?！緢D一，WordPress采集插件，自動(dòng)批量采集發(fā)布】
在做SEO的時(shí)候，對于這些網(wǎng)站的操作，我們沒(méi)有多少資源可以利用，但是很多時(shí)候，是可以讓網(wǎng)站快速提升網(wǎng)站@權重的策略之一> 這一切都與使用高質(zhì)量的內容策略有關(guān)。關(guān)鍵是同時(shí)使用 SEO 和內容策略。SEO需要很多內容，內容SEO優(yōu)化很重要，我們可以從這個(gè)角度入手?！緢D2，WordPress采集插件，自動(dòng)SEO功能選項】
使用 WordPress 采集 插件來(lái)確定優(yōu)化的方向網(wǎng)站。為了首先吸引訪(fǎng)問(wèn)者，您可以更多地關(guān)注您的 SEO 內容策略，以吸引訪(fǎng)問(wèn)者訪(fǎng)問(wèn)您的 網(wǎng)站。如果您希望訪(fǎng)問(wèn)者在訪(fǎng)問(wèn)您的 網(wǎng)站 后獲得更高的轉化率，那么內容營(yíng)銷(xiāo)至關(guān)重要。但是，在大多數情況下，網(wǎng)站 應該既希望將訪(fǎng)問(wèn)者吸引到 網(wǎng)站，又希望在他們到達 網(wǎng)站 后進(jìn)行轉化。建立平衡后，您會(huì )看到訪(fǎng)問(wèn)者和轉化率都有所提高?！緢D3，WordPress采集插件，高效簡(jiǎn)單】
在搜索引擎優(yōu)化的過(guò)程中，對于網(wǎng)站，我們需要通過(guò)WordPress采集插件不斷輸出與目標受眾相關(guān)的專(zhuān)業(yè)內容，讓自己成為行業(yè)相關(guān)詞網(wǎng)站@ > 提高排名。在長(cháng)期的SEO運營(yíng)過(guò)程中，我們需要保持網(wǎng)站的每日更新頻率，比如WordPress的采集插件輸出了幾篇與行業(yè)相關(guān)的優(yōu)質(zhì)文章文章一天之內?！緢D4，WordPress采集插件，網(wǎng)站需要優(yōu)化】
剛開(kāi)始作為一個(gè)新站點(diǎn)，搜索引擎可能不知道你的網(wǎng)站，但是我們使用了有效的WordPress采集插件，例如采集相關(guān)的網(wǎng)站關(guān)鍵詞< @文章，使文章可以在短時(shí)間內被搜索引擎抓取。如果使用得當，WordPress 采集插件可以增加網(wǎng)站流量并繼續積累這些用戶(hù)。
吸引潛在搜索引擎的注意是每個(gè) SEO 網(wǎng)站管理員必須的。一旦用戶(hù)對網(wǎng)站有相關(guān)需求，搜索引擎可能會(huì )顯示你的網(wǎng)站。構建高質(zhì)量的內容策略非常棒，因為可以利用您深入且有用的內容來(lái)吸引新訪(fǎng)問(wèn)者。通常，這些訪(fǎng)問(wèn)者甚至可能不是特定于網(wǎng)站展示的界面，但他們需要網(wǎng)站其他展示信息。
WordPress 采集 插件確保為 網(wǎng)站 的訪(fǎng)問(wèn)者創(chuàng )建內容，使內容可讀，將搜索意圖與目標匹配，值得信賴(lài)，保持內容最新且結構合理 網(wǎng)站工作。通過(guò)這種方式，網(wǎng)站 將獲得吸引讀者的有趣內容。這將對 網(wǎng)站 的訪(fǎng)問(wèn)者數量、跳出率和轉化率產(chǎn)生積極影響。WordPress的采集插件可以全自動(dòng)批處理采集對采集，所以網(wǎng)站的SEO文案內容可以輕松搞定。
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集工具、可視化工具，看這個(gè)就夠了)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 115 次瀏覽 ? 2022-02-20 09:09
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集工具、可視化工具，看這個(gè)就夠了)
實(shí)時(shí)文章采集工具、可視化工具、評論采集工具，看這個(gè)就夠了。應該是個(gè)閉源工具。
可以嘗試下我們曾經(jīng)推薦過(guò)的捕手，軟件和代碼都是開(kāi)源的。
caoz的辦公桌-寫(xiě)給程序員的程序員知識圖譜
好像也是開(kāi)源的，kiva。
就feed48和豆瓣來(lái)看，和采集問(wèn)答沒(méi)有任何關(guān)系，好像和知乎目前的理念有關(guān)。
一次開(kāi)源，今后可能開(kāi)源，
有開(kāi)源版，目前采集問(wèn)答系列網(wǎng)站的數據還是比較吃力，好在還不是很復雜。不過(guò)后期應該會(huì )放大開(kāi)源，畢竟采集問(wèn)答系列的網(wǎng)站還是比較多，也不適合開(kāi)源，放大大推廣吧，還是很有用的。
剛剛有評論采集工具專(zhuān)門(mén)介紹的公眾號，可以關(guān)注下。并且，說(shuō)到開(kāi)源的問(wèn)答系統，
專(zhuān)注于采集問(wèn)答系列網(wǎng)站，因為是比較多的，因此每天采集量是很大的。
比較新，采集到的數據相對少，現在還是面向已經(jīng)關(guān)注我們的粉絲提供，人工回答的，我們目前的團隊才兩個(gè)人，我在知乎小小的推廣下，人工回答問(wèn)題還是很麻煩的，還不能收藏起來(lái)看，必須點(diǎn)進(jìn)去看，比較影響瀏覽量，所以知乎現在對這個(gè)采集是沒(méi)有什么幫助的，感謝知乎為我們的貢獻。 查看全部
實(shí)時(shí)文章采集工具、可視化工具、評論采集工具，看這個(gè)就夠了。應該是個(gè)閉源工具。
可以嘗試下我們曾經(jīng)推薦過(guò)的捕手，軟件和代碼都是開(kāi)源的。
caoz的辦公桌-寫(xiě)給程序員的程序員知識圖譜
好像也是開(kāi)源的，kiva。
就feed48和豆瓣來(lái)看，和采集問(wèn)答沒(méi)有任何關(guān)系，好像和知乎目前的理念有關(guān)。
一次開(kāi)源，今后可能開(kāi)源，
有開(kāi)源版，目前采集問(wèn)答系列網(wǎng)站的數據還是比較吃力，好在還不是很復雜。不過(guò)后期應該會(huì )放大開(kāi)源，畢竟采集問(wèn)答系列的網(wǎng)站還是比較多，也不適合開(kāi)源，放大大推廣吧，還是很有用的。
剛剛有評論采集工具專(zhuān)門(mén)介紹的公眾號，可以關(guān)注下。并且，說(shuō)到開(kāi)源的問(wèn)答系統，
專(zhuān)注于采集問(wèn)答系列網(wǎng)站，因為是比較多的，因此每天采集量是很大的。
比較新，采集到的數據相對少，現在還是面向已經(jīng)關(guān)注我們的粉絲提供，人工回答的，我們目前的團隊才兩個(gè)人，我在知乎小小的推廣下，人工回答問(wèn)題還是很麻煩的，還不能收藏起來(lái)看，必須點(diǎn)進(jìn)去看，比較影響瀏覽量，所以知乎現在對這個(gè)采集是沒(méi)有什么幫助的，感謝知乎為我們的貢獻。 查看全部
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集工具、可視化工具，看這個(gè)就夠了)
實(shí)時(shí)文章采集工具、可視化工具、評論采集工具，看這個(gè)就夠了。應該是個(gè)閉源工具。
可以嘗試下我們曾經(jīng)推薦過(guò)的捕手，軟件和代碼都是開(kāi)源的。
caoz的辦公桌-寫(xiě)給程序員的程序員知識圖譜
好像也是開(kāi)源的，kiva。
就feed48和豆瓣來(lái)看，和采集問(wèn)答沒(méi)有任何關(guān)系，好像和知乎目前的理念有關(guān)。
一次開(kāi)源，今后可能開(kāi)源，
有開(kāi)源版，目前采集問(wèn)答系列網(wǎng)站的數據還是比較吃力，好在還不是很復雜。不過(guò)后期應該會(huì )放大開(kāi)源，畢竟采集問(wèn)答系列的網(wǎng)站還是比較多，也不適合開(kāi)源，放大大推廣吧，還是很有用的。
剛剛有評論采集工具專(zhuān)門(mén)介紹的公眾號，可以關(guān)注下。并且，說(shuō)到開(kāi)源的問(wèn)答系統，
專(zhuān)注于采集問(wèn)答系列網(wǎng)站，因為是比較多的，因此每天采集量是很大的。
比較新，采集到的數據相對少，現在還是面向已經(jīng)關(guān)注我們的粉絲提供，人工回答的，我們目前的團隊才兩個(gè)人，我在知乎小小的推廣下，人工回答問(wèn)題還是很麻煩的，還不能收藏起來(lái)看，必須點(diǎn)進(jìn)去看，比較影響瀏覽量，所以知乎現在對這個(gè)采集是沒(méi)有什么幫助的，感謝知乎為我們的貢獻。
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集的干貨詳解、numpy、用infolayer插件生成pdf)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 130 次瀏覽 ? 2022-02-17 13:05
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集的干貨詳解、numpy、用infolayer插件生成pdf)
實(shí)時(shí)文章采集的干貨詳解哦，從、頭條、今日頭條、抖音、百度等熱門(mén)平臺做內容采集，然后自動(dòng)保存到excel表中，這樣可以快速將內容保存到本地，再有就是手機app端就可以看，看到的文章內容會(huì )原封不動(dòng)的保存，再也不用復制粘貼。excel數據處理：個(gè)性化生成表格工具、顏色值生成表格、條件格式、圖表類(lèi)型模板、列表式圖表模板、云端表格：郵件、qq、短信、qq郵箱、電話(huà)號碼生成excel文件、導出為html格式、excel文件生成pdf、用infolayer插件生成pdf。
一、引言最近幾年python的開(kāi)發(fā)和編譯技術(shù)可謂發(fā)展神速，移動(dòng)開(kāi)發(fā)也已經(jīng)向著(zhù)自動(dòng)化大方向邁進(jìn)，還能以python當中所提供的個(gè)性化工具和api對html標簽進(jìn)行定制，使得開(kāi)發(fā)人員能夠專(zhuān)注于html標簽上面，這在編程語(yǔ)言中確實(shí)是鮮有的，但是學(xué)習這個(gè)也還需要時(shí)間和精力投入，找一本好書(shū)說(shuō)是最好的，肯定也不能一蹴而就。
像平時(shí)我寫(xiě)c++和java開(kāi)發(fā)人員，可能不僅要掌握面向對象的編程，還要熟悉一些python語(yǔ)言特性以及擴展工具。這篇文章選取了一些最常用的開(kāi)發(fā)工具和工具類(lèi)，以方便大家查閱，這些工具工具基本上涵蓋了編程領(lǐng)域最常用的開(kāi)發(fā)工具，同時(shí)配有入門(mén)教程，學(xué)習成本低，如果你已經(jīng)對其有了一定的了解，可以直接跳過(guò)下一段。
二、初探zenddataprojpython中提供了很多數據分析工具包，包括了使用最為頻繁的pandas、numpy等包，這些包都對數據進(jìn)行轉換，生成高質(zhì)量的數據結構，最后將數據保存到一個(gè)具有良好格式的文件，這些主要工具中，命令操作基本上相同，就不贅述。在這里主要介紹一下pandas、numpy、matplotlib這幾個(gè)工具，pandas已經(jīng)是一個(gè)強大的數據分析工具包，可以支持大部分的數據分析操作，可以看出pandas是一個(gè)十分強大的工具，numpy在pandas和pandas有關(guān)的一些重要項目中不斷的推進(jìn)著(zhù)，他主要提供矩陣的運算功能，他用于進(jìn)行數學(xué)運算的各個(gè)函數跟pandas沒(méi)有太大差別，matplotlib則為對圖形化的影響，最后對數據進(jìn)行可視化進(jìn)行展示。
而除此之外，anaconda里面還有seaborn,matplotlib等等使用比較多的工具包，可以看看安裝教程，提供的包比較全面。
三、環(huán)境配置在學(xué)習pandas和numpy之前，需要安裝matplotlib，也就是我們平時(shí)說(shuō)的mpl環(huán)境，因為pandas是建立在matplotlib上面的，因此安裝好這個(gè)包我們就可以開(kāi)始使用pandas進(jìn)行數據分析，這里使用的是anaconda中自帶的pipinstallmpl_toolkit來(lái)安裝：。
1、我這里遇到的主要問(wèn)題是安裝不順利，因為老版本版本是3.5.1， 查看全部
實(shí)時(shí)文章采集的干貨詳解哦，從、頭條、今日頭條、抖音、百度等熱門(mén)平臺做內容采集，然后自動(dòng)保存到excel表中，這樣可以快速將內容保存到本地，再有就是手機app端就可以看，看到的文章內容會(huì )原封不動(dòng)的保存，再也不用復制粘貼。excel數據處理：個(gè)性化生成表格工具、顏色值生成表格、條件格式、圖表類(lèi)型模板、列表式圖表模板、云端表格：郵件、qq、短信、qq郵箱、電話(huà)號碼生成excel文件、導出為html格式、excel文件生成pdf、用infolayer插件生成pdf。
一、引言最近幾年python的開(kāi)發(fā)和編譯技術(shù)可謂發(fā)展神速，移動(dòng)開(kāi)發(fā)也已經(jīng)向著(zhù)自動(dòng)化大方向邁進(jìn)，還能以python當中所提供的個(gè)性化工具和api對html標簽進(jìn)行定制，使得開(kāi)發(fā)人員能夠專(zhuān)注于html標簽上面，這在編程語(yǔ)言中確實(shí)是鮮有的，但是學(xué)習這個(gè)也還需要時(shí)間和精力投入，找一本好書(shū)說(shuō)是最好的，肯定也不能一蹴而就。
像平時(shí)我寫(xiě)c++和java開(kāi)發(fā)人員，可能不僅要掌握面向對象的編程，還要熟悉一些python語(yǔ)言特性以及擴展工具。這篇文章選取了一些最常用的開(kāi)發(fā)工具和工具類(lèi)，以方便大家查閱，這些工具工具基本上涵蓋了編程領(lǐng)域最常用的開(kāi)發(fā)工具，同時(shí)配有入門(mén)教程，學(xué)習成本低，如果你已經(jīng)對其有了一定的了解，可以直接跳過(guò)下一段。
二、初探zenddataprojpython中提供了很多數據分析工具包，包括了使用最為頻繁的pandas、numpy等包，這些包都對數據進(jìn)行轉換，生成高質(zhì)量的數據結構，最后將數據保存到一個(gè)具有良好格式的文件，這些主要工具中，命令操作基本上相同，就不贅述。在這里主要介紹一下pandas、numpy、matplotlib這幾個(gè)工具，pandas已經(jīng)是一個(gè)強大的數據分析工具包，可以支持大部分的數據分析操作，可以看出pandas是一個(gè)十分強大的工具，numpy在pandas和pandas有關(guān)的一些重要項目中不斷的推進(jìn)著(zhù)，他主要提供矩陣的運算功能，他用于進(jìn)行數學(xué)運算的各個(gè)函數跟pandas沒(méi)有太大差別，matplotlib則為對圖形化的影響，最后對數據進(jìn)行可視化進(jìn)行展示。
而除此之外，anaconda里面還有seaborn,matplotlib等等使用比較多的工具包，可以看看安裝教程，提供的包比較全面。
三、環(huán)境配置在學(xué)習pandas和numpy之前，需要安裝matplotlib，也就是我們平時(shí)說(shuō)的mpl環(huán)境，因為pandas是建立在matplotlib上面的，因此安裝好這個(gè)包我們就可以開(kāi)始使用pandas進(jìn)行數據分析，這里使用的是anaconda中自帶的pipinstallmpl_toolkit來(lái)安裝：。
1、我這里遇到的主要問(wèn)題是安裝不順利，因為老版本版本是3.5.1， 查看全部
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集的干貨詳解、numpy、用infolayer插件生成pdf)
實(shí)時(shí)文章采集的干貨詳解哦，從、頭條、今日頭條、抖音、百度等熱門(mén)平臺做內容采集，然后自動(dòng)保存到excel表中，這樣可以快速將內容保存到本地，再有就是手機app端就可以看，看到的文章內容會(huì )原封不動(dòng)的保存，再也不用復制粘貼。excel數據處理：個(gè)性化生成表格工具、顏色值生成表格、條件格式、圖表類(lèi)型模板、列表式圖表模板、云端表格：郵件、qq、短信、qq郵箱、電話(huà)號碼生成excel文件、導出為html格式、excel文件生成pdf、用infolayer插件生成pdf。
一、引言最近幾年python的開(kāi)發(fā)和編譯技術(shù)可謂發(fā)展神速，移動(dòng)開(kāi)發(fā)也已經(jīng)向著(zhù)自動(dòng)化大方向邁進(jìn)，還能以python當中所提供的個(gè)性化工具和api對html標簽進(jìn)行定制，使得開(kāi)發(fā)人員能夠專(zhuān)注于html標簽上面，這在編程語(yǔ)言中確實(shí)是鮮有的，但是學(xué)習這個(gè)也還需要時(shí)間和精力投入，找一本好書(shū)說(shuō)是最好的，肯定也不能一蹴而就。
像平時(shí)我寫(xiě)c++和java開(kāi)發(fā)人員，可能不僅要掌握面向對象的編程，還要熟悉一些python語(yǔ)言特性以及擴展工具。這篇文章選取了一些最常用的開(kāi)發(fā)工具和工具類(lèi)，以方便大家查閱，這些工具工具基本上涵蓋了編程領(lǐng)域最常用的開(kāi)發(fā)工具，同時(shí)配有入門(mén)教程，學(xué)習成本低，如果你已經(jīng)對其有了一定的了解，可以直接跳過(guò)下一段。
二、初探zenddataprojpython中提供了很多數據分析工具包，包括了使用最為頻繁的pandas、numpy等包，這些包都對數據進(jìn)行轉換，生成高質(zhì)量的數據結構，最后將數據保存到一個(gè)具有良好格式的文件，這些主要工具中，命令操作基本上相同，就不贅述。在這里主要介紹一下pandas、numpy、matplotlib這幾個(gè)工具，pandas已經(jīng)是一個(gè)強大的數據分析工具包，可以支持大部分的數據分析操作，可以看出pandas是一個(gè)十分強大的工具，numpy在pandas和pandas有關(guān)的一些重要項目中不斷的推進(jìn)著(zhù)，他主要提供矩陣的運算功能，他用于進(jìn)行數學(xué)運算的各個(gè)函數跟pandas沒(méi)有太大差別，matplotlib則為對圖形化的影響，最后對數據進(jìn)行可視化進(jìn)行展示。
而除此之外，anaconda里面還有seaborn,matplotlib等等使用比較多的工具包，可以看看安裝教程，提供的包比較全面。
三、環(huán)境配置在學(xué)習pandas和numpy之前，需要安裝matplotlib，也就是我們平時(shí)說(shuō)的mpl環(huán)境，因為pandas是建立在matplotlib上面的，因此安裝好這個(gè)包我們就可以開(kāi)始使用pandas進(jìn)行數據分析，這里使用的是anaconda中自帶的pipinstallmpl_toolkit來(lái)安裝：。
1、我這里遇到的主要問(wèn)題是安裝不順利，因為老版本版本是3.5.1，
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集現在各大網(wǎng)站都使用tensorflow框架，tensorflow數組)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 135 次瀏覽 ? 2022-02-05 19:03
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集現在各大網(wǎng)站都使用tensorflow框架，tensorflow數組)
實(shí)時(shí)文章采集
<p>現在各大網(wǎng)站都使用tensorflow框架，而tensorflow只是基于numpy，但是還是使用了一些計算機領(lǐng)域的知識的，首先需要明白何為張量。一個(gè)numpyarray表示一個(gè)三維，四維，以及八維的數組，(不存在奇數維)，一維數組就好像是一個(gè)井字型放在向量的上下兩邊，而二維數組就像是一個(gè)扇形(已知y,z,h,c)，向量的上下邊也就是左右邊就是我們需要的向量的描述，一些關(guān)鍵詞出現在cursor（張量向量化）這一條，cursor一共有shape1,shape2,shape3,shape4，即shape1：x 查看全部
實(shí)時(shí)文章采集
<p>現在各大網(wǎng)站都使用tensorflow框架，而tensorflow只是基于numpy，但是還是使用了一些計算機領(lǐng)域的知識的，首先需要明白何為張量。一個(gè)numpyarray表示一個(gè)三維，四維，以及八維的數組，(不存在奇數維)，一維數組就好像是一個(gè)井字型放在向量的上下兩邊，而二維數組就像是一個(gè)扇形(已知y,z,h,c)，向量的上下邊也就是左右邊就是我們需要的向量的描述，一些關(guān)鍵詞出現在cursor（張量向量化）這一條，cursor一共有shape1,shape2,shape3,shape4，即shape1：x 查看全部
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集現在各大網(wǎng)站都使用tensorflow框架，tensorflow數組)
實(shí)時(shí)文章采集
<p>現在各大網(wǎng)站都使用tensorflow框架，而tensorflow只是基于numpy，但是還是使用了一些計算機領(lǐng)域的知識的，首先需要明白何為張量。一個(gè)numpyarray表示一個(gè)三維，四維，以及八維的數組，(不存在奇數維)，一維數組就好像是一個(gè)井字型放在向量的上下兩邊，而二維數組就像是一個(gè)扇形(已知y,z,h,c)，向量的上下邊也就是左右邊就是我們需要的向量的描述，一些關(guān)鍵詞出現在cursor（張量向量化）這一條，cursor一共有shape1,shape2,shape3,shape4，即shape1：x
實(shí)時(shí)文章采集(如何使用騰訊云大數據組件來(lái)完成實(shí)時(shí)監控系統的設計和實(shí)現)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 147 次瀏覽 ? 2022-02-04 14:04
實(shí)時(shí)文章采集(如何使用騰訊云大數據組件來(lái)完成實(shí)時(shí)監控系統的設計和實(shí)現)
本文介紹如何使用騰訊云大數據組件完成實(shí)時(shí)監控系統的設計與實(shí)現。通過(guò)電話(huà)、微信消息等方式實(shí)時(shí)反饋監控報警信息，有效保障系統穩定運行。使用基于云的Kafka、Flink、ES等組件，大大降低了開(kāi)發(fā)和運維人員的投入。
一、方案說(shuō)明（一）概述本方案結合騰訊云CKafka、流計算Oceanus（Flink）、Elasticsearch、Prometheus等，通過(guò)Filebeat實(shí)時(shí)采集系統和應用監控數據，并傳輸Go到CKafka，然后將CKafka數據連接到流計算Oceanus（Flink），經(jīng)過(guò)簡(jiǎn)單的業(yè)務(wù)邏輯處理后輸出到Elasticsearch，最后通過(guò)Kibana頁(yè)面查詢(xún)結果，方案中使用Promethus進(jìn)行監控系統指標，如流計算 Oceanus 作業(yè)運行狀態(tài)，使用 Cloud Grafana 監控 CVM 或業(yè)務(wù)應用指標。
(二）程序架構
二、前期準備在實(shí)施本方案之前，請確保已經(jīng)創(chuàng )建并配置了相應的大數據組件。(一）創(chuàng )建私有網(wǎng)絡(luò )VPC 私有網(wǎng)絡(luò )(VPC)是您在騰訊云上自定義的邏輯隔離的網(wǎng)絡(luò )空間。建議在構建CKafka、流計算Oceanus、 Elasticsearch集群。具體創(chuàng )建步驟請參考幫助文檔()。(二）創(chuàng )建CKafka實(shí)例Kafka推薦選擇最新的2.4.1版本，兼容性更好用 Filebeat 采集 工具購買(mǎi)完成后，創(chuàng )建一個(gè) Kafka 主題：topic-app-info (三） 創(chuàng )建流計算Oceanus集群 流計算Oceanus是大數據產(chǎn)品生態(tài)系統的實(shí)時(shí)分析工具。它基于A(yíng)pache Flink構建，一站式開(kāi)發(fā)，具有無(wú)縫連接、亞秒級延遲、低成本、安全穩定等特點(diǎn)的企業(yè)級實(shí)時(shí)大數據分析平臺。流計算Oceanus旨在實(shí)現價(jià)值最大化企業(yè)數據化，加快企業(yè)實(shí)時(shí)數字化建設進(jìn)程。在Oceanus控制臺的【集群管理】->【新建集群】頁(yè)面創(chuàng )建集群。具體步驟請參考幫助文檔()。(四）在Elasticsearch控制臺創(chuàng )建Elasticsearch實(shí)例，點(diǎn)擊左上角的【新建】創(chuàng )建集群，具體步驟請參考幫助文檔()。(五）
為了顯示自定義系統指標，需要購買(mǎi) Promethus 服務(wù)。只需要自定義業(yè)務(wù)指標的同學(xué)可以省略這一步。
進(jìn)入云監控控制臺，點(diǎn)擊左側的【Prometheus監控】，新建Prometheus實(shí)例。具體步驟請參考幫助文檔()。
(六）創(chuàng )建獨立的Grafana資源?；叶劝l(fā)布中，需要在Grafana管理頁(yè)面()單獨購買(mǎi)Grafana，展示業(yè)務(wù)監控指標。
?。ㄆ撸┌惭b和配置FilebeatFilebeat是一個(gè)輕量級的日志數據采集工具，通過(guò)監控指定位置的文件來(lái)采集信息。在這個(gè)VPC下，可以用在需要監控主機信息的云服務(wù)器和應用信息。安裝Filebeat。安裝方法一：下載Filebeat并安裝。下載地址()；方法二：使用【Elasticsearch管理頁(yè)面】->【beats管理】中提供的Filebeat，本例使用方法一。下載到CVM 和要配置 Filebeat，在 filebeat.yml 文件中添加以下配置項：
# 監控日志文件配置- type: logenabled: truepaths: - /tmp/test.log #- c:programdataelasticsearchlogs*
# 監控數據輸出項配置output.kafka:version: 2.0.0 # kafka 版本號hosts: ["xx.xx.xx.xx:xxxx"] # 請填寫(xiě)實(shí)際的 IP 地址+端口topic: 'topic-app-info' # 請填寫(xiě)實(shí)際的 topic
請根據實(shí)際業(yè)務(wù)需求配置對應的Filebeat.yml文件，參考Filebeat官方文檔（）。
注意：本例使用的是2.4.1的CKafka版本，這里是配置版本：2.0.0。版本不對應可能會(huì )出現“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): drop invalid message”錯誤
三、方案實(shí)現
接下來(lái)通過(guò)一個(gè)案例來(lái)介紹如何通過(guò)流計算Oceanus實(shí)現個(gè)性化監控。
(一）文件節拍采集數據
1、進(jìn)入Filebeat根目錄，啟動(dòng)Filebeat for data采集。例子中采集top命令中顯示的CPU、內存等信息也可以是采集jar應用日志、JVM使用情況、監聽(tīng)端口等，具體可以參考Filebeat官網(wǎng)
( )。
# filebeat 啟動(dòng)<br />./filebeat -e -c filebeat.yml<br /><br /># 監控系統信息寫(xiě)入 test.log 文件<br />top -d 10 >>/tmp/test.log
2、進(jìn)入CKafka頁(yè)面，點(diǎn)擊左側【消息查詢(xún)】，查詢(xún)對應主題消息，驗證數據是否為采集。
Filebeat采集發(fā)送的Kafka數據格式：
{ "@timestamp": "2021-08-30T10:22:52.888Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.14.0" }, "input": { "type": "log" }, "host": { "ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"], "mac": ["xx:xx:xx:xx:xx:xx"], "hostname": "xx.xx.xx.xx", "architecture": "x86_64", "os": { "type": "linux", "platform": "centos", "version": "7(Core)", "family": "redhat", "name": "CentOSLinux", "kernel": "3.10.0-1062.9.1.el7.x86_64", "codename": "Core" }, "id": "0ea734564f9a4e2881b866b82d679dfc", "name": "xx.xx.xx.xx", "containerized": false }, "agent": { "name": "xx.xx.xx.xx", "type": "filebeat", "version": "7.14.0", "hostname": "xx.xx.xx.xx", "ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9", "id": "6b23463c-0654-4f8b-83a9-84ec75721311" }, "ecs": { "version": "1.10.0" }, "log": { "offset": 2449931, "file": { "path": "/tmp/test.log" } }, "message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"}
(二）創(chuàng )建 Flink SQL 作業(yè)
使用流計算 Oceanus 處理 CKafka 訪(fǎng)問(wèn)的數據，并將其存儲在 Elasticsearch 中。1、定義Source，根據Filebeat中json消息的格式構造Flink Table Source。
CREATE TABLE DataInput ( `@timestamp` VARCHAR, `host` ROW, `log` ROW, `message` VARCHAR) WITH ( 'connector' = 'kafka', -- 可選 'kafka','kafka-0.11'. 注意選擇對應的內置 Connector 'topic' = 'topic-app-info', -- 替換為您要消費的 Topic 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '10.0.0.29:9092', 'properties.group.id' = 'oceanus_group2', -- 必選參數, 一定要指定 Group ID 'format' = 'json', 'json.ignore-parse-errors' = 'true', -- 忽略 JSON 結構解析異常 'json.fail-on-missing-field' = 'false' -- 如果設置為 true, 則遇到缺失字段會(huì )報錯 設置為 false 則缺失字段設置為 null);
2、定義接收器
CREATE TABLE es_output ( `id` VARCHAR, `ip` ARRAY, `path` VARCHAR, `num` INTEGER, `message` VARCHAR, `createTime` VARCHAR) WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '6', 'connector.hosts' = 'http://10.0.0.175:9200', 'connector.index' = 'oceanus_test2', 'connector.document-type' = '_doc', 'connector.username' = 'elastic', 'connector.password' = 'yourpassword', 'update-mode' = 'upsert', -- 可選無(wú)主鍵的 'append' 模式，或有主鍵的 'upsert' 模式 'connector.key-null-literal' = 'n/a', -- 主鍵為 null 時(shí)的替代字符串，默認是 'null' 'format.type' = 'json' -- 輸出數據格式, 目前只支持 'json');
3、處理業(yè)務(wù)數據
INSERT INTO es_outputSELECT host.id as `id`, host.ip as `ip`, log.file.path as `path`, log.`offset` as `num`, message, `@timestamp` as `createTime`from DataInput;
4、配置作業(yè)參數【內置連接器】選擇flink-connector-elasticsearch6和flink-connector-kafka 注意：根據實(shí)際版本選擇5、查詢(xún)ES數據。在 ES 控制臺的 Kibana 頁(yè)面查詢(xún)數據，或者進(jìn)入同一子網(wǎng)的 CVM 下，使用如下命令查詢(xún)：
# 查詢(xún)索引 username:password 請替換為實(shí)際賬號密碼curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'{ "query": { "match_all": {}}, "size": 10}'
更多訪(fǎng)問(wèn)方式請參考Access ES Cluster()。（三）系統指標監控本章主要實(shí)現系統信息監控和Flink作業(yè)運行狀態(tài)的監控和告警。Prometheus是一個(gè)非常靈活的時(shí)序數據庫，通常用于監控數據存儲、計算和告警。流計算Oceanus 建議用戶(hù)使用騰訊云監控提供的 Prometheus 服務(wù)，避免部署和運維成本；同時(shí)還支持騰訊云的通知模板，可以通過(guò)短信、電話(huà)輕松到達不同的告警信息、郵件、企業(yè)微信機器人等 .Monitoring 接收方 流式計算 Oceanus 作業(yè)監控
除了Stream Computing Oceanus控制臺自帶的監控信息外，還可以配置任務(wù)級細粒度監控、作業(yè)級監控、集群Flink作業(yè)列表監控。1、在流計算Oceanus作業(yè)詳情頁(yè)面，點(diǎn)擊【作業(yè)參數】，在【高級參數】中添加如下配置：
pipeline.max-parallelism: 2048metrics.reporters: promgatewaymetrics.reporter.promgateway.host: xx.xx.xx.xx # Prometheus實(shí)例地址metrics.reporter.promgateway.port: 9090 # Prometheus實(shí)例端口metrics.reporter.promgateway.needBasicAuth: truemetrics.reporter.promgateway.password: xxxxxxxxxxx # Prometheus實(shí)例密碼metrics.reporter.promgateway.interval: 10 SECONDS
2、在任意流計算Oceanus作業(yè)中，點(diǎn)擊【云監控】進(jìn)入云端Prometheus實(shí)例，點(diǎn)擊鏈接進(jìn)入Grafana（此處不能進(jìn)入灰度Grafana），導入json文件。詳情見(jiàn)訪(fǎng)問(wèn) Prometheus 自定義監視器
( )。
3、顯示的Flink任務(wù)監控效果如下。用戶(hù)也可以點(diǎn)擊【編輯】設置不同的面板以?xún)?yōu)化顯示效果。
告警配置1、進(jìn)入騰訊云監控界面，點(diǎn)擊左側【Prometheus監控】，點(diǎn)擊購買(mǎi)的實(shí)例進(jìn)入服務(wù)管理頁(yè)面，點(diǎn)擊左側【告警策略】，點(diǎn)擊【新建】進(jìn)行配置相關(guān)信息。具體操作請參考訪(fǎng)問(wèn)Prometheus自定義Monitor()。
2、設置警報通知。選擇【選擇模板】或【新建】設置通知模板。
3、短信通知消息
?。ㄋ模I(yè)務(wù)指標通過(guò)Filebeat采集監控到應用業(yè)務(wù)數據，通過(guò)流計算的Oceanus服務(wù)處理后存儲在ES中，使用ES+Grafana監控業(yè)務(wù)數據。
1、Grafana 配置 ES 數據源。進(jìn)入灰度發(fā)布中的Grafana控制臺()，進(jìn)入剛剛創(chuàng )建的Grafana服務(wù)，找到外網(wǎng)地址打開(kāi)登錄，Grafana賬號為admin，登錄后點(diǎn)擊【配置】，點(diǎn)擊【添加源】，搜索對于elasticsearch，并填寫(xiě)相關(guān)信息。ES實(shí)例信息，添加數據源。
2、點(diǎn)擊左側【Dashboards】，點(diǎn)擊【Manage】，點(diǎn)擊右上角【New Dashboard】，新建面板，編輯面板。
3、顯示效果如下：
注：這只是一個(gè)例子，沒(méi)有實(shí)際業(yè)務(wù)
四、總結本方案中嘗試了兩種監控方案，系統監控指標和業(yè)務(wù)監控指標。如果只需要監控業(yè)務(wù)指標，可以省略Promethus相關(guān)操作。此外，需要注意的是：
火熱進(jìn)行中↓↓
點(diǎn)擊文末“閱讀原文”了解更多騰訊云流計算Oceanus~騰訊云大數據
長(cháng)按二維碼 查看全部
本文介紹如何使用騰訊云大數據組件完成實(shí)時(shí)監控系統的設計與實(shí)現。通過(guò)電話(huà)、微信消息等方式實(shí)時(shí)反饋監控報警信息，有效保障系統穩定運行。使用基于云的Kafka、Flink、ES等組件，大大降低了開(kāi)發(fā)和運維人員的投入。
一、方案說(shuō)明（一）概述本方案結合騰訊云CKafka、流計算Oceanus（Flink）、Elasticsearch、Prometheus等，通過(guò)Filebeat實(shí)時(shí)采集系統和應用監控數據，并傳輸Go到CKafka，然后將CKafka數據連接到流計算Oceanus（Flink），經(jīng)過(guò)簡(jiǎn)單的業(yè)務(wù)邏輯處理后輸出到Elasticsearch，最后通過(guò)Kibana頁(yè)面查詢(xún)結果，方案中使用Promethus進(jìn)行監控系統指標，如流計算 Oceanus 作業(yè)運行狀態(tài)，使用 Cloud Grafana 監控 CVM 或業(yè)務(wù)應用指標。
(二）程序架構
二、前期準備在實(shí)施本方案之前，請確保已經(jīng)創(chuàng )建并配置了相應的大數據組件。(一）創(chuàng )建私有網(wǎng)絡(luò )VPC 私有網(wǎng)絡(luò )(VPC)是您在騰訊云上自定義的邏輯隔離的網(wǎng)絡(luò )空間。建議在構建CKafka、流計算Oceanus、 Elasticsearch集群。具體創(chuàng )建步驟請參考幫助文檔()。(二）創(chuàng )建CKafka實(shí)例Kafka推薦選擇最新的2.4.1版本，兼容性更好用 Filebeat 采集 工具購買(mǎi)完成后，創(chuàng )建一個(gè) Kafka 主題：topic-app-info (三） 創(chuàng )建流計算Oceanus集群 流計算Oceanus是大數據產(chǎn)品生態(tài)系統的實(shí)時(shí)分析工具。它基于A(yíng)pache Flink構建，一站式開(kāi)發(fā)，具有無(wú)縫連接、亞秒級延遲、低成本、安全穩定等特點(diǎn)的企業(yè)級實(shí)時(shí)大數據分析平臺。流計算Oceanus旨在實(shí)現價(jià)值最大化企業(yè)數據化，加快企業(yè)實(shí)時(shí)數字化建設進(jìn)程。在Oceanus控制臺的【集群管理】->【新建集群】頁(yè)面創(chuàng )建集群。具體步驟請參考幫助文檔()。(四）在Elasticsearch控制臺創(chuàng )建Elasticsearch實(shí)例，點(diǎn)擊左上角的【新建】創(chuàng )建集群，具體步驟請參考幫助文檔()。(五）
為了顯示自定義系統指標，需要購買(mǎi) Promethus 服務(wù)。只需要自定義業(yè)務(wù)指標的同學(xué)可以省略這一步。
進(jìn)入云監控控制臺，點(diǎn)擊左側的【Prometheus監控】，新建Prometheus實(shí)例。具體步驟請參考幫助文檔()。
(六）創(chuàng )建獨立的Grafana資源?；叶劝l(fā)布中，需要在Grafana管理頁(yè)面()單獨購買(mǎi)Grafana，展示業(yè)務(wù)監控指標。
?。ㄆ撸┌惭b和配置FilebeatFilebeat是一個(gè)輕量級的日志數據采集工具，通過(guò)監控指定位置的文件來(lái)采集信息。在這個(gè)VPC下，可以用在需要監控主機信息的云服務(wù)器和應用信息。安裝Filebeat。安裝方法一：下載Filebeat并安裝。下載地址()；方法二：使用【Elasticsearch管理頁(yè)面】->【beats管理】中提供的Filebeat，本例使用方法一。下載到CVM 和要配置 Filebeat，在 filebeat.yml 文件中添加以下配置項：
# 監控日志文件配置- type: logenabled: truepaths: - /tmp/test.log #- c:programdataelasticsearchlogs*
# 監控數據輸出項配置output.kafka:version: 2.0.0 # kafka 版本號hosts: ["xx.xx.xx.xx:xxxx"] # 請填寫(xiě)實(shí)際的 IP 地址+端口topic: 'topic-app-info' # 請填寫(xiě)實(shí)際的 topic
請根據實(shí)際業(yè)務(wù)需求配置對應的Filebeat.yml文件，參考Filebeat官方文檔（）。
注意：本例使用的是2.4.1的CKafka版本，這里是配置版本：2.0.0。版本不對應可能會(huì )出現“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): drop invalid message”錯誤
三、方案實(shí)現
接下來(lái)通過(guò)一個(gè)案例來(lái)介紹如何通過(guò)流計算Oceanus實(shí)現個(gè)性化監控。
(一）文件節拍采集數據
1、進(jìn)入Filebeat根目錄，啟動(dòng)Filebeat for data采集。例子中采集top命令中顯示的CPU、內存等信息也可以是采集jar應用日志、JVM使用情況、監聽(tīng)端口等，具體可以參考Filebeat官網(wǎng)
( )。
# filebeat 啟動(dòng)<br />./filebeat -e -c filebeat.yml<br /><br /># 監控系統信息寫(xiě)入 test.log 文件<br />top -d 10 >>/tmp/test.log
2、進(jìn)入CKafka頁(yè)面，點(diǎn)擊左側【消息查詢(xún)】，查詢(xún)對應主題消息，驗證數據是否為采集。
Filebeat采集發(fā)送的Kafka數據格式：
{ "@timestamp": "2021-08-30T10:22:52.888Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.14.0" }, "input": { "type": "log" }, "host": { "ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"], "mac": ["xx:xx:xx:xx:xx:xx"], "hostname": "xx.xx.xx.xx", "architecture": "x86_64", "os": { "type": "linux", "platform": "centos", "version": "7(Core)", "family": "redhat", "name": "CentOSLinux", "kernel": "3.10.0-1062.9.1.el7.x86_64", "codename": "Core" }, "id": "0ea734564f9a4e2881b866b82d679dfc", "name": "xx.xx.xx.xx", "containerized": false }, "agent": { "name": "xx.xx.xx.xx", "type": "filebeat", "version": "7.14.0", "hostname": "xx.xx.xx.xx", "ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9", "id": "6b23463c-0654-4f8b-83a9-84ec75721311" }, "ecs": { "version": "1.10.0" }, "log": { "offset": 2449931, "file": { "path": "/tmp/test.log" } }, "message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"}
(二）創(chuàng )建 Flink SQL 作業(yè)
使用流計算 Oceanus 處理 CKafka 訪(fǎng)問(wèn)的數據，并將其存儲在 Elasticsearch 中。1、定義Source，根據Filebeat中json消息的格式構造Flink Table Source。
CREATE TABLE DataInput ( `@timestamp` VARCHAR, `host` ROW, `log` ROW, `message` VARCHAR) WITH ( 'connector' = 'kafka', -- 可選 'kafka','kafka-0.11'. 注意選擇對應的內置 Connector 'topic' = 'topic-app-info', -- 替換為您要消費的 Topic 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '10.0.0.29:9092', 'properties.group.id' = 'oceanus_group2', -- 必選參數, 一定要指定 Group ID 'format' = 'json', 'json.ignore-parse-errors' = 'true', -- 忽略 JSON 結構解析異常 'json.fail-on-missing-field' = 'false' -- 如果設置為 true, 則遇到缺失字段會(huì )報錯 設置為 false 則缺失字段設置為 null);
2、定義接收器
CREATE TABLE es_output ( `id` VARCHAR, `ip` ARRAY, `path` VARCHAR, `num` INTEGER, `message` VARCHAR, `createTime` VARCHAR) WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '6', 'connector.hosts' = 'http://10.0.0.175:9200', 'connector.index' = 'oceanus_test2', 'connector.document-type' = '_doc', 'connector.username' = 'elastic', 'connector.password' = 'yourpassword', 'update-mode' = 'upsert', -- 可選無(wú)主鍵的 'append' 模式，或有主鍵的 'upsert' 模式 'connector.key-null-literal' = 'n/a', -- 主鍵為 null 時(shí)的替代字符串，默認是 'null' 'format.type' = 'json' -- 輸出數據格式, 目前只支持 'json');
3、處理業(yè)務(wù)數據
INSERT INTO es_outputSELECT host.id as `id`, host.ip as `ip`, log.file.path as `path`, log.`offset` as `num`, message, `@timestamp` as `createTime`from DataInput;
4、配置作業(yè)參數【內置連接器】選擇flink-connector-elasticsearch6和flink-connector-kafka 注意：根據實(shí)際版本選擇5、查詢(xún)ES數據。在 ES 控制臺的 Kibana 頁(yè)面查詢(xún)數據，或者進(jìn)入同一子網(wǎng)的 CVM 下，使用如下命令查詢(xún)：
# 查詢(xún)索引 username:password 請替換為實(shí)際賬號密碼curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'{ "query": { "match_all": {}}, "size": 10}'
更多訪(fǎng)問(wèn)方式請參考Access ES Cluster()。（三）系統指標監控本章主要實(shí)現系統信息監控和Flink作業(yè)運行狀態(tài)的監控和告警。Prometheus是一個(gè)非常靈活的時(shí)序數據庫，通常用于監控數據存儲、計算和告警。流計算Oceanus 建議用戶(hù)使用騰訊云監控提供的 Prometheus 服務(wù)，避免部署和運維成本；同時(shí)還支持騰訊云的通知模板，可以通過(guò)短信、電話(huà)輕松到達不同的告警信息、郵件、企業(yè)微信機器人等 .Monitoring 接收方 流式計算 Oceanus 作業(yè)監控
除了Stream Computing Oceanus控制臺自帶的監控信息外，還可以配置任務(wù)級細粒度監控、作業(yè)級監控、集群Flink作業(yè)列表監控。1、在流計算Oceanus作業(yè)詳情頁(yè)面，點(diǎn)擊【作業(yè)參數】，在【高級參數】中添加如下配置：
pipeline.max-parallelism: 2048metrics.reporters: promgatewaymetrics.reporter.promgateway.host: xx.xx.xx.xx # Prometheus實(shí)例地址metrics.reporter.promgateway.port: 9090 # Prometheus實(shí)例端口metrics.reporter.promgateway.needBasicAuth: truemetrics.reporter.promgateway.password: xxxxxxxxxxx # Prometheus實(shí)例密碼metrics.reporter.promgateway.interval: 10 SECONDS
2、在任意流計算Oceanus作業(yè)中，點(diǎn)擊【云監控】進(jìn)入云端Prometheus實(shí)例，點(diǎn)擊鏈接進(jìn)入Grafana（此處不能進(jìn)入灰度Grafana），導入json文件。詳情見(jiàn)訪(fǎng)問(wèn) Prometheus 自定義監視器
( )。
3、顯示的Flink任務(wù)監控效果如下。用戶(hù)也可以點(diǎn)擊【編輯】設置不同的面板以?xún)?yōu)化顯示效果。
告警配置1、進(jìn)入騰訊云監控界面，點(diǎn)擊左側【Prometheus監控】，點(diǎn)擊購買(mǎi)的實(shí)例進(jìn)入服務(wù)管理頁(yè)面，點(diǎn)擊左側【告警策略】，點(diǎn)擊【新建】進(jìn)行配置相關(guān)信息。具體操作請參考訪(fǎng)問(wèn)Prometheus自定義Monitor()。
2、設置警報通知。選擇【選擇模板】或【新建】設置通知模板。
3、短信通知消息
?。ㄋ模I(yè)務(wù)指標通過(guò)Filebeat采集監控到應用業(yè)務(wù)數據，通過(guò)流計算的Oceanus服務(wù)處理后存儲在ES中，使用ES+Grafana監控業(yè)務(wù)數據。
1、Grafana 配置 ES 數據源。進(jìn)入灰度發(fā)布中的Grafana控制臺()，進(jìn)入剛剛創(chuàng )建的Grafana服務(wù)，找到外網(wǎng)地址打開(kāi)登錄，Grafana賬號為admin，登錄后點(diǎn)擊【配置】，點(diǎn)擊【添加源】，搜索對于elasticsearch，并填寫(xiě)相關(guān)信息。ES實(shí)例信息，添加數據源。
2、點(diǎn)擊左側【Dashboards】，點(diǎn)擊【Manage】，點(diǎn)擊右上角【New Dashboard】，新建面板，編輯面板。
3、顯示效果如下：
注：這只是一個(gè)例子，沒(méi)有實(shí)際業(yè)務(wù)
四、總結本方案中嘗試了兩種監控方案，系統監控指標和業(yè)務(wù)監控指標。如果只需要監控業(yè)務(wù)指標，可以省略Promethus相關(guān)操作。此外，需要注意的是：
火熱進(jìn)行中↓↓
點(diǎn)擊文末“閱讀原文”了解更多騰訊云流計算Oceanus~騰訊云大數據
長(cháng)按二維碼 查看全部
實(shí)時(shí)文章采集(如何使用騰訊云大數據組件來(lái)完成實(shí)時(shí)監控系統的設計和實(shí)現)
本文介紹如何使用騰訊云大數據組件完成實(shí)時(shí)監控系統的設計與實(shí)現。通過(guò)電話(huà)、微信消息等方式實(shí)時(shí)反饋監控報警信息，有效保障系統穩定運行。使用基于云的Kafka、Flink、ES等組件，大大降低了開(kāi)發(fā)和運維人員的投入。
一、方案說(shuō)明（一）概述本方案結合騰訊云CKafka、流計算Oceanus（Flink）、Elasticsearch、Prometheus等，通過(guò)Filebeat實(shí)時(shí)采集系統和應用監控數據，并傳輸Go到CKafka，然后將CKafka數據連接到流計算Oceanus（Flink），經(jīng)過(guò)簡(jiǎn)單的業(yè)務(wù)邏輯處理后輸出到Elasticsearch，最后通過(guò)Kibana頁(yè)面查詢(xún)結果，方案中使用Promethus進(jìn)行監控系統指標，如流計算 Oceanus 作業(yè)運行狀態(tài)，使用 Cloud Grafana 監控 CVM 或業(yè)務(wù)應用指標。
(二）程序架構
二、前期準備在實(shí)施本方案之前，請確保已經(jīng)創(chuàng )建并配置了相應的大數據組件。(一）創(chuàng )建私有網(wǎng)絡(luò )VPC 私有網(wǎng)絡(luò )(VPC)是您在騰訊云上自定義的邏輯隔離的網(wǎng)絡(luò )空間。建議在構建CKafka、流計算Oceanus、 Elasticsearch集群。具體創(chuàng )建步驟請參考幫助文檔()。(二）創(chuàng )建CKafka實(shí)例Kafka推薦選擇最新的2.4.1版本，兼容性更好用 Filebeat 采集 工具購買(mǎi)完成后，創(chuàng )建一個(gè) Kafka 主題：topic-app-info (三） 創(chuàng )建流計算Oceanus集群 流計算Oceanus是大數據產(chǎn)品生態(tài)系統的實(shí)時(shí)分析工具。它基于A(yíng)pache Flink構建，一站式開(kāi)發(fā)，具有無(wú)縫連接、亞秒級延遲、低成本、安全穩定等特點(diǎn)的企業(yè)級實(shí)時(shí)大數據分析平臺。流計算Oceanus旨在實(shí)現價(jià)值最大化企業(yè)數據化，加快企業(yè)實(shí)時(shí)數字化建設進(jìn)程。在Oceanus控制臺的【集群管理】->【新建集群】頁(yè)面創(chuàng )建集群。具體步驟請參考幫助文檔()。(四）在Elasticsearch控制臺創(chuàng )建Elasticsearch實(shí)例，點(diǎn)擊左上角的【新建】創(chuàng )建集群，具體步驟請參考幫助文檔()。(五）
為了顯示自定義系統指標，需要購買(mǎi) Promethus 服務(wù)。只需要自定義業(yè)務(wù)指標的同學(xué)可以省略這一步。
進(jìn)入云監控控制臺，點(diǎn)擊左側的【Prometheus監控】，新建Prometheus實(shí)例。具體步驟請參考幫助文檔()。
(六）創(chuàng )建獨立的Grafana資源?；叶劝l(fā)布中，需要在Grafana管理頁(yè)面()單獨購買(mǎi)Grafana，展示業(yè)務(wù)監控指標。
?。ㄆ撸┌惭b和配置FilebeatFilebeat是一個(gè)輕量級的日志數據采集工具，通過(guò)監控指定位置的文件來(lái)采集信息。在這個(gè)VPC下，可以用在需要監控主機信息的云服務(wù)器和應用信息。安裝Filebeat。安裝方法一：下載Filebeat并安裝。下載地址()；方法二：使用【Elasticsearch管理頁(yè)面】->【beats管理】中提供的Filebeat，本例使用方法一。下載到CVM 和要配置 Filebeat，在 filebeat.yml 文件中添加以下配置項：
# 監控日志文件配置- type: logenabled: truepaths: - /tmp/test.log #- c:programdataelasticsearchlogs*
# 監控數據輸出項配置output.kafka:version: 2.0.0 # kafka 版本號hosts: ["xx.xx.xx.xx:xxxx"] # 請填寫(xiě)實(shí)際的 IP 地址+端口topic: 'topic-app-info' # 請填寫(xiě)實(shí)際的 topic
請根據實(shí)際業(yè)務(wù)需求配置對應的Filebeat.yml文件，參考Filebeat官方文檔（）。
注意：本例使用的是2.4.1的CKafka版本，這里是配置版本：2.0.0。版本不對應可能會(huì )出現“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): drop invalid message”錯誤
三、方案實(shí)現
接下來(lái)通過(guò)一個(gè)案例來(lái)介紹如何通過(guò)流計算Oceanus實(shí)現個(gè)性化監控。
(一）文件節拍采集數據
1、進(jìn)入Filebeat根目錄，啟動(dòng)Filebeat for data采集。例子中采集top命令中顯示的CPU、內存等信息也可以是采集jar應用日志、JVM使用情況、監聽(tīng)端口等，具體可以參考Filebeat官網(wǎng)
( )。
# filebeat 啟動(dòng)<br />./filebeat -e -c filebeat.yml<br /><br /># 監控系統信息寫(xiě)入 test.log 文件<br />top -d 10 >>/tmp/test.log
2、進(jìn)入CKafka頁(yè)面，點(diǎn)擊左側【消息查詢(xún)】，查詢(xún)對應主題消息，驗證數據是否為采集。
Filebeat采集發(fā)送的Kafka數據格式：
{ "@timestamp": "2021-08-30T10:22:52.888Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.14.0" }, "input": { "type": "log" }, "host": { "ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"], "mac": ["xx:xx:xx:xx:xx:xx"], "hostname": "xx.xx.xx.xx", "architecture": "x86_64", "os": { "type": "linux", "platform": "centos", "version": "7(Core)", "family": "redhat", "name": "CentOSLinux", "kernel": "3.10.0-1062.9.1.el7.x86_64", "codename": "Core" }, "id": "0ea734564f9a4e2881b866b82d679dfc", "name": "xx.xx.xx.xx", "containerized": false }, "agent": { "name": "xx.xx.xx.xx", "type": "filebeat", "version": "7.14.0", "hostname": "xx.xx.xx.xx", "ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9", "id": "6b23463c-0654-4f8b-83a9-84ec75721311" }, "ecs": { "version": "1.10.0" }, "log": { "offset": 2449931, "file": { "path": "/tmp/test.log" } }, "message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"}
(二）創(chuàng )建 Flink SQL 作業(yè)
使用流計算 Oceanus 處理 CKafka 訪(fǎng)問(wèn)的數據，并將其存儲在 Elasticsearch 中。1、定義Source，根據Filebeat中json消息的格式構造Flink Table Source。
CREATE TABLE DataInput ( `@timestamp` VARCHAR, `host` ROW, `log` ROW, `message` VARCHAR) WITH ( 'connector' = 'kafka', -- 可選 'kafka','kafka-0.11'. 注意選擇對應的內置 Connector 'topic' = 'topic-app-info', -- 替換為您要消費的 Topic 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '10.0.0.29:9092', 'properties.group.id' = 'oceanus_group2', -- 必選參數, 一定要指定 Group ID 'format' = 'json', 'json.ignore-parse-errors' = 'true', -- 忽略 JSON 結構解析異常 'json.fail-on-missing-field' = 'false' -- 如果設置為 true, 則遇到缺失字段會(huì )報錯 設置為 false 則缺失字段設置為 null);
2、定義接收器
CREATE TABLE es_output ( `id` VARCHAR, `ip` ARRAY, `path` VARCHAR, `num` INTEGER, `message` VARCHAR, `createTime` VARCHAR) WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '6', 'connector.hosts' = 'http://10.0.0.175:9200', 'connector.index' = 'oceanus_test2', 'connector.document-type' = '_doc', 'connector.username' = 'elastic', 'connector.password' = 'yourpassword', 'update-mode' = 'upsert', -- 可選無(wú)主鍵的 'append' 模式，或有主鍵的 'upsert' 模式 'connector.key-null-literal' = 'n/a', -- 主鍵為 null 時(shí)的替代字符串，默認是 'null' 'format.type' = 'json' -- 輸出數據格式, 目前只支持 'json');
3、處理業(yè)務(wù)數據
INSERT INTO es_outputSELECT host.id as `id`, host.ip as `ip`, log.file.path as `path`, log.`offset` as `num`, message, `@timestamp` as `createTime`from DataInput;
4、配置作業(yè)參數【內置連接器】選擇flink-connector-elasticsearch6和flink-connector-kafka 注意：根據實(shí)際版本選擇5、查詢(xún)ES數據。在 ES 控制臺的 Kibana 頁(yè)面查詢(xún)數據，或者進(jìn)入同一子網(wǎng)的 CVM 下，使用如下命令查詢(xún)：
# 查詢(xún)索引 username:password 請替換為實(shí)際賬號密碼curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'{ "query": { "match_all": {}}, "size": 10}'
更多訪(fǎng)問(wèn)方式請參考Access ES Cluster()。（三）系統指標監控本章主要實(shí)現系統信息監控和Flink作業(yè)運行狀態(tài)的監控和告警。Prometheus是一個(gè)非常靈活的時(shí)序數據庫，通常用于監控數據存儲、計算和告警。流計算Oceanus 建議用戶(hù)使用騰訊云監控提供的 Prometheus 服務(wù)，避免部署和運維成本；同時(shí)還支持騰訊云的通知模板，可以通過(guò)短信、電話(huà)輕松到達不同的告警信息、郵件、企業(yè)微信機器人等 .Monitoring 接收方 流式計算 Oceanus 作業(yè)監控
除了Stream Computing Oceanus控制臺自帶的監控信息外，還可以配置任務(wù)級細粒度監控、作業(yè)級監控、集群Flink作業(yè)列表監控。1、在流計算Oceanus作業(yè)詳情頁(yè)面，點(diǎn)擊【作業(yè)參數】，在【高級參數】中添加如下配置：
pipeline.max-parallelism: 2048metrics.reporters: promgatewaymetrics.reporter.promgateway.host: xx.xx.xx.xx # Prometheus實(shí)例地址metrics.reporter.promgateway.port: 9090 # Prometheus實(shí)例端口metrics.reporter.promgateway.needBasicAuth: truemetrics.reporter.promgateway.password: xxxxxxxxxxx # Prometheus實(shí)例密碼metrics.reporter.promgateway.interval: 10 SECONDS
2、在任意流計算Oceanus作業(yè)中，點(diǎn)擊【云監控】進(jìn)入云端Prometheus實(shí)例，點(diǎn)擊鏈接進(jìn)入Grafana（此處不能進(jìn)入灰度Grafana），導入json文件。詳情見(jiàn)訪(fǎng)問(wèn) Prometheus 自定義監視器
( )。
3、顯示的Flink任務(wù)監控效果如下。用戶(hù)也可以點(diǎn)擊【編輯】設置不同的面板以?xún)?yōu)化顯示效果。
告警配置1、進(jìn)入騰訊云監控界面，點(diǎn)擊左側【Prometheus監控】，點(diǎn)擊購買(mǎi)的實(shí)例進(jìn)入服務(wù)管理頁(yè)面，點(diǎn)擊左側【告警策略】，點(diǎn)擊【新建】進(jìn)行配置相關(guān)信息。具體操作請參考訪(fǎng)問(wèn)Prometheus自定義Monitor()。
2、設置警報通知。選擇【選擇模板】或【新建】設置通知模板。
3、短信通知消息
?。ㄋ模I(yè)務(wù)指標通過(guò)Filebeat采集監控到應用業(yè)務(wù)數據，通過(guò)流計算的Oceanus服務(wù)處理后存儲在ES中，使用ES+Grafana監控業(yè)務(wù)數據。
1、Grafana 配置 ES 數據源。進(jìn)入灰度發(fā)布中的Grafana控制臺()，進(jìn)入剛剛創(chuàng )建的Grafana服務(wù)，找到外網(wǎng)地址打開(kāi)登錄，Grafana賬號為admin，登錄后點(diǎn)擊【配置】，點(diǎn)擊【添加源】，搜索對于elasticsearch，并填寫(xiě)相關(guān)信息。ES實(shí)例信息，添加數據源。
2、點(diǎn)擊左側【Dashboards】，點(diǎn)擊【Manage】，點(diǎn)擊右上角【New Dashboard】，新建面板，編輯面板。
3、顯示效果如下：
注：這只是一個(gè)例子，沒(méi)有實(shí)際業(yè)務(wù)
四、總結本方案中嘗試了兩種監控方案，系統監控指標和業(yè)務(wù)監控指標。如果只需要監控業(yè)務(wù)指標，可以省略Promethus相關(guān)操作。此外，需要注意的是：
火熱進(jìn)行中↓↓
點(diǎn)擊文末“閱讀原文”了解更多騰訊云流計算Oceanus~騰訊云大數據
長(cháng)按二維碼
實(shí)時(shí)文章采集(項目架構分析日志數據采集：根據數據進(jìn)行可視化篩選 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 114 次瀏覽 ? 2022-02-01 23:17
實(shí)時(shí)文章采集(項目架構分析日志數據采集：根據數據進(jìn)行可視化篩選
)
項目概況
項目主要通過(guò)實(shí)時(shí)數倉的搭建完成對Flink的進(jìn)一步掌握和學(xué)習。Flink代碼是用Java編寫(xiě)的，會(huì )涉及到Flink的很多知識點(diǎn)，FlinkCDC，FlinkSQL，航海，豐富的功能等等，習慣了學(xué)習Flink，順便傳個(gè)倉庫還是很不錯的。從 FlinkForward2021 的一些進(jìn)展來(lái)看，Flink SQLization 已經(jīng)勢不可擋，流式數據倉庫 StreamHouse 也開(kāi)始緩慢推進(jìn)。
這里的實(shí)時(shí)數倉主要是為了提高數據的復用性。見(jiàn)下圖，當有大量中間結果時(shí)
使用時(shí)充分體現了實(shí)時(shí)數倉的必要性，省去了很多重復計算，提交了實(shí)時(shí)計算的時(shí)效性。
說(shuō)到數據倉庫，數據倉庫的分層是分不開(kāi)的?；陔娮由虅?wù)的實(shí)時(shí)數倉分層如下：
ods：原創(chuàng )數據，存儲業(yè)務(wù)數據和日志數據
dwd：按數據對象劃分，如訂單、頁(yè)面訪(fǎng)問(wèn)量
dim：維度數據
dwm：進(jìn)一步處理一些數據對象，將其與維度表關(guān)聯(lián)，形成寬表，例如獨立訪(fǎng)問(wèn)和跳出行為
dws：根據一個(gè)主題輕輕聚合多個(gè)事實(shí)數據，形成主題寬表
ads：基于數據的可視化過(guò)濾器聚合
實(shí)時(shí)需求
主要分為：每日統計報表或分析圖表模塊、實(shí)時(shí)數據監控大屏、數據預警或提示、實(shí)時(shí)推薦系統。
項目架構分析
記錄數據采集
查看全部
)
項目概況
項目主要通過(guò)實(shí)時(shí)數倉的搭建完成對Flink的進(jìn)一步掌握和學(xué)習。Flink代碼是用Java編寫(xiě)的，會(huì )涉及到Flink的很多知識點(diǎn)，FlinkCDC，FlinkSQL，航海，豐富的功能等等，習慣了學(xué)習Flink，順便傳個(gè)倉庫還是很不錯的。從 FlinkForward2021 的一些進(jìn)展來(lái)看，Flink SQLization 已經(jīng)勢不可擋，流式數據倉庫 StreamHouse 也開(kāi)始緩慢推進(jìn)。
這里的實(shí)時(shí)數倉主要是為了提高數據的復用性。見(jiàn)下圖，當有大量中間結果時(shí)
使用時(shí)充分體現了實(shí)時(shí)數倉的必要性，省去了很多重復計算，提交了實(shí)時(shí)計算的時(shí)效性。
說(shuō)到數據倉庫，數據倉庫的分層是分不開(kāi)的?；陔娮由虅?wù)的實(shí)時(shí)數倉分層如下：
ods：原創(chuàng )數據，存儲業(yè)務(wù)數據和日志數據
dwd：按數據對象劃分，如訂單、頁(yè)面訪(fǎng)問(wèn)量
dim：維度數據
dwm：進(jìn)一步處理一些數據對象，將其與維度表關(guān)聯(lián)，形成寬表，例如獨立訪(fǎng)問(wèn)和跳出行為
dws：根據一個(gè)主題輕輕聚合多個(gè)事實(shí)數據，形成主題寬表
ads：基于數據的可視化過(guò)濾器聚合
實(shí)時(shí)需求
主要分為：每日統計報表或分析圖表模塊、實(shí)時(shí)數據監控大屏、數據預警或提示、實(shí)時(shí)推薦系統。
項目架構分析
記錄數據采集
查看全部
實(shí)時(shí)文章采集(項目架構分析日志數據采集：根據數據進(jìn)行可視化篩選
)
項目概況
項目主要通過(guò)實(shí)時(shí)數倉的搭建完成對Flink的進(jìn)一步掌握和學(xué)習。Flink代碼是用Java編寫(xiě)的，會(huì )涉及到Flink的很多知識點(diǎn)，FlinkCDC，FlinkSQL，航海，豐富的功能等等，習慣了學(xué)習Flink，順便傳個(gè)倉庫還是很不錯的。從 FlinkForward2021 的一些進(jìn)展來(lái)看，Flink SQLization 已經(jīng)勢不可擋，流式數據倉庫 StreamHouse 也開(kāi)始緩慢推進(jìn)。
這里的實(shí)時(shí)數倉主要是為了提高數據的復用性。見(jiàn)下圖，當有大量中間結果時(shí)
使用時(shí)充分體現了實(shí)時(shí)數倉的必要性，省去了很多重復計算，提交了實(shí)時(shí)計算的時(shí)效性。
說(shuō)到數據倉庫，數據倉庫的分層是分不開(kāi)的?；陔娮由虅?wù)的實(shí)時(shí)數倉分層如下：
ods：原創(chuàng )數據，存儲業(yè)務(wù)數據和日志數據
dwd：按數據對象劃分，如訂單、頁(yè)面訪(fǎng)問(wèn)量
dim：維度數據
dwm：進(jìn)一步處理一些數據對象，將其與維度表關(guān)聯(lián)，形成寬表，例如獨立訪(fǎng)問(wèn)和跳出行為
dws：根據一個(gè)主題輕輕聚合多個(gè)事實(shí)數據，形成主題寬表
ads：基于數據的可視化過(guò)濾器聚合
實(shí)時(shí)需求
主要分為：每日統計報表或分析圖表模塊、實(shí)時(shí)數據監控大屏、數據預警或提示、實(shí)時(shí)推薦系統。
項目架構分析
記錄數據采集
實(shí)時(shí)文章采集(如何利用Python編寫(xiě)的異步爬蟲(chóng)框架(圖)實(shí)例 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 179 次瀏覽 ? 2022-02-01 17:10
實(shí)時(shí)文章采集(如何利用Python編寫(xiě)的異步爬蟲(chóng)框架(圖)實(shí)例
)
一、scrapy簡(jiǎn)介
scrapy 是一個(gè)用 Python 編寫(xiě)的異步爬蟲(chóng)框架。它基于 Twisted 實(shí)現，運行在 Linux/Windows/MacOS 等各種環(huán)境中。具有速度快、擴展性強、使用方便等特點(diǎn)。即使是新手也能快速掌握并編寫(xiě)所需的爬蟲(chóng)程序。 scrapy 可以在本地運行或部署到云端 (scrapyd) 以獲取真正的生產(chǎn)級數據采集系統。
我們通過(guò)一個(gè)示例來(lái)學(xué)習如何使用scrapy 來(lái)采集來(lái)自網(wǎng)絡(luò )的數據。 《博客園》是一篇綜合性的技術(shù)資料網(wǎng)站，這次我們的任務(wù)是采集網(wǎng)站MySQL類(lèi)下所有文章的標題、摘要和發(fā)布日期，讀數的數量，共4個(gè)字段。最終結果是一個(gè)收錄所有 4 個(gè)字段的文本文件。如圖：
最終得到的數據如下，每條記錄有四行，分別是標題、閱讀次數、發(fā)表時(shí)間和文章摘要：
二、安裝scrapy
讓我們看看如何安裝scrapy。首先，您的系統中必須有 Python 和 pip。本文以最常見(jiàn)的 Python2.7.5 版本為例。 pip 是 Python 的包管理工具，一般 Linux 系統默認安裝。在命令行輸入以下命令并執行：
sudo pip install scrapy -i http://pypi.douban.com/simple –trusted-host=pypi.douban.com
pip會(huì )從豆瓣的軟件源下載安裝scrapy，所有依賴(lài)包都會(huì )自動(dòng)下載安裝。 “sudo”表示以超級用戶(hù)權限執行此命令。所有進(jìn)度條完成后，如果提示類(lèi)似“Successfully installed Twisted, scrapy ...”，則安裝成功。
三、scrapy 交互環(huán)境
scrapy 還提供了一個(gè)交互式 shell，可以讓我們輕松地測試解析規則。 scrapy安裝成功后，在命令行輸入scrapy shell，啟動(dòng)scrapy的交互環(huán)境。 scrapy shell的提示符是三個(gè)大于號>>>，表示可以接收命令。我們首先使用 fetch() 方法獲取首頁(yè)內容：
>>> fetch( “https://www.cnblogs.com/cate/mysql/” )
如果屏幕顯示如下輸出，則表示已獲取網(wǎng)頁(yè)內容。
2017-09-04 07:46:55 [scrapy.core.engine] INFO: Spider opened
2017-09-04 07:46:55 [scrapy.core.engine] DEBUG: Crawled (200)
(referer: None)
得到的響應會(huì )保存在響應對象中。該對象的status屬性表示HTTP響應狀態(tài)，一般為200。
>>> print response.status
200
text屬性表示返回的內容數據，從中可以解析出想要的內容。
>>> print response.text
u'\r\n\r\n\r\n
\r\n
\r\n
\r\n
MySQL – \u7f51\u7ad9\u5206\u7c7b – \u535a\u5ba2\u56ed\r\n
’
可以看出是亂七八糟的HTML代碼，無(wú)法直觀(guān)的找到我們需要的數據。這時(shí)候我們可以通過(guò)瀏覽器的“開(kāi)發(fā)者工具”獲取指定數據的DOM路徑。用瀏覽器打開(kāi)網(wǎng)頁(yè)后，按F12鍵啟動(dòng)開(kāi)發(fā)者工具，快速定位到指定內容。
可以看到我們需要的4個(gè)字段在/body/div(id=”wrapper”)/div(id=”main”)/div(id=”post_list”)/div(class=”post_item ”) / div(class=”post_item_body”) / ，每個(gè)“post_item_body”收錄一篇文章文章的標題、摘要、發(fā)表日期和閱讀次數。我們先得到所有的“post_item_body”，然后從中解析出每個(gè)文章的4個(gè)字段。
>>> post_item_body = response.xpath( “//div[@id=’wrapper’]/div[@id=’main’]/div[@id=’post_list’]/div[@class=’post_item’]/div[@class=’post_item_body’]” )
>>> len( post_item_body )
20
響應的xpath方法可以使用xpath解析器來(lái)獲取DOM數據。 xpath的語(yǔ)法請參考官網(wǎng)文檔。您可以看到我們在首頁(yè)上獲得了所有 20 篇 文章 文章的 post_item_body。那么如何提取每個(gè)文章的這4個(gè)字段呢？
我們以第一篇文章為例。先取第一個(gè) post_item_body：
>>> first_article = post_item_body[ 0 ]
標題在 post_item_body 節點(diǎn)下的 h3/a 中。 xpath方法中text()的作用是取當前節點(diǎn)的文本，而extract_first()和strip()提取xpath表達式中的節點(diǎn)，過(guò)濾掉前后空格和回車(chē)：
>>> article_title = first_article.xpath( “h3/a/text()” ).extract_first().strip()
>>> print article_title
Mysql表操作和索引操作
然后以類(lèi)似的方式提取文章摘要：
>>> article_summary = first_article.xpath( “p[@class=’post_item_summary’]/text()” ).extract_first().strip()
>>> print article_summary
表操作：1.表創(chuàng )建：如果不存在則創(chuàng )建表 table_name(字段定義);示例：如果不存在則創(chuàng )建表 user(id int auto_increment, uname varchar(20), address varch ...
在提取post_item_foot的時(shí)候，發(fā)現提取了兩組內容，第一組是空內容，第二組是文字“Posted on XXX”。我們提取第二組內容，過(guò)濾掉“published on”這個(gè)詞：
>>> post_date = first_article.xpath( “div[@class=’post_item_foot’]/text()” ).extract()[ 1 ].split( “發(fā)布于” )[ 1 ].strip()
>>> print post_date
2017-09-03 18:13 查看全部
)
一、scrapy簡(jiǎn)介
scrapy 是一個(gè)用 Python 編寫(xiě)的異步爬蟲(chóng)框架。它基于 Twisted 實(shí)現，運行在 Linux/Windows/MacOS 等各種環(huán)境中。具有速度快、擴展性強、使用方便等特點(diǎn)。即使是新手也能快速掌握并編寫(xiě)所需的爬蟲(chóng)程序。 scrapy 可以在本地運行或部署到云端 (scrapyd) 以獲取真正的生產(chǎn)級數據采集系統。
我們通過(guò)一個(gè)示例來(lái)學(xué)習如何使用scrapy 來(lái)采集來(lái)自網(wǎng)絡(luò )的數據。 《博客園》是一篇綜合性的技術(shù)資料網(wǎng)站，這次我們的任務(wù)是采集網(wǎng)站MySQL類(lèi)下所有文章的標題、摘要和發(fā)布日期，讀數的數量，共4個(gè)字段。最終結果是一個(gè)收錄所有 4 個(gè)字段的文本文件。如圖：
最終得到的數據如下，每條記錄有四行，分別是標題、閱讀次數、發(fā)表時(shí)間和文章摘要：
二、安裝scrapy
讓我們看看如何安裝scrapy。首先，您的系統中必須有 Python 和 pip。本文以最常見(jiàn)的 Python2.7.5 版本為例。 pip 是 Python 的包管理工具，一般 Linux 系統默認安裝。在命令行輸入以下命令并執行：
sudo pip install scrapy -i http://pypi.douban.com/simple –trusted-host=pypi.douban.com
pip會(huì )從豆瓣的軟件源下載安裝scrapy，所有依賴(lài)包都會(huì )自動(dòng)下載安裝。 “sudo”表示以超級用戶(hù)權限執行此命令。所有進(jìn)度條完成后，如果提示類(lèi)似“Successfully installed Twisted, scrapy ...”，則安裝成功。
三、scrapy 交互環(huán)境
scrapy 還提供了一個(gè)交互式 shell，可以讓我們輕松地測試解析規則。 scrapy安裝成功后，在命令行輸入scrapy shell，啟動(dòng)scrapy的交互環(huán)境。 scrapy shell的提示符是三個(gè)大于號>>>，表示可以接收命令。我們首先使用 fetch() 方法獲取首頁(yè)內容：
>>> fetch( “https://www.cnblogs.com/cate/mysql/” )
如果屏幕顯示如下輸出，則表示已獲取網(wǎng)頁(yè)內容。
2017-09-04 07:46:55 [scrapy.core.engine] INFO: Spider opened
2017-09-04 07:46:55 [scrapy.core.engine] DEBUG: Crawled (200)
(referer: None)
得到的響應會(huì )保存在響應對象中。該對象的status屬性表示HTTP響應狀態(tài)，一般為200。
>>> print response.status
200
text屬性表示返回的內容數據，從中可以解析出想要的內容。
>>> print response.text
u'\r\n\r\n\r\n
\r\n
\r\n
\r\n
MySQL – \u7f51\u7ad9\u5206\u7c7b – \u535a\u5ba2\u56ed\r\n
’
可以看出是亂七八糟的HTML代碼，無(wú)法直觀(guān)的找到我們需要的數據。這時(shí)候我們可以通過(guò)瀏覽器的“開(kāi)發(fā)者工具”獲取指定數據的DOM路徑。用瀏覽器打開(kāi)網(wǎng)頁(yè)后，按F12鍵啟動(dòng)開(kāi)發(fā)者工具，快速定位到指定內容。
可以看到我們需要的4個(gè)字段在/body/div(id=”wrapper”)/div(id=”main”)/div(id=”post_list”)/div(class=”post_item ”) / div(class=”post_item_body”) / ，每個(gè)“post_item_body”收錄一篇文章文章的標題、摘要、發(fā)表日期和閱讀次數。我們先得到所有的“post_item_body”，然后從中解析出每個(gè)文章的4個(gè)字段。
>>> post_item_body = response.xpath( “//div[@id=’wrapper’]/div[@id=’main’]/div[@id=’post_list’]/div[@class=’post_item’]/div[@class=’post_item_body’]” )
>>> len( post_item_body )
20
響應的xpath方法可以使用xpath解析器來(lái)獲取DOM數據。 xpath的語(yǔ)法請參考官網(wǎng)文檔。您可以看到我們在首頁(yè)上獲得了所有 20 篇 文章 文章的 post_item_body。那么如何提取每個(gè)文章的這4個(gè)字段呢？
我們以第一篇文章為例。先取第一個(gè) post_item_body：
>>> first_article = post_item_body[ 0 ]
標題在 post_item_body 節點(diǎn)下的 h3/a 中。 xpath方法中text()的作用是取當前節點(diǎn)的文本，而extract_first()和strip()提取xpath表達式中的節點(diǎn)，過(guò)濾掉前后空格和回車(chē)：
>>> article_title = first_article.xpath( “h3/a/text()” ).extract_first().strip()
>>> print article_title
Mysql表操作和索引操作
然后以類(lèi)似的方式提取文章摘要：
>>> article_summary = first_article.xpath( “p[@class=’post_item_summary’]/text()” ).extract_first().strip()
>>> print article_summary
表操作：1.表創(chuàng )建：如果不存在則創(chuàng )建表 table_name(字段定義);示例：如果不存在則創(chuàng )建表 user(id int auto_increment, uname varchar(20), address varch ...
在提取post_item_foot的時(shí)候，發(fā)現提取了兩組內容，第一組是空內容，第二組是文字“Posted on XXX”。我們提取第二組內容，過(guò)濾掉“published on”這個(gè)詞：
>>> post_date = first_article.xpath( “div[@class=’post_item_foot’]/text()” ).extract()[ 1 ].split( “發(fā)布于” )[ 1 ].strip()
>>> print post_date
2017-09-03 18:13 查看全部
實(shí)時(shí)文章采集(如何利用Python編寫(xiě)的異步爬蟲(chóng)框架(圖)實(shí)例
)
一、scrapy簡(jiǎn)介
scrapy 是一個(gè)用 Python 編寫(xiě)的異步爬蟲(chóng)框架。它基于 Twisted 實(shí)現，運行在 Linux/Windows/MacOS 等各種環(huán)境中。具有速度快、擴展性強、使用方便等特點(diǎn)。即使是新手也能快速掌握并編寫(xiě)所需的爬蟲(chóng)程序。 scrapy 可以在本地運行或部署到云端 (scrapyd) 以獲取真正的生產(chǎn)級數據采集系統。
我們通過(guò)一個(gè)示例來(lái)學(xué)習如何使用scrapy 來(lái)采集來(lái)自網(wǎng)絡(luò )的數據。 《博客園》是一篇綜合性的技術(shù)資料網(wǎng)站，這次我們的任務(wù)是采集網(wǎng)站MySQL類(lèi)下所有文章的標題、摘要和發(fā)布日期，讀數的數量，共4個(gè)字段。最終結果是一個(gè)收錄所有 4 個(gè)字段的文本文件。如圖：
最終得到的數據如下，每條記錄有四行，分別是標題、閱讀次數、發(fā)表時(shí)間和文章摘要：
二、安裝scrapy
讓我們看看如何安裝scrapy。首先，您的系統中必須有 Python 和 pip。本文以最常見(jiàn)的 Python2.7.5 版本為例。 pip 是 Python 的包管理工具，一般 Linux 系統默認安裝。在命令行輸入以下命令并執行：
sudo pip install scrapy -i http://pypi.douban.com/simple –trusted-host=pypi.douban.com
pip會(huì )從豆瓣的軟件源下載安裝scrapy，所有依賴(lài)包都會(huì )自動(dòng)下載安裝。 “sudo”表示以超級用戶(hù)權限執行此命令。所有進(jìn)度條完成后，如果提示類(lèi)似“Successfully installed Twisted, scrapy ...”，則安裝成功。
三、scrapy 交互環(huán)境
scrapy 還提供了一個(gè)交互式 shell，可以讓我們輕松地測試解析規則。 scrapy安裝成功后，在命令行輸入scrapy shell，啟動(dòng)scrapy的交互環(huán)境。 scrapy shell的提示符是三個(gè)大于號>>>，表示可以接收命令。我們首先使用 fetch() 方法獲取首頁(yè)內容：
>>> fetch( “https://www.cnblogs.com/cate/mysql/” )
如果屏幕顯示如下輸出，則表示已獲取網(wǎng)頁(yè)內容。
2017-09-04 07:46:55 [scrapy.core.engine] INFO: Spider opened
2017-09-04 07:46:55 [scrapy.core.engine] DEBUG: Crawled (200)
(referer: None)
得到的響應會(huì )保存在響應對象中。該對象的status屬性表示HTTP響應狀態(tài)，一般為200。
>>> print response.status
200
text屬性表示返回的內容數據，從中可以解析出想要的內容。
>>> print response.text
u'\r\n\r\n\r\n
\r\n
\r\n
\r\n
MySQL – \u7f51\u7ad9\u5206\u7c7b – \u535a\u5ba2\u56ed\r\n
’
可以看出是亂七八糟的HTML代碼，無(wú)法直觀(guān)的找到我們需要的數據。這時(shí)候我們可以通過(guò)瀏覽器的“開(kāi)發(fā)者工具”獲取指定數據的DOM路徑。用瀏覽器打開(kāi)網(wǎng)頁(yè)后，按F12鍵啟動(dòng)開(kāi)發(fā)者工具，快速定位到指定內容。
可以看到我們需要的4個(gè)字段在/body/div(id=”wrapper”)/div(id=”main”)/div(id=”post_list”)/div(class=”post_item ”) / div(class=”post_item_body”) / ，每個(gè)“post_item_body”收錄一篇文章文章的標題、摘要、發(fā)表日期和閱讀次數。我們先得到所有的“post_item_body”，然后從中解析出每個(gè)文章的4個(gè)字段。
>>> post_item_body = response.xpath( “//div[@id=’wrapper’]/div[@id=’main’]/div[@id=’post_list’]/div[@class=’post_item’]/div[@class=’post_item_body’]” )
>>> len( post_item_body )
20
響應的xpath方法可以使用xpath解析器來(lái)獲取DOM數據。 xpath的語(yǔ)法請參考官網(wǎng)文檔。您可以看到我們在首頁(yè)上獲得了所有 20 篇 文章 文章的 post_item_body。那么如何提取每個(gè)文章的這4個(gè)字段呢？
我們以第一篇文章為例。先取第一個(gè) post_item_body：
>>> first_article = post_item_body[ 0 ]
標題在 post_item_body 節點(diǎn)下的 h3/a 中。 xpath方法中text()的作用是取當前節點(diǎn)的文本，而extract_first()和strip()提取xpath表達式中的節點(diǎn)，過(guò)濾掉前后空格和回車(chē)：
>>> article_title = first_article.xpath( “h3/a/text()” ).extract_first().strip()
>>> print article_title
Mysql表操作和索引操作
然后以類(lèi)似的方式提取文章摘要：
>>> article_summary = first_article.xpath( “p[@class=’post_item_summary’]/text()” ).extract_first().strip()
>>> print article_summary
表操作：1.表創(chuàng )建：如果不存在則創(chuàng )建表 table_name(字段定義);示例：如果不存在則創(chuàng )建表 user(id int auto_increment, uname varchar(20), address varch ...
在提取post_item_foot的時(shí)候，發(fā)現提取了兩組內容，第一組是空內容，第二組是文字“Posted on XXX”。我們提取第二組內容，過(guò)濾掉“published on”這個(gè)詞：
>>> post_date = first_article.xpath( “div[@class=’post_item_foot’]/text()” ).extract()[ 1 ].split( “發(fā)布于” )[ 1 ].strip()
>>> print post_date
2017-09-03 18:13
實(shí)時(shí)文章采集(發(fā)展歷程FlinkSQL應用實(shí)踐平臺建設總結展望(組圖))
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 128 次瀏覽 ? 2022-01-31 09:14
實(shí)時(shí)文章采集(發(fā)展歷程FlinkSQL應用實(shí)踐平臺建設總結展望(組圖))
摘要：本文組織了 Homework Group 實(shí)時(shí)計算負責人張穎在 Flink Forward Asia 2021 上的分享。Flink 在 Homework 實(shí)時(shí)計算的演進(jìn)中發(fā)揮了重要作用。尤其是在 FlinkSQL 的幫助下，實(shí)時(shí)任務(wù)的開(kāi)發(fā)效率得到了極大的提升。本文文章主要分享FlinkSQL在作業(yè)幫助中的使用和實(shí)踐經(jīng)驗，以及隨著(zhù)任務(wù)規模的增加，從0到1搭建實(shí)時(shí)計算平臺過(guò)程中遇到的問(wèn)題和解決方法. 內容包括：
發(fā)展歷程 Flink SQL 應用實(shí)踐平臺建設總結與展望
FFA 2021 現場(chǎng)重播和演講 PDF 下載
一、發(fā)展歷程
Homework Help主要利用人工智能、大數據等技術(shù)為學(xué)生提供更高效的學(xué)習解決方案。因此，業(yè)務(wù)數據主要包括學(xué)生的出勤率和知識點(diǎn)的掌握情況。在整體架構中，無(wú)論是binlog還是普通日志，都是在采集之后寫(xiě)入Kafka，分別通過(guò)實(shí)時(shí)和離線(xiàn)計算寫(xiě)入存儲層?；贠LAP，對外提供相應的產(chǎn)品化服務(wù)，如工作臺、BI分析等。工具。
目前 Homework Help 的實(shí)時(shí)計算主要基于 Flink，開(kāi)發(fā)過(guò)程分為三個(gè)階段：
2019 年實(shí)時(shí)計算包括少量 SparkStreaming 作業(yè)，提供給導師和講師。在解決實(shí)時(shí)性需求的過(guò)程中，會(huì )發(fā)現開(kāi)發(fā)效率很低，數據很難復用；之后，常規的做法是在生產(chǎn)實(shí)踐中逐步應用 Flink JAR，積累經(jīng)驗后開(kāi)始搭建平臺，應用 Flink SQL。但是，20年來(lái)，業(yè)務(wù)提出了很多實(shí)時(shí)計算的需求，我們的開(kāi)發(fā)人力儲備不足。當時(shí)，在 Flink SQL 1.9 發(fā)布后不久，SQL 功能發(fā)生了很大變化，所以我們的做法是直接將 Flink SQL 應用到實(shí)時(shí)數倉方向?，F在，整個(gè)實(shí)時(shí)數倉90%以上的任務(wù)都是使用Flink SQL實(shí)現的。; 到了 2020 年 11 月，Flink 的 Job 數量迅速增加到數百個(gè)，我們開(kāi)始構建從 0 到 1 的實(shí)時(shí)計算平臺，已經(jīng)支撐了公司所有重要業(yè)務(wù)線(xiàn)，并且計算部署在多個(gè)集群上在多云中。
介紹以下兩個(gè)方面：
FlinkSQL實(shí)踐中遇到的典型問(wèn)題及解決方案；搭建實(shí)時(shí)計算平臺過(guò)程中的一些思考。二、Flink SQL 應用實(shí)踐
下面是基于 Flink SQL 的完整數據流架構：
binlog/log 采集 寫(xiě)入 Kafka 后，topic 會(huì )自動(dòng)注冊為元數據表，這是后續所有實(shí)時(shí) SQL 作業(yè)的起點(diǎn)。用戶(hù)可以在 SQL 作業(yè)中使用此表，而無(wú)需定義復雜的 DDL。
同時(shí)，在考慮實(shí)際應用時(shí)，還需要根據元數據表添加或替換表屬性：
新增：元數據記錄表級屬性，但 SQL 作業(yè)可能需要添加任務(wù)級屬性。比如對于Kafka源表，添加job的group.id來(lái)記錄offset；替換：離線(xiàn)測試時(shí)，在引用元數據表的基礎上，只需要定義broker topic等屬性覆蓋源表，即可快速構建一行。測試表格如下。
框架還需要支持用戶(hù)的SQL作業(yè)，方便輸出指標和日志，實(shí)現全鏈路監控和跟蹤。
這里主要介紹SQL添加Trace函數時(shí)的DAG優(yōu)化實(shí)踐，以及我們對Table底層物理存儲的選擇和封裝。
2.1 SQL 添加 Trace 功能
SQL可以提高開(kāi)發(fā)效率，但是業(yè)務(wù)邏輯的復雜度還是有的，復雜的業(yè)務(wù)邏輯寫(xiě)的DML會(huì )很長(cháng)。在這種情況下，建議使用視圖來(lái)提高可讀性。因為視圖的 SQL 比較短，所以不應該像代碼規范中的單個(gè)函數那樣太長(cháng)。
下圖左側是一個(gè)示例任務(wù)的部分DAG，可以看到有很多SQL節點(diǎn)。這種情況下很難定位，因為如果是DataStream API實(shí)現的代碼，也可以加日志。但是 SQL 做不到。用戶(hù)可以干預的入口很少，只能看到整個(gè)作業(yè)的輸入輸出。
類(lèi)似于在函數中打印日志，我們希望支持在視圖中添加 Trace，以方便案例追蹤。
但是我在嘗試將 Trace 添加到 SQL 時(shí)遇到了一些問(wèn)題，這是一個(gè)簡(jiǎn)化的示例：
右上角的SQL創(chuàng )建source_table為源表，prepare_data視圖讀取表，在sql中調用foo udf，然后使用StatementSet分別插入兩個(gè)下游，同時(shí)將視圖轉換為DataStream調用 TraceSDK 寫(xiě)入跟蹤系統。
注意：我們當時(shí)是基于 1.9 開(kāi)發(fā)的。為了清楚起見(jiàn)，我們還使用了一些后來(lái)添加的功能。
上圖下方的實(shí)際 DAG 看起來(lái)并不像預期的那樣：
DAG分為上下不相關(guān)的兩部分。Kafka源表是DataSource部分，讀取兩次；foo 方法被調用了 3 次。
數據源壓力和計算性能需要優(yōu)化。
為了解決這個(gè)問(wèn)題，我們需要從幾個(gè)角度進(jìn)行優(yōu)化。這里主要介紹DAG合并的思想。無(wú)論是table還是stream的env，都會(huì )產(chǎn)生相應的transformation。我們的做法是統一合并到stream env中，這樣就可以在stream env中得到一個(gè)完整的變換列表，然后生成StreamGraph提交。
左下角是我們優(yōu)化的 DAG，讀取源表并只調用一次 foo 方法：
優(yōu)化后的 DAG 效果與我們寫(xiě) SQL 時(shí)的邏輯圖非常相似，性能自然符合預期。
回到問(wèn)題本身，業(yè)務(wù)可以簡(jiǎn)單地用一條語(yǔ)句給視圖的某些字段添加trace，例如：prepare_data.trace.fields=f0,f1. 由于SQL自然收錄字段名，所以trace數據的可讀性甚至高于普通原木。
2.2 表的選擇與設計
如前所述，我們的首要要求是提高人的效率。因此，Table 需要具備更好的分層和復用能力，并且支持模板化開(kāi)發(fā)，以便 N 個(gè)端到端的 Flink 作業(yè)能夠快速串聯(lián)起來(lái)。
我們的解決方案是基于 Redis 實(shí)現的，它首先有幾個(gè)優(yōu)點(diǎn)：
高qps，低延遲：這應該是所有實(shí)時(shí)計算的關(guān)注點(diǎn)；TTL：用戶(hù)無(wú)需關(guān)心數據如何退出，可以給出合理的TTL；通過(guò)使用protobuf等高性能緊湊的序列化方式，使用TTL，整體存儲小于200G，redis的內存壓力可以接受；適合計算模型：為了保證計算本身的時(shí)序，會(huì )進(jìn)行keyBy操作，同時(shí)需要處理的數據會(huì )被shuffle到同一個(gè)并發(fā)，所以不依賴(lài)存儲過(guò)多考慮鎖優(yōu)化。
接下來(lái)，我們的場(chǎng)景主要是解決多索引和觸發(fā)消息的問(wèn)題。
上圖顯示了一個(gè)表格示例，顯示學(xué)生是否出現在某個(gè)章節中：
多索引：數據首先以字符串形式存儲，比如key=(uid, course_id), value=serialize(is_attend, ...)，這樣我們就可以在SQL中JOIN ON uid AND course_id。如果 JOIN ON 其他字段，比如 course_id 怎么辦？我們的做法是同時(shí)寫(xiě)一個(gè)以lesson_id為key的集合，集合中的元素是對應的（uid，lesson_id）。接下來(lái)，在找lesson_id = 123的時(shí)候，先取出集合下的所有元素，然后通過(guò)管道找到所有的VALUE并返回；觸發(fā)消息：寫(xiě)入redis后，會(huì )同時(shí)向Kafka寫(xiě)入一條更新消息。兩個(gè)存儲在 Redis Connector 的實(shí)現中都保證了一致性、順序性和不丟失數據。
這些功能都封裝在 Redis Connector 中，業(yè)務(wù)可以通過(guò) DDL 簡(jiǎn)單定義這樣的 Table。
DDL 中的幾個(gè)重要屬性：
primary 定義主鍵，對應字符串數據結構，如示例中的uid + course_id；index.fields 定義了輔助搜索的索引字段，如示例中的課程id；也可以定義多個(gè)索引；poster.kafka定義了接收觸發(fā)消息kafka表也定義在元數據中，用戶(hù)可以在后續的SQL作業(yè)中直接讀取該表而無(wú)需定義。
因此，整個(gè)開(kāi)發(fā)模式復用性高，用戶(hù)可以輕松開(kāi)發(fā)端到端的N個(gè)SQL作業(yè)，而無(wú)需擔心如何追溯案例。
三、平臺搭建
上述數據流架構搭建完成后，2020.11的實(shí)時(shí)作業(yè)數量迅速增加到幾百個(gè)，比2019年快很多。這個(gè)時(shí)候我們開(kāi)始搭建實(shí)時(shí)計算平臺從0到1，然后分享了搭建過(guò)程中的一些想法。
平臺支持的功能主要有三個(gè)起點(diǎn)：
統一：統一不同云廠(chǎng)商的不同集群環(huán)境、Flink版本、提交方式等。之前hadoop客戶(hù)端分散在用戶(hù)的提交機器上，給集群數據和任務(wù)安全帶來(lái)隱患，增加了后續集群升級和遷移的成本。我們希望通過(guò)平臺統一任務(wù)的提交入口和提交方式；易用性：平臺交互可以提供更易用的功能，比如調試、語(yǔ)義檢測等，可以提高任務(wù)測試的人為效率，記錄任務(wù)的版本歷史。方便的在線(xiàn)和回滾操作；規范：權限控制、流程審批等，類(lèi)似于線(xiàn)上服務(wù)的線(xiàn)上流程，通過(guò)平臺，實(shí)時(shí)任務(wù)的研發(fā)流程可以標準化。3.1 規范——實(shí)時(shí)任務(wù)進(jìn)程管理
FlinkSQL 讓開(kāi)發(fā)變得非常簡(jiǎn)單高效，但是越簡(jiǎn)單越難標準化，因為寫(xiě)一段 SQL 可能只需要兩個(gè)小時(shí)，但通過(guò)規范卻需要半天時(shí)間。
但是，該規范仍然需要執行。一些問(wèn)題類(lèi)似于在線(xiàn)服務(wù)，在實(shí)時(shí)計算中也遇到過(guò)：
記不清了：任務(wù)上線(xiàn)已經(jīng)一年了，最初的需求可能是口耳相傳。最好記住wiki或email，但在任務(wù)交接時(shí)容易記??；不規范：UDF或DataStream代碼 兩種方式都沒(méi)有按照規范，可讀性差，以至于后來(lái)接手的同學(xué)不能升級，或者不敢改，長(cháng)期維護不了。還應該有一個(gè)關(guān)于如何編寫(xiě)包括實(shí)時(shí)任務(wù)的 SQL 的規范；找不到：線(xiàn)上運行的任務(wù)依賴(lài)一個(gè)jar，哪個(gè)git模塊對應哪個(gè)commitId，如果有問(wèn)題如何第一時(shí)間找到對應的代碼實(shí)現；盲改：一直正常的任務(wù)，周末突然報警，
規范主要分為三個(gè)部分：
開(kāi)發(fā)：RD 可以從 UDF 原型項目快速創(chuàng )建 UDF 模塊，該項目基于 flink 快速入門(mén)。創(chuàng )建的 UDF 模塊可以正常編譯，包括 WordCount 之類(lèi)的 udf 示例，以及 ReadMe 和 VersionHelper 等默認的 helper 方法。根據業(yè)務(wù)需求修改后，通過(guò)CR上傳到Git；需求管理和編譯：提交的代碼會(huì )與需求卡片關(guān)聯(lián)，集群編譯和QA測試后，可以在線(xiàn)下單；在線(xiàn)：根據模塊和編譯輸出，選擇更新/被job owner或leader批準后創(chuàng )建和重新部署哪些job。
整個(gè)研發(fā)過(guò)程不能離線(xiàn)修改，比如更改jar包或者對哪個(gè)任務(wù)生效。一個(gè)實(shí)時(shí)任務(wù)，即使運行幾年，也能查到誰(shuí)在線(xiàn)，誰(shuí)批準了當前任務(wù)，當時(shí)的測試記錄，對應的Git代碼，提出的實(shí)時(shí)指標要求由誰(shuí)開(kāi)始。任務(wù)維持很長(cháng)時(shí)間。
3.2 易用性 - 監控
我們當前的 Flink 作業(yè)在 Yarn 上運行。作業(yè)啟動(dòng)后，預計 Prometheus 會(huì )抓取 Yarn 分配的 Container，然后連接到報警系統。用戶(hù)可以根據告警系統配置Kafka延遲告警和Checkpoint故障告警。構建此路徑時(shí)遇到兩個(gè)主要問(wèn)題：
PrometheusReporter啟動(dòng)HTTPServer后，Prometheus如何動(dòng)態(tài)感知；它還需要能夠控制度量的大小，以避免采集大量無(wú)用數據；我們的 SQL 源表基本上是基于 Kafka 的。相比第三方工具，在計算平臺上配置Kafka延遲告警更方便。因為自然可以得到任務(wù)讀取的topic和group.id，所以也可以和任務(wù)失敗使用同一個(gè)告警組。結合告警模板，配置告警非常簡(jiǎn)單。
關(guān)于解決方案：
發(fā)現功能是在官方PrometheusReporter的基礎上增加的。Container 的 HTTPServer 啟動(dòng)后，對應的 ip:port 以臨時(shí)節點(diǎn)的形式注冊到 zk 上，然后使用 Prometheus 的 discover 目標來(lái)監控 zk 節點(diǎn)的變化。由于是臨時(shí)節點(diǎn)，當 Container 被銷(xiāo)毀時(shí)，該節點(diǎn)就消失了，Prometheus 也能感應到它不再被抓取。這樣一來(lái)，就很容易為普羅米修斯搭建一條搶奪的路徑。KafkaConsumer.records-lag 是一個(gè)比較實(shí)用和重要的延遲指標，它主要做了兩個(gè)任務(wù)。修改 KafkaConnector 并在 KafkaConsumer.poll 之后將其公開(kāi)，以確保 records-lag 指示器可見(jiàn)。此外，在這樣做的過(guò)程中，我們發(fā)現不同Kafka版本的metric格式是不同的()。我們的方法是將它們扁平化為一種格式，并將它們注冊到 flink 的指標中。這樣不同版本暴露的指標是一致的。四、總結與展望
上一階段使用 Flink SQL 來(lái)支持實(shí)時(shí)作業(yè)的快速開(kāi)發(fā)，搭建了實(shí)時(shí)計算平臺來(lái)支持數千個(gè) Flink 作業(yè)。
更大的見(jiàn)解之一是 SQL 確實(shí)簡(jiǎn)化了開(kāi)發(fā)，但它也阻止了更多的技術(shù)細節。對實(shí)時(shí)作業(yè)運維工具的要求，比如 Trace，或者任務(wù)的規范沒(méi)有改變，對這些的要求更加嚴格。因為在細節被屏蔽的同時(shí)，一旦出現問(wèn)題，用戶(hù)不知道如何處理。就像冰山一角，漏水越少，下沉越多，越需要做好周邊系統的建設。
二是適應現狀。一是能盡快滿(mǎn)足當前的需求。比如，我們正在提高人的效率，降低發(fā)展門(mén)檻。同時(shí)還要繼續探索更多的業(yè)務(wù)場(chǎng)景，比如用HBase和RPC服務(wù)代替Redis Connector?，F在的好處是修改了底層存儲，用戶(hù)對SQL作業(yè)的感知很小，因為SQL作業(yè)基本都是業(yè)務(wù)邏輯，DDL定義了元數據。
接下來(lái)的計劃主要分為三個(gè)部分：
支持資源彈性伸縮，平衡實(shí)時(shí)作業(yè)的成本和時(shí)效；我們從 1.9 開(kāi)始大規模應用 Flink SQL，現在版本升級變化很大，需要考慮如何讓業(yè)務(wù)能夠低成本升級和使用新版本。版本中的功能；探索流批融合在實(shí)際業(yè)務(wù)場(chǎng)景中的實(shí)現。
FFA 2021 現場(chǎng)重播和演講 PDF 下載
更多Flink相關(guān)技術(shù)問(wèn)題，可以?huà)叽a加入社區釘釘交流群 查看全部
摘要：本文組織了 Homework Group 實(shí)時(shí)計算負責人張穎在 Flink Forward Asia 2021 上的分享。Flink 在 Homework 實(shí)時(shí)計算的演進(jìn)中發(fā)揮了重要作用。尤其是在 FlinkSQL 的幫助下，實(shí)時(shí)任務(wù)的開(kāi)發(fā)效率得到了極大的提升。本文文章主要分享FlinkSQL在作業(yè)幫助中的使用和實(shí)踐經(jīng)驗，以及隨著(zhù)任務(wù)規模的增加，從0到1搭建實(shí)時(shí)計算平臺過(guò)程中遇到的問(wèn)題和解決方法. 內容包括：
發(fā)展歷程 Flink SQL 應用實(shí)踐平臺建設總結與展望
FFA 2021 現場(chǎng)重播和演講 PDF 下載
一、發(fā)展歷程
Homework Help主要利用人工智能、大數據等技術(shù)為學(xué)生提供更高效的學(xué)習解決方案。因此，業(yè)務(wù)數據主要包括學(xué)生的出勤率和知識點(diǎn)的掌握情況。在整體架構中，無(wú)論是binlog還是普通日志，都是在采集之后寫(xiě)入Kafka，分別通過(guò)實(shí)時(shí)和離線(xiàn)計算寫(xiě)入存儲層?；贠LAP，對外提供相應的產(chǎn)品化服務(wù)，如工作臺、BI分析等。工具。
目前 Homework Help 的實(shí)時(shí)計算主要基于 Flink，開(kāi)發(fā)過(guò)程分為三個(gè)階段：
2019 年實(shí)時(shí)計算包括少量 SparkStreaming 作業(yè)，提供給導師和講師。在解決實(shí)時(shí)性需求的過(guò)程中，會(huì )發(fā)現開(kāi)發(fā)效率很低，數據很難復用；之后，常規的做法是在生產(chǎn)實(shí)踐中逐步應用 Flink JAR，積累經(jīng)驗后開(kāi)始搭建平臺，應用 Flink SQL。但是，20年來(lái)，業(yè)務(wù)提出了很多實(shí)時(shí)計算的需求，我們的開(kāi)發(fā)人力儲備不足。當時(shí)，在 Flink SQL 1.9 發(fā)布后不久，SQL 功能發(fā)生了很大變化，所以我們的做法是直接將 Flink SQL 應用到實(shí)時(shí)數倉方向?，F在，整個(gè)實(shí)時(shí)數倉90%以上的任務(wù)都是使用Flink SQL實(shí)現的。; 到了 2020 年 11 月，Flink 的 Job 數量迅速增加到數百個(gè)，我們開(kāi)始構建從 0 到 1 的實(shí)時(shí)計算平臺，已經(jīng)支撐了公司所有重要業(yè)務(wù)線(xiàn)，并且計算部署在多個(gè)集群上在多云中。
介紹以下兩個(gè)方面：
FlinkSQL實(shí)踐中遇到的典型問(wèn)題及解決方案；搭建實(shí)時(shí)計算平臺過(guò)程中的一些思考。二、Flink SQL 應用實(shí)踐
下面是基于 Flink SQL 的完整數據流架構：
binlog/log 采集 寫(xiě)入 Kafka 后，topic 會(huì )自動(dòng)注冊為元數據表，這是后續所有實(shí)時(shí) SQL 作業(yè)的起點(diǎn)。用戶(hù)可以在 SQL 作業(yè)中使用此表，而無(wú)需定義復雜的 DDL。
同時(shí)，在考慮實(shí)際應用時(shí)，還需要根據元數據表添加或替換表屬性：
新增：元數據記錄表級屬性，但 SQL 作業(yè)可能需要添加任務(wù)級屬性。比如對于Kafka源表，添加job的group.id來(lái)記錄offset；替換：離線(xiàn)測試時(shí)，在引用元數據表的基礎上，只需要定義broker topic等屬性覆蓋源表，即可快速構建一行。測試表格如下。
框架還需要支持用戶(hù)的SQL作業(yè)，方便輸出指標和日志，實(shí)現全鏈路監控和跟蹤。
這里主要介紹SQL添加Trace函數時(shí)的DAG優(yōu)化實(shí)踐，以及我們對Table底層物理存儲的選擇和封裝。
2.1 SQL 添加 Trace 功能
SQL可以提高開(kāi)發(fā)效率，但是業(yè)務(wù)邏輯的復雜度還是有的，復雜的業(yè)務(wù)邏輯寫(xiě)的DML會(huì )很長(cháng)。在這種情況下，建議使用視圖來(lái)提高可讀性。因為視圖的 SQL 比較短，所以不應該像代碼規范中的單個(gè)函數那樣太長(cháng)。
下圖左側是一個(gè)示例任務(wù)的部分DAG，可以看到有很多SQL節點(diǎn)。這種情況下很難定位，因為如果是DataStream API實(shí)現的代碼，也可以加日志。但是 SQL 做不到。用戶(hù)可以干預的入口很少，只能看到整個(gè)作業(yè)的輸入輸出。
類(lèi)似于在函數中打印日志，我們希望支持在視圖中添加 Trace，以方便案例追蹤。
但是我在嘗試將 Trace 添加到 SQL 時(shí)遇到了一些問(wèn)題，這是一個(gè)簡(jiǎn)化的示例：
右上角的SQL創(chuàng )建source_table為源表，prepare_data視圖讀取表，在sql中調用foo udf，然后使用StatementSet分別插入兩個(gè)下游，同時(shí)將視圖轉換為DataStream調用 TraceSDK 寫(xiě)入跟蹤系統。
注意：我們當時(shí)是基于 1.9 開(kāi)發(fā)的。為了清楚起見(jiàn)，我們還使用了一些后來(lái)添加的功能。
上圖下方的實(shí)際 DAG 看起來(lái)并不像預期的那樣：
DAG分為上下不相關(guān)的兩部分。Kafka源表是DataSource部分，讀取兩次；foo 方法被調用了 3 次。
數據源壓力和計算性能需要優(yōu)化。
為了解決這個(gè)問(wèn)題，我們需要從幾個(gè)角度進(jìn)行優(yōu)化。這里主要介紹DAG合并的思想。無(wú)論是table還是stream的env，都會(huì )產(chǎn)生相應的transformation。我們的做法是統一合并到stream env中，這樣就可以在stream env中得到一個(gè)完整的變換列表，然后生成StreamGraph提交。
左下角是我們優(yōu)化的 DAG，讀取源表并只調用一次 foo 方法：
優(yōu)化后的 DAG 效果與我們寫(xiě) SQL 時(shí)的邏輯圖非常相似，性能自然符合預期。
回到問(wèn)題本身，業(yè)務(wù)可以簡(jiǎn)單地用一條語(yǔ)句給視圖的某些字段添加trace，例如：prepare_data.trace.fields=f0,f1. 由于SQL自然收錄字段名，所以trace數據的可讀性甚至高于普通原木。
2.2 表的選擇與設計
如前所述，我們的首要要求是提高人的效率。因此，Table 需要具備更好的分層和復用能力，并且支持模板化開(kāi)發(fā)，以便 N 個(gè)端到端的 Flink 作業(yè)能夠快速串聯(lián)起來(lái)。
我們的解決方案是基于 Redis 實(shí)現的，它首先有幾個(gè)優(yōu)點(diǎn)：
高qps，低延遲：這應該是所有實(shí)時(shí)計算的關(guān)注點(diǎn)；TTL：用戶(hù)無(wú)需關(guān)心數據如何退出，可以給出合理的TTL；通過(guò)使用protobuf等高性能緊湊的序列化方式，使用TTL，整體存儲小于200G，redis的內存壓力可以接受；適合計算模型：為了保證計算本身的時(shí)序，會(huì )進(jìn)行keyBy操作，同時(shí)需要處理的數據會(huì )被shuffle到同一個(gè)并發(fā)，所以不依賴(lài)存儲過(guò)多考慮鎖優(yōu)化。
接下來(lái)，我們的場(chǎng)景主要是解決多索引和觸發(fā)消息的問(wèn)題。
上圖顯示了一個(gè)表格示例，顯示學(xué)生是否出現在某個(gè)章節中：
多索引：數據首先以字符串形式存儲，比如key=(uid, course_id), value=serialize(is_attend, ...)，這樣我們就可以在SQL中JOIN ON uid AND course_id。如果 JOIN ON 其他字段，比如 course_id 怎么辦？我們的做法是同時(shí)寫(xiě)一個(gè)以lesson_id為key的集合，集合中的元素是對應的（uid，lesson_id）。接下來(lái)，在找lesson_id = 123的時(shí)候，先取出集合下的所有元素，然后通過(guò)管道找到所有的VALUE并返回；觸發(fā)消息：寫(xiě)入redis后，會(huì )同時(shí)向Kafka寫(xiě)入一條更新消息。兩個(gè)存儲在 Redis Connector 的實(shí)現中都保證了一致性、順序性和不丟失數據。
這些功能都封裝在 Redis Connector 中，業(yè)務(wù)可以通過(guò) DDL 簡(jiǎn)單定義這樣的 Table。
DDL 中的幾個(gè)重要屬性：
primary 定義主鍵，對應字符串數據結構，如示例中的uid + course_id；index.fields 定義了輔助搜索的索引字段，如示例中的課程id；也可以定義多個(gè)索引；poster.kafka定義了接收觸發(fā)消息kafka表也定義在元數據中，用戶(hù)可以在后續的SQL作業(yè)中直接讀取該表而無(wú)需定義。
因此，整個(gè)開(kāi)發(fā)模式復用性高，用戶(hù)可以輕松開(kāi)發(fā)端到端的N個(gè)SQL作業(yè)，而無(wú)需擔心如何追溯案例。
三、平臺搭建
上述數據流架構搭建完成后，2020.11的實(shí)時(shí)作業(yè)數量迅速增加到幾百個(gè)，比2019年快很多。這個(gè)時(shí)候我們開(kāi)始搭建實(shí)時(shí)計算平臺從0到1，然后分享了搭建過(guò)程中的一些想法。
平臺支持的功能主要有三個(gè)起點(diǎn)：
統一：統一不同云廠(chǎng)商的不同集群環(huán)境、Flink版本、提交方式等。之前hadoop客戶(hù)端分散在用戶(hù)的提交機器上，給集群數據和任務(wù)安全帶來(lái)隱患，增加了后續集群升級和遷移的成本。我們希望通過(guò)平臺統一任務(wù)的提交入口和提交方式；易用性：平臺交互可以提供更易用的功能，比如調試、語(yǔ)義檢測等，可以提高任務(wù)測試的人為效率，記錄任務(wù)的版本歷史。方便的在線(xiàn)和回滾操作；規范：權限控制、流程審批等，類(lèi)似于線(xiàn)上服務(wù)的線(xiàn)上流程，通過(guò)平臺，實(shí)時(shí)任務(wù)的研發(fā)流程可以標準化。3.1 規范——實(shí)時(shí)任務(wù)進(jìn)程管理
FlinkSQL 讓開(kāi)發(fā)變得非常簡(jiǎn)單高效，但是越簡(jiǎn)單越難標準化，因為寫(xiě)一段 SQL 可能只需要兩個(gè)小時(shí)，但通過(guò)規范卻需要半天時(shí)間。
但是，該規范仍然需要執行。一些問(wèn)題類(lèi)似于在線(xiàn)服務(wù)，在實(shí)時(shí)計算中也遇到過(guò)：
記不清了：任務(wù)上線(xiàn)已經(jīng)一年了，最初的需求可能是口耳相傳。最好記住wiki或email，但在任務(wù)交接時(shí)容易記??；不規范：UDF或DataStream代碼 兩種方式都沒(méi)有按照規范，可讀性差，以至于后來(lái)接手的同學(xué)不能升級，或者不敢改，長(cháng)期維護不了。還應該有一個(gè)關(guān)于如何編寫(xiě)包括實(shí)時(shí)任務(wù)的 SQL 的規范；找不到：線(xiàn)上運行的任務(wù)依賴(lài)一個(gè)jar，哪個(gè)git模塊對應哪個(gè)commitId，如果有問(wèn)題如何第一時(shí)間找到對應的代碼實(shí)現；盲改：一直正常的任務(wù)，周末突然報警，
規范主要分為三個(gè)部分：
開(kāi)發(fā)：RD 可以從 UDF 原型項目快速創(chuàng )建 UDF 模塊，該項目基于 flink 快速入門(mén)。創(chuàng )建的 UDF 模塊可以正常編譯，包括 WordCount 之類(lèi)的 udf 示例，以及 ReadMe 和 VersionHelper 等默認的 helper 方法。根據業(yè)務(wù)需求修改后，通過(guò)CR上傳到Git；需求管理和編譯：提交的代碼會(huì )與需求卡片關(guān)聯(lián)，集群編譯和QA測試后，可以在線(xiàn)下單；在線(xiàn)：根據模塊和編譯輸出，選擇更新/被job owner或leader批準后創(chuàng )建和重新部署哪些job。
整個(gè)研發(fā)過(guò)程不能離線(xiàn)修改，比如更改jar包或者對哪個(gè)任務(wù)生效。一個(gè)實(shí)時(shí)任務(wù)，即使運行幾年，也能查到誰(shuí)在線(xiàn)，誰(shuí)批準了當前任務(wù)，當時(shí)的測試記錄，對應的Git代碼，提出的實(shí)時(shí)指標要求由誰(shuí)開(kāi)始。任務(wù)維持很長(cháng)時(shí)間。
3.2 易用性 - 監控
我們當前的 Flink 作業(yè)在 Yarn 上運行。作業(yè)啟動(dòng)后，預計 Prometheus 會(huì )抓取 Yarn 分配的 Container，然后連接到報警系統。用戶(hù)可以根據告警系統配置Kafka延遲告警和Checkpoint故障告警。構建此路徑時(shí)遇到兩個(gè)主要問(wèn)題：
PrometheusReporter啟動(dòng)HTTPServer后，Prometheus如何動(dòng)態(tài)感知；它還需要能夠控制度量的大小，以避免采集大量無(wú)用數據；我們的 SQL 源表基本上是基于 Kafka 的。相比第三方工具，在計算平臺上配置Kafka延遲告警更方便。因為自然可以得到任務(wù)讀取的topic和group.id，所以也可以和任務(wù)失敗使用同一個(gè)告警組。結合告警模板，配置告警非常簡(jiǎn)單。
關(guān)于解決方案：
發(fā)現功能是在官方PrometheusReporter的基礎上增加的。Container 的 HTTPServer 啟動(dòng)后，對應的 ip:port 以臨時(shí)節點(diǎn)的形式注冊到 zk 上，然后使用 Prometheus 的 discover 目標來(lái)監控 zk 節點(diǎn)的變化。由于是臨時(shí)節點(diǎn)，當 Container 被銷(xiāo)毀時(shí)，該節點(diǎn)就消失了，Prometheus 也能感應到它不再被抓取。這樣一來(lái)，就很容易為普羅米修斯搭建一條搶奪的路徑。KafkaConsumer.records-lag 是一個(gè)比較實(shí)用和重要的延遲指標，它主要做了兩個(gè)任務(wù)。修改 KafkaConnector 并在 KafkaConsumer.poll 之后將其公開(kāi)，以確保 records-lag 指示器可見(jiàn)。此外，在這樣做的過(guò)程中，我們發(fā)現不同Kafka版本的metric格式是不同的()。我們的方法是將它們扁平化為一種格式，并將它們注冊到 flink 的指標中。這樣不同版本暴露的指標是一致的。四、總結與展望
上一階段使用 Flink SQL 來(lái)支持實(shí)時(shí)作業(yè)的快速開(kāi)發(fā)，搭建了實(shí)時(shí)計算平臺來(lái)支持數千個(gè) Flink 作業(yè)。
更大的見(jiàn)解之一是 SQL 確實(shí)簡(jiǎn)化了開(kāi)發(fā)，但它也阻止了更多的技術(shù)細節。對實(shí)時(shí)作業(yè)運維工具的要求，比如 Trace，或者任務(wù)的規范沒(méi)有改變，對這些的要求更加嚴格。因為在細節被屏蔽的同時(shí)，一旦出現問(wèn)題，用戶(hù)不知道如何處理。就像冰山一角，漏水越少，下沉越多，越需要做好周邊系統的建設。
二是適應現狀。一是能盡快滿(mǎn)足當前的需求。比如，我們正在提高人的效率，降低發(fā)展門(mén)檻。同時(shí)還要繼續探索更多的業(yè)務(wù)場(chǎng)景，比如用HBase和RPC服務(wù)代替Redis Connector?，F在的好處是修改了底層存儲，用戶(hù)對SQL作業(yè)的感知很小，因為SQL作業(yè)基本都是業(yè)務(wù)邏輯，DDL定義了元數據。
接下來(lái)的計劃主要分為三個(gè)部分：
支持資源彈性伸縮，平衡實(shí)時(shí)作業(yè)的成本和時(shí)效；我們從 1.9 開(kāi)始大規模應用 Flink SQL，現在版本升級變化很大，需要考慮如何讓業(yè)務(wù)能夠低成本升級和使用新版本。版本中的功能；探索流批融合在實(shí)際業(yè)務(wù)場(chǎng)景中的實(shí)現。
FFA 2021 現場(chǎng)重播和演講 PDF 下載
更多Flink相關(guān)技術(shù)問(wèn)題，可以?huà)叽a加入社區釘釘交流群 查看全部
實(shí)時(shí)文章采集(發(fā)展歷程FlinkSQL應用實(shí)踐平臺建設總結展望(組圖))
摘要：本文組織了 Homework Group 實(shí)時(shí)計算負責人張穎在 Flink Forward Asia 2021 上的分享。Flink 在 Homework 實(shí)時(shí)計算的演進(jìn)中發(fā)揮了重要作用。尤其是在 FlinkSQL 的幫助下，實(shí)時(shí)任務(wù)的開(kāi)發(fā)效率得到了極大的提升。本文文章主要分享FlinkSQL在作業(yè)幫助中的使用和實(shí)踐經(jīng)驗，以及隨著(zhù)任務(wù)規模的增加，從0到1搭建實(shí)時(shí)計算平臺過(guò)程中遇到的問(wèn)題和解決方法. 內容包括：
發(fā)展歷程 Flink SQL 應用實(shí)踐平臺建設總結與展望
FFA 2021 現場(chǎng)重播和演講 PDF 下載
一、發(fā)展歷程
Homework Help主要利用人工智能、大數據等技術(shù)為學(xué)生提供更高效的學(xué)習解決方案。因此，業(yè)務(wù)數據主要包括學(xué)生的出勤率和知識點(diǎn)的掌握情況。在整體架構中，無(wú)論是binlog還是普通日志，都是在采集之后寫(xiě)入Kafka，分別通過(guò)實(shí)時(shí)和離線(xiàn)計算寫(xiě)入存儲層?；贠LAP，對外提供相應的產(chǎn)品化服務(wù)，如工作臺、BI分析等。工具。
目前 Homework Help 的實(shí)時(shí)計算主要基于 Flink，開(kāi)發(fā)過(guò)程分為三個(gè)階段：
2019 年實(shí)時(shí)計算包括少量 SparkStreaming 作業(yè)，提供給導師和講師。在解決實(shí)時(shí)性需求的過(guò)程中，會(huì )發(fā)現開(kāi)發(fā)效率很低，數據很難復用；之后，常規的做法是在生產(chǎn)實(shí)踐中逐步應用 Flink JAR，積累經(jīng)驗后開(kāi)始搭建平臺，應用 Flink SQL。但是，20年來(lái)，業(yè)務(wù)提出了很多實(shí)時(shí)計算的需求，我們的開(kāi)發(fā)人力儲備不足。當時(shí)，在 Flink SQL 1.9 發(fā)布后不久，SQL 功能發(fā)生了很大變化，所以我們的做法是直接將 Flink SQL 應用到實(shí)時(shí)數倉方向?，F在，整個(gè)實(shí)時(shí)數倉90%以上的任務(wù)都是使用Flink SQL實(shí)現的。; 到了 2020 年 11 月，Flink 的 Job 數量迅速增加到數百個(gè)，我們開(kāi)始構建從 0 到 1 的實(shí)時(shí)計算平臺，已經(jīng)支撐了公司所有重要業(yè)務(wù)線(xiàn)，并且計算部署在多個(gè)集群上在多云中。
介紹以下兩個(gè)方面：
FlinkSQL實(shí)踐中遇到的典型問(wèn)題及解決方案；搭建實(shí)時(shí)計算平臺過(guò)程中的一些思考。二、Flink SQL 應用實(shí)踐
下面是基于 Flink SQL 的完整數據流架構：
binlog/log 采集 寫(xiě)入 Kafka 后，topic 會(huì )自動(dòng)注冊為元數據表，這是后續所有實(shí)時(shí) SQL 作業(yè)的起點(diǎn)。用戶(hù)可以在 SQL 作業(yè)中使用此表，而無(wú)需定義復雜的 DDL。
同時(shí)，在考慮實(shí)際應用時(shí)，還需要根據元數據表添加或替換表屬性：
新增：元數據記錄表級屬性，但 SQL 作業(yè)可能需要添加任務(wù)級屬性。比如對于Kafka源表，添加job的group.id來(lái)記錄offset；替換：離線(xiàn)測試時(shí)，在引用元數據表的基礎上，只需要定義broker topic等屬性覆蓋源表，即可快速構建一行。測試表格如下。
框架還需要支持用戶(hù)的SQL作業(yè)，方便輸出指標和日志，實(shí)現全鏈路監控和跟蹤。
這里主要介紹SQL添加Trace函數時(shí)的DAG優(yōu)化實(shí)踐，以及我們對Table底層物理存儲的選擇和封裝。
2.1 SQL 添加 Trace 功能
SQL可以提高開(kāi)發(fā)效率，但是業(yè)務(wù)邏輯的復雜度還是有的，復雜的業(yè)務(wù)邏輯寫(xiě)的DML會(huì )很長(cháng)。在這種情況下，建議使用視圖來(lái)提高可讀性。因為視圖的 SQL 比較短，所以不應該像代碼規范中的單個(gè)函數那樣太長(cháng)。
下圖左側是一個(gè)示例任務(wù)的部分DAG，可以看到有很多SQL節點(diǎn)。這種情況下很難定位，因為如果是DataStream API實(shí)現的代碼，也可以加日志。但是 SQL 做不到。用戶(hù)可以干預的入口很少，只能看到整個(gè)作業(yè)的輸入輸出。
類(lèi)似于在函數中打印日志，我們希望支持在視圖中添加 Trace，以方便案例追蹤。
但是我在嘗試將 Trace 添加到 SQL 時(shí)遇到了一些問(wèn)題，這是一個(gè)簡(jiǎn)化的示例：
右上角的SQL創(chuàng )建source_table為源表，prepare_data視圖讀取表，在sql中調用foo udf，然后使用StatementSet分別插入兩個(gè)下游，同時(shí)將視圖轉換為DataStream調用 TraceSDK 寫(xiě)入跟蹤系統。
注意：我們當時(shí)是基于 1.9 開(kāi)發(fā)的。為了清楚起見(jiàn)，我們還使用了一些后來(lái)添加的功能。
上圖下方的實(shí)際 DAG 看起來(lái)并不像預期的那樣：
DAG分為上下不相關(guān)的兩部分。Kafka源表是DataSource部分，讀取兩次；foo 方法被調用了 3 次。
數據源壓力和計算性能需要優(yōu)化。
為了解決這個(gè)問(wèn)題，我們需要從幾個(gè)角度進(jìn)行優(yōu)化。這里主要介紹DAG合并的思想。無(wú)論是table還是stream的env，都會(huì )產(chǎn)生相應的transformation。我們的做法是統一合并到stream env中，這樣就可以在stream env中得到一個(gè)完整的變換列表，然后生成StreamGraph提交。
左下角是我們優(yōu)化的 DAG，讀取源表并只調用一次 foo 方法：
優(yōu)化后的 DAG 效果與我們寫(xiě) SQL 時(shí)的邏輯圖非常相似，性能自然符合預期。
回到問(wèn)題本身，業(yè)務(wù)可以簡(jiǎn)單地用一條語(yǔ)句給視圖的某些字段添加trace，例如：prepare_data.trace.fields=f0,f1. 由于SQL自然收錄字段名，所以trace數據的可讀性甚至高于普通原木。
2.2 表的選擇與設計
如前所述，我們的首要要求是提高人的效率。因此，Table 需要具備更好的分層和復用能力，并且支持模板化開(kāi)發(fā)，以便 N 個(gè)端到端的 Flink 作業(yè)能夠快速串聯(lián)起來(lái)。
我們的解決方案是基于 Redis 實(shí)現的，它首先有幾個(gè)優(yōu)點(diǎn)：
高qps，低延遲：這應該是所有實(shí)時(shí)計算的關(guān)注點(diǎn)；TTL：用戶(hù)無(wú)需關(guān)心數據如何退出，可以給出合理的TTL；通過(guò)使用protobuf等高性能緊湊的序列化方式，使用TTL，整體存儲小于200G，redis的內存壓力可以接受；適合計算模型：為了保證計算本身的時(shí)序，會(huì )進(jìn)行keyBy操作，同時(shí)需要處理的數據會(huì )被shuffle到同一個(gè)并發(fā)，所以不依賴(lài)存儲過(guò)多考慮鎖優(yōu)化。
接下來(lái)，我們的場(chǎng)景主要是解決多索引和觸發(fā)消息的問(wèn)題。
上圖顯示了一個(gè)表格示例，顯示學(xué)生是否出現在某個(gè)章節中：
多索引：數據首先以字符串形式存儲，比如key=(uid, course_id), value=serialize(is_attend, ...)，這樣我們就可以在SQL中JOIN ON uid AND course_id。如果 JOIN ON 其他字段，比如 course_id 怎么辦？我們的做法是同時(shí)寫(xiě)一個(gè)以lesson_id為key的集合，集合中的元素是對應的（uid，lesson_id）。接下來(lái)，在找lesson_id = 123的時(shí)候，先取出集合下的所有元素，然后通過(guò)管道找到所有的VALUE并返回；觸發(fā)消息：寫(xiě)入redis后，會(huì )同時(shí)向Kafka寫(xiě)入一條更新消息。兩個(gè)存儲在 Redis Connector 的實(shí)現中都保證了一致性、順序性和不丟失數據。
這些功能都封裝在 Redis Connector 中，業(yè)務(wù)可以通過(guò) DDL 簡(jiǎn)單定義這樣的 Table。
DDL 中的幾個(gè)重要屬性：
primary 定義主鍵，對應字符串數據結構，如示例中的uid + course_id；index.fields 定義了輔助搜索的索引字段，如示例中的課程id；也可以定義多個(gè)索引；poster.kafka定義了接收觸發(fā)消息kafka表也定義在元數據中，用戶(hù)可以在后續的SQL作業(yè)中直接讀取該表而無(wú)需定義。
因此，整個(gè)開(kāi)發(fā)模式復用性高，用戶(hù)可以輕松開(kāi)發(fā)端到端的N個(gè)SQL作業(yè)，而無(wú)需擔心如何追溯案例。
三、平臺搭建
上述數據流架構搭建完成后，2020.11的實(shí)時(shí)作業(yè)數量迅速增加到幾百個(gè)，比2019年快很多。這個(gè)時(shí)候我們開(kāi)始搭建實(shí)時(shí)計算平臺從0到1，然后分享了搭建過(guò)程中的一些想法。
平臺支持的功能主要有三個(gè)起點(diǎn)：
統一：統一不同云廠(chǎng)商的不同集群環(huán)境、Flink版本、提交方式等。之前hadoop客戶(hù)端分散在用戶(hù)的提交機器上，給集群數據和任務(wù)安全帶來(lái)隱患，增加了后續集群升級和遷移的成本。我們希望通過(guò)平臺統一任務(wù)的提交入口和提交方式；易用性：平臺交互可以提供更易用的功能，比如調試、語(yǔ)義檢測等，可以提高任務(wù)測試的人為效率，記錄任務(wù)的版本歷史。方便的在線(xiàn)和回滾操作；規范：權限控制、流程審批等，類(lèi)似于線(xiàn)上服務(wù)的線(xiàn)上流程，通過(guò)平臺，實(shí)時(shí)任務(wù)的研發(fā)流程可以標準化。3.1 規范——實(shí)時(shí)任務(wù)進(jìn)程管理
FlinkSQL 讓開(kāi)發(fā)變得非常簡(jiǎn)單高效，但是越簡(jiǎn)單越難標準化，因為寫(xiě)一段 SQL 可能只需要兩個(gè)小時(shí)，但通過(guò)規范卻需要半天時(shí)間。
但是，該規范仍然需要執行。一些問(wèn)題類(lèi)似于在線(xiàn)服務(wù)，在實(shí)時(shí)計算中也遇到過(guò)：
記不清了：任務(wù)上線(xiàn)已經(jīng)一年了，最初的需求可能是口耳相傳。最好記住wiki或email，但在任務(wù)交接時(shí)容易記??；不規范：UDF或DataStream代碼 兩種方式都沒(méi)有按照規范，可讀性差，以至于后來(lái)接手的同學(xué)不能升級，或者不敢改，長(cháng)期維護不了。還應該有一個(gè)關(guān)于如何編寫(xiě)包括實(shí)時(shí)任務(wù)的 SQL 的規范；找不到：線(xiàn)上運行的任務(wù)依賴(lài)一個(gè)jar，哪個(gè)git模塊對應哪個(gè)commitId，如果有問(wèn)題如何第一時(shí)間找到對應的代碼實(shí)現；盲改：一直正常的任務(wù)，周末突然報警，
規范主要分為三個(gè)部分：
開(kāi)發(fā)：RD 可以從 UDF 原型項目快速創(chuàng )建 UDF 模塊，該項目基于 flink 快速入門(mén)。創(chuàng )建的 UDF 模塊可以正常編譯，包括 WordCount 之類(lèi)的 udf 示例，以及 ReadMe 和 VersionHelper 等默認的 helper 方法。根據業(yè)務(wù)需求修改后，通過(guò)CR上傳到Git；需求管理和編譯：提交的代碼會(huì )與需求卡片關(guān)聯(lián)，集群編譯和QA測試后，可以在線(xiàn)下單；在線(xiàn)：根據模塊和編譯輸出，選擇更新/被job owner或leader批準后創(chuàng )建和重新部署哪些job。
整個(gè)研發(fā)過(guò)程不能離線(xiàn)修改，比如更改jar包或者對哪個(gè)任務(wù)生效。一個(gè)實(shí)時(shí)任務(wù)，即使運行幾年，也能查到誰(shuí)在線(xiàn)，誰(shuí)批準了當前任務(wù)，當時(shí)的測試記錄，對應的Git代碼，提出的實(shí)時(shí)指標要求由誰(shuí)開(kāi)始。任務(wù)維持很長(cháng)時(shí)間。
3.2 易用性 - 監控
我們當前的 Flink 作業(yè)在 Yarn 上運行。作業(yè)啟動(dòng)后，預計 Prometheus 會(huì )抓取 Yarn 分配的 Container，然后連接到報警系統。用戶(hù)可以根據告警系統配置Kafka延遲告警和Checkpoint故障告警。構建此路徑時(shí)遇到兩個(gè)主要問(wèn)題：
PrometheusReporter啟動(dòng)HTTPServer后，Prometheus如何動(dòng)態(tài)感知；它還需要能夠控制度量的大小，以避免采集大量無(wú)用數據；我們的 SQL 源表基本上是基于 Kafka 的。相比第三方工具，在計算平臺上配置Kafka延遲告警更方便。因為自然可以得到任務(wù)讀取的topic和group.id，所以也可以和任務(wù)失敗使用同一個(gè)告警組。結合告警模板，配置告警非常簡(jiǎn)單。
關(guān)于解決方案：
發(fā)現功能是在官方PrometheusReporter的基礎上增加的。Container 的 HTTPServer 啟動(dòng)后，對應的 ip:port 以臨時(shí)節點(diǎn)的形式注冊到 zk 上，然后使用 Prometheus 的 discover 目標來(lái)監控 zk 節點(diǎn)的變化。由于是臨時(shí)節點(diǎn)，當 Container 被銷(xiāo)毀時(shí)，該節點(diǎn)就消失了，Prometheus 也能感應到它不再被抓取。這樣一來(lái)，就很容易為普羅米修斯搭建一條搶奪的路徑。KafkaConsumer.records-lag 是一個(gè)比較實(shí)用和重要的延遲指標，它主要做了兩個(gè)任務(wù)。修改 KafkaConnector 并在 KafkaConsumer.poll 之后將其公開(kāi)，以確保 records-lag 指示器可見(jiàn)。此外，在這樣做的過(guò)程中，我們發(fā)現不同Kafka版本的metric格式是不同的()。我們的方法是將它們扁平化為一種格式，并將它們注冊到 flink 的指標中。這樣不同版本暴露的指標是一致的。四、總結與展望
上一階段使用 Flink SQL 來(lái)支持實(shí)時(shí)作業(yè)的快速開(kāi)發(fā)，搭建了實(shí)時(shí)計算平臺來(lái)支持數千個(gè) Flink 作業(yè)。
更大的見(jiàn)解之一是 SQL 確實(shí)簡(jiǎn)化了開(kāi)發(fā)，但它也阻止了更多的技術(shù)細節。對實(shí)時(shí)作業(yè)運維工具的要求，比如 Trace，或者任務(wù)的規范沒(méi)有改變，對這些的要求更加嚴格。因為在細節被屏蔽的同時(shí)，一旦出現問(wèn)題，用戶(hù)不知道如何處理。就像冰山一角，漏水越少，下沉越多，越需要做好周邊系統的建設。
二是適應現狀。一是能盡快滿(mǎn)足當前的需求。比如，我們正在提高人的效率，降低發(fā)展門(mén)檻。同時(shí)還要繼續探索更多的業(yè)務(wù)場(chǎng)景，比如用HBase和RPC服務(wù)代替Redis Connector?，F在的好處是修改了底層存儲，用戶(hù)對SQL作業(yè)的感知很小，因為SQL作業(yè)基本都是業(yè)務(wù)邏輯，DDL定義了元數據。
接下來(lái)的計劃主要分為三個(gè)部分：
支持資源彈性伸縮，平衡實(shí)時(shí)作業(yè)的成本和時(shí)效；我們從 1.9 開(kāi)始大規模應用 Flink SQL，現在版本升級變化很大，需要考慮如何讓業(yè)務(wù)能夠低成本升級和使用新版本。版本中的功能；探索流批融合在實(shí)際業(yè)務(wù)場(chǎng)景中的實(shí)現。
FFA 2021 現場(chǎng)重播和演講 PDF 下載
更多Flink相關(guān)技術(shù)問(wèn)題，可以?huà)叽a加入社區釘釘交流群
實(shí)時(shí)文章采集(WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔、操作簡(jiǎn)單，不需要掌握專(zhuān)業(yè)的規則配置 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 106 次瀏覽 ? 2022-03-08 02:09
實(shí)時(shí)文章采集(WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔、操作簡(jiǎn)單，不需要掌握專(zhuān)業(yè)的規則配置
)
WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔易操作。無(wú)需掌握專(zhuān)業(yè)的規則配置和高級seo知識即可使用。無(wú)論是WordPresscms、dedecms、ABCcms還是小旋風(fēng)cms都可以使用。軟件還內置翻譯發(fā)布推送、數據查看等功能。讓我們的WordPress站長(cháng)通過(guò)軟件分析數據，實(shí)時(shí)調整優(yōu)化細節。
WordPress自動(dòng)采集軟件可以根據我們輸入的關(guān)鍵詞在全網(wǎng)各大平臺進(jìn)行內容采集。為提高搜索范圍和準確率，支持根據關(guān)鍵詞搜索熱門(mén)下拉詞。支持在下載過(guò)程中進(jìn)行敏感的 *words 過(guò)濾和 文章 清理。采集內容以多種格式（TXT、HTML 和漩渦樣式）保存。它支持保留標簽和圖像本地化等功能，并內置翻譯功能。有道、百度、谷歌以及自帶的翻譯功能都可以使用。
WordPress的自動(dòng)采集軟件網(wǎng)站優(yōu)化可以大大減輕我們站長(cháng)的工作強度。定期發(fā)布采集可以讓我們全天候掛機，網(wǎng)站一個(gè)好的“作息時(shí)間”可以讓我們每天網(wǎng)站更新內容，這也是一種友好的行為對于蜘蛛。
當然，僅靠?jì)热菔遣粔虻?，我們需要對內容進(jìn)行整理，提高內容質(zhì)量，吸引用戶(hù)，逐步完善我們的收錄，WordPress自動(dòng)采集軟件可以通過(guò)以下方式優(yōu)化我們的內容積分，實(shí)現我們的網(wǎng)站fast收錄，提升排名。
網(wǎng)站內容優(yōu)化
1、文章采集貨源質(zhì)量保證（大平臺、熱搜詞）
2、采集保留內容標簽
3、內置翻譯功能（英漢、繁簡(jiǎn)、簡(jiǎn)體到火星）
4、文章清洗（號碼、網(wǎng)址、機構名清洗）
3、關(guān)鍵詞保留（偽原創(chuàng )不會(huì )影響關(guān)鍵詞，保證核心關(guān)鍵詞顯示）
5、關(guān)鍵詞插入標題和文章
6、標題、內容偽原創(chuàng )
7、設置內容匹配標題（讓內容完全匹配標題）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
一個(gè)好的文章離不開(kāi)圖片的配合。合理插入我們的文章相關(guān)圖片，會(huì )大大降低用戶(hù)理解的難度。一張好的圖片有時(shí)可以很搶眼，反而讓文字成為一種點(diǎn)綴。為 網(wǎng)站 圖片添加 ALT 標簽還可以讓搜索引擎快速識別圖片。WordPress 自動(dòng) 采集 軟件圖像有哪些優(yōu)化？
網(wǎng)站圖像優(yōu)化
1、圖片云存儲（支持七牛、阿里、騰訊等云平臺）/本地化
2、給圖片添加alt標簽
3、圖片替換原圖
4、圖片水印/去水
5、圖片按頻率插入到文本中
三、網(wǎng)站管理優(yōu)化
WordPress自動(dòng)采集軟件具有全程優(yōu)化管理功能。采集、文本清洗、翻譯、偽原創(chuàng )、發(fā)布、推送的全流程管理都可以在軟件中實(shí)現，并提供各階段任務(wù)的進(jìn)度和反饋等信息可以實(shí)時(shí)查看任務(wù)的成敗。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為一個(gè)SEO從業(yè)者，我們必須足夠細心，才能做好SEO。無(wú)論是優(yōu)化文章內容還是通過(guò)alt標簽描述圖片，每一個(gè)小地方都可能是我們優(yōu)化的方向。在我的SEO工作中，一絲不茍、善于發(fā)現、堅持不懈是做好網(wǎng)站工作的必要因素。
查看全部
)
WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔易操作。無(wú)需掌握專(zhuān)業(yè)的規則配置和高級seo知識即可使用。無(wú)論是WordPresscms、dedecms、ABCcms還是小旋風(fēng)cms都可以使用。軟件還內置翻譯發(fā)布推送、數據查看等功能。讓我們的WordPress站長(cháng)通過(guò)軟件分析數據，實(shí)時(shí)調整優(yōu)化細節。
WordPress自動(dòng)采集軟件可以根據我們輸入的關(guān)鍵詞在全網(wǎng)各大平臺進(jìn)行內容采集。為提高搜索范圍和準確率，支持根據關(guān)鍵詞搜索熱門(mén)下拉詞。支持在下載過(guò)程中進(jìn)行敏感的 *words 過(guò)濾和 文章 清理。采集內容以多種格式（TXT、HTML 和漩渦樣式）保存。它支持保留標簽和圖像本地化等功能，并內置翻譯功能。有道、百度、谷歌以及自帶的翻譯功能都可以使用。
WordPress的自動(dòng)采集軟件網(wǎng)站優(yōu)化可以大大減輕我們站長(cháng)的工作強度。定期發(fā)布采集可以讓我們全天候掛機，網(wǎng)站一個(gè)好的“作息時(shí)間”可以讓我們每天網(wǎng)站更新內容，這也是一種友好的行為對于蜘蛛。
當然，僅靠?jì)热菔遣粔虻?，我們需要對內容進(jìn)行整理，提高內容質(zhì)量，吸引用戶(hù)，逐步完善我們的收錄，WordPress自動(dòng)采集軟件可以通過(guò)以下方式優(yōu)化我們的內容積分，實(shí)現我們的網(wǎng)站fast收錄，提升排名。
網(wǎng)站內容優(yōu)化
1、文章采集貨源質(zhì)量保證（大平臺、熱搜詞）
2、采集保留內容標簽
3、內置翻譯功能（英漢、繁簡(jiǎn)、簡(jiǎn)體到火星）
4、文章清洗（號碼、網(wǎng)址、機構名清洗）
3、關(guān)鍵詞保留（偽原創(chuàng )不會(huì )影響關(guān)鍵詞，保證核心關(guān)鍵詞顯示）
5、關(guān)鍵詞插入標題和文章
6、標題、內容偽原創(chuàng )
7、設置內容匹配標題（讓內容完全匹配標題）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
一個(gè)好的文章離不開(kāi)圖片的配合。合理插入我們的文章相關(guān)圖片，會(huì )大大降低用戶(hù)理解的難度。一張好的圖片有時(shí)可以很搶眼，反而讓文字成為一種點(diǎn)綴。為 網(wǎng)站 圖片添加 ALT 標簽還可以讓搜索引擎快速識別圖片。WordPress 自動(dòng) 采集 軟件圖像有哪些優(yōu)化？
網(wǎng)站圖像優(yōu)化
1、圖片云存儲（支持七牛、阿里、騰訊等云平臺）/本地化
2、給圖片添加alt標簽
3、圖片替換原圖
4、圖片水印/去水
5、圖片按頻率插入到文本中
三、網(wǎng)站管理優(yōu)化
WordPress自動(dòng)采集軟件具有全程優(yōu)化管理功能。采集、文本清洗、翻譯、偽原創(chuàng )、發(fā)布、推送的全流程管理都可以在軟件中實(shí)現，并提供各階段任務(wù)的進(jìn)度和反饋等信息可以實(shí)時(shí)查看任務(wù)的成敗。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為一個(gè)SEO從業(yè)者，我們必須足夠細心，才能做好SEO。無(wú)論是優(yōu)化文章內容還是通過(guò)alt標簽描述圖片，每一個(gè)小地方都可能是我們優(yōu)化的方向。在我的SEO工作中，一絲不茍、善于發(fā)現、堅持不懈是做好網(wǎng)站工作的必要因素。
查看全部
實(shí)時(shí)文章采集(WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔、操作簡(jiǎn)單，不需要掌握專(zhuān)業(yè)的規則配置
)
WordPress自動(dòng)采集軟件頁(yè)面簡(jiǎn)潔易操作。無(wú)需掌握專(zhuān)業(yè)的規則配置和高級seo知識即可使用。無(wú)論是WordPresscms、dedecms、ABCcms還是小旋風(fēng)cms都可以使用。軟件還內置翻譯發(fā)布推送、數據查看等功能。讓我們的WordPress站長(cháng)通過(guò)軟件分析數據，實(shí)時(shí)調整優(yōu)化細節。
WordPress自動(dòng)采集軟件可以根據我們輸入的關(guān)鍵詞在全網(wǎng)各大平臺進(jìn)行內容采集。為提高搜索范圍和準確率，支持根據關(guān)鍵詞搜索熱門(mén)下拉詞。支持在下載過(guò)程中進(jìn)行敏感的 *words 過(guò)濾和 文章 清理。采集內容以多種格式（TXT、HTML 和漩渦樣式）保存。它支持保留標簽和圖像本地化等功能，并內置翻譯功能。有道、百度、谷歌以及自帶的翻譯功能都可以使用。
WordPress的自動(dòng)采集軟件網(wǎng)站優(yōu)化可以大大減輕我們站長(cháng)的工作強度。定期發(fā)布采集可以讓我們全天候掛機，網(wǎng)站一個(gè)好的“作息時(shí)間”可以讓我們每天網(wǎng)站更新內容，這也是一種友好的行為對于蜘蛛。
當然，僅靠?jì)热菔遣粔虻?，我們需要對內容進(jìn)行整理，提高內容質(zhì)量，吸引用戶(hù)，逐步完善我們的收錄，WordPress自動(dòng)采集軟件可以通過(guò)以下方式優(yōu)化我們的內容積分，實(shí)現我們的網(wǎng)站fast收錄，提升排名。
網(wǎng)站內容優(yōu)化
1、文章采集貨源質(zhì)量保證（大平臺、熱搜詞）
2、采集保留內容標簽
3、內置翻譯功能（英漢、繁簡(jiǎn)、簡(jiǎn)體到火星）
4、文章清洗（號碼、網(wǎng)址、機構名清洗）
3、關(guān)鍵詞保留（偽原創(chuàng )不會(huì )影響關(guān)鍵詞，保證核心關(guān)鍵詞顯示）
5、關(guān)鍵詞插入標題和文章
6、標題、內容偽原創(chuàng )
7、設置內容匹配標題（讓內容完全匹配標題）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
一個(gè)好的文章離不開(kāi)圖片的配合。合理插入我們的文章相關(guān)圖片，會(huì )大大降低用戶(hù)理解的難度。一張好的圖片有時(shí)可以很搶眼，反而讓文字成為一種點(diǎn)綴。為 網(wǎng)站 圖片添加 ALT 標簽還可以讓搜索引擎快速識別圖片。WordPress 自動(dòng) 采集 軟件圖像有哪些優(yōu)化？
網(wǎng)站圖像優(yōu)化
1、圖片云存儲（支持七牛、阿里、騰訊等云平臺）/本地化
2、給圖片添加alt標簽
3、圖片替換原圖
4、圖片水印/去水
5、圖片按頻率插入到文本中
三、網(wǎng)站管理優(yōu)化
WordPress自動(dòng)采集軟件具有全程優(yōu)化管理功能。采集、文本清洗、翻譯、偽原創(chuàng )、發(fā)布、推送的全流程管理都可以在軟件中實(shí)現，并提供各階段任務(wù)的進(jìn)度和反饋等信息可以實(shí)時(shí)查看任務(wù)的成敗。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為一個(gè)SEO從業(yè)者，我們必須足夠細心，才能做好SEO。無(wú)論是優(yōu)化文章內容還是通過(guò)alt標簽描述圖片，每一個(gè)小地方都可能是我們優(yōu)化的方向。在我的SEO工作中，一絲不茍、善于發(fā)現、堅持不懈是做好網(wǎng)站工作的必要因素。
實(shí)時(shí)文章采集( SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 189 次瀏覽 ? 2022-03-08 02:06
實(shí)時(shí)文章采集(
SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集我還能做嗎？讓網(wǎng)站采集的網(wǎng)站快速收錄發(fā)布工具
SEO技術(shù)分享2022-03-04
如何讓采集站快收錄和關(guān)鍵詞排名，相信各位站長(cháng)一定遇到過(guò)這種情況，采集站收錄波動(dòng)太大, 和 關(guān)鍵詞 不穩定的排名。尤其是剛剛沖上首頁(yè)的關(guān)鍵詞經(jīng)常掉出首頁(yè)，那么如何穩定首頁(yè)的排名關(guān)鍵詞又如何讓采集站得快收錄@ >。
一、觀(guān)察網(wǎng)站收錄情況
很多站長(cháng)在關(guān)鍵詞沖到首頁(yè)后開(kāi)始不關(guān)注網(wǎng)站的收錄。千萬(wàn)不能馬虎，要定期檢查網(wǎng)站收錄是否正常，只有保持一定的收錄，關(guān)鍵詞的排名才能穩定。順便在主頁(yè)上觀(guān)察一下同事，了解他們網(wǎng)站的優(yōu)點(diǎn)，放到我的網(wǎng)站中。
二、網(wǎng)站更新頻率
你為什么這么說(shuō)？當您點(diǎn)擊主頁(yè)時(shí)，您每天都會(huì )發(fā)布內容。到首頁(yè)后還需要發(fā)布嗎？很多站長(cháng)認為這沒(méi)有必要，但實(shí)際上是一個(gè)錯誤的判斷。前期我們發(fā)布了內容，為更多網(wǎng)站收錄打下基礎。后期發(fā)布內容的目的是為了保持一定的頻率，這樣既可以穩定快照的更新頻率，又可以防止搜索引擎將我們判斷為死站網(wǎng)站。
我們可以通過(guò)網(wǎng)站采集軟件實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，不需要專(zhuān)業(yè)技能，只需幾個(gè)簡(jiǎn)單的步驟。輕松的采集內容數據，用戶(hù)只需對網(wǎng)站采集軟件進(jìn)行簡(jiǎn)單設置，網(wǎng)站采集軟件根據用戶(hù)設置< @關(guān)鍵詞 準確采集文章，以確保與行業(yè)文章保持一致。采集 文章 from 采集 可以選擇在本地保存更改，也可以選擇自動(dòng)偽原創(chuàng ) 然后發(fā)布。
和其他網(wǎng)站采集軟件相比，這個(gè)網(wǎng)站采集軟件基本沒(méi)有規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽了，一分鐘就到上手，只需輸入關(guān)鍵詞即可實(shí)現采集（網(wǎng)站采集軟件也自帶關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)cms采集插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布也可以提升很多SEO優(yōu)化。
1、網(wǎng)站全網(wǎng)推送（主動(dòng)提交鏈接至百度/360/搜狗/神馬/今日頭條/bing/Google）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，則自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片并保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選擇將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
<p>7、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前采集 查看全部
SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集我還能做嗎？讓網(wǎng)站采集的網(wǎng)站快速收錄發(fā)布工具
SEO技術(shù)分享2022-03-04
如何讓采集站快收錄和關(guān)鍵詞排名，相信各位站長(cháng)一定遇到過(guò)這種情況，采集站收錄波動(dòng)太大, 和 關(guān)鍵詞 不穩定的排名。尤其是剛剛沖上首頁(yè)的關(guān)鍵詞經(jīng)常掉出首頁(yè)，那么如何穩定首頁(yè)的排名關(guān)鍵詞又如何讓采集站得快收錄@ >。
一、觀(guān)察網(wǎng)站收錄情況
很多站長(cháng)在關(guān)鍵詞沖到首頁(yè)后開(kāi)始不關(guān)注網(wǎng)站的收錄。千萬(wàn)不能馬虎，要定期檢查網(wǎng)站收錄是否正常，只有保持一定的收錄，關(guān)鍵詞的排名才能穩定。順便在主頁(yè)上觀(guān)察一下同事，了解他們網(wǎng)站的優(yōu)點(diǎn)，放到我的網(wǎng)站中。
二、網(wǎng)站更新頻率
你為什么這么說(shuō)？當您點(diǎn)擊主頁(yè)時(shí)，您每天都會(huì )發(fā)布內容。到首頁(yè)后還需要發(fā)布嗎？很多站長(cháng)認為這沒(méi)有必要，但實(shí)際上是一個(gè)錯誤的判斷。前期我們發(fā)布了內容，為更多網(wǎng)站收錄打下基礎。后期發(fā)布內容的目的是為了保持一定的頻率，這樣既可以穩定快照的更新頻率，又可以防止搜索引擎將我們判斷為死站網(wǎng)站。
我們可以通過(guò)網(wǎng)站采集軟件實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，不需要專(zhuān)業(yè)技能，只需幾個(gè)簡(jiǎn)單的步驟。輕松的采集內容數據，用戶(hù)只需對網(wǎng)站采集軟件進(jìn)行簡(jiǎn)單設置，網(wǎng)站采集軟件根據用戶(hù)設置< @關(guān)鍵詞 準確采集文章，以確保與行業(yè)文章保持一致。采集 文章 from 采集 可以選擇在本地保存更改，也可以選擇自動(dòng)偽原創(chuàng ) 然后發(fā)布。
和其他網(wǎng)站采集軟件相比，這個(gè)網(wǎng)站采集軟件基本沒(méi)有規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽了，一分鐘就到上手，只需輸入關(guān)鍵詞即可實(shí)現采集（網(wǎng)站采集軟件也自帶關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)cms采集插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布也可以提升很多SEO優(yōu)化。
1、網(wǎng)站全網(wǎng)推送（主動(dòng)提交鏈接至百度/360/搜狗/神馬/今日頭條/bing/Google）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，則自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片并保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選擇將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
<p>7、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前采集 查看全部
實(shí)時(shí)文章采集(
SEO技術(shù)分享2022-03-04如何讓采集站快速收錄以及關(guān)鍵詞排名)
采集我還能做嗎？讓網(wǎng)站采集的網(wǎng)站快速收錄發(fā)布工具
SEO技術(shù)分享2022-03-04
如何讓采集站快收錄和關(guān)鍵詞排名，相信各位站長(cháng)一定遇到過(guò)這種情況，采集站收錄波動(dòng)太大, 和 關(guān)鍵詞 不穩定的排名。尤其是剛剛沖上首頁(yè)的關(guān)鍵詞經(jīng)常掉出首頁(yè)，那么如何穩定首頁(yè)的排名關(guān)鍵詞又如何讓采集站得快收錄@ >。
一、觀(guān)察網(wǎng)站收錄情況
很多站長(cháng)在關(guān)鍵詞沖到首頁(yè)后開(kāi)始不關(guān)注網(wǎng)站的收錄。千萬(wàn)不能馬虎，要定期檢查網(wǎng)站收錄是否正常，只有保持一定的收錄，關(guān)鍵詞的排名才能穩定。順便在主頁(yè)上觀(guān)察一下同事，了解他們網(wǎng)站的優(yōu)點(diǎn)，放到我的網(wǎng)站中。
二、網(wǎng)站更新頻率
你為什么這么說(shuō)？當您點(diǎn)擊主頁(yè)時(shí)，您每天都會(huì )發(fā)布內容。到首頁(yè)后還需要發(fā)布嗎？很多站長(cháng)認為這沒(méi)有必要，但實(shí)際上是一個(gè)錯誤的判斷。前期我們發(fā)布了內容，為更多網(wǎng)站收錄打下基礎。后期發(fā)布內容的目的是為了保持一定的頻率，這樣既可以穩定快照的更新頻率，又可以防止搜索引擎將我們判斷為死站網(wǎng)站。
我們可以通過(guò)網(wǎng)站采集軟件實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，不需要專(zhuān)業(yè)技能，只需幾個(gè)簡(jiǎn)單的步驟。輕松的采集內容數據，用戶(hù)只需對網(wǎng)站采集軟件進(jìn)行簡(jiǎn)單設置，網(wǎng)站采集軟件根據用戶(hù)設置< @關(guān)鍵詞 準確采集文章，以確保與行業(yè)文章保持一致。采集 文章 from 采集 可以選擇在本地保存更改，也可以選擇自動(dòng)偽原創(chuàng ) 然后發(fā)布。
和其他網(wǎng)站采集軟件相比，這個(gè)網(wǎng)站采集軟件基本沒(méi)有規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽了，一分鐘就到上手，只需輸入關(guān)鍵詞即可實(shí)現采集（網(wǎng)站采集軟件也自帶關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)cms采集插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布也可以提升很多SEO優(yōu)化。
1、網(wǎng)站全網(wǎng)推送（主動(dòng)提交鏈接至百度/360/搜狗/神馬/今日頭條/bing/Google）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，則自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片并保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選擇將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
<p>7、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前采集
實(shí)時(shí)文章采集(如何采集豆瓣熱門(mén)電影，實(shí)時(shí)文章采集實(shí)踐十技巧分享)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 155 次瀏覽 ? 2022-03-08 02:02
實(shí)時(shí)文章采集(如何采集豆瓣熱門(mén)電影，實(shí)時(shí)文章采集實(shí)踐十技巧分享)
實(shí)時(shí)文章采集
一）、動(dòng)態(tài)文章采集
二）、基于目錄文章采集
三）、實(shí)時(shí)文章采集
四）、多維目錄文章采集
五）、實(shí)時(shí)文章采集之常用工具
六）、文章鏈接采集
七）、基于網(wǎng)頁(yè)采集
八）、文章采集指南
九）、文章采集實(shí)踐
十）
不如弄一個(gè)小型excel表格吧，就記錄每天每小時(shí)大家都發(fā)表的文章都是什么類(lèi)型的什么風(fēng)格的。當然這里面很多名詞都是網(wǎng)絡(luò )上搜不到的。再配上一些關(guān)鍵詞，關(guān)鍵詞間隔需要注意調整。畢竟很多說(shuō)高質(zhì)量新聞稿是軟文的。
每天每小時(shí)都重復性發(fā)明幾條文章
本專(zhuān)欄上篇文章跟大家分享了如何采集豆瓣熱門(mén)電影，本篇文章要談?wù)勛约簩?xiě)過(guò)的一篇采集文章，
有很多要注意的很難寫(xiě)一下，自己感覺(jué)，新聞跟帖不一樣，條數不多，關(guān)注人數固定，但是內容大都有些廣，數量多，文本樣式不固定，所以可能無(wú)法有效的聚合文本特征，太多的網(wǎng)站會(huì )導致內容過(guò)于相似，有可能會(huì )影響讀者，但是要注意需要控制好一個(gè)段落的數量，不然讀者看到長(cháng)的同一篇新聞跟帖，未必會(huì )關(guān)注細節！當然特別喜歡某一個(gè)事情或者細節的人，你還是要多關(guān)注他的！。
我是用的qq發(fā)布，自己點(diǎn)發(fā)布之后，再搜索一下別人的發(fā)布時(shí)間，有人發(fā)布可以隨時(shí)寫(xiě)隨時(shí)發(fā)布，不過(guò)需要你寫(xiě)入的詞， 查看全部
實(shí)時(shí)文章采集
一）、動(dòng)態(tài)文章采集
二）、基于目錄文章采集
三）、實(shí)時(shí)文章采集
四）、多維目錄文章采集
五）、實(shí)時(shí)文章采集之常用工具
六）、文章鏈接采集
七）、基于網(wǎng)頁(yè)采集
八）、文章采集指南
九）、文章采集實(shí)踐
十）
不如弄一個(gè)小型excel表格吧，就記錄每天每小時(shí)大家都發(fā)表的文章都是什么類(lèi)型的什么風(fēng)格的。當然這里面很多名詞都是網(wǎng)絡(luò )上搜不到的。再配上一些關(guān)鍵詞，關(guān)鍵詞間隔需要注意調整。畢竟很多說(shuō)高質(zhì)量新聞稿是軟文的。
每天每小時(shí)都重復性發(fā)明幾條文章
本專(zhuān)欄上篇文章跟大家分享了如何采集豆瓣熱門(mén)電影，本篇文章要談?wù)勛约簩?xiě)過(guò)的一篇采集文章，
有很多要注意的很難寫(xiě)一下，自己感覺(jué)，新聞跟帖不一樣，條數不多，關(guān)注人數固定，但是內容大都有些廣，數量多，文本樣式不固定，所以可能無(wú)法有效的聚合文本特征，太多的網(wǎng)站會(huì )導致內容過(guò)于相似，有可能會(huì )影響讀者，但是要注意需要控制好一個(gè)段落的數量，不然讀者看到長(cháng)的同一篇新聞跟帖，未必會(huì )關(guān)注細節！當然特別喜歡某一個(gè)事情或者細節的人，你還是要多關(guān)注他的！。
我是用的qq發(fā)布，自己點(diǎn)發(fā)布之后，再搜索一下別人的發(fā)布時(shí)間，有人發(fā)布可以隨時(shí)寫(xiě)隨時(shí)發(fā)布，不過(guò)需要你寫(xiě)入的詞， 查看全部
實(shí)時(shí)文章采集(如何采集豆瓣熱門(mén)電影，實(shí)時(shí)文章采集實(shí)踐十技巧分享)
實(shí)時(shí)文章采集
一）、動(dòng)態(tài)文章采集
二）、基于目錄文章采集
三）、實(shí)時(shí)文章采集
四）、多維目錄文章采集
五）、實(shí)時(shí)文章采集之常用工具
六）、文章鏈接采集
七）、基于網(wǎng)頁(yè)采集
八）、文章采集指南
九）、文章采集實(shí)踐
十）
不如弄一個(gè)小型excel表格吧，就記錄每天每小時(shí)大家都發(fā)表的文章都是什么類(lèi)型的什么風(fēng)格的。當然這里面很多名詞都是網(wǎng)絡(luò )上搜不到的。再配上一些關(guān)鍵詞，關(guān)鍵詞間隔需要注意調整。畢竟很多說(shuō)高質(zhì)量新聞稿是軟文的。
每天每小時(shí)都重復性發(fā)明幾條文章
本專(zhuān)欄上篇文章跟大家分享了如何采集豆瓣熱門(mén)電影，本篇文章要談?wù)勛约簩?xiě)過(guò)的一篇采集文章，
有很多要注意的很難寫(xiě)一下，自己感覺(jué)，新聞跟帖不一樣，條數不多，關(guān)注人數固定，但是內容大都有些廣，數量多，文本樣式不固定，所以可能無(wú)法有效的聚合文本特征，太多的網(wǎng)站會(huì )導致內容過(guò)于相似，有可能會(huì )影響讀者，但是要注意需要控制好一個(gè)段落的數量，不然讀者看到長(cháng)的同一篇新聞跟帖，未必會(huì )關(guān)注細節！當然特別喜歡某一個(gè)事情或者細節的人，你還是要多關(guān)注他的！。
我是用的qq發(fā)布，自己點(diǎn)發(fā)布之后，再搜索一下別人的發(fā)布時(shí)間，有人發(fā)布可以隨時(shí)寫(xiě)隨時(shí)發(fā)布，不過(guò)需要你寫(xiě)入的詞，
實(shí)時(shí)文章采集(一個(gè)好的網(wǎng)站采集軟件認為需要以下幾點(diǎn)功能：以下幾點(diǎn) )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 134 次瀏覽 ? 2022-03-06 15:12
實(shí)時(shí)文章采集(一個(gè)好的網(wǎng)站采集軟件認為需要以下幾點(diǎn)功能：以下幾點(diǎn)
)
網(wǎng)站采集大家都比較熟悉，通過(guò)網(wǎng)站采集我們可以把自己感興趣的網(wǎng)站數據下載到自己的網(wǎng)站或者放一些內容其他人 網(wǎng)站 被保存到他們自己的服務(wù)器。通過(guò)網(wǎng)站采集可以得到我們想要的相關(guān)數據、文章、圖片等。這些材料經(jīng)過(guò)加工?？梢猿蔀槲覀冏约旱木W(wǎng)站內容，維護我們的網(wǎng)站持續更新。
網(wǎng)站采集有很多方式供我們選擇，無(wú)論是采集插件，采集軟件，還是cms自帶采集函數，我們總能在網(wǎng)上找到各種采集器。一個(gè)好的網(wǎng)站采集軟件博主認為需要具備以下特點(diǎn)：
一、高效簡(jiǎn)潔
網(wǎng)站采集可以為我們提供非常方便的采集服務(wù)，但是我們很多站長(cháng)不知道如何配置采集規則，所以從大部分用戶(hù)體驗出發(fā)，易于操作，采集穩定快速的軟件是大多數站長(cháng)喜歡的。
二、采集精準內容
網(wǎng)站采集只追求速度肯定是不夠的。一個(gè)好的采集軟件需要有精確的采集規則。它可以為我們的用戶(hù)提供可靠準確的采集素材，方便我們創(chuàng )作。
三、保留原標簽
網(wǎng)站標簽保留可以在偽原創(chuàng )時(shí)為我們提供更好的用戶(hù)體驗。無(wú)論是數據提取還是文章的重新創(chuàng )建，都將幫助我們創(chuàng )建自己的文章。
四、圖像本地化
由于缺少此功能，我們的許多 采集 圖像會(huì )降低我們的 原創(chuàng ) 度數。通過(guò)圖像定位，可以減輕替換原圖的工作強度，加強我們文章的原創(chuàng )。最好添加自己的 ALT 標簽來(lái)替換圖像。
網(wǎng)站采集可以為我們提供素材，這有助于我們的網(wǎng)站內容不斷更新，但是對于網(wǎng)站的建設來(lái)說(shuō)肯定是不夠的。我們網(wǎng)站的主要目的是為了更好的服務(wù)客戶(hù)，從而增強用戶(hù)粘性，完成流量轉化。所以在做網(wǎng)站的時(shí)候，首先要考慮的是用戶(hù)的需求。只有用戶(hù)才有評價(jià)網(wǎng)站質(zhì)量的權利。如果用戶(hù)說(shuō)是，網(wǎng)站 才是真正的好東西。所以，一定要了解用戶(hù)的需求，把用戶(hù)需求放在首位，參與網(wǎng)站的制作。只有當你的網(wǎng)站擁有了客戶(hù)真正想要的東西，你的網(wǎng)站才會(huì )成功，才能稱(chēng)得上是合格的網(wǎng)站。
網(wǎng)站Data不僅可以為我們提供內容素材，還可以通過(guò)采集data幫助我們分析市場(chǎng)和用戶(hù)需求：
一、滿(mǎn)足用戶(hù)需求
網(wǎng)站采集獲得的大數據讓我們了解用戶(hù)的顯性需求，但也有一些客戶(hù)的隱性需求，需要我們直接聯(lián)系用戶(hù)了解更多。所以，在做網(wǎng)站之前，要多做市場(chǎng)調研，一定要多接觸用戶(hù)，了解他們的需求和痛點(diǎn)。從一開(kāi)始就要有這個(gè)意識，靠采集數據分析還是片面的。在一個(gè)想法開(kāi)始之前與客戶(hù)進(jìn)行深入的溝通是最重要的。
二、增強網(wǎng)站實(shí)用程序
數據采集也可以讓我們獲得精準的用戶(hù)畫(huà)像，讓我們了解網(wǎng)站的用戶(hù)，所以網(wǎng)站的建設一定要實(shí)用、有針對性，讓網(wǎng)站有自己的核心競爭力。比如年輕人的博客肯定需要我們的網(wǎng)頁(yè)清晰整潔，動(dòng)畫(huà)網(wǎng)站肯定需要色彩來(lái)增強視覺(jué)沖擊力。所以，迎合用戶(hù)的喜好，讓用戶(hù)時(shí)時(shí)享受和感覺(jué)有用，這是一個(gè)基本的成功網(wǎng)站。
三、好網(wǎng)站經(jīng)得起時(shí)間的考驗
網(wǎng)站 的質(zhì)量將經(jīng)受時(shí)間的考驗。一個(gè)非常好的 網(wǎng)站 可以經(jīng)受住任何考驗。過(guò)了一段時(shí)間，這個(gè)網(wǎng)站還是很火的，說(shuō)明這個(gè)網(wǎng)站當然比較成功。如果他想繼續成功，他必須在后期有完美的工作。
網(wǎng)站采集可以為我們提供網(wǎng)站內容的素材。它還可以為我們提供行業(yè)分析所需的數據。只要我們善用它，就可以創(chuàng )建自己的網(wǎng)站。
查看全部
)
網(wǎng)站采集大家都比較熟悉，通過(guò)網(wǎng)站采集我們可以把自己感興趣的網(wǎng)站數據下載到自己的網(wǎng)站或者放一些內容其他人 網(wǎng)站 被保存到他們自己的服務(wù)器。通過(guò)網(wǎng)站采集可以得到我們想要的相關(guān)數據、文章、圖片等。這些材料經(jīng)過(guò)加工?？梢猿蔀槲覀冏约旱木W(wǎng)站內容，維護我們的網(wǎng)站持續更新。
網(wǎng)站采集有很多方式供我們選擇，無(wú)論是采集插件，采集軟件，還是cms自帶采集函數，我們總能在網(wǎng)上找到各種采集器。一個(gè)好的網(wǎng)站采集軟件博主認為需要具備以下特點(diǎn)：
一、高效簡(jiǎn)潔
網(wǎng)站采集可以為我們提供非常方便的采集服務(wù)，但是我們很多站長(cháng)不知道如何配置采集規則，所以從大部分用戶(hù)體驗出發(fā)，易于操作，采集穩定快速的軟件是大多數站長(cháng)喜歡的。
二、采集精準內容
網(wǎng)站采集只追求速度肯定是不夠的。一個(gè)好的采集軟件需要有精確的采集規則。它可以為我們的用戶(hù)提供可靠準確的采集素材，方便我們創(chuàng )作。
三、保留原標簽
網(wǎng)站標簽保留可以在偽原創(chuàng )時(shí)為我們提供更好的用戶(hù)體驗。無(wú)論是數據提取還是文章的重新創(chuàng )建，都將幫助我們創(chuàng )建自己的文章。
四、圖像本地化
由于缺少此功能，我們的許多 采集 圖像會(huì )降低我們的 原創(chuàng ) 度數。通過(guò)圖像定位，可以減輕替換原圖的工作強度，加強我們文章的原創(chuàng )。最好添加自己的 ALT 標簽來(lái)替換圖像。
網(wǎng)站采集可以為我們提供素材，這有助于我們的網(wǎng)站內容不斷更新，但是對于網(wǎng)站的建設來(lái)說(shuō)肯定是不夠的。我們網(wǎng)站的主要目的是為了更好的服務(wù)客戶(hù)，從而增強用戶(hù)粘性，完成流量轉化。所以在做網(wǎng)站的時(shí)候，首先要考慮的是用戶(hù)的需求。只有用戶(hù)才有評價(jià)網(wǎng)站質(zhì)量的權利。如果用戶(hù)說(shuō)是，網(wǎng)站 才是真正的好東西。所以，一定要了解用戶(hù)的需求，把用戶(hù)需求放在首位，參與網(wǎng)站的制作。只有當你的網(wǎng)站擁有了客戶(hù)真正想要的東西，你的網(wǎng)站才會(huì )成功，才能稱(chēng)得上是合格的網(wǎng)站。
網(wǎng)站Data不僅可以為我們提供內容素材，還可以通過(guò)采集data幫助我們分析市場(chǎng)和用戶(hù)需求：
一、滿(mǎn)足用戶(hù)需求
網(wǎng)站采集獲得的大數據讓我們了解用戶(hù)的顯性需求，但也有一些客戶(hù)的隱性需求，需要我們直接聯(lián)系用戶(hù)了解更多。所以，在做網(wǎng)站之前，要多做市場(chǎng)調研，一定要多接觸用戶(hù)，了解他們的需求和痛點(diǎn)。從一開(kāi)始就要有這個(gè)意識，靠采集數據分析還是片面的。在一個(gè)想法開(kāi)始之前與客戶(hù)進(jìn)行深入的溝通是最重要的。
二、增強網(wǎng)站實(shí)用程序
數據采集也可以讓我們獲得精準的用戶(hù)畫(huà)像，讓我們了解網(wǎng)站的用戶(hù)，所以網(wǎng)站的建設一定要實(shí)用、有針對性，讓網(wǎng)站有自己的核心競爭力。比如年輕人的博客肯定需要我們的網(wǎng)頁(yè)清晰整潔，動(dòng)畫(huà)網(wǎng)站肯定需要色彩來(lái)增強視覺(jué)沖擊力。所以，迎合用戶(hù)的喜好，讓用戶(hù)時(shí)時(shí)享受和感覺(jué)有用，這是一個(gè)基本的成功網(wǎng)站。
三、好網(wǎng)站經(jīng)得起時(shí)間的考驗
網(wǎng)站 的質(zhì)量將經(jīng)受時(shí)間的考驗。一個(gè)非常好的 網(wǎng)站 可以經(jīng)受住任何考驗。過(guò)了一段時(shí)間，這個(gè)網(wǎng)站還是很火的，說(shuō)明這個(gè)網(wǎng)站當然比較成功。如果他想繼續成功，他必須在后期有完美的工作。
網(wǎng)站采集可以為我們提供網(wǎng)站內容的素材。它還可以為我們提供行業(yè)分析所需的數據。只要我們善用它，就可以創(chuàng )建自己的網(wǎng)站。
查看全部
實(shí)時(shí)文章采集(一個(gè)好的網(wǎng)站采集軟件認為需要以下幾點(diǎn)功能：以下幾點(diǎn)
)
網(wǎng)站采集大家都比較熟悉，通過(guò)網(wǎng)站采集我們可以把自己感興趣的網(wǎng)站數據下載到自己的網(wǎng)站或者放一些內容其他人 網(wǎng)站 被保存到他們自己的服務(wù)器。通過(guò)網(wǎng)站采集可以得到我們想要的相關(guān)數據、文章、圖片等。這些材料經(jīng)過(guò)加工?？梢猿蔀槲覀冏约旱木W(wǎng)站內容，維護我們的網(wǎng)站持續更新。
網(wǎng)站采集有很多方式供我們選擇，無(wú)論是采集插件，采集軟件，還是cms自帶采集函數，我們總能在網(wǎng)上找到各種采集器。一個(gè)好的網(wǎng)站采集軟件博主認為需要具備以下特點(diǎn)：
一、高效簡(jiǎn)潔
網(wǎng)站采集可以為我們提供非常方便的采集服務(wù)，但是我們很多站長(cháng)不知道如何配置采集規則，所以從大部分用戶(hù)體驗出發(fā)，易于操作，采集穩定快速的軟件是大多數站長(cháng)喜歡的。
二、采集精準內容
網(wǎng)站采集只追求速度肯定是不夠的。一個(gè)好的采集軟件需要有精確的采集規則。它可以為我們的用戶(hù)提供可靠準確的采集素材，方便我們創(chuàng )作。
三、保留原標簽
網(wǎng)站標簽保留可以在偽原創(chuàng )時(shí)為我們提供更好的用戶(hù)體驗。無(wú)論是數據提取還是文章的重新創(chuàng )建，都將幫助我們創(chuàng )建自己的文章。
四、圖像本地化
由于缺少此功能，我們的許多 采集 圖像會(huì )降低我們的 原創(chuàng ) 度數。通過(guò)圖像定位，可以減輕替換原圖的工作強度，加強我們文章的原創(chuàng )。最好添加自己的 ALT 標簽來(lái)替換圖像。
網(wǎng)站采集可以為我們提供素材，這有助于我們的網(wǎng)站內容不斷更新，但是對于網(wǎng)站的建設來(lái)說(shuō)肯定是不夠的。我們網(wǎng)站的主要目的是為了更好的服務(wù)客戶(hù)，從而增強用戶(hù)粘性，完成流量轉化。所以在做網(wǎng)站的時(shí)候，首先要考慮的是用戶(hù)的需求。只有用戶(hù)才有評價(jià)網(wǎng)站質(zhì)量的權利。如果用戶(hù)說(shuō)是，網(wǎng)站 才是真正的好東西。所以，一定要了解用戶(hù)的需求，把用戶(hù)需求放在首位，參與網(wǎng)站的制作。只有當你的網(wǎng)站擁有了客戶(hù)真正想要的東西，你的網(wǎng)站才會(huì )成功，才能稱(chēng)得上是合格的網(wǎng)站。
網(wǎng)站Data不僅可以為我們提供內容素材，還可以通過(guò)采集data幫助我們分析市場(chǎng)和用戶(hù)需求：
一、滿(mǎn)足用戶(hù)需求
網(wǎng)站采集獲得的大數據讓我們了解用戶(hù)的顯性需求，但也有一些客戶(hù)的隱性需求，需要我們直接聯(lián)系用戶(hù)了解更多。所以，在做網(wǎng)站之前，要多做市場(chǎng)調研，一定要多接觸用戶(hù)，了解他們的需求和痛點(diǎn)。從一開(kāi)始就要有這個(gè)意識，靠采集數據分析還是片面的。在一個(gè)想法開(kāi)始之前與客戶(hù)進(jìn)行深入的溝通是最重要的。
二、增強網(wǎng)站實(shí)用程序
數據采集也可以讓我們獲得精準的用戶(hù)畫(huà)像，讓我們了解網(wǎng)站的用戶(hù)，所以網(wǎng)站的建設一定要實(shí)用、有針對性，讓網(wǎng)站有自己的核心競爭力。比如年輕人的博客肯定需要我們的網(wǎng)頁(yè)清晰整潔，動(dòng)畫(huà)網(wǎng)站肯定需要色彩來(lái)增強視覺(jué)沖擊力。所以，迎合用戶(hù)的喜好，讓用戶(hù)時(shí)時(shí)享受和感覺(jué)有用，這是一個(gè)基本的成功網(wǎng)站。
三、好網(wǎng)站經(jīng)得起時(shí)間的考驗
網(wǎng)站 的質(zhì)量將經(jīng)受時(shí)間的考驗。一個(gè)非常好的 網(wǎng)站 可以經(jīng)受住任何考驗。過(guò)了一段時(shí)間，這個(gè)網(wǎng)站還是很火的，說(shuō)明這個(gè)網(wǎng)站當然比較成功。如果他想繼續成功，他必須在后期有完美的工作。
網(wǎng)站采集可以為我們提供網(wǎng)站內容的素材。它還可以為我們提供行業(yè)分析所需的數據。只要我們善用它，就可以創(chuàng )建自己的網(wǎng)站。
實(shí)時(shí)文章采集(小說(shuō)網(wǎng)站怎么做？小說(shuō)規則怎么寫(xiě)？其中的原因)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 95 次瀏覽 ? 2022-03-05 05:00
實(shí)時(shí)文章采集(小說(shuō)網(wǎng)站怎么做？小說(shuō)規則怎么寫(xiě)？其中的原因)
小說(shuō)網(wǎng)站怎么辦？小說(shuō)的規則怎么寫(xiě)？大量采集小說(shuō)網(wǎng)站和免費采集工具，讓關(guān)鍵詞排名網(wǎng)站快速收錄。關(guān)鍵詞搜索引擎首頁(yè)的穩定性是我們網(wǎng)站優(yōu)化的目標，但是有的網(wǎng)站可以做到，有的網(wǎng)站一直沒(méi)有效果。無(wú)效的原因有很多。今天小編就為大家分析一下原因。
一、服務(wù)器原因
服務(wù)器是網(wǎng)站 的基礎，也是必要的設施之一。選擇服務(wù)器時(shí)，建議選擇官方備案的服務(wù)器。糟糕的服務(wù)器通常會(huì )導致 網(wǎng)站 打開(kāi)緩慢或無(wú)法訪(fǎng)問(wèn)。發(fā)生這種情況，搜索引擎不會(huì )給出最高排名。
二、網(wǎng)站內容
網(wǎng)站更新頻率A網(wǎng)站更新頻率越高，搜索引擎蜘蛛來(lái)的頻率越高。因此，我們可以利用小說(shuō)采集器實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布，主動(dòng)推送給搜索引擎，提高搜索引擎的抓取頻率。本小說(shuō)采集器操作簡(jiǎn)單，不需要學(xué)習更專(zhuān)業(yè)的技術(shù)，只需幾步即可輕松采集內容數據。用戶(hù)只需對小說(shuō)采集器進(jìn)行簡(jiǎn)單的設置，小說(shuō)采集器會(huì )根據用戶(hù)的設置關(guān)鍵詞精確采集文章進(jìn)行設置，所以以確保與行業(yè) 文章 保持一致。采集文章 from 采集可以選擇保存在本地，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，
和其他網(wǎng)站插件相比，這部小說(shuō)采集器基本沒(méi)有什么規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，輸入關(guān)鍵詞@ > 采集（小說(shuō)采集器也配備了關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)網(wǎng)站插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（讓內容沒(méi)有不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前的采集關(guān)鍵詞 是自動(dòng)添加的。文本 Automatically insert the current 采集關(guān)鍵詞 在隨機位置兩次。當當前 采集 的 關(guān)鍵詞 出現在文本中時(shí)，< @關(guān)鍵詞 將自動(dòng)加粗。）
7、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），而不是每次登錄網(wǎng)站后臺日。SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
三、鏈接
友情鏈接有很多功能。它們可以增加網(wǎng)站 流量和收錄 彼此。是大家喜歡的優(yōu)化推廣方式之一。但是，如果網(wǎng)站有惡意交流鏈接和垃圾郵件，也會(huì )影響網(wǎng)站的排名，也有可能被搜索引擎降級。建議大家交流一些相關(guān)的正式的網(wǎng)站，當然最好有一定的分量。
四、搜索引擎算法
網(wǎng)站在優(yōu)化過(guò)程中，網(wǎng)站的每一個(gè)操作細節都會(huì )影響到網(wǎng)站，而網(wǎng)站在優(yōu)化過(guò)程中出現的頻率相當于< @網(wǎng)站基本，影響網(wǎng)站爬取頻率的主要因素有哪些？今天云無(wú)限小編就帶大家詳細了解一下。
網(wǎng)站優(yōu)化
1、網(wǎng)站域名的選擇；
選擇網(wǎng)站域名時(shí)，盡量選擇比較短的域名，目錄層次盡量控制在3層以?xún)?，有利于蜘蛛爬?。?br /> 2、更新頻率和原創(chuàng )內容程度；
更新網(wǎng)站的內容時(shí)，盡量做原創(chuàng )文章。對于蜘蛛來(lái)說(shuō)，喜歡原創(chuàng )，文章度數高，更新頻率要掌握一定的頻率；
3、頁(yè)面加載速度；
蜘蛛在抓取網(wǎng)站的時(shí)候，非常關(guān)心頁(yè)面的加載速度。頁(yè)面打開(kāi)時(shí)，盡量控制在3秒以?xún)?。這也是蜘蛛更敏感的地方。網(wǎng)站溜走；
4、 主動(dòng)提交；
我們需要提交網(wǎng)站的URL，這樣可以更好的增加網(wǎng)站收錄的數量；
5、優(yōu)質(zhì)的外部鏈接；
網(wǎng)站在優(yōu)化過(guò)程中，少不了優(yōu)質(zhì)優(yōu)質(zhì)的外鏈，可以更好的幫助你網(wǎng)站打好基礎。這些優(yōu)質(zhì)的外鏈主要包括友情鏈接等；
關(guān)鍵詞3@>網(wǎng)站未排名
對于很多站長(cháng)來(lái)說(shuō)，關(guān)鍵詞沒(méi)有被排名是一件非常痛苦的事情。他們每天都在運轉，但效果并沒(méi)有明顯改善。為什么是這樣？關(guān)鍵詞讓我們看看如果我們長(cháng)時(shí)間沒(méi)有排名該怎么辦！
關(guān)鍵詞4@>修改TDK
我們都知道TDK是網(wǎng)站最重要的部分。如果一個(gè)網(wǎng)站的TDK寫(xiě)得不好，那么網(wǎng)站的排名肯定會(huì )受到影響，也有可能是算法變化造成的。所以如果網(wǎng)站長(cháng)時(shí)間沒(méi)有排名，可以適當修改TDK，讓關(guān)鍵詞的排名也有可能出現。
關(guān)鍵詞5@>檢查網(wǎng)站代碼
網(wǎng)站的代碼有很多種，其中圖片優(yōu)化、推送代碼、H1標簽、nofollow標簽大家應該熟悉。它可能是這些標簽代碼之一，它會(huì )影響您對 關(guān)鍵詞 的排名。所以?xún)?yōu)化是一項細心的工作，這些小細節不能馬虎。
關(guān)鍵詞6@>修改關(guān)鍵詞密度
關(guān)鍵詞的密度官方說(shuō)在2-8%之間，注意這只是一個(gè)大概的比例！如果你的網(wǎng)站內容很多（以1000字為例），關(guān)鍵詞出現5次，而內容很少（只有500字）關(guān)鍵詞也出現5次，那么這個(gè)密度就不一樣了！因此，合理設置關(guān)鍵詞的密度是必不可少的過(guò)程。
關(guān)鍵詞7@>
看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
小說(shuō)網(wǎng)站怎么辦？小說(shuō)的規則怎么寫(xiě)？大量采集小說(shuō)網(wǎng)站和免費采集工具，讓關(guān)鍵詞排名網(wǎng)站快速收錄。關(guān)鍵詞搜索引擎首頁(yè)的穩定性是我們網(wǎng)站優(yōu)化的目標，但是有的網(wǎng)站可以做到，有的網(wǎng)站一直沒(méi)有效果。無(wú)效的原因有很多。今天小編就為大家分析一下原因。
一、服務(wù)器原因
服務(wù)器是網(wǎng)站 的基礎，也是必要的設施之一。選擇服務(wù)器時(shí)，建議選擇官方備案的服務(wù)器。糟糕的服務(wù)器通常會(huì )導致 網(wǎng)站 打開(kāi)緩慢或無(wú)法訪(fǎng)問(wèn)。發(fā)生這種情況，搜索引擎不會(huì )給出最高排名。
二、網(wǎng)站內容
網(wǎng)站更新頻率A網(wǎng)站更新頻率越高，搜索引擎蜘蛛來(lái)的頻率越高。因此，我們可以利用小說(shuō)采集器實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布，主動(dòng)推送給搜索引擎，提高搜索引擎的抓取頻率。本小說(shuō)采集器操作簡(jiǎn)單，不需要學(xué)習更專(zhuān)業(yè)的技術(shù)，只需幾步即可輕松采集內容數據。用戶(hù)只需對小說(shuō)采集器進(jìn)行簡(jiǎn)單的設置，小說(shuō)采集器會(huì )根據用戶(hù)的設置關(guān)鍵詞精確采集文章進(jìn)行設置，所以以確保與行業(yè) 文章 保持一致。采集文章 from 采集可以選擇保存在本地，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，
和其他網(wǎng)站插件相比，這部小說(shuō)采集器基本沒(méi)有什么規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，輸入關(guān)鍵詞@ > 采集（小說(shuō)采集器也配備了關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)網(wǎng)站插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（讓內容沒(méi)有不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前的采集關(guān)鍵詞 是自動(dòng)添加的。文本 Automatically insert the current 采集關(guān)鍵詞 在隨機位置兩次。當當前 采集 的 關(guān)鍵詞 出現在文本中時(shí)，< @關(guān)鍵詞 將自動(dòng)加粗。）
7、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），而不是每次登錄網(wǎng)站后臺日。SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
三、鏈接
友情鏈接有很多功能。它們可以增加網(wǎng)站 流量和收錄 彼此。是大家喜歡的優(yōu)化推廣方式之一。但是，如果網(wǎng)站有惡意交流鏈接和垃圾郵件，也會(huì )影響網(wǎng)站的排名，也有可能被搜索引擎降級。建議大家交流一些相關(guān)的正式的網(wǎng)站，當然最好有一定的分量。
四、搜索引擎算法
網(wǎng)站在優(yōu)化過(guò)程中，網(wǎng)站的每一個(gè)操作細節都會(huì )影響到網(wǎng)站，而網(wǎng)站在優(yōu)化過(guò)程中出現的頻率相當于< @網(wǎng)站基本，影響網(wǎng)站爬取頻率的主要因素有哪些？今天云無(wú)限小編就帶大家詳細了解一下。
網(wǎng)站優(yōu)化
1、網(wǎng)站域名的選擇；
選擇網(wǎng)站域名時(shí)，盡量選擇比較短的域名，目錄層次盡量控制在3層以?xún)?，有利于蜘蛛爬?。?br /> 2、更新頻率和原創(chuàng )內容程度；
更新網(wǎng)站的內容時(shí)，盡量做原創(chuàng )文章。對于蜘蛛來(lái)說(shuō)，喜歡原創(chuàng )，文章度數高，更新頻率要掌握一定的頻率；
3、頁(yè)面加載速度；
蜘蛛在抓取網(wǎng)站的時(shí)候，非常關(guān)心頁(yè)面的加載速度。頁(yè)面打開(kāi)時(shí)，盡量控制在3秒以?xún)?。這也是蜘蛛更敏感的地方。網(wǎng)站溜走；
4、 主動(dòng)提交；
我們需要提交網(wǎng)站的URL，這樣可以更好的增加網(wǎng)站收錄的數量；
5、優(yōu)質(zhì)的外部鏈接；
網(wǎng)站在優(yōu)化過(guò)程中，少不了優(yōu)質(zhì)優(yōu)質(zhì)的外鏈，可以更好的幫助你網(wǎng)站打好基礎。這些優(yōu)質(zhì)的外鏈主要包括友情鏈接等；
關(guān)鍵詞3@>網(wǎng)站未排名
對于很多站長(cháng)來(lái)說(shuō)，關(guān)鍵詞沒(méi)有被排名是一件非常痛苦的事情。他們每天都在運轉，但效果并沒(méi)有明顯改善。為什么是這樣？關(guān)鍵詞讓我們看看如果我們長(cháng)時(shí)間沒(méi)有排名該怎么辦！
關(guān)鍵詞4@>修改TDK
我們都知道TDK是網(wǎng)站最重要的部分。如果一個(gè)網(wǎng)站的TDK寫(xiě)得不好，那么網(wǎng)站的排名肯定會(huì )受到影響，也有可能是算法變化造成的。所以如果網(wǎng)站長(cháng)時(shí)間沒(méi)有排名，可以適當修改TDK，讓關(guān)鍵詞的排名也有可能出現。
關(guān)鍵詞5@>檢查網(wǎng)站代碼
網(wǎng)站的代碼有很多種，其中圖片優(yōu)化、推送代碼、H1標簽、nofollow標簽大家應該熟悉。它可能是這些標簽代碼之一，它會(huì )影響您對 關(guān)鍵詞 的排名。所以?xún)?yōu)化是一項細心的工作，這些小細節不能馬虎。
關(guān)鍵詞6@>修改關(guān)鍵詞密度
關(guān)鍵詞的密度官方說(shuō)在2-8%之間，注意這只是一個(gè)大概的比例！如果你的網(wǎng)站內容很多（以1000字為例），關(guān)鍵詞出現5次，而內容很少（只有500字）關(guān)鍵詞也出現5次，那么這個(gè)密度就不一樣了！因此，合理設置關(guān)鍵詞的密度是必不可少的過(guò)程。
關(guān)鍵詞7@>
看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
實(shí)時(shí)文章采集(小說(shuō)網(wǎng)站怎么做？小說(shuō)規則怎么寫(xiě)？其中的原因)
小說(shuō)網(wǎng)站怎么辦？小說(shuō)的規則怎么寫(xiě)？大量采集小說(shuō)網(wǎng)站和免費采集工具，讓關(guān)鍵詞排名網(wǎng)站快速收錄。關(guān)鍵詞搜索引擎首頁(yè)的穩定性是我們網(wǎng)站優(yōu)化的目標，但是有的網(wǎng)站可以做到，有的網(wǎng)站一直沒(méi)有效果。無(wú)效的原因有很多。今天小編就為大家分析一下原因。
一、服務(wù)器原因
服務(wù)器是網(wǎng)站 的基礎，也是必要的設施之一。選擇服務(wù)器時(shí)，建議選擇官方備案的服務(wù)器。糟糕的服務(wù)器通常會(huì )導致 網(wǎng)站 打開(kāi)緩慢或無(wú)法訪(fǎng)問(wèn)。發(fā)生這種情況，搜索引擎不會(huì )給出最高排名。
二、網(wǎng)站內容
網(wǎng)站更新頻率A網(wǎng)站更新頻率越高，搜索引擎蜘蛛來(lái)的頻率越高。因此，我們可以利用小說(shuō)采集器實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布，主動(dòng)推送給搜索引擎，提高搜索引擎的抓取頻率。本小說(shuō)采集器操作簡(jiǎn)單，不需要學(xué)習更專(zhuān)業(yè)的技術(shù)，只需幾步即可輕松采集內容數據。用戶(hù)只需對小說(shuō)采集器進(jìn)行簡(jiǎn)單的設置，小說(shuō)采集器會(huì )根據用戶(hù)的設置關(guān)鍵詞精確采集文章進(jìn)行設置，所以以確保與行業(yè) 文章 保持一致。采集文章 from 采集可以選擇保存在本地，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，
和其他網(wǎng)站插件相比，這部小說(shuō)采集器基本沒(méi)有什么規則，更別說(shuō)花很多時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，輸入關(guān)鍵詞@ > 采集（小說(shuō)采集器也配備了關(guān)鍵詞采集功能）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)網(wǎng)站插件還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（讓內容沒(méi)有不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、相關(guān)性?xún)?yōu)化（關(guān)鍵詞出現在正文中，正文第一段自動(dòng)插入到title標題中。當描述相關(guān)性低時(shí)，當前的采集關(guān)鍵詞 是自動(dòng)添加的。文本 Automatically insert the current 采集關(guān)鍵詞 在隨機位置兩次。當當前 采集 的 關(guān)鍵詞 出現在文本中時(shí)，< @關(guān)鍵詞 將自動(dòng)加粗。）
7、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），而不是每次登錄網(wǎng)站后臺日。SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
三、鏈接
友情鏈接有很多功能。它們可以增加網(wǎng)站 流量和收錄 彼此。是大家喜歡的優(yōu)化推廣方式之一。但是，如果網(wǎng)站有惡意交流鏈接和垃圾郵件，也會(huì )影響網(wǎng)站的排名，也有可能被搜索引擎降級。建議大家交流一些相關(guān)的正式的網(wǎng)站，當然最好有一定的分量。
四、搜索引擎算法
網(wǎng)站在優(yōu)化過(guò)程中，網(wǎng)站的每一個(gè)操作細節都會(huì )影響到網(wǎng)站，而網(wǎng)站在優(yōu)化過(guò)程中出現的頻率相當于< @網(wǎng)站基本，影響網(wǎng)站爬取頻率的主要因素有哪些？今天云無(wú)限小編就帶大家詳細了解一下。
網(wǎng)站優(yōu)化
1、網(wǎng)站域名的選擇；
選擇網(wǎng)站域名時(shí)，盡量選擇比較短的域名，目錄層次盡量控制在3層以?xún)?，有利于蜘蛛爬?。?br /> 2、更新頻率和原創(chuàng )內容程度；
更新網(wǎng)站的內容時(shí)，盡量做原創(chuàng )文章。對于蜘蛛來(lái)說(shuō)，喜歡原創(chuàng )，文章度數高，更新頻率要掌握一定的頻率；
3、頁(yè)面加載速度；
蜘蛛在抓取網(wǎng)站的時(shí)候，非常關(guān)心頁(yè)面的加載速度。頁(yè)面打開(kāi)時(shí)，盡量控制在3秒以?xún)?。這也是蜘蛛更敏感的地方。網(wǎng)站溜走；
4、 主動(dòng)提交；
我們需要提交網(wǎng)站的URL，這樣可以更好的增加網(wǎng)站收錄的數量；
5、優(yōu)質(zhì)的外部鏈接；
網(wǎng)站在優(yōu)化過(guò)程中，少不了優(yōu)質(zhì)優(yōu)質(zhì)的外鏈，可以更好的幫助你網(wǎng)站打好基礎。這些優(yōu)質(zhì)的外鏈主要包括友情鏈接等；
關(guān)鍵詞3@>網(wǎng)站未排名
對于很多站長(cháng)來(lái)說(shuō)，關(guān)鍵詞沒(méi)有被排名是一件非常痛苦的事情。他們每天都在運轉，但效果并沒(méi)有明顯改善。為什么是這樣？關(guān)鍵詞讓我們看看如果我們長(cháng)時(shí)間沒(méi)有排名該怎么辦！
關(guān)鍵詞4@>修改TDK
我們都知道TDK是網(wǎng)站最重要的部分。如果一個(gè)網(wǎng)站的TDK寫(xiě)得不好，那么網(wǎng)站的排名肯定會(huì )受到影響，也有可能是算法變化造成的。所以如果網(wǎng)站長(cháng)時(shí)間沒(méi)有排名，可以適當修改TDK，讓關(guān)鍵詞的排名也有可能出現。
關(guān)鍵詞5@>檢查網(wǎng)站代碼
網(wǎng)站的代碼有很多種，其中圖片優(yōu)化、推送代碼、H1標簽、nofollow標簽大家應該熟悉。它可能是這些標簽代碼之一，它會(huì )影響您對 關(guān)鍵詞 的排名。所以?xún)?yōu)化是一項細心的工作，這些小細節不能馬虎。
關(guān)鍵詞6@>修改關(guān)鍵詞密度
關(guān)鍵詞的密度官方說(shuō)在2-8%之間，注意這只是一個(gè)大概的比例！如果你的網(wǎng)站內容很多（以1000字為例），關(guān)鍵詞出現5次，而內容很少（只有500字）關(guān)鍵詞也出現5次，那么這個(gè)密度就不一樣了！因此，合理設置關(guān)鍵詞的密度是必不可少的過(guò)程。
關(guān)鍵詞7@>
看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！
實(shí)時(shí)文章采集(DMCMS插件是否有用，DM建站系統是一款小眾CMS！ )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 124 次瀏覽 ? 2022-03-05 04:21
實(shí)時(shí)文章采集(DMCMS插件是否有用，DM建站系統是一款小眾CMS！
)
DMcms插件有沒(méi)有用，今天跟大家分享一下，DM建站系統是一個(gè)小眾cms，php+mysql開(kāi)發(fā)的一個(gè)開(kāi)源的，用于中小型建設的企業(yè) 網(wǎng)站 cms, DMcms 后臺有塊和布局兩個(gè)功能。block函數用于效果，layout函數用于結構。帶有一些 SEO 處理功能。雖然是開(kāi)源的cms，但是由于用戶(hù)比較少，DMcms的插件并不多。
DMcms插件使用非常簡(jiǎn)單，所有操作頁(yè)面可視化點(diǎn)擊，無(wú)需專(zhuān)業(yè)規則配置，兼容性好，無(wú)論是DMcms，dedecms@ >、鯰魚(yú)cms或者小旋風(fēng)cms的大小都可以。DMcms插件實(shí)現網(wǎng)站采集—文章翻譯—內容偽原創(chuàng )—主要cms發(fā)布—實(shí)時(shí)推送等職能。網(wǎng)站自動(dòng)管理，任務(wù)進(jìn)度（成功/失?。顟B(tài)可見(jiàn)。
網(wǎng)站 的構建肯定需要 SEO。SEO是一種全過(guò)程的優(yōu)化行為。從我們決定建立 網(wǎng)站 開(kāi)始，就應該建立 SEO 意識。讓我們簡(jiǎn)單談?wù)勔恍┗镜腟EO：
一、 網(wǎng)站TDK
TDK是我們常說(shuō)的title、description、keywords的縮寫(xiě)。TDK 對我們來(lái)說(shuō)是一個(gè)非常重要的設置網(wǎng)站。就像我們的身份信息一樣，盡量不要填寫(xiě)。改變。
二、TDK相關(guān)內容
網(wǎng)站的主題一定要明確，每個(gè)頁(yè)面的內容都要呼應我們的網(wǎng)站TDK，通過(guò)采集的DMcms插件，輸入關(guān)鍵詞可以啟動(dòng)采集，采集內容覆蓋全網(wǎng)頭平臺（如圖），不斷更新方向，遞增采集。一次可以創(chuàng )建多個(gè)采集任務(wù)，可以同時(shí)執行不同域名和重復域名的任務(wù)。
三、內容優(yōu)化
1、采集內容敏感*字過(guò)濾，
2、 清洗（號碼清洗、網(wǎng)站清洗、機構名稱(chēng)清洗）
3、內置翻譯功能（英譯中、繁譯簡(jiǎn)、簡(jiǎn)譯火星）
4、偽原創(chuàng )關(guān)鍵詞（關(guān)鍵詞不受偽原創(chuàng )影響，保證核心關(guān)鍵詞或品牌展示）
5、采集保留內容標簽
6、標題、內容偽原創(chuàng )
7、設置內容與標題一致（使內容與標題完全匹配）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
四、圖像優(yōu)化
圖文結合受到用戶(hù)和搜索引擎的歡迎。一個(gè)高質(zhì)量的文章 不能沒(méi)有圖片。搜索引擎使用圖片標簽和描述來(lái)識別圖片。通過(guò) DMcms 插件可以?xún)?yōu)化圖像的方式有哪些。
1、圖片本地化/云存儲
2、給圖片添加標簽
3、圖片按頻率插入到文本中
4、圖片水印/去水
五、流程 SEO 管理
SEO與SEM的不同之處在于看到結果需要時(shí)間，因此我們需要更加關(guān)注優(yōu)化過(guò)程。DMcms插件可以實(shí)時(shí)查看任務(wù)已發(fā)布、待發(fā)布、是否為偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等信息。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為搜索引擎優(yōu)化從業(yè)者，需要有良好的心理素質(zhì)，不斷學(xué)習和掌握新的SEO技巧，總結每日數據曲線(xiàn)，根據行業(yè)趨勢和網(wǎng)站曲線(xiàn)變化調整思路，靈活運用及時(shí)調整能力。任務(wù)完成。這就是今天分享的全部?jì)热?。喜歡的話(huà)可以連續點(diǎn)三下。
查看全部
)
DMcms插件有沒(méi)有用，今天跟大家分享一下，DM建站系統是一個(gè)小眾cms，php+mysql開(kāi)發(fā)的一個(gè)開(kāi)源的，用于中小型建設的企業(yè) 網(wǎng)站 cms, DMcms 后臺有塊和布局兩個(gè)功能。block函數用于效果，layout函數用于結構。帶有一些 SEO 處理功能。雖然是開(kāi)源的cms，但是由于用戶(hù)比較少，DMcms的插件并不多。
DMcms插件使用非常簡(jiǎn)單，所有操作頁(yè)面可視化點(diǎn)擊，無(wú)需專(zhuān)業(yè)規則配置，兼容性好，無(wú)論是DMcms，dedecms@ >、鯰魚(yú)cms或者小旋風(fēng)cms的大小都可以。DMcms插件實(shí)現網(wǎng)站采集—文章翻譯—內容偽原創(chuàng )—主要cms發(fā)布—實(shí)時(shí)推送等職能。網(wǎng)站自動(dòng)管理，任務(wù)進(jìn)度（成功/失?。顟B(tài)可見(jiàn)。
網(wǎng)站 的構建肯定需要 SEO。SEO是一種全過(guò)程的優(yōu)化行為。從我們決定建立 網(wǎng)站 開(kāi)始，就應該建立 SEO 意識。讓我們簡(jiǎn)單談?wù)勔恍┗镜腟EO：
一、 網(wǎng)站TDK
TDK是我們常說(shuō)的title、description、keywords的縮寫(xiě)。TDK 對我們來(lái)說(shuō)是一個(gè)非常重要的設置網(wǎng)站。就像我們的身份信息一樣，盡量不要填寫(xiě)。改變。
二、TDK相關(guān)內容
網(wǎng)站的主題一定要明確，每個(gè)頁(yè)面的內容都要呼應我們的網(wǎng)站TDK，通過(guò)采集的DMcms插件，輸入關(guān)鍵詞可以啟動(dòng)采集，采集內容覆蓋全網(wǎng)頭平臺（如圖），不斷更新方向，遞增采集。一次可以創(chuàng )建多個(gè)采集任務(wù)，可以同時(shí)執行不同域名和重復域名的任務(wù)。
三、內容優(yōu)化
1、采集內容敏感*字過(guò)濾，
2、 清洗（號碼清洗、網(wǎng)站清洗、機構名稱(chēng)清洗）
3、內置翻譯功能（英譯中、繁譯簡(jiǎn)、簡(jiǎn)譯火星）
4、偽原創(chuàng )關(guān)鍵詞（關(guān)鍵詞不受偽原創(chuàng )影響，保證核心關(guān)鍵詞或品牌展示）
5、采集保留內容標簽
6、標題、內容偽原創(chuàng )
7、設置內容與標題一致（使內容與標題完全匹配）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
四、圖像優(yōu)化
圖文結合受到用戶(hù)和搜索引擎的歡迎。一個(gè)高質(zhì)量的文章 不能沒(méi)有圖片。搜索引擎使用圖片標簽和描述來(lái)識別圖片。通過(guò) DMcms 插件可以?xún)?yōu)化圖像的方式有哪些。
1、圖片本地化/云存儲
2、給圖片添加標簽
3、圖片按頻率插入到文本中
4、圖片水印/去水
五、流程 SEO 管理
SEO與SEM的不同之處在于看到結果需要時(shí)間，因此我們需要更加關(guān)注優(yōu)化過(guò)程。DMcms插件可以實(shí)時(shí)查看任務(wù)已發(fā)布、待發(fā)布、是否為偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等信息。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為搜索引擎優(yōu)化從業(yè)者，需要有良好的心理素質(zhì)，不斷學(xué)習和掌握新的SEO技巧，總結每日數據曲線(xiàn)，根據行業(yè)趨勢和網(wǎng)站曲線(xiàn)變化調整思路，靈活運用及時(shí)調整能力。任務(wù)完成。這就是今天分享的全部?jì)热?。喜歡的話(huà)可以連續點(diǎn)三下。
查看全部
實(shí)時(shí)文章采集(DMCMS插件是否有用，DM建站系統是一款小眾CMS！
)
DMcms插件有沒(méi)有用，今天跟大家分享一下，DM建站系統是一個(gè)小眾cms，php+mysql開(kāi)發(fā)的一個(gè)開(kāi)源的，用于中小型建設的企業(yè) 網(wǎng)站 cms, DMcms 后臺有塊和布局兩個(gè)功能。block函數用于效果，layout函數用于結構。帶有一些 SEO 處理功能。雖然是開(kāi)源的cms，但是由于用戶(hù)比較少，DMcms的插件并不多。
DMcms插件使用非常簡(jiǎn)單，所有操作頁(yè)面可視化點(diǎn)擊，無(wú)需專(zhuān)業(yè)規則配置，兼容性好，無(wú)論是DMcms，dedecms@ >、鯰魚(yú)cms或者小旋風(fēng)cms的大小都可以。DMcms插件實(shí)現網(wǎng)站采集—文章翻譯—內容偽原創(chuàng )—主要cms發(fā)布—實(shí)時(shí)推送等職能。網(wǎng)站自動(dòng)管理，任務(wù)進(jìn)度（成功/失?。顟B(tài)可見(jiàn)。
網(wǎng)站 的構建肯定需要 SEO。SEO是一種全過(guò)程的優(yōu)化行為。從我們決定建立 網(wǎng)站 開(kāi)始，就應該建立 SEO 意識。讓我們簡(jiǎn)單談?wù)勔恍┗镜腟EO：
一、 網(wǎng)站TDK
TDK是我們常說(shuō)的title、description、keywords的縮寫(xiě)。TDK 對我們來(lái)說(shuō)是一個(gè)非常重要的設置網(wǎng)站。就像我們的身份信息一樣，盡量不要填寫(xiě)。改變。
二、TDK相關(guān)內容
網(wǎng)站的主題一定要明確，每個(gè)頁(yè)面的內容都要呼應我們的網(wǎng)站TDK，通過(guò)采集的DMcms插件，輸入關(guān)鍵詞可以啟動(dòng)采集，采集內容覆蓋全網(wǎng)頭平臺（如圖），不斷更新方向，遞增采集。一次可以創(chuàng )建多個(gè)采集任務(wù)，可以同時(shí)執行不同域名和重復域名的任務(wù)。
三、內容優(yōu)化
1、采集內容敏感*字過(guò)濾，
2、 清洗（號碼清洗、網(wǎng)站清洗、機構名稱(chēng)清洗）
3、內置翻譯功能（英譯中、繁譯簡(jiǎn)、簡(jiǎn)譯火星）
4、偽原創(chuàng )關(guān)鍵詞（關(guān)鍵詞不受偽原創(chuàng )影響，保證核心關(guān)鍵詞或品牌展示）
5、采集保留內容標簽
6、標題、內容偽原創(chuàng )
7、設置內容與標題一致（使內容與標題完全匹配）
8、設置關(guān)鍵詞自動(dòng)內鏈（自動(dòng)從文章內容中的關(guān)鍵詞生成內鏈）
9、設置定時(shí)釋放（24小時(shí)掛機）
四、圖像優(yōu)化
圖文結合受到用戶(hù)和搜索引擎的歡迎。一個(gè)高質(zhì)量的文章 不能沒(méi)有圖片。搜索引擎使用圖片標簽和描述來(lái)識別圖片。通過(guò) DMcms 插件可以?xún)?yōu)化圖像的方式有哪些。
1、圖片本地化/云存儲
2、給圖片添加標簽
3、圖片按頻率插入到文本中
4、圖片水印/去水
五、流程 SEO 管理
SEO與SEM的不同之處在于看到結果需要時(shí)間，因此我們需要更加關(guān)注優(yōu)化過(guò)程。DMcms插件可以實(shí)時(shí)查看任務(wù)已發(fā)布、待發(fā)布、是否為偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等信息。整合cms網(wǎng)站收錄、權重、蜘蛛等綁定信息，自動(dòng)生成曲線(xiàn)供我們分析。
作為搜索引擎優(yōu)化從業(yè)者，需要有良好的心理素質(zhì)，不斷學(xué)習和掌握新的SEO技巧，總結每日數據曲線(xiàn)，根據行業(yè)趨勢和網(wǎng)站曲線(xiàn)變化調整思路，靈活運用及時(shí)調整能力。任務(wù)完成。這就是今天分享的全部?jì)热?。喜歡的話(huà)可以連續點(diǎn)三下。
實(shí)時(shí)文章采集(0服務(wù)出現錯誤的根因服務(wù)的設計方法與設計 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 291 次瀏覽 ? 2022-03-03 16:06
實(shí)時(shí)文章采集(0服務(wù)出現錯誤的根因服務(wù)的設計方法與設計
)
0 1 背景
目前閑魚(yú)的實(shí)際生產(chǎn)部署環(huán)境越來(lái)越復雜。各種服務(wù)的橫向依賴(lài)相互交織，運行環(huán)境的縱向依賴(lài)也越來(lái)越復雜。當服務(wù)出現問(wèn)題時(shí)，能否在海量數據中及時(shí)定位問(wèn)題根源，成為考驗閑魚(yú)服務(wù)能力的嚴峻挑戰。
當網(wǎng)上出現問(wèn)題時(shí)，往往需要十多分鐘甚至更長(cháng)時(shí)間才能找到問(wèn)題的原因。因此，需要應用能夠快速進(jìn)行自動(dòng)診斷的系統，而快速診斷的基礎是高性能的實(shí)時(shí)數據。處理系統。該實(shí)時(shí)數據處理系統需要具備以下能力：
1、數據實(shí)時(shí)采集，實(shí)時(shí)分析，計算復雜，分析結果持久化。
2、 可以處理各種各樣的數據。收錄應用日志、主機性能監控指標和調用鏈接圖。
3、高可靠性。系統沒(méi)有問(wèn)題，數據不會(huì )丟失。
4、高性能，底部延遲。數據處理時(shí)延不超過(guò)3秒，支持每秒千萬(wàn)級數據處理。
本文不涉及自動(dòng)問(wèn)題診斷的具體分析模型，只討論整體實(shí)時(shí)數據處理環(huán)節的設計。
02 I/O 定義
為了便于理解系統的運行，我們將系統的整體輸入輸出定義如下：
輸入：
服務(wù)請求日志（包括traceid、時(shí)間戳、客戶(hù)端ip、服務(wù)器ip、耗時(shí)、返回碼、服務(wù)名、方法名）
環(huán)境監測數據（指標名稱(chēng)、ip、時(shí)間戳、指標值）。比如cpu、jvm gc次數、jvm gc耗時(shí)、數據庫指標。
輸出：
某服務(wù)在一段時(shí)間內出錯的根本原因，每個(gè)服務(wù)的錯誤分析結果用有向無(wú)環(huán)圖表示。 （根節點(diǎn)是被分析的錯誤節點(diǎn)，葉子節點(diǎn)是錯誤根因節點(diǎn)，葉子節點(diǎn)可能是外部依賴(lài)的服務(wù)錯誤或者jvm異常等）。
03 建筑設計
在實(shí)際系統運行過(guò)程中，隨著(zhù)時(shí)間的推移，會(huì )不斷產(chǎn)生日志數據和監控數據。每條生成的數據都有自己的時(shí)間戳。實(shí)時(shí)流式傳輸這些帶時(shí)間戳的數據就像流過(guò)不同管道的水一樣。
如果將源源不斷的實(shí)時(shí)數據比作自來(lái)水，數據處理過(guò)程類(lèi)似于自來(lái)水生產(chǎn)的過(guò)程：
當然，我們也將實(shí)時(shí)數據處理分解為采集、傳輸、預處理、計算和存儲階段。
整體系統架構設計如下：
采集
使用阿里巴巴自主研發(fā)的sls日志服務(wù)產(chǎn)品（包括logtail+loghub組件），logtail是一個(gè)采集客戶(hù)端。之所以選擇logtail，是因為其卓越的性能、高可靠性以及靈活的插件擴展機制，閑魚(yú)可以定制自己的采集插件，實(shí)現各種數據的實(shí)時(shí)采集。
傳輸
loghub可以理解為數據發(fā)布訂閱組件，功能類(lèi)似于kafka，作為數據傳輸通道，更穩定安全，詳細對比文章參考：
預處理
實(shí)時(shí)數據預處理部分使用blink流計算處理組件（開(kāi)源版本稱(chēng)為flink，blink是阿里巴巴內部基于flink的增強版）。目前常用的實(shí)時(shí)流計算開(kāi)源產(chǎn)品有Jstorm、SparkStream、Flink。由于Jstorm沒(méi)有中間計算狀態(tài)，其計算過(guò)程中需要的中間結果必須依賴(lài)外部存儲，這會(huì )導致頻繁的io影響其性能； SparkStream本質(zhì)上是用小批量來(lái)模擬實(shí)時(shí)計算，但實(shí)際上還是有一定的延遲； Flink 以其優(yōu)秀的狀態(tài)管理機制保證了其計算的性能和實(shí)時(shí)性，并提供了完整的 SQL 表達式，使得流計算更容易。
計算和持久性
數據經(jīng)過(guò)預處理后，最終生成調用鏈路聚合日志和主機監控數據。主機監控數據會(huì )獨立存儲在tsdb時(shí)序數據庫中，供后續統計分析。由于對時(shí)間指標數據的特殊存儲結構設計，tsdb非常適合時(shí)間序列數據的存儲和查詢(xún)。調用鏈接日志聚合數據，提供給cep/graph服務(wù)進(jìn)行診斷模型分析。 cep/graph service是閑魚(yú)開(kāi)發(fā)的一款應用，實(shí)現模型分析、復雜數據處理以及與外部服務(wù)的交互，借助rdb實(shí)現圖數據的實(shí)時(shí)聚合。
最后一次cep/graph服務(wù)分析的結果作為圖數據，在lindorm中提供實(shí)時(shí)轉儲在線(xiàn)查詢(xún)。 Lindorm 可以看作是 hbase 的增強版，在系統中充當持久存儲。
04 詳細設計和性能優(yōu)化
采集
日志和指標數據采集使用logtail，整個(gè)數據采集流程如圖：
它提供了非常靈活的插件機制，有四種類(lèi)型的插件：
由于指標數據（如cpu、內存、jvm指標）的獲取需要調用本機的服務(wù)接口，所以盡量減少請求的數量。在 logtail 中，一個(gè)輸入占用一個(gè) goroutine。閑魚(yú)通過(guò)自定義輸入插件和處理器插件，通過(guò)服務(wù)請求（指標獲取接口由基礎監控團隊提供）在一個(gè)輸入插件中獲取多個(gè)指標數據（如cpu、內存、jvm指標），并將其格式化為一個(gè)json數組對象在處理器插件中被拆分成多條數據，以減少系統中io的數量，提高性能。
傳輸
LogHub 用于數據傳輸。 logtail寫(xiě)入數據后，blink直接消費數據。只需設置合理數量的分區即可。分區數必須大于等于并發(fā)blink讀任務(wù)數，避免blink任務(wù)空閑。
預處理
預處理主要通過(guò)blink實(shí)現，主要設計和優(yōu)化點(diǎn)：
寫(xiě)一個(gè)高效的計算過(guò)程
blink是一個(gè)有狀態(tài)的流計算框架，非常適合實(shí)時(shí)聚合、join等操作。
在我們的應用中，我們只需要注意對有錯誤請求的相關(guān)服務(wù)鏈接的調用，所以整個(gè)日志處理流程分為兩個(gè)流程：
1、服務(wù)的請求入口日志作為單獨的流處理，過(guò)濾掉請求錯誤的數據。
2、其他中間環(huán)節的調用日志作為另一個(gè)獨立的流處理。通過(guò)在traceid上加入上述流，實(shí)現了錯誤服務(wù)所依賴(lài)的請求數據的插入。
如上圖所示，雙流join后，輸出的是與請求錯誤相關(guān)的所有鏈接的完整數據。
設置合理的狀態(tài)生命周期
blink本質(zhì)上是在做join的時(shí)候通過(guò)state緩存中間數據狀態(tài)，然后再匹配數據。如果狀態(tài)的生命周期過(guò)長(cháng)，會(huì )造成數據膨脹，影響性能。如果狀態(tài)的生命周期太短，將無(wú)法正確關(guān)聯(lián)一些延遲的數據。因此，需要合理配置狀態(tài)生命周期，并允許該應用的最大數據延遲。 1 分鐘。
使用niagara作為statebackend，以及設定state數據生命周期，單位毫秒
state.backend.type=niagara
state.backend.niagara.ttl.ms=60000
打開(kāi) MicroBatch/MiniBatch
MicroBatch 和 MiniBatch 都是 micro-batch，但 micro-batch 的觸發(fā)機制略有不同。原則上，在觸發(fā)處理前緩存一定量的數據，減少對狀態(tài)的訪(fǎng)問(wèn)，從而顯著(zhù)提高吞吐量，減少輸出數據量。
開(kāi)啟join
blink.miniBatch.join.enabled=true
使用 microbatch 時(shí)需要保留以下兩個(gè) minibatch 配置
blink.miniBatch.allowLatencyMs=5000
防止OOM，每個(gè)批次最多緩存多少條數據
blink.miniBatch.size=20000
對動(dòng)態(tài)負載使用動(dòng)態(tài)再平衡而不是再平衡
blink 任務(wù)最忌諱的就是計算熱點(diǎn)的存在。 Dynamic Rebalance為了保證數據均勻使用，可以根據當前子分區中累積的buffer個(gè)數，選擇負載較輕的子分區進(jìn)行寫(xiě)入，從而實(shí)現動(dòng)態(tài)負載均衡。與靜態(tài)再平衡策略相比，當下游任務(wù)的計算能力不均衡時(shí)，可以更加均衡各個(gè)任務(wù)的相對負載，從而提升整個(gè)作業(yè)的性能。
開(kāi)啟動(dòng)態(tài)負載
task.dynamic.rebalance.enabled=true
自定義輸出插件
數據關(guān)聯(lián)后，統一請求鏈路上的數據需要以數據包的形式通知給下游圖分析節點(diǎn)。傳統的方式是通過(guò)消息服務(wù)傳遞數據。但是消息服務(wù)有兩個(gè)缺點(diǎn)：
1、與rdb等內存數據庫相比，它的吞吐量還是有很大差距（差一個(gè)數量級左右）。
2、在接收端，也需要根據traceid進(jìn)行數據關(guān)聯(lián)。
我們通過(guò)自定義插件異步向RDB寫(xiě)入數據，同時(shí)設置數據過(guò)期時(shí)間。存儲在 RDB 中的數據結構中。編寫(xiě)時(shí)只使用traceid作為消息內容，通過(guò)metaQ通知下游計算服務(wù)，大大降低了metaQ的數據傳輸壓力。
圖形聚合計算
收到metaQ的通知后，cep/graph計算服務(wù)節點(diǎn)會(huì )根據請求的鏈路數據和依賴(lài)的環(huán)境監測數據實(shí)時(shí)生成診斷結果。診斷結果簡(jiǎn)化如下：
表示這個(gè)請求是由下游jvm的線(xiàn)程池滿(mǎn)造成的，但是一次調用并沒(méi)有說(shuō)明服務(wù)不可用的根本原因。分析整體的錯誤情況，需要對圖數據進(jìn)行實(shí)時(shí)聚合。
聚合設計如下（為了說(shuō)明基本思想而進(jìn)行了簡(jiǎn)化）：
1、首先利用redis的zrank能力，根據服務(wù)名或者ip信息給每個(gè)節點(diǎn)分配一個(gè)全局唯一的序號。
2、為圖中的每個(gè)節點(diǎn)生成對應的圖節點(diǎn)代碼，代碼格式：
- 對于頭節點(diǎn)：頭節點(diǎn)序號 |圓形時(shí)間戳 |節點(diǎn)代碼
- 對于普通節點(diǎn)：|圓形時(shí)間戳 |節點(diǎn)編碼
3、由于每個(gè)節點(diǎn)在一個(gè)時(shí)間段內都有唯一的key，所以可以使用節點(diǎn)代碼作為key來(lái)統計每個(gè)節點(diǎn)使用redis。同時(shí)消除了并發(fā)讀寫(xiě)的問(wèn)題。
4、在redis中使用set集合可以很方便的疊加圖的邊。
5、記錄根節點(diǎn)，通過(guò)遍歷恢復聚合圖結構。
匯總結果大致如下：
這樣，最終產(chǎn)生了服務(wù)不可用的整體原因，可以通過(guò)葉子節點(diǎn)的數量對根本原因進(jìn)行排序。
05 收益
系統上線(xiàn)后，整個(gè)實(shí)時(shí)處理數據鏈路延遲不超過(guò)三秒。定位閑魚(yú)服務(wù)器問(wèn)題的時(shí)間從十多分鐘甚至更長(cháng)的時(shí)間縮短到了五秒以?xún)?。這大大提高了問(wèn)題定位的效率。
06 展望
目前的系統可以支持閑魚(yú)每秒千萬(wàn)級的數據處理能力。自動(dòng)定位問(wèn)題的后續服務(wù)可能會(huì )擴展到阿里巴巴內部更多的業(yè)務(wù)場(chǎng)景，數據量將成倍增長(cháng)，因此對效率和成本提出了更好的要求。
未來(lái)可能的改進(jìn)：
1、處理后的數據可以自動(dòng)縮減或壓縮。
2、復雜的模型分析計算也可以瞬間完成，減少io，提高性能。
3、支持多租戶(hù)數據隔離。
查看全部
)
0 1 背景
目前閑魚(yú)的實(shí)際生產(chǎn)部署環(huán)境越來(lái)越復雜。各種服務(wù)的橫向依賴(lài)相互交織，運行環(huán)境的縱向依賴(lài)也越來(lái)越復雜。當服務(wù)出現問(wèn)題時(shí)，能否在海量數據中及時(shí)定位問(wèn)題根源，成為考驗閑魚(yú)服務(wù)能力的嚴峻挑戰。
當網(wǎng)上出現問(wèn)題時(shí)，往往需要十多分鐘甚至更長(cháng)時(shí)間才能找到問(wèn)題的原因。因此，需要應用能夠快速進(jìn)行自動(dòng)診斷的系統，而快速診斷的基礎是高性能的實(shí)時(shí)數據。處理系統。該實(shí)時(shí)數據處理系統需要具備以下能力：
1、數據實(shí)時(shí)采集，實(shí)時(shí)分析，計算復雜，分析結果持久化。
2、 可以處理各種各樣的數據。收錄應用日志、主機性能監控指標和調用鏈接圖。
3、高可靠性。系統沒(méi)有問(wèn)題，數據不會(huì )丟失。
4、高性能，底部延遲。數據處理時(shí)延不超過(guò)3秒，支持每秒千萬(wàn)級數據處理。
本文不涉及自動(dòng)問(wèn)題診斷的具體分析模型，只討論整體實(shí)時(shí)數據處理環(huán)節的設計。
02 I/O 定義
為了便于理解系統的運行，我們將系統的整體輸入輸出定義如下：
輸入：
服務(wù)請求日志（包括traceid、時(shí)間戳、客戶(hù)端ip、服務(wù)器ip、耗時(shí)、返回碼、服務(wù)名、方法名）
環(huán)境監測數據（指標名稱(chēng)、ip、時(shí)間戳、指標值）。比如cpu、jvm gc次數、jvm gc耗時(shí)、數據庫指標。
輸出：
某服務(wù)在一段時(shí)間內出錯的根本原因，每個(gè)服務(wù)的錯誤分析結果用有向無(wú)環(huán)圖表示。 （根節點(diǎn)是被分析的錯誤節點(diǎn)，葉子節點(diǎn)是錯誤根因節點(diǎn)，葉子節點(diǎn)可能是外部依賴(lài)的服務(wù)錯誤或者jvm異常等）。
03 建筑設計
在實(shí)際系統運行過(guò)程中，隨著(zhù)時(shí)間的推移，會(huì )不斷產(chǎn)生日志數據和監控數據。每條生成的數據都有自己的時(shí)間戳。實(shí)時(shí)流式傳輸這些帶時(shí)間戳的數據就像流過(guò)不同管道的水一樣。
如果將源源不斷的實(shí)時(shí)數據比作自來(lái)水，數據處理過(guò)程類(lèi)似于自來(lái)水生產(chǎn)的過(guò)程：
當然，我們也將實(shí)時(shí)數據處理分解為采集、傳輸、預處理、計算和存儲階段。
整體系統架構設計如下：
采集
使用阿里巴巴自主研發(fā)的sls日志服務(wù)產(chǎn)品（包括logtail+loghub組件），logtail是一個(gè)采集客戶(hù)端。之所以選擇logtail，是因為其卓越的性能、高可靠性以及靈活的插件擴展機制，閑魚(yú)可以定制自己的采集插件，實(shí)現各種數據的實(shí)時(shí)采集。
傳輸
loghub可以理解為數據發(fā)布訂閱組件，功能類(lèi)似于kafka，作為數據傳輸通道，更穩定安全，詳細對比文章參考：
預處理
實(shí)時(shí)數據預處理部分使用blink流計算處理組件（開(kāi)源版本稱(chēng)為flink，blink是阿里巴巴內部基于flink的增強版）。目前常用的實(shí)時(shí)流計算開(kāi)源產(chǎn)品有Jstorm、SparkStream、Flink。由于Jstorm沒(méi)有中間計算狀態(tài)，其計算過(guò)程中需要的中間結果必須依賴(lài)外部存儲，這會(huì )導致頻繁的io影響其性能； SparkStream本質(zhì)上是用小批量來(lái)模擬實(shí)時(shí)計算，但實(shí)際上還是有一定的延遲； Flink 以其優(yōu)秀的狀態(tài)管理機制保證了其計算的性能和實(shí)時(shí)性，并提供了完整的 SQL 表達式，使得流計算更容易。
計算和持久性
數據經(jīng)過(guò)預處理后，最終生成調用鏈路聚合日志和主機監控數據。主機監控數據會(huì )獨立存儲在tsdb時(shí)序數據庫中，供后續統計分析。由于對時(shí)間指標數據的特殊存儲結構設計，tsdb非常適合時(shí)間序列數據的存儲和查詢(xún)。調用鏈接日志聚合數據，提供給cep/graph服務(wù)進(jìn)行診斷模型分析。 cep/graph service是閑魚(yú)開(kāi)發(fā)的一款應用，實(shí)現模型分析、復雜數據處理以及與外部服務(wù)的交互，借助rdb實(shí)現圖數據的實(shí)時(shí)聚合。
最后一次cep/graph服務(wù)分析的結果作為圖數據，在lindorm中提供實(shí)時(shí)轉儲在線(xiàn)查詢(xún)。 Lindorm 可以看作是 hbase 的增強版，在系統中充當持久存儲。
04 詳細設計和性能優(yōu)化
采集
日志和指標數據采集使用logtail，整個(gè)數據采集流程如圖：
它提供了非常靈活的插件機制，有四種類(lèi)型的插件：
由于指標數據（如cpu、內存、jvm指標）的獲取需要調用本機的服務(wù)接口，所以盡量減少請求的數量。在 logtail 中，一個(gè)輸入占用一個(gè) goroutine。閑魚(yú)通過(guò)自定義輸入插件和處理器插件，通過(guò)服務(wù)請求（指標獲取接口由基礎監控團隊提供）在一個(gè)輸入插件中獲取多個(gè)指標數據（如cpu、內存、jvm指標），并將其格式化為一個(gè)json數組對象在處理器插件中被拆分成多條數據，以減少系統中io的數量，提高性能。
傳輸
LogHub 用于數據傳輸。 logtail寫(xiě)入數據后，blink直接消費數據。只需設置合理數量的分區即可。分區數必須大于等于并發(fā)blink讀任務(wù)數，避免blink任務(wù)空閑。
預處理
預處理主要通過(guò)blink實(shí)現，主要設計和優(yōu)化點(diǎn)：
寫(xiě)一個(gè)高效的計算過(guò)程
blink是一個(gè)有狀態(tài)的流計算框架，非常適合實(shí)時(shí)聚合、join等操作。
在我們的應用中，我們只需要注意對有錯誤請求的相關(guān)服務(wù)鏈接的調用，所以整個(gè)日志處理流程分為兩個(gè)流程：
1、服務(wù)的請求入口日志作為單獨的流處理，過(guò)濾掉請求錯誤的數據。
2、其他中間環(huán)節的調用日志作為另一個(gè)獨立的流處理。通過(guò)在traceid上加入上述流，實(shí)現了錯誤服務(wù)所依賴(lài)的請求數據的插入。
如上圖所示，雙流join后，輸出的是與請求錯誤相關(guān)的所有鏈接的完整數據。
設置合理的狀態(tài)生命周期
blink本質(zhì)上是在做join的時(shí)候通過(guò)state緩存中間數據狀態(tài)，然后再匹配數據。如果狀態(tài)的生命周期過(guò)長(cháng)，會(huì )造成數據膨脹，影響性能。如果狀態(tài)的生命周期太短，將無(wú)法正確關(guān)聯(lián)一些延遲的數據。因此，需要合理配置狀態(tài)生命周期，并允許該應用的最大數據延遲。 1 分鐘。
使用niagara作為statebackend，以及設定state數據生命周期，單位毫秒
state.backend.type=niagara
state.backend.niagara.ttl.ms=60000
打開(kāi) MicroBatch/MiniBatch
MicroBatch 和 MiniBatch 都是 micro-batch，但 micro-batch 的觸發(fā)機制略有不同。原則上，在觸發(fā)處理前緩存一定量的數據，減少對狀態(tài)的訪(fǎng)問(wèn)，從而顯著(zhù)提高吞吐量，減少輸出數據量。
開(kāi)啟join
blink.miniBatch.join.enabled=true
使用 microbatch 時(shí)需要保留以下兩個(gè) minibatch 配置
blink.miniBatch.allowLatencyMs=5000
防止OOM，每個(gè)批次最多緩存多少條數據
blink.miniBatch.size=20000
對動(dòng)態(tài)負載使用動(dòng)態(tài)再平衡而不是再平衡
blink 任務(wù)最忌諱的就是計算熱點(diǎn)的存在。 Dynamic Rebalance為了保證數據均勻使用，可以根據當前子分區中累積的buffer個(gè)數，選擇負載較輕的子分區進(jìn)行寫(xiě)入，從而實(shí)現動(dòng)態(tài)負載均衡。與靜態(tài)再平衡策略相比，當下游任務(wù)的計算能力不均衡時(shí)，可以更加均衡各個(gè)任務(wù)的相對負載，從而提升整個(gè)作業(yè)的性能。
開(kāi)啟動(dòng)態(tài)負載
task.dynamic.rebalance.enabled=true
自定義輸出插件
數據關(guān)聯(lián)后，統一請求鏈路上的數據需要以數據包的形式通知給下游圖分析節點(diǎn)。傳統的方式是通過(guò)消息服務(wù)傳遞數據。但是消息服務(wù)有兩個(gè)缺點(diǎn)：
1、與rdb等內存數據庫相比，它的吞吐量還是有很大差距（差一個(gè)數量級左右）。
2、在接收端，也需要根據traceid進(jìn)行數據關(guān)聯(lián)。
我們通過(guò)自定義插件異步向RDB寫(xiě)入數據，同時(shí)設置數據過(guò)期時(shí)間。存儲在 RDB 中的數據結構中。編寫(xiě)時(shí)只使用traceid作為消息內容，通過(guò)metaQ通知下游計算服務(wù)，大大降低了metaQ的數據傳輸壓力。
圖形聚合計算
收到metaQ的通知后，cep/graph計算服務(wù)節點(diǎn)會(huì )根據請求的鏈路數據和依賴(lài)的環(huán)境監測數據實(shí)時(shí)生成診斷結果。診斷結果簡(jiǎn)化如下：
表示這個(gè)請求是由下游jvm的線(xiàn)程池滿(mǎn)造成的，但是一次調用并沒(méi)有說(shuō)明服務(wù)不可用的根本原因。分析整體的錯誤情況，需要對圖數據進(jìn)行實(shí)時(shí)聚合。
聚合設計如下（為了說(shuō)明基本思想而進(jìn)行了簡(jiǎn)化）：
1、首先利用redis的zrank能力，根據服務(wù)名或者ip信息給每個(gè)節點(diǎn)分配一個(gè)全局唯一的序號。
2、為圖中的每個(gè)節點(diǎn)生成對應的圖節點(diǎn)代碼，代碼格式：
- 對于頭節點(diǎn)：頭節點(diǎn)序號 |圓形時(shí)間戳 |節點(diǎn)代碼
- 對于普通節點(diǎn)：|圓形時(shí)間戳 |節點(diǎn)編碼
3、由于每個(gè)節點(diǎn)在一個(gè)時(shí)間段內都有唯一的key，所以可以使用節點(diǎn)代碼作為key來(lái)統計每個(gè)節點(diǎn)使用redis。同時(shí)消除了并發(fā)讀寫(xiě)的問(wèn)題。
4、在redis中使用set集合可以很方便的疊加圖的邊。
5、記錄根節點(diǎn)，通過(guò)遍歷恢復聚合圖結構。
匯總結果大致如下：
這樣，最終產(chǎn)生了服務(wù)不可用的整體原因，可以通過(guò)葉子節點(diǎn)的數量對根本原因進(jìn)行排序。
05 收益
系統上線(xiàn)后，整個(gè)實(shí)時(shí)處理數據鏈路延遲不超過(guò)三秒。定位閑魚(yú)服務(wù)器問(wèn)題的時(shí)間從十多分鐘甚至更長(cháng)的時(shí)間縮短到了五秒以?xún)?。這大大提高了問(wèn)題定位的效率。
06 展望
目前的系統可以支持閑魚(yú)每秒千萬(wàn)級的數據處理能力。自動(dòng)定位問(wèn)題的后續服務(wù)可能會(huì )擴展到阿里巴巴內部更多的業(yè)務(wù)場(chǎng)景，數據量將成倍增長(cháng)，因此對效率和成本提出了更好的要求。
未來(lái)可能的改進(jìn)：
1、處理后的數據可以自動(dòng)縮減或壓縮。
2、復雜的模型分析計算也可以瞬間完成，減少io，提高性能。
3、支持多租戶(hù)數據隔離。
查看全部
實(shí)時(shí)文章采集(0服務(wù)出現錯誤的根因服務(wù)的設計方法與設計
)
0 1 背景
目前閑魚(yú)的實(shí)際生產(chǎn)部署環(huán)境越來(lái)越復雜。各種服務(wù)的橫向依賴(lài)相互交織，運行環(huán)境的縱向依賴(lài)也越來(lái)越復雜。當服務(wù)出現問(wèn)題時(shí)，能否在海量數據中及時(shí)定位問(wèn)題根源，成為考驗閑魚(yú)服務(wù)能力的嚴峻挑戰。
當網(wǎng)上出現問(wèn)題時(shí)，往往需要十多分鐘甚至更長(cháng)時(shí)間才能找到問(wèn)題的原因。因此，需要應用能夠快速進(jìn)行自動(dòng)診斷的系統，而快速診斷的基礎是高性能的實(shí)時(shí)數據。處理系統。該實(shí)時(shí)數據處理系統需要具備以下能力：
1、數據實(shí)時(shí)采集，實(shí)時(shí)分析，計算復雜，分析結果持久化。
2、 可以處理各種各樣的數據。收錄應用日志、主機性能監控指標和調用鏈接圖。
3、高可靠性。系統沒(méi)有問(wèn)題，數據不會(huì )丟失。
4、高性能，底部延遲。數據處理時(shí)延不超過(guò)3秒，支持每秒千萬(wàn)級數據處理。
本文不涉及自動(dòng)問(wèn)題診斷的具體分析模型，只討論整體實(shí)時(shí)數據處理環(huán)節的設計。
02 I/O 定義
為了便于理解系統的運行，我們將系統的整體輸入輸出定義如下：
輸入：
服務(wù)請求日志（包括traceid、時(shí)間戳、客戶(hù)端ip、服務(wù)器ip、耗時(shí)、返回碼、服務(wù)名、方法名）
環(huán)境監測數據（指標名稱(chēng)、ip、時(shí)間戳、指標值）。比如cpu、jvm gc次數、jvm gc耗時(shí)、數據庫指標。
輸出：
某服務(wù)在一段時(shí)間內出錯的根本原因，每個(gè)服務(wù)的錯誤分析結果用有向無(wú)環(huán)圖表示。 （根節點(diǎn)是被分析的錯誤節點(diǎn)，葉子節點(diǎn)是錯誤根因節點(diǎn)，葉子節點(diǎn)可能是外部依賴(lài)的服務(wù)錯誤或者jvm異常等）。
03 建筑設計
在實(shí)際系統運行過(guò)程中，隨著(zhù)時(shí)間的推移，會(huì )不斷產(chǎn)生日志數據和監控數據。每條生成的數據都有自己的時(shí)間戳。實(shí)時(shí)流式傳輸這些帶時(shí)間戳的數據就像流過(guò)不同管道的水一樣。
如果將源源不斷的實(shí)時(shí)數據比作自來(lái)水，數據處理過(guò)程類(lèi)似于自來(lái)水生產(chǎn)的過(guò)程：
當然，我們也將實(shí)時(shí)數據處理分解為采集、傳輸、預處理、計算和存儲階段。
整體系統架構設計如下：
采集
使用阿里巴巴自主研發(fā)的sls日志服務(wù)產(chǎn)品（包括logtail+loghub組件），logtail是一個(gè)采集客戶(hù)端。之所以選擇logtail，是因為其卓越的性能、高可靠性以及靈活的插件擴展機制，閑魚(yú)可以定制自己的采集插件，實(shí)現各種數據的實(shí)時(shí)采集。
傳輸
loghub可以理解為數據發(fā)布訂閱組件，功能類(lèi)似于kafka，作為數據傳輸通道，更穩定安全，詳細對比文章參考：
預處理
實(shí)時(shí)數據預處理部分使用blink流計算處理組件（開(kāi)源版本稱(chēng)為flink，blink是阿里巴巴內部基于flink的增強版）。目前常用的實(shí)時(shí)流計算開(kāi)源產(chǎn)品有Jstorm、SparkStream、Flink。由于Jstorm沒(méi)有中間計算狀態(tài)，其計算過(guò)程中需要的中間結果必須依賴(lài)外部存儲，這會(huì )導致頻繁的io影響其性能； SparkStream本質(zhì)上是用小批量來(lái)模擬實(shí)時(shí)計算，但實(shí)際上還是有一定的延遲； Flink 以其優(yōu)秀的狀態(tài)管理機制保證了其計算的性能和實(shí)時(shí)性，并提供了完整的 SQL 表達式，使得流計算更容易。
計算和持久性
數據經(jīng)過(guò)預處理后，最終生成調用鏈路聚合日志和主機監控數據。主機監控數據會(huì )獨立存儲在tsdb時(shí)序數據庫中，供后續統計分析。由于對時(shí)間指標數據的特殊存儲結構設計，tsdb非常適合時(shí)間序列數據的存儲和查詢(xún)。調用鏈接日志聚合數據，提供給cep/graph服務(wù)進(jìn)行診斷模型分析。 cep/graph service是閑魚(yú)開(kāi)發(fā)的一款應用，實(shí)現模型分析、復雜數據處理以及與外部服務(wù)的交互，借助rdb實(shí)現圖數據的實(shí)時(shí)聚合。
最后一次cep/graph服務(wù)分析的結果作為圖數據，在lindorm中提供實(shí)時(shí)轉儲在線(xiàn)查詢(xún)。 Lindorm 可以看作是 hbase 的增強版，在系統中充當持久存儲。
04 詳細設計和性能優(yōu)化
采集
日志和指標數據采集使用logtail，整個(gè)數據采集流程如圖：
它提供了非常靈活的插件機制，有四種類(lèi)型的插件：
由于指標數據（如cpu、內存、jvm指標）的獲取需要調用本機的服務(wù)接口，所以盡量減少請求的數量。在 logtail 中，一個(gè)輸入占用一個(gè) goroutine。閑魚(yú)通過(guò)自定義輸入插件和處理器插件，通過(guò)服務(wù)請求（指標獲取接口由基礎監控團隊提供）在一個(gè)輸入插件中獲取多個(gè)指標數據（如cpu、內存、jvm指標），并將其格式化為一個(gè)json數組對象在處理器插件中被拆分成多條數據，以減少系統中io的數量，提高性能。
傳輸
LogHub 用于數據傳輸。 logtail寫(xiě)入數據后，blink直接消費數據。只需設置合理數量的分區即可。分區數必須大于等于并發(fā)blink讀任務(wù)數，避免blink任務(wù)空閑。
預處理
預處理主要通過(guò)blink實(shí)現，主要設計和優(yōu)化點(diǎn)：
寫(xiě)一個(gè)高效的計算過(guò)程
blink是一個(gè)有狀態(tài)的流計算框架，非常適合實(shí)時(shí)聚合、join等操作。
在我們的應用中，我們只需要注意對有錯誤請求的相關(guān)服務(wù)鏈接的調用，所以整個(gè)日志處理流程分為兩個(gè)流程：
1、服務(wù)的請求入口日志作為單獨的流處理，過(guò)濾掉請求錯誤的數據。
2、其他中間環(huán)節的調用日志作為另一個(gè)獨立的流處理。通過(guò)在traceid上加入上述流，實(shí)現了錯誤服務(wù)所依賴(lài)的請求數據的插入。
如上圖所示，雙流join后，輸出的是與請求錯誤相關(guān)的所有鏈接的完整數據。
設置合理的狀態(tài)生命周期
blink本質(zhì)上是在做join的時(shí)候通過(guò)state緩存中間數據狀態(tài)，然后再匹配數據。如果狀態(tài)的生命周期過(guò)長(cháng)，會(huì )造成數據膨脹，影響性能。如果狀態(tài)的生命周期太短，將無(wú)法正確關(guān)聯(lián)一些延遲的數據。因此，需要合理配置狀態(tài)生命周期，并允許該應用的最大數據延遲。 1 分鐘。
使用niagara作為statebackend，以及設定state數據生命周期，單位毫秒
state.backend.type=niagara
state.backend.niagara.ttl.ms=60000
打開(kāi) MicroBatch/MiniBatch
MicroBatch 和 MiniBatch 都是 micro-batch，但 micro-batch 的觸發(fā)機制略有不同。原則上，在觸發(fā)處理前緩存一定量的數據，減少對狀態(tài)的訪(fǎng)問(wèn)，從而顯著(zhù)提高吞吐量，減少輸出數據量。
開(kāi)啟join
blink.miniBatch.join.enabled=true
使用 microbatch 時(shí)需要保留以下兩個(gè) minibatch 配置
blink.miniBatch.allowLatencyMs=5000
防止OOM，每個(gè)批次最多緩存多少條數據
blink.miniBatch.size=20000
對動(dòng)態(tài)負載使用動(dòng)態(tài)再平衡而不是再平衡
blink 任務(wù)最忌諱的就是計算熱點(diǎn)的存在。 Dynamic Rebalance為了保證數據均勻使用，可以根據當前子分區中累積的buffer個(gè)數，選擇負載較輕的子分區進(jìn)行寫(xiě)入，從而實(shí)現動(dòng)態(tài)負載均衡。與靜態(tài)再平衡策略相比，當下游任務(wù)的計算能力不均衡時(shí)，可以更加均衡各個(gè)任務(wù)的相對負載，從而提升整個(gè)作業(yè)的性能。
開(kāi)啟動(dòng)態(tài)負載
task.dynamic.rebalance.enabled=true
自定義輸出插件
數據關(guān)聯(lián)后，統一請求鏈路上的數據需要以數據包的形式通知給下游圖分析節點(diǎn)。傳統的方式是通過(guò)消息服務(wù)傳遞數據。但是消息服務(wù)有兩個(gè)缺點(diǎn)：
1、與rdb等內存數據庫相比，它的吞吐量還是有很大差距（差一個(gè)數量級左右）。
2、在接收端，也需要根據traceid進(jìn)行數據關(guān)聯(lián)。
我們通過(guò)自定義插件異步向RDB寫(xiě)入數據，同時(shí)設置數據過(guò)期時(shí)間。存儲在 RDB 中的數據結構中。編寫(xiě)時(shí)只使用traceid作為消息內容，通過(guò)metaQ通知下游計算服務(wù)，大大降低了metaQ的數據傳輸壓力。
圖形聚合計算
收到metaQ的通知后，cep/graph計算服務(wù)節點(diǎn)會(huì )根據請求的鏈路數據和依賴(lài)的環(huán)境監測數據實(shí)時(shí)生成診斷結果。診斷結果簡(jiǎn)化如下：
表示這個(gè)請求是由下游jvm的線(xiàn)程池滿(mǎn)造成的，但是一次調用并沒(méi)有說(shuō)明服務(wù)不可用的根本原因。分析整體的錯誤情況，需要對圖數據進(jìn)行實(shí)時(shí)聚合。
聚合設計如下（為了說(shuō)明基本思想而進(jìn)行了簡(jiǎn)化）：
1、首先利用redis的zrank能力，根據服務(wù)名或者ip信息給每個(gè)節點(diǎn)分配一個(gè)全局唯一的序號。
2、為圖中的每個(gè)節點(diǎn)生成對應的圖節點(diǎn)代碼，代碼格式：
- 對于頭節點(diǎn)：頭節點(diǎn)序號 |圓形時(shí)間戳 |節點(diǎn)代碼
- 對于普通節點(diǎn)：|圓形時(shí)間戳 |節點(diǎn)編碼
3、由于每個(gè)節點(diǎn)在一個(gè)時(shí)間段內都有唯一的key，所以可以使用節點(diǎn)代碼作為key來(lái)統計每個(gè)節點(diǎn)使用redis。同時(shí)消除了并發(fā)讀寫(xiě)的問(wèn)題。
4、在redis中使用set集合可以很方便的疊加圖的邊。
5、記錄根節點(diǎn)，通過(guò)遍歷恢復聚合圖結構。
匯總結果大致如下：
這樣，最終產(chǎn)生了服務(wù)不可用的整體原因，可以通過(guò)葉子節點(diǎn)的數量對根本原因進(jìn)行排序。
05 收益
系統上線(xiàn)后，整個(gè)實(shí)時(shí)處理數據鏈路延遲不超過(guò)三秒。定位閑魚(yú)服務(wù)器問(wèn)題的時(shí)間從十多分鐘甚至更長(cháng)的時(shí)間縮短到了五秒以?xún)?。這大大提高了問(wèn)題定位的效率。
06 展望
目前的系統可以支持閑魚(yú)每秒千萬(wàn)級的數據處理能力。自動(dòng)定位問(wèn)題的后續服務(wù)可能會(huì )擴展到阿里巴巴內部更多的業(yè)務(wù)場(chǎng)景，數據量將成倍增長(cháng)，因此對效率和成本提出了更好的要求。
未來(lái)可能的改進(jìn)：
1、處理后的數據可以自動(dòng)縮減或壓縮。
2、復雜的模型分析計算也可以瞬間完成，減少io，提高性能。
3、支持多租戶(hù)數據隔離。
實(shí)時(shí)文章采集(簡(jiǎn)單幾個(gè)打包為exe命令全部源碼參考資料多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 130 次瀏覽 ? 2022-03-02 03:20
實(shí)時(shí)文章采集(簡(jiǎn)單幾個(gè)打包為exe命令全部源碼參考資料多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI)
最近幫朋友寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)。對了，我做了一個(gè)小說(shuō)爬蟲(chóng)工具，有GUI界面，可以從筆趣閣爬取小說(shuō)。
開(kāi)發(fā)完成后的界面
采集進(jìn)程接口
采集之后保存
主要實(shí)現的功能是多線(xiàn)程采集，一個(gè)線(xiàn)程采集小說(shuō)支持使用代理，尤其是多線(xiàn)程采集時(shí)，沒(méi)有ip可能會(huì )被阻塞使用代理
實(shí)時(shí)輸出采集結果
使用threading.BoundedSemaphore() pool_sema.acquire() pool_sema.release() 限制線(xiàn)程數，防止并發(fā)線(xiàn)程溢出。具體限制可在軟件界面輸入，默認為5個(gè)線(xiàn)程
所有線(xiàn)程任務(wù)開(kāi)始前
pool_sema.threading.BoundedSemaphore(5)
具體每個(gè)線(xiàn)程開(kāi)始前 鎖
pool_sema.acquire()
....
# 線(xiàn)程任務(wù)執行結束釋放
pol_sema.release()
使用的第三方模塊
pip install requests
pip install pysimplegui
pip install lxml
pip install pyinstaller
GUI界面使用了一個(gè)tkinter包庫PySimpleGUI，使用起來(lái)非常方便。界面雖然不是很漂亮，但是很簡(jiǎn)單，很適合開(kāi)發(fā)一些小工具。 pysimplegui.readthedocs.io/en/latest/ 比如這個(gè)界面的布局，就是幾個(gè)簡(jiǎn)單的列表
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
打包成exe命令
pyinstaller -Fw start.py
全部源代碼
import time
import requests
import os
import sys
import re
import random
from lxml import etree
import webbrowser
import PySimpleGUI as sg
import threading
# user-agent
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}
# 代理
proxies = {}
# 刪除書(shū)名中特殊符號
# 筆趣閣基地址
baseurl = 'https://www.xbiquwx.la/'
# 線(xiàn)程數量
threadNum = 6
pool_sema = None
THREAD_EVENT = '-THREAD-'
cjstatus = False
# txt存儲目錄
filePath = os.path.abspath(os.path.join(os.getcwd(), 'txt'))
if not os.path.exists(filePath):
os.mkdir(filePath)
# 刪除特殊字符
def deletetag(text):
return re.sub(r'[\[\]#\/\\:*\,;\?\"\'\|\(\)《》&\^!~=%\{\}@?。??！ぃ。ぁǎ?]','',text)
# 入口
def main():
global cjstatus, proxies, threadNum, pool_sema
sg.theme("reddit")
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
window = sg.Window('采集筆趣閣小說(shuō)', layout, size=(800, 500), resizable=True,)
while True:
event, values = window.read()
if event == sg.WIN_CLOSED or event == 'close': # if user closes window or clicks cancel
break
if event == "openwebsite":
webbrowser.open('%s' % baseurl)
elif event == 'opendir':
os.system('start explorer ' + filePath)
elif event == 'start':
if cjstatus:
cjstatus = False
window['start'].update('已停止...點(diǎn)擊重新開(kāi)始')
continue
window['error'].update("", visible=False)
urls = values['url'].strip().split("\n")
lenth = len(urls)
for k, url in enumerate(urls):
if (not re.match(r'%s\d+_\d+/' % baseurl, url.strip())):
if len(url.strip()) > 0:
window['error'].update("地址錯誤:%s" % url, visible=True)
del urls[k]
if len(urls) < 1:
window['error'].update(
"每行地址需符合 %s84_84370/ 形式" % baseurlr, visible=True)
continue
# 代理
if len(values['proxy']) > 8:
proxies = {
"http": "http://%s" % values['proxy'],
"https": "http://%s" % values['proxy']
}
# 線(xiàn)程數量
if values['threadnum'] and int(values['threadnum']) > 0:
threadNum = int(values['threadnum'])
pool_sema = threading.BoundedSemaphore(threadNum)
cjstatus = True
window['start'].update('采集中...點(diǎn)擊停止')
window['res'].update('開(kāi)始采集')
for url in urls:
threading.Thread(target=downloadbybook, args=(
url.strip(), window,), daemon=True).start()
elif event == "粘貼":
window['url'].update(sg.clipboard_get())
print("event", event)
if event == THREAD_EVENT:
strtext = values[THREAD_EVENT][1]
window['res'].update(window['res'].get()+"\n"+strtext)
cjstatus = False
window.close()
#下載
def downloadbybook(page_url, window):
try:
bookpage = requests.get(url=page_url, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求 %s 錯誤，原因:%s' % (page_url, e)))
return
if not cjstatus:
return
# 鎖線(xiàn)程
pool_sema.acquire()
if bookpage.status_code != 200:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求%s錯誤，原因:%s' % (page_url, page.reason)))
return
bookpage.encoding = 'utf-8'
page_tree = etree.HTML(bookpage.text)
bookname = page_tree.xpath('//div[@id="info"]/h1/text()')[0]
bookfilename = filePath + '/' + deletetag(bookname)+'.txt'
zj_list = page_tree.xpath(
'//div[@class="box_con"]/div[@id="list"]/dl/dd')
for _ in zj_list:
if not cjstatus:
break
zjurl = page_url + _.xpath('./a/@href')[0]
zjname = _.xpath('./a/@title')[0]
try:
zjpage = requests.get(
zjurl, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
continue
if zjpage.status_code != 200:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
return
zjpage.encoding = 'utf-8'
zjpage_content = etree.HTML(zjpage.text).xpath('//div[@id="content"]/text()')
content = "\n【"+zjname+"】\n"
for _ in zjpage_content:
content += _.strip() + '\n'
with open(bookfilename, 'a+', encoding='utf-8') as fs:
fs.write(content)
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n%s:%s 采集成功' % (bookname, zjname)))
time.sleep(random.uniform(0.05, 0.2))
# 下載完畢
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求 %s 結束' % page_url))
pool_sema.release()
if __name__ == '__main__':
main()
參考多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI 查看全部
最近幫朋友寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)。對了，我做了一個(gè)小說(shuō)爬蟲(chóng)工具，有GUI界面，可以從筆趣閣爬取小說(shuō)。
開(kāi)發(fā)完成后的界面
采集進(jìn)程接口
采集之后保存
主要實(shí)現的功能是多線(xiàn)程采集，一個(gè)線(xiàn)程采集小說(shuō)支持使用代理，尤其是多線(xiàn)程采集時(shí)，沒(méi)有ip可能會(huì )被阻塞使用代理
實(shí)時(shí)輸出采集結果
使用threading.BoundedSemaphore() pool_sema.acquire() pool_sema.release() 限制線(xiàn)程數，防止并發(fā)線(xiàn)程溢出。具體限制可在軟件界面輸入，默認為5個(gè)線(xiàn)程
所有線(xiàn)程任務(wù)開(kāi)始前
pool_sema.threading.BoundedSemaphore(5)
具體每個(gè)線(xiàn)程開(kāi)始前 鎖
pool_sema.acquire()
....
# 線(xiàn)程任務(wù)執行結束釋放
pol_sema.release()
使用的第三方模塊
pip install requests
pip install pysimplegui
pip install lxml
pip install pyinstaller
GUI界面使用了一個(gè)tkinter包庫PySimpleGUI，使用起來(lái)非常方便。界面雖然不是很漂亮，但是很簡(jiǎn)單，很適合開(kāi)發(fā)一些小工具。 pysimplegui.readthedocs.io/en/latest/ 比如這個(gè)界面的布局，就是幾個(gè)簡(jiǎn)單的列表
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
打包成exe命令
pyinstaller -Fw start.py
全部源代碼
import time
import requests
import os
import sys
import re
import random
from lxml import etree
import webbrowser
import PySimpleGUI as sg
import threading
# user-agent
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}
# 代理
proxies = {}
# 刪除書(shū)名中特殊符號
# 筆趣閣基地址
baseurl = 'https://www.xbiquwx.la/'
# 線(xiàn)程數量
threadNum = 6
pool_sema = None
THREAD_EVENT = '-THREAD-'
cjstatus = False
# txt存儲目錄
filePath = os.path.abspath(os.path.join(os.getcwd(), 'txt'))
if not os.path.exists(filePath):
os.mkdir(filePath)
# 刪除特殊字符
def deletetag(text):
return re.sub(r'[\[\]#\/\\:*\,;\?\"\'\|\(\)《》&\^!~=%\{\}@?。??！ぃ。ぁǎ?]','',text)
# 入口
def main():
global cjstatus, proxies, threadNum, pool_sema
sg.theme("reddit")
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
window = sg.Window('采集筆趣閣小說(shuō)', layout, size=(800, 500), resizable=True,)
while True:
event, values = window.read()
if event == sg.WIN_CLOSED or event == 'close': # if user closes window or clicks cancel
break
if event == "openwebsite":
webbrowser.open('%s' % baseurl)
elif event == 'opendir':
os.system('start explorer ' + filePath)
elif event == 'start':
if cjstatus:
cjstatus = False
window['start'].update('已停止...點(diǎn)擊重新開(kāi)始')
continue
window['error'].update("", visible=False)
urls = values['url'].strip().split("\n")
lenth = len(urls)
for k, url in enumerate(urls):
if (not re.match(r'%s\d+_\d+/' % baseurl, url.strip())):
if len(url.strip()) > 0:
window['error'].update("地址錯誤:%s" % url, visible=True)
del urls[k]
if len(urls) < 1:
window['error'].update(
"每行地址需符合 %s84_84370/ 形式" % baseurlr, visible=True)
continue
# 代理
if len(values['proxy']) > 8:
proxies = {
"http": "http://%s" % values['proxy'],
"https": "http://%s" % values['proxy']
}
# 線(xiàn)程數量
if values['threadnum'] and int(values['threadnum']) > 0:
threadNum = int(values['threadnum'])
pool_sema = threading.BoundedSemaphore(threadNum)
cjstatus = True
window['start'].update('采集中...點(diǎn)擊停止')
window['res'].update('開(kāi)始采集')
for url in urls:
threading.Thread(target=downloadbybook, args=(
url.strip(), window,), daemon=True).start()
elif event == "粘貼":
window['url'].update(sg.clipboard_get())
print("event", event)
if event == THREAD_EVENT:
strtext = values[THREAD_EVENT][1]
window['res'].update(window['res'].get()+"\n"+strtext)
cjstatus = False
window.close()
#下載
def downloadbybook(page_url, window):
try:
bookpage = requests.get(url=page_url, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求 %s 錯誤，原因:%s' % (page_url, e)))
return
if not cjstatus:
return
# 鎖線(xiàn)程
pool_sema.acquire()
if bookpage.status_code != 200:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求%s錯誤，原因:%s' % (page_url, page.reason)))
return
bookpage.encoding = 'utf-8'
page_tree = etree.HTML(bookpage.text)
bookname = page_tree.xpath('//div[@id="info"]/h1/text()')[0]
bookfilename = filePath + '/' + deletetag(bookname)+'.txt'
zj_list = page_tree.xpath(
'//div[@class="box_con"]/div[@id="list"]/dl/dd')
for _ in zj_list:
if not cjstatus:
break
zjurl = page_url + _.xpath('./a/@href')[0]
zjname = _.xpath('./a/@title')[0]
try:
zjpage = requests.get(
zjurl, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
continue
if zjpage.status_code != 200:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
return
zjpage.encoding = 'utf-8'
zjpage_content = etree.HTML(zjpage.text).xpath('//div[@id="content"]/text()')
content = "\n【"+zjname+"】\n"
for _ in zjpage_content:
content += _.strip() + '\n'
with open(bookfilename, 'a+', encoding='utf-8') as fs:
fs.write(content)
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n%s:%s 采集成功' % (bookname, zjname)))
time.sleep(random.uniform(0.05, 0.2))
# 下載完畢
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求 %s 結束' % page_url))
pool_sema.release()
if __name__ == '__main__':
main()
參考多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI 查看全部
實(shí)時(shí)文章采集(簡(jiǎn)單幾個(gè)打包為exe命令全部源碼參考資料多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI)
最近幫朋友寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)。對了，我做了一個(gè)小說(shuō)爬蟲(chóng)工具，有GUI界面，可以從筆趣閣爬取小說(shuō)。
開(kāi)發(fā)完成后的界面
采集進(jìn)程接口
采集之后保存
主要實(shí)現的功能是多線(xiàn)程采集，一個(gè)線(xiàn)程采集小說(shuō)支持使用代理，尤其是多線(xiàn)程采集時(shí)，沒(méi)有ip可能會(huì )被阻塞使用代理
實(shí)時(shí)輸出采集結果
使用threading.BoundedSemaphore() pool_sema.acquire() pool_sema.release() 限制線(xiàn)程數，防止并發(fā)線(xiàn)程溢出。具體限制可在軟件界面輸入，默認為5個(gè)線(xiàn)程
所有線(xiàn)程任務(wù)開(kāi)始前
pool_sema.threading.BoundedSemaphore(5)
具體每個(gè)線(xiàn)程開(kāi)始前 鎖
pool_sema.acquire()
....
# 線(xiàn)程任務(wù)執行結束釋放
pol_sema.release()
使用的第三方模塊
pip install requests
pip install pysimplegui
pip install lxml
pip install pyinstaller
GUI界面使用了一個(gè)tkinter包庫PySimpleGUI，使用起來(lái)非常方便。界面雖然不是很漂亮，但是很簡(jiǎn)單，很適合開(kāi)發(fā)一些小工具。 pysimplegui.readthedocs.io/en/latest/ 比如這個(gè)界面的布局，就是幾個(gè)簡(jiǎn)單的列表
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
打包成exe命令
pyinstaller -Fw start.py
全部源代碼
import time
import requests
import os
import sys
import re
import random
from lxml import etree
import webbrowser
import PySimpleGUI as sg
import threading
# user-agent
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}
# 代理
proxies = {}
# 刪除書(shū)名中特殊符號
# 筆趣閣基地址
baseurl = 'https://www.xbiquwx.la/'
# 線(xiàn)程數量
threadNum = 6
pool_sema = None
THREAD_EVENT = '-THREAD-'
cjstatus = False
# txt存儲目錄
filePath = os.path.abspath(os.path.join(os.getcwd(), 'txt'))
if not os.path.exists(filePath):
os.mkdir(filePath)
# 刪除特殊字符
def deletetag(text):
return re.sub(r'[\[\]#\/\\:*\,;\?\"\'\|\(\)《》&\^!~=%\{\}@?。??！ぃ。ぁǎ?]','',text)
# 入口
def main():
global cjstatus, proxies, threadNum, pool_sema
sg.theme("reddit")
layout = [
[sg.Text('輸入要爬取的小說(shuō)網(wǎng)址，點(diǎn)此打開(kāi)筆趣閣站點(diǎn)復制', font=("微軟雅黑", 12),
key="openwebsite", enable_events=True, tooltip="點(diǎn)擊在瀏覽器中打開(kāi)")],
[sg.Text("小說(shuō)目錄頁(yè)url,一行一個(gè):")],
[
sg.Multiline('', key="url", size=(120, 6), autoscroll=True, expand_x=True, right_click_menu=['&Right', ['粘貼']]
)
],
[sg.Text(visible=False, text_color="#ff0000", key="error")],
[
sg.Button(button_text='開(kāi)始采集', key="start", size=(20, 1)),
sg.Button(button_text='打開(kāi)下載目錄', key="opendir",
size=(20, 1), button_color="#999999")
],
[sg.Text('填寫(xiě)ip代理，有密碼格式 用戶(hù)名:密碼@ip:端口，無(wú)密碼格式 ip:端口。如 demo:123456@123.1.2.8:8580')],
[
sg.Input('', key="proxy"),
sg.Text('線(xiàn)程數量:'),
sg.Input('5', key="threadnum"),
],
[
sg.Multiline('等待采集', key="res", disabled=True, border_width=0, background_color="#ffffff", size=(
120, 6), no_scrollbar=False, autoscroll=True, expand_x=True, expand_y=True, font=("宋體", 10), text_color="#999999")
],
]
window = sg.Window('采集筆趣閣小說(shuō)', layout, size=(800, 500), resizable=True,)
while True:
event, values = window.read()
if event == sg.WIN_CLOSED or event == 'close': # if user closes window or clicks cancel
break
if event == "openwebsite":
webbrowser.open('%s' % baseurl)
elif event == 'opendir':
os.system('start explorer ' + filePath)
elif event == 'start':
if cjstatus:
cjstatus = False
window['start'].update('已停止...點(diǎn)擊重新開(kāi)始')
continue
window['error'].update("", visible=False)
urls = values['url'].strip().split("\n")
lenth = len(urls)
for k, url in enumerate(urls):
if (not re.match(r'%s\d+_\d+/' % baseurl, url.strip())):
if len(url.strip()) > 0:
window['error'].update("地址錯誤:%s" % url, visible=True)
del urls[k]
if len(urls) < 1:
window['error'].update(
"每行地址需符合 %s84_84370/ 形式" % baseurlr, visible=True)
continue
# 代理
if len(values['proxy']) > 8:
proxies = {
"http": "http://%s" % values['proxy'],
"https": "http://%s" % values['proxy']
}
# 線(xiàn)程數量
if values['threadnum'] and int(values['threadnum']) > 0:
threadNum = int(values['threadnum'])
pool_sema = threading.BoundedSemaphore(threadNum)
cjstatus = True
window['start'].update('采集中...點(diǎn)擊停止')
window['res'].update('開(kāi)始采集')
for url in urls:
threading.Thread(target=downloadbybook, args=(
url.strip(), window,), daemon=True).start()
elif event == "粘貼":
window['url'].update(sg.clipboard_get())
print("event", event)
if event == THREAD_EVENT:
strtext = values[THREAD_EVENT][1]
window['res'].update(window['res'].get()+"\n"+strtext)
cjstatus = False
window.close()
#下載
def downloadbybook(page_url, window):
try:
bookpage = requests.get(url=page_url, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求 %s 錯誤，原因:%s' % (page_url, e)))
return
if not cjstatus:
return
# 鎖線(xiàn)程
pool_sema.acquire()
if bookpage.status_code != 200:
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n請求%s錯誤，原因:%s' % (page_url, page.reason)))
return
bookpage.encoding = 'utf-8'
page_tree = etree.HTML(bookpage.text)
bookname = page_tree.xpath('//div[@id="info"]/h1/text()')[0]
bookfilename = filePath + '/' + deletetag(bookname)+'.txt'
zj_list = page_tree.xpath(
'//div[@class="box_con"]/div[@id="list"]/dl/dd')
for _ in zj_list:
if not cjstatus:
break
zjurl = page_url + _.xpath('./a/@href')[0]
zjname = _.xpath('./a/@title')[0]
try:
zjpage = requests.get(
zjurl, headers=header, proxies=proxies)
except Exception as e:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
continue
if zjpage.status_code != 200:
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求%s:%s錯誤，原因:%s' % (zjname, zjurl, zjpage.reason)))
return
zjpage.encoding = 'utf-8'
zjpage_content = etree.HTML(zjpage.text).xpath('//div[@id="content"]/text()')
content = "\n【"+zjname+"】\n"
for _ in zjpage_content:
content += _.strip() + '\n'
with open(bookfilename, 'a+', encoding='utf-8') as fs:
fs.write(content)
window.write_event_value(
'-THREAD-', (threading.current_thread().name, '\n%s:%s 采集成功' % (bookname, zjname)))
time.sleep(random.uniform(0.05, 0.2))
# 下載完畢
window.write_event_value('-THREAD-', (threading.current_thread(
).name, '\n請求 %s 結束' % page_url))
pool_sema.release()
if __name__ == '__main__':
main()
參考多線(xiàn)程并發(fā)#lock-objectsPySimpleGUI
實(shí)時(shí)文章采集(易通CMS采集可以自動(dòng)采集并發(fā)布網(wǎng)站內容，免接口發(fā)布)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 142 次瀏覽 ? 2022-03-02 01:23
實(shí)時(shí)文章采集(易通CMS采集可以自動(dòng)采集并發(fā)布網(wǎng)站內容，免接口發(fā)布)
一通cms采集，可實(shí)現網(wǎng)站無(wú)需人工值班，24小時(shí)自動(dòng)實(shí)時(shí)監控目標，對目標實(shí)時(shí)高效采集，以便它可以全天候為 網(wǎng)站 @網(wǎng)站 提供內容更新?？梢詽M(mǎn)足網(wǎng)站長(cháng)期的運營(yíng)需求，讓網(wǎng)站站長(cháng)們從繁重的工作中解脫出來(lái)。一通cms采集，可以采集任意類(lèi)型網(wǎng)站，99.9%采集識別成功率，然后自動(dòng)批量發(fā)布到所有cms類(lèi)型的程序，也可以直接采集本地文件，無(wú)需界面發(fā)布。
一通cms采集可以支持網(wǎng)站內容和信息的自由組合，通過(guò)強大的數據排序功能對信息進(jìn)行深度加工，創(chuàng )造出新的內容。無(wú)論是靜態(tài)還是動(dòng)態(tài)，包括圖片、音樂(lè )、文字、軟件，甚至PDF文檔和WORD文檔都可以準確采集，然后進(jìn)行處理。并且使用同義詞替換、多詞隨機替換、段落隨機排序，讓二次創(chuàng )作的內容更有利于網(wǎng)站SEO。
一通cms采集從支持多級目錄入手，無(wú)論是垂直多級信息頁(yè)面，還是并行多內容分頁(yè)、AJAX調用頁(yè)面，都可以輕松采集訪(fǎng)問(wèn). 再加上開(kāi)放的界面模式，站長(cháng)可以自由地進(jìn)行二次開(kāi)發(fā)，自定義任何功能，實(shí)現網(wǎng)站的所有需求。
大部分網(wǎng)站都無(wú)法實(shí)現長(cháng)期穩定的網(wǎng)站內容輸出，因為遠程真的很累。一通cms采集可以自動(dòng)采集和發(fā)布網(wǎng)站內容，這是很多站長(cháng)感興趣的，一通cms采集沒(méi)有使用門(mén)檻，所以對于沒(méi)有基礎知識的用戶(hù)來(lái)說(shuō)會(huì )非常簡(jiǎn)單易用。因為不需要編寫(xiě)適當的 采集 規則。
一通cms采集可以在短時(shí)間內豐富網(wǎng)站的內容，讓搜索引擎的蜘蛛正常抓取一個(gè)網(wǎng)站。它允許用戶(hù)在訪(fǎng)問(wèn)網(wǎng)站時(shí)看到一些內容，并根據用戶(hù)的搜索需要自動(dòng)顯示相應的界面。
一通cms采集可以快速獲取最新的網(wǎng)站相關(guān)內容。因為采集的內容可以基于網(wǎng)站的關(guān)鍵詞的內容和相關(guān)欄目采集的內容，而這些內容可以是最新鮮的內容，所以用戶(hù)瀏覽網(wǎng)站，也可以快速獲取相關(guān)內容，無(wú)需通過(guò)搜索引擎再次搜索，一定程度上提升了網(wǎng)站的用戶(hù)體驗。
一通cms采集將采集內容基于智能算法。也就是說(shuō)，選擇與網(wǎng)站相關(guān)的內容，盡量新鮮。如果太陳舊了，尤其是新聞內容，過(guò)時(shí)的內容不需要采集，但是對于技術(shù)帖，那么就能夠妥妥的采集，因為這些技術(shù)帖對于很多新人都有很好的幫助作用。 查看全部
一通cms采集，可實(shí)現網(wǎng)站無(wú)需人工值班，24小時(shí)自動(dòng)實(shí)時(shí)監控目標，對目標實(shí)時(shí)高效采集，以便它可以全天候為 網(wǎng)站 @網(wǎng)站 提供內容更新?？梢詽M(mǎn)足網(wǎng)站長(cháng)期的運營(yíng)需求，讓網(wǎng)站站長(cháng)們從繁重的工作中解脫出來(lái)。一通cms采集，可以采集任意類(lèi)型網(wǎng)站，99.9%采集識別成功率，然后自動(dòng)批量發(fā)布到所有cms類(lèi)型的程序，也可以直接采集本地文件，無(wú)需界面發(fā)布。
一通cms采集可以支持網(wǎng)站內容和信息的自由組合，通過(guò)強大的數據排序功能對信息進(jìn)行深度加工，創(chuàng )造出新的內容。無(wú)論是靜態(tài)還是動(dòng)態(tài)，包括圖片、音樂(lè )、文字、軟件，甚至PDF文檔和WORD文檔都可以準確采集，然后進(jìn)行處理。并且使用同義詞替換、多詞隨機替換、段落隨機排序，讓二次創(chuàng )作的內容更有利于網(wǎng)站SEO。
一通cms采集從支持多級目錄入手，無(wú)論是垂直多級信息頁(yè)面，還是并行多內容分頁(yè)、AJAX調用頁(yè)面，都可以輕松采集訪(fǎng)問(wèn). 再加上開(kāi)放的界面模式，站長(cháng)可以自由地進(jìn)行二次開(kāi)發(fā)，自定義任何功能，實(shí)現網(wǎng)站的所有需求。
大部分網(wǎng)站都無(wú)法實(shí)現長(cháng)期穩定的網(wǎng)站內容輸出，因為遠程真的很累。一通cms采集可以自動(dòng)采集和發(fā)布網(wǎng)站內容，這是很多站長(cháng)感興趣的，一通cms采集沒(méi)有使用門(mén)檻，所以對于沒(méi)有基礎知識的用戶(hù)來(lái)說(shuō)會(huì )非常簡(jiǎn)單易用。因為不需要編寫(xiě)適當的 采集 規則。
一通cms采集可以在短時(shí)間內豐富網(wǎng)站的內容，讓搜索引擎的蜘蛛正常抓取一個(gè)網(wǎng)站。它允許用戶(hù)在訪(fǎng)問(wèn)網(wǎng)站時(shí)看到一些內容，并根據用戶(hù)的搜索需要自動(dòng)顯示相應的界面。
一通cms采集可以快速獲取最新的網(wǎng)站相關(guān)內容。因為采集的內容可以基于網(wǎng)站的關(guān)鍵詞的內容和相關(guān)欄目采集的內容，而這些內容可以是最新鮮的內容，所以用戶(hù)瀏覽網(wǎng)站，也可以快速獲取相關(guān)內容，無(wú)需通過(guò)搜索引擎再次搜索，一定程度上提升了網(wǎng)站的用戶(hù)體驗。
一通cms采集將采集內容基于智能算法。也就是說(shuō)，選擇與網(wǎng)站相關(guān)的內容，盡量新鮮。如果太陳舊了，尤其是新聞內容，過(guò)時(shí)的內容不需要采集，但是對于技術(shù)帖，那么就能夠妥妥的采集，因為這些技術(shù)帖對于很多新人都有很好的幫助作用。 查看全部
實(shí)時(shí)文章采集(易通CMS采集可以自動(dòng)采集并發(fā)布網(wǎng)站內容，免接口發(fā)布)
一通cms采集，可實(shí)現網(wǎng)站無(wú)需人工值班，24小時(shí)自動(dòng)實(shí)時(shí)監控目標，對目標實(shí)時(shí)高效采集，以便它可以全天候為 網(wǎng)站 @網(wǎng)站 提供內容更新?？梢詽M(mǎn)足網(wǎng)站長(cháng)期的運營(yíng)需求，讓網(wǎng)站站長(cháng)們從繁重的工作中解脫出來(lái)。一通cms采集，可以采集任意類(lèi)型網(wǎng)站，99.9%采集識別成功率，然后自動(dòng)批量發(fā)布到所有cms類(lèi)型的程序，也可以直接采集本地文件，無(wú)需界面發(fā)布。
一通cms采集可以支持網(wǎng)站內容和信息的自由組合，通過(guò)強大的數據排序功能對信息進(jìn)行深度加工，創(chuàng )造出新的內容。無(wú)論是靜態(tài)還是動(dòng)態(tài)，包括圖片、音樂(lè )、文字、軟件，甚至PDF文檔和WORD文檔都可以準確采集，然后進(jìn)行處理。并且使用同義詞替換、多詞隨機替換、段落隨機排序，讓二次創(chuàng )作的內容更有利于網(wǎng)站SEO。
一通cms采集從支持多級目錄入手，無(wú)論是垂直多級信息頁(yè)面，還是并行多內容分頁(yè)、AJAX調用頁(yè)面，都可以輕松采集訪(fǎng)問(wèn). 再加上開(kāi)放的界面模式，站長(cháng)可以自由地進(jìn)行二次開(kāi)發(fā)，自定義任何功能，實(shí)現網(wǎng)站的所有需求。
大部分網(wǎng)站都無(wú)法實(shí)現長(cháng)期穩定的網(wǎng)站內容輸出，因為遠程真的很累。一通cms采集可以自動(dòng)采集和發(fā)布網(wǎng)站內容，這是很多站長(cháng)感興趣的，一通cms采集沒(méi)有使用門(mén)檻，所以對于沒(méi)有基礎知識的用戶(hù)來(lái)說(shuō)會(huì )非常簡(jiǎn)單易用。因為不需要編寫(xiě)適當的 采集 規則。
一通cms采集可以在短時(shí)間內豐富網(wǎng)站的內容，讓搜索引擎的蜘蛛正常抓取一個(gè)網(wǎng)站。它允許用戶(hù)在訪(fǎng)問(wèn)網(wǎng)站時(shí)看到一些內容，并根據用戶(hù)的搜索需要自動(dòng)顯示相應的界面。
一通cms采集可以快速獲取最新的網(wǎng)站相關(guān)內容。因為采集的內容可以基于網(wǎng)站的關(guān)鍵詞的內容和相關(guān)欄目采集的內容，而這些內容可以是最新鮮的內容，所以用戶(hù)瀏覽網(wǎng)站，也可以快速獲取相關(guān)內容，無(wú)需通過(guò)搜索引擎再次搜索，一定程度上提升了網(wǎng)站的用戶(hù)體驗。
一通cms采集將采集內容基于智能算法。也就是說(shuō)，選擇與網(wǎng)站相關(guān)的內容，盡量新鮮。如果太陳舊了，尤其是新聞內容，過(guò)時(shí)的內容不需要采集，但是對于技術(shù)帖，那么就能夠妥妥的采集，因為這些技術(shù)帖對于很多新人都有很好的幫助作用。
實(shí)時(shí)文章采集(6個(gè)K8s日志系統建設中的典型問(wèn)題，你遇到過(guò)幾個(gè)？)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 135 次瀏覽 ? 2022-02-28 20:19
實(shí)時(shí)文章采集(6個(gè)K8s日志系統建設中的典型問(wèn)題，你遇到過(guò)幾個(gè)？)
個(gè)人博客導航頁(yè)面（點(diǎn)擊右側鏈接打開(kāi)個(gè)人博客）：大牛帶你進(jìn)入技術(shù)棧
簡(jiǎn)介：上一篇文章主要介紹了Kubernetes日志輸出的一些注意事項。日志輸出的最終目的是做統一的采集和分析。在Kubernetes中，記錄采集的方式與普通虛擬機有很大不同，相對實(shí)現難度和部署成本也略高，但如果使用得當，自動(dòng)化程度比傳統方式高，運維成本更低。本文是日志系列文章的第四篇。
第一篇：《K8s日志系統建設中的6個(gè)典型問(wèn)題，你遇到過(guò)幾個(gè)？》
第二篇：《一篇文章理解K8s日志系統的設計與實(shí)踐》
第三篇：《解決K8s中日志輸出問(wèn)題的9個(gè)技巧》
Kubernetes 日志采集 難點(diǎn)
在 Kubernetes 中，log采集 比傳統的虛擬機和物理機要復雜得多。最根本的原因是Kubernetes屏蔽了底層異常，提供了更細粒度的資源調度，向上提供了一個(gè)穩定動(dòng)態(tài)的環(huán)境。因此，log采集面臨著(zhù)更豐富、更動(dòng)態(tài)的環(huán)境，需要考慮的點(diǎn)也更多。
例如：
Kubernetes 傳統方式
日志類(lèi)型
文件、標準輸出、主機文件、日志
檔案、日記
日志源
業(yè)務(wù)容器、系統組件、主機
商務(wù)，主持人
采集如何
Agent (Sidecar, DaemonSet), Direct Write (DockerEngine, Business)
代理，直寫(xiě)
獨立應用程序的數量
10-100
1-10
應用動(dòng)態(tài)
高的
低的
節點(diǎn)動(dòng)態(tài)
高的
低的
采集部署方式
手動(dòng)，Yaml
手動(dòng), 定制
采集模式：主動(dòng)或被動(dòng)
日志采集方法有兩種：被動(dòng)采集和主動(dòng)推送。在K8s中，被動(dòng)采集一般分為Sidecar和DaemonSet兩種方式。主動(dòng)推送包括 DockerEngine 推送和業(yè)務(wù)直推。寫(xiě)兩種方式。
總結一下：
各種采集方法的詳細對比如下：
DockerEngine 業(yè)務(wù)直寫(xiě) DaemonSet 方法 Sidecar 方法
采集日志類(lèi)型
標準輸出
業(yè)務(wù)日志
標準輸出 + 部分文件
文檔
部署和維護
低原生支持
低，只維護配置文件
一般需要維護DaemonSet
更高，每個(gè)需要采集日志的POD都需要部署一個(gè)sidecar容器
日志分類(lèi)存儲
達不到
業(yè)務(wù)獨立配置
一般可以通過(guò)容器/路徑等方式進(jìn)行映射。
每個(gè) POD 都可以單獨配置以實(shí)現高靈活性
多租戶(hù)隔離
虛弱的
弱，日志直寫(xiě)會(huì )和業(yè)務(wù)邏輯競爭資源
一般只通過(guò)配置之間的隔離
強，通過(guò)容器隔離，資源可單獨分配
支持集群大小
無(wú)限本地存儲，如果使用syslog和fluentd，會(huì )有單點(diǎn)限制
無(wú)限
取決于配置的數量
無(wú)限
資源占用
低，碼頭工人
引擎提供
總體最低，節省 采集 開(kāi)銷(xiāo)
較低，每個(gè)節點(diǎn)運行一個(gè)容器
更高，每個(gè) POD 運行一個(gè)容器
查詢(xún)方便
低，只能grep原創(chuàng )日志
高，可根據業(yè)務(wù)特點(diǎn)定制
高，可進(jìn)行自定義查詢(xún)和統計
高，可根據業(yè)務(wù)特點(diǎn)定制
可定制性
低的
高，可自由擴展
低的
高，每個(gè) POD 單獨配置
耦合
高，強綁定DockerEngine，修改需要重啟DockerEngine
高，采集模塊修改/升級需要重新發(fā)布業(yè)務(wù)
低，代理可以獨立升級
一般默認的采集Sidecar服務(wù)對應的Agent升級也會(huì )重啟（部分擴展包可以支持Sidecar熱升級）
適用場(chǎng)景
測試、POC等非生產(chǎn)場(chǎng)景
對性能要求極高的場(chǎng)景
日志分類(lèi)清晰、功能單一的集群
大型混合 PAAS 集群
日志輸出：標準輸出或文件
與虛擬機/物理機不同，K8s 容器提供標準輸出和文件。在容器中，標準輸出直接將日志輸出到stdout或stderr，而DockerEngine接管stdout和stderr文件描述符，收到日志后根據DockerEngine配置的LogDriver規則進(jìn)行處理；日志打印到文件的方式與虛擬機/物理機基本相似，只是日志可以使用不同的存儲方式，如默認存儲、EmptyDir、HostVolume、NFS等。
雖然 Docker 官方推薦使用 Stdout 打印日志，但大家需要注意：這個(gè)推薦是基于容器僅作為簡(jiǎn)單應用使用的場(chǎng)景。在實(shí)際業(yè)務(wù)場(chǎng)景中，我們還是建議大家盡量使用文件方式。主要原因有以下幾點(diǎn)：
因此，我們建議在線(xiàn)應用使用文件輸出日志，而Stdout僅用于功能單一或部分K8s系統/運維組件的應用。
CICD 集成：日志記錄操作員
Kubernetes提供了標準化的業(yè)務(wù)部署方式，可以通過(guò)yaml（K8s API）聲明路由規則、暴露服務(wù)、掛載存儲、運行業(yè)務(wù)、定義伸縮規則等，因此Kubernetes很容易與CICD系統集成。日志采集也是運維監控過(guò)程的重要組成部分。必須實(shí)時(shí)采集業(yè)務(wù)上線(xiàn)后的所有日志。
原來(lái)的方法是在發(fā)布后手動(dòng)部署log采集的邏輯。這種方式需要人工干預，違背了CICD自動(dòng)化的目的；為了實(shí)現自動(dòng)化，有人開(kāi)始根據日志打包API/SDK采集發(fā)布后通過(guò)CICD的webhook調用自動(dòng)部署的服務(wù)，但這種方式開(kāi)發(fā)成本高。
在 Kubernetes 中，集成日志最標準的方式是在 Kubernetes 系統中注冊一個(gè)新資源，并以 Operator（CRD）的形式對其進(jìn)行管理和維護。這樣CICD系統就不需要額外開(kāi)發(fā)，部署到Kubernetes系統時(shí)只需要附加日志相關(guān)的配置即可。
Kubernetes 日志采集 方案
早在 Kubernetes 出現之前，我們就開(kāi)始為容器環(huán)境開(kāi)發(fā) log采集 解決方案。隨著(zhù)K8s的逐漸穩定，我們開(kāi)始將很多業(yè)務(wù)遷移到K8s平臺上，所以我們也在之前的基礎上開(kāi)發(fā)了一套。K8s 上的 log采集 方案。主要功能有：
安裝日志采集組件
目前，這個(gè)采集解決方案已經(jīng)對外開(kāi)放。我們提供 Helm 安裝包，收錄 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 聲明和 CRD Controller。安裝后，可以直接使用 DaemonSet 采集 和 CRD 配置。安裝方法如下：
當阿里云Kubernetes集群?jiǎn)?dòng)時(shí)，您可以選擇安裝它，這樣在創(chuàng )建集群時(shí)會(huì )自動(dòng)安裝上述組件。如果激活的時(shí)候沒(méi)有安裝，可以手動(dòng)安裝；如果是自建Kubernetes，無(wú)論是在阿里云上自建還是在其他云還是離線(xiàn)，也可以使用這個(gè)采集方案，具體安裝方法參考自建Kubernetes安裝。
上述組件安裝完成后，Logtail和對應的Controller就會(huì )在集群中運行，但是這些組件默認沒(méi)有采集任何日志，需要將日志采集規則配置為采集@ > 指定各種日志的Pod。
采集規則配置：環(huán)境變量或CRD
除了在日志服務(wù)控制臺上手動(dòng)配置外，Kubernetes 還支持另外兩種配置方式：環(huán)境變量和 CRD。
該方法部署簡(jiǎn)單，學(xué)習成本低，易于使用；但是可以支持的配置規則很少，很多高級配置（如解析方式、過(guò)濾方式、黑白名單等）都不支持，而且這種聲明方式也不支持修改/刪除，每個(gè)修改實(shí)際上創(chuàng )建了一個(gè)新的 采集 配置。歷史采集配置需要手動(dòng)清理，否則會(huì )造成資源浪費。
比如下面的例子是部署一個(gè)容器的stdout采集，其中定義需要stdout和stderr采集，排除環(huán)境變量中收錄COLLEXT_STDOUT_FLAG: false的容器。
基于CRD的配置方式以Kubernetes標準擴展資源的方式進(jìn)行管理，支持配置的完整語(yǔ)義的增刪改查，支持各種高級配置。這是我們強烈推薦的 采集 配置方法。
采集推薦的規則配置方式
在實(shí)際應用場(chǎng)景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的優(yōu)點(diǎn)是資源利用率高，但存在一個(gè)問(wèn)題，DaemonSet 的所有 Logtail 共享全局配置，而單個(gè) Logtail 的配置支持有上限。因此，它無(wú)法支持具有大量應用程序的集群。
以上是我們給出的推薦配置方式。核心思想是：
練習 1 - 中小型集群
大多數 Kubernetes 集群都是中小型的。中小企業(yè)沒(méi)有明確的定義。一般應用數量小于500，節點(diǎn)規模小于1000。沒(méi)有功能清晰的Kubernetes平臺運維。這個(gè)場(chǎng)景的應用數量不是特別多，DaemonSet可以支持所有的采集配置：
練習 2 - 大型集群
對于一些用作PaaS平臺的大型/超大型集群，一般業(yè)務(wù)在1000以上，節點(diǎn)規模也在1000以上，并且有專(zhuān)門(mén)的Kubernetes平臺運維人員。該場(chǎng)景對應用數量沒(méi)有限制，DaemonSet無(wú)法支持，所以必須使用Sidecar方式?？傮w規劃如下：
Java/C/C++/機器學(xué)習/算法與數據結構/前端/Android/Python/程序員必讀/書(shū)籍清單：
?。c(diǎn)擊右側打開(kāi)個(gè)人博客有干貨）：科技干貨店
=====>>①【Java大牛帶你從入門(mén)到進(jìn)階之路】②【算法數據結構+acm大牛帶你從入門(mén)到進(jìn)階之路】③【數據庫大牛帶你從入門(mén)到進(jìn)階之路】④【W(wǎng)eb前端大牛帶你進(jìn)階之路】⑤【機器學(xué)習與python大牛帶你進(jìn)階之路】⑥【架構師大牛帶你進(jìn)階之路】⑦【C++大牛帶你進(jìn)階之路】⑧【ios大牛帶你進(jìn)階之路】⑨【W(wǎng)eb安全大牛帶你進(jìn)階之路】⑩【Linux與操作系統牛帶你從入門(mén)到進(jìn)階之路】 查看全部
個(gè)人博客導航頁(yè)面（點(diǎn)擊右側鏈接打開(kāi)個(gè)人博客）：大牛帶你進(jìn)入技術(shù)棧
簡(jiǎn)介：上一篇文章主要介紹了Kubernetes日志輸出的一些注意事項。日志輸出的最終目的是做統一的采集和分析。在Kubernetes中，記錄采集的方式與普通虛擬機有很大不同，相對實(shí)現難度和部署成本也略高，但如果使用得當，自動(dòng)化程度比傳統方式高，運維成本更低。本文是日志系列文章的第四篇。
第一篇：《K8s日志系統建設中的6個(gè)典型問(wèn)題，你遇到過(guò)幾個(gè)？》
第二篇：《一篇文章理解K8s日志系統的設計與實(shí)踐》
第三篇：《解決K8s中日志輸出問(wèn)題的9個(gè)技巧》
Kubernetes 日志采集 難點(diǎn)
在 Kubernetes 中，log采集 比傳統的虛擬機和物理機要復雜得多。最根本的原因是Kubernetes屏蔽了底層異常，提供了更細粒度的資源調度，向上提供了一個(gè)穩定動(dòng)態(tài)的環(huán)境。因此，log采集面臨著(zhù)更豐富、更動(dòng)態(tài)的環(huán)境，需要考慮的點(diǎn)也更多。
例如：
Kubernetes 傳統方式
日志類(lèi)型
文件、標準輸出、主機文件、日志
檔案、日記
日志源
業(yè)務(wù)容器、系統組件、主機
商務(wù)，主持人
采集如何
Agent (Sidecar, DaemonSet), Direct Write (DockerEngine, Business)
代理，直寫(xiě)
獨立應用程序的數量
10-100
1-10
應用動(dòng)態(tài)
高的
低的
節點(diǎn)動(dòng)態(tài)
高的
低的
采集部署方式
手動(dòng)，Yaml
手動(dòng), 定制
采集模式：主動(dòng)或被動(dòng)
日志采集方法有兩種：被動(dòng)采集和主動(dòng)推送。在K8s中，被動(dòng)采集一般分為Sidecar和DaemonSet兩種方式。主動(dòng)推送包括 DockerEngine 推送和業(yè)務(wù)直推。寫(xiě)兩種方式。
總結一下：
各種采集方法的詳細對比如下：
DockerEngine 業(yè)務(wù)直寫(xiě) DaemonSet 方法 Sidecar 方法
采集日志類(lèi)型
標準輸出
業(yè)務(wù)日志
標準輸出 + 部分文件
文檔
部署和維護
低原生支持
低，只維護配置文件
一般需要維護DaemonSet
更高，每個(gè)需要采集日志的POD都需要部署一個(gè)sidecar容器
日志分類(lèi)存儲
達不到
業(yè)務(wù)獨立配置
一般可以通過(guò)容器/路徑等方式進(jìn)行映射。
每個(gè) POD 都可以單獨配置以實(shí)現高靈活性
多租戶(hù)隔離
虛弱的
弱，日志直寫(xiě)會(huì )和業(yè)務(wù)邏輯競爭資源
一般只通過(guò)配置之間的隔離
強，通過(guò)容器隔離，資源可單獨分配
支持集群大小
無(wú)限本地存儲，如果使用syslog和fluentd，會(huì )有單點(diǎn)限制
無(wú)限
取決于配置的數量
無(wú)限
資源占用
低，碼頭工人
引擎提供
總體最低，節省 采集 開(kāi)銷(xiāo)
較低，每個(gè)節點(diǎn)運行一個(gè)容器
更高，每個(gè) POD 運行一個(gè)容器
查詢(xún)方便
低，只能grep原創(chuàng )日志
高，可根據業(yè)務(wù)特點(diǎn)定制
高，可進(jìn)行自定義查詢(xún)和統計
高，可根據業(yè)務(wù)特點(diǎn)定制
可定制性
低的
高，可自由擴展
低的
高，每個(gè) POD 單獨配置
耦合
高，強綁定DockerEngine，修改需要重啟DockerEngine
高，采集模塊修改/升級需要重新發(fā)布業(yè)務(wù)
低，代理可以獨立升級
一般默認的采集Sidecar服務(wù)對應的Agent升級也會(huì )重啟（部分擴展包可以支持Sidecar熱升級）
適用場(chǎng)景
測試、POC等非生產(chǎn)場(chǎng)景
對性能要求極高的場(chǎng)景
日志分類(lèi)清晰、功能單一的集群
大型混合 PAAS 集群
日志輸出：標準輸出或文件
與虛擬機/物理機不同，K8s 容器提供標準輸出和文件。在容器中，標準輸出直接將日志輸出到stdout或stderr，而DockerEngine接管stdout和stderr文件描述符，收到日志后根據DockerEngine配置的LogDriver規則進(jìn)行處理；日志打印到文件的方式與虛擬機/物理機基本相似，只是日志可以使用不同的存儲方式，如默認存儲、EmptyDir、HostVolume、NFS等。
雖然 Docker 官方推薦使用 Stdout 打印日志，但大家需要注意：這個(gè)推薦是基于容器僅作為簡(jiǎn)單應用使用的場(chǎng)景。在實(shí)際業(yè)務(wù)場(chǎng)景中，我們還是建議大家盡量使用文件方式。主要原因有以下幾點(diǎn)：
因此，我們建議在線(xiàn)應用使用文件輸出日志，而Stdout僅用于功能單一或部分K8s系統/運維組件的應用。
CICD 集成：日志記錄操作員
Kubernetes提供了標準化的業(yè)務(wù)部署方式，可以通過(guò)yaml（K8s API）聲明路由規則、暴露服務(wù)、掛載存儲、運行業(yè)務(wù)、定義伸縮規則等，因此Kubernetes很容易與CICD系統集成。日志采集也是運維監控過(guò)程的重要組成部分。必須實(shí)時(shí)采集業(yè)務(wù)上線(xiàn)后的所有日志。
原來(lái)的方法是在發(fā)布后手動(dòng)部署log采集的邏輯。這種方式需要人工干預，違背了CICD自動(dòng)化的目的；為了實(shí)現自動(dòng)化，有人開(kāi)始根據日志打包API/SDK采集發(fā)布后通過(guò)CICD的webhook調用自動(dòng)部署的服務(wù)，但這種方式開(kāi)發(fā)成本高。
在 Kubernetes 中，集成日志最標準的方式是在 Kubernetes 系統中注冊一個(gè)新資源，并以 Operator（CRD）的形式對其進(jìn)行管理和維護。這樣CICD系統就不需要額外開(kāi)發(fā)，部署到Kubernetes系統時(shí)只需要附加日志相關(guān)的配置即可。
Kubernetes 日志采集 方案
早在 Kubernetes 出現之前，我們就開(kāi)始為容器環(huán)境開(kāi)發(fā) log采集 解決方案。隨著(zhù)K8s的逐漸穩定，我們開(kāi)始將很多業(yè)務(wù)遷移到K8s平臺上，所以我們也在之前的基礎上開(kāi)發(fā)了一套。K8s 上的 log采集 方案。主要功能有：
安裝日志采集組件
目前，這個(gè)采集解決方案已經(jīng)對外開(kāi)放。我們提供 Helm 安裝包，收錄 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 聲明和 CRD Controller。安裝后，可以直接使用 DaemonSet 采集 和 CRD 配置。安裝方法如下：
當阿里云Kubernetes集群?jiǎn)?dòng)時(shí)，您可以選擇安裝它，這樣在創(chuàng )建集群時(shí)會(huì )自動(dòng)安裝上述組件。如果激活的時(shí)候沒(méi)有安裝，可以手動(dòng)安裝；如果是自建Kubernetes，無(wú)論是在阿里云上自建還是在其他云還是離線(xiàn)，也可以使用這個(gè)采集方案，具體安裝方法參考自建Kubernetes安裝。
上述組件安裝完成后，Logtail和對應的Controller就會(huì )在集群中運行，但是這些組件默認沒(méi)有采集任何日志，需要將日志采集規則配置為采集@ > 指定各種日志的Pod。
采集規則配置：環(huán)境變量或CRD
除了在日志服務(wù)控制臺上手動(dòng)配置外，Kubernetes 還支持另外兩種配置方式：環(huán)境變量和 CRD。
該方法部署簡(jiǎn)單，學(xué)習成本低，易于使用；但是可以支持的配置規則很少，很多高級配置（如解析方式、過(guò)濾方式、黑白名單等）都不支持，而且這種聲明方式也不支持修改/刪除，每個(gè)修改實(shí)際上創(chuàng )建了一個(gè)新的 采集 配置。歷史采集配置需要手動(dòng)清理，否則會(huì )造成資源浪費。
比如下面的例子是部署一個(gè)容器的stdout采集，其中定義需要stdout和stderr采集，排除環(huán)境變量中收錄COLLEXT_STDOUT_FLAG: false的容器。
基于CRD的配置方式以Kubernetes標準擴展資源的方式進(jìn)行管理，支持配置的完整語(yǔ)義的增刪改查，支持各種高級配置。這是我們強烈推薦的 采集 配置方法。
采集推薦的規則配置方式
在實(shí)際應用場(chǎng)景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的優(yōu)點(diǎn)是資源利用率高，但存在一個(gè)問(wèn)題，DaemonSet 的所有 Logtail 共享全局配置，而單個(gè) Logtail 的配置支持有上限。因此，它無(wú)法支持具有大量應用程序的集群。
以上是我們給出的推薦配置方式。核心思想是：
練習 1 - 中小型集群
大多數 Kubernetes 集群都是中小型的。中小企業(yè)沒(méi)有明確的定義。一般應用數量小于500，節點(diǎn)規模小于1000。沒(méi)有功能清晰的Kubernetes平臺運維。這個(gè)場(chǎng)景的應用數量不是特別多，DaemonSet可以支持所有的采集配置：
練習 2 - 大型集群
對于一些用作PaaS平臺的大型/超大型集群，一般業(yè)務(wù)在1000以上，節點(diǎn)規模也在1000以上，并且有專(zhuān)門(mén)的Kubernetes平臺運維人員。該場(chǎng)景對應用數量沒(méi)有限制，DaemonSet無(wú)法支持，所以必須使用Sidecar方式?？傮w規劃如下：
Java/C/C++/機器學(xué)習/算法與數據結構/前端/Android/Python/程序員必讀/書(shū)籍清單：
?。c(diǎn)擊右側打開(kāi)個(gè)人博客有干貨）：科技干貨店
=====>>①【Java大牛帶你從入門(mén)到進(jìn)階之路】②【算法數據結構+acm大牛帶你從入門(mén)到進(jìn)階之路】③【數據庫大牛帶你從入門(mén)到進(jìn)階之路】④【W(wǎng)eb前端大牛帶你進(jìn)階之路】⑤【機器學(xué)習與python大牛帶你進(jìn)階之路】⑥【架構師大牛帶你進(jìn)階之路】⑦【C++大牛帶你進(jìn)階之路】⑧【ios大牛帶你進(jìn)階之路】⑨【W(wǎng)eb安全大牛帶你進(jìn)階之路】⑩【Linux與操作系統牛帶你從入門(mén)到進(jìn)階之路】 查看全部
實(shí)時(shí)文章采集(6個(gè)K8s日志系統建設中的典型問(wèn)題，你遇到過(guò)幾個(gè)？)
個(gè)人博客導航頁(yè)面（點(diǎn)擊右側鏈接打開(kāi)個(gè)人博客）：大牛帶你進(jìn)入技術(shù)棧
簡(jiǎn)介：上一篇文章主要介紹了Kubernetes日志輸出的一些注意事項。日志輸出的最終目的是做統一的采集和分析。在Kubernetes中，記錄采集的方式與普通虛擬機有很大不同，相對實(shí)現難度和部署成本也略高，但如果使用得當，自動(dòng)化程度比傳統方式高，運維成本更低。本文是日志系列文章的第四篇。
第一篇：《K8s日志系統建設中的6個(gè)典型問(wèn)題，你遇到過(guò)幾個(gè)？》
第二篇：《一篇文章理解K8s日志系統的設計與實(shí)踐》
第三篇：《解決K8s中日志輸出問(wèn)題的9個(gè)技巧》
Kubernetes 日志采集 難點(diǎn)
在 Kubernetes 中，log采集 比傳統的虛擬機和物理機要復雜得多。最根本的原因是Kubernetes屏蔽了底層異常，提供了更細粒度的資源調度，向上提供了一個(gè)穩定動(dòng)態(tài)的環(huán)境。因此，log采集面臨著(zhù)更豐富、更動(dòng)態(tài)的環(huán)境，需要考慮的點(diǎn)也更多。
例如：
Kubernetes 傳統方式
日志類(lèi)型
文件、標準輸出、主機文件、日志
檔案、日記
日志源
業(yè)務(wù)容器、系統組件、主機
商務(wù)，主持人
采集如何
Agent (Sidecar, DaemonSet), Direct Write (DockerEngine, Business)
代理，直寫(xiě)
獨立應用程序的數量
10-100
1-10
應用動(dòng)態(tài)
高的
低的
節點(diǎn)動(dòng)態(tài)
高的
低的
采集部署方式
手動(dòng)，Yaml
手動(dòng), 定制
采集模式：主動(dòng)或被動(dòng)
日志采集方法有兩種：被動(dòng)采集和主動(dòng)推送。在K8s中，被動(dòng)采集一般分為Sidecar和DaemonSet兩種方式。主動(dòng)推送包括 DockerEngine 推送和業(yè)務(wù)直推。寫(xiě)兩種方式。
總結一下：
各種采集方法的詳細對比如下：
DockerEngine 業(yè)務(wù)直寫(xiě) DaemonSet 方法 Sidecar 方法
采集日志類(lèi)型
標準輸出
業(yè)務(wù)日志
標準輸出 + 部分文件
文檔
部署和維護
低原生支持
低，只維護配置文件
一般需要維護DaemonSet
更高，每個(gè)需要采集日志的POD都需要部署一個(gè)sidecar容器
日志分類(lèi)存儲
達不到
業(yè)務(wù)獨立配置
一般可以通過(guò)容器/路徑等方式進(jìn)行映射。
每個(gè) POD 都可以單獨配置以實(shí)現高靈活性
多租戶(hù)隔離
虛弱的
弱，日志直寫(xiě)會(huì )和業(yè)務(wù)邏輯競爭資源
一般只通過(guò)配置之間的隔離
強，通過(guò)容器隔離，資源可單獨分配
支持集群大小
無(wú)限本地存儲，如果使用syslog和fluentd，會(huì )有單點(diǎn)限制
無(wú)限
取決于配置的數量
無(wú)限
資源占用
低，碼頭工人
引擎提供
總體最低，節省 采集 開(kāi)銷(xiāo)
較低，每個(gè)節點(diǎn)運行一個(gè)容器
更高，每個(gè) POD 運行一個(gè)容器
查詢(xún)方便
低，只能grep原創(chuàng )日志
高，可根據業(yè)務(wù)特點(diǎn)定制
高，可進(jìn)行自定義查詢(xún)和統計
高，可根據業(yè)務(wù)特點(diǎn)定制
可定制性
低的
高，可自由擴展
低的
高，每個(gè) POD 單獨配置
耦合
高，強綁定DockerEngine，修改需要重啟DockerEngine
高，采集模塊修改/升級需要重新發(fā)布業(yè)務(wù)
低，代理可以獨立升級
一般默認的采集Sidecar服務(wù)對應的Agent升級也會(huì )重啟（部分擴展包可以支持Sidecar熱升級）
適用場(chǎng)景
測試、POC等非生產(chǎn)場(chǎng)景
對性能要求極高的場(chǎng)景
日志分類(lèi)清晰、功能單一的集群
大型混合 PAAS 集群
日志輸出：標準輸出或文件
與虛擬機/物理機不同，K8s 容器提供標準輸出和文件。在容器中，標準輸出直接將日志輸出到stdout或stderr，而DockerEngine接管stdout和stderr文件描述符，收到日志后根據DockerEngine配置的LogDriver規則進(jìn)行處理；日志打印到文件的方式與虛擬機/物理機基本相似，只是日志可以使用不同的存儲方式，如默認存儲、EmptyDir、HostVolume、NFS等。
雖然 Docker 官方推薦使用 Stdout 打印日志，但大家需要注意：這個(gè)推薦是基于容器僅作為簡(jiǎn)單應用使用的場(chǎng)景。在實(shí)際業(yè)務(wù)場(chǎng)景中，我們還是建議大家盡量使用文件方式。主要原因有以下幾點(diǎn)：
因此，我們建議在線(xiàn)應用使用文件輸出日志，而Stdout僅用于功能單一或部分K8s系統/運維組件的應用。
CICD 集成：日志記錄操作員
Kubernetes提供了標準化的業(yè)務(wù)部署方式，可以通過(guò)yaml（K8s API）聲明路由規則、暴露服務(wù)、掛載存儲、運行業(yè)務(wù)、定義伸縮規則等，因此Kubernetes很容易與CICD系統集成。日志采集也是運維監控過(guò)程的重要組成部分。必須實(shí)時(shí)采集業(yè)務(wù)上線(xiàn)后的所有日志。
原來(lái)的方法是在發(fā)布后手動(dòng)部署log采集的邏輯。這種方式需要人工干預，違背了CICD自動(dòng)化的目的；為了實(shí)現自動(dòng)化，有人開(kāi)始根據日志打包API/SDK采集發(fā)布后通過(guò)CICD的webhook調用自動(dòng)部署的服務(wù)，但這種方式開(kāi)發(fā)成本高。
在 Kubernetes 中，集成日志最標準的方式是在 Kubernetes 系統中注冊一個(gè)新資源，并以 Operator（CRD）的形式對其進(jìn)行管理和維護。這樣CICD系統就不需要額外開(kāi)發(fā)，部署到Kubernetes系統時(shí)只需要附加日志相關(guān)的配置即可。
Kubernetes 日志采集 方案
早在 Kubernetes 出現之前，我們就開(kāi)始為容器環(huán)境開(kāi)發(fā) log采集 解決方案。隨著(zhù)K8s的逐漸穩定，我們開(kāi)始將很多業(yè)務(wù)遷移到K8s平臺上，所以我們也在之前的基礎上開(kāi)發(fā)了一套。K8s 上的 log采集 方案。主要功能有：
安裝日志采集組件
目前，這個(gè)采集解決方案已經(jīng)對外開(kāi)放。我們提供 Helm 安裝包，收錄 Logtail 的 DaemonSet、AliyunlogConfig 的 CRD 聲明和 CRD Controller。安裝后，可以直接使用 DaemonSet 采集 和 CRD 配置。安裝方法如下：
當阿里云Kubernetes集群?jiǎn)?dòng)時(shí)，您可以選擇安裝它，這樣在創(chuàng )建集群時(shí)會(huì )自動(dòng)安裝上述組件。如果激活的時(shí)候沒(méi)有安裝，可以手動(dòng)安裝；如果是自建Kubernetes，無(wú)論是在阿里云上自建還是在其他云還是離線(xiàn)，也可以使用這個(gè)采集方案，具體安裝方法參考自建Kubernetes安裝。
上述組件安裝完成后，Logtail和對應的Controller就會(huì )在集群中運行，但是這些組件默認沒(méi)有采集任何日志，需要將日志采集規則配置為采集@ > 指定各種日志的Pod。
采集規則配置：環(huán)境變量或CRD
除了在日志服務(wù)控制臺上手動(dòng)配置外，Kubernetes 還支持另外兩種配置方式：環(huán)境變量和 CRD。
該方法部署簡(jiǎn)單，學(xué)習成本低，易于使用；但是可以支持的配置規則很少，很多高級配置（如解析方式、過(guò)濾方式、黑白名單等）都不支持，而且這種聲明方式也不支持修改/刪除，每個(gè)修改實(shí)際上創(chuàng )建了一個(gè)新的 采集 配置。歷史采集配置需要手動(dòng)清理，否則會(huì )造成資源浪費。
比如下面的例子是部署一個(gè)容器的stdout采集，其中定義需要stdout和stderr采集，排除環(huán)境變量中收錄COLLEXT_STDOUT_FLAG: false的容器。
基于CRD的配置方式以Kubernetes標準擴展資源的方式進(jìn)行管理，支持配置的完整語(yǔ)義的增刪改查，支持各種高級配置。這是我們強烈推薦的 采集 配置方法。
采集推薦的規則配置方式
在實(shí)際應用場(chǎng)景中，一般使用 DaemonSet 或者 DaemonSet 和 Sidecar 的混合。DaemonSet 的優(yōu)點(diǎn)是資源利用率高，但存在一個(gè)問(wèn)題，DaemonSet 的所有 Logtail 共享全局配置，而單個(gè) Logtail 的配置支持有上限。因此，它無(wú)法支持具有大量應用程序的集群。
以上是我們給出的推薦配置方式。核心思想是：
練習 1 - 中小型集群
大多數 Kubernetes 集群都是中小型的。中小企業(yè)沒(méi)有明確的定義。一般應用數量小于500，節點(diǎn)規模小于1000。沒(méi)有功能清晰的Kubernetes平臺運維。這個(gè)場(chǎng)景的應用數量不是特別多，DaemonSet可以支持所有的采集配置：
練習 2 - 大型集群
對于一些用作PaaS平臺的大型/超大型集群，一般業(yè)務(wù)在1000以上，節點(diǎn)規模也在1000以上，并且有專(zhuān)門(mén)的Kubernetes平臺運維人員。該場(chǎng)景對應用數量沒(méi)有限制，DaemonSet無(wú)法支持，所以必須使用Sidecar方式?？傮w規劃如下：
Java/C/C++/機器學(xué)習/算法與數據結構/前端/Android/Python/程序員必讀/書(shū)籍清單：
?。c(diǎn)擊右側打開(kāi)個(gè)人博客有干貨）：科技干貨店
=====>>①【Java大牛帶你從入門(mén)到進(jìn)階之路】②【算法數據結構+acm大牛帶你從入門(mén)到進(jìn)階之路】③【數據庫大牛帶你從入門(mén)到進(jìn)階之路】④【W(wǎng)eb前端大牛帶你進(jìn)階之路】⑤【機器學(xué)習與python大牛帶你進(jìn)階之路】⑥【架構師大牛帶你進(jìn)階之路】⑦【C++大牛帶你進(jìn)階之路】⑧【ios大牛帶你進(jìn)階之路】⑨【W(wǎng)eb安全大牛帶你進(jìn)階之路】⑩【Linux與操作系統牛帶你從入門(mén)到進(jìn)階之路】
實(shí)時(shí)文章采集(怎么用PHP采集才能快速收錄以及關(guān)鍵詞排名？(圖))
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 116 次瀏覽 ? 2022-02-28 04:23
實(shí)時(shí)文章采集(怎么用PHP采集才能快速收錄以及關(guān)鍵詞排名？(圖))
如何使用PHP采集快速收錄和關(guān)鍵詞排名？本文分為2個(gè)部分，一個(gè)是網(wǎng)站程序的標準化，另一個(gè)是網(wǎng)站fast收錄和排名，我想大多數人都會(huì )遇到，公司的網(wǎng)站有程序問(wèn)題，url優(yōu)化要求等，但是程序部的小伙伴不配合！或者網(wǎng)站邀請第三方公司！如果你堅持做seo，你基本上就無(wú)法工作了！基本上以上都是公司程序部和我們seo網(wǎng)站優(yōu)化部沒(méi)有協(xié)調或者根本沒(méi)有嚴格規定造成的！要知道seo是一個(gè)非常復雜的行業(yè)和職位，所涉及的內容包羅萬(wàn)象。其中，程序對網(wǎng)站的支持非常重要！如果和seo配合不好，程序會(huì )比較麻煩！網(wǎng)站程序中需要滿(mǎn)足哪些規范才能適合SEO？
一、域和服務(wù)器相關(guān)
1、如果頁(yè)面不存在，應該返回404錯誤碼；
2、4XX、5XX服務(wù)器頭信息異常增加，及時(shí)通知SEO部門(mén)做進(jìn)一步檢查。
3、域名不使用泛解析。需要使用二級域名時(shí)，需要提前與SEO部門(mén)溝通，然后解決；
3、URL 規范化，URL 啟用 301
4、網(wǎng)站不能有多個(gè)域名打開(kāi)同一個(gè)頁(yè)面；
5、如果有打開(kāi)子域進(jìn)行測試，使用robots文件禁止搜索引擎抓??；
6、服務(wù)器開(kāi)啟gzip壓縮，提高瀏覽速度；
7、在新欄目上線(xiàn)前完成內容填充；網(wǎng)站 和內容未完成的欄目無(wú)法上線(xiàn)。
二、網(wǎng)站結構和URL相關(guān)
1、所有網(wǎng)址網(wǎng)站都是靜態(tài)的，除了計劃禁止搜索引擎抓取的內容和收錄。
2、 URL一旦確定在線(xiàn)，就不能隨意更改。特殊情況需要調整的，必須與SEO部門(mén)溝通；
3、網(wǎng)站 列和 URL 目錄需要一一對應。一級分類(lèi)對應一級分類(lèi)，二級分類(lèi)對應二級分類(lèi)。最多可以歸類(lèi)到二級目錄。如果產(chǎn)品/頁(yè)數需要分類(lèi)在三級以上，此時(shí)需要注意。
4、全站目錄URL以斜杠結尾，該URL不顯示index.php等文件名；
5、URL 中的列名、文件名等字母都是小寫(xiě)的。
6、網(wǎng)站的所有頁(yè)面都添加了面包屑；
7、URL中統一使用破折號或下劃線(xiàn)，不要添加其他特殊字符；
8、URL目錄名優(yōu)先對應英文單詞，不是中文拼音，而是數字或字母；
9、當URL發(fā)生變化時(shí)，舊的URL應該通過(guò)301重定向到新的URL；
三、頁(yè)面打開(kāi)速度相關(guān)
1、在不影響視覺(jué)效果的前提下，前端頁(yè)面的所有圖片都要壓縮；
2、刪除未使用的CSS代碼，盡可能將頁(yè)面樣式代碼合并到CSS文件中；
3、謹慎使用JS，謹慎使用JS，測試JS是否減慢頁(yè)面訪(fǎng)問(wèn)；
4、禁止使用session ID、Frame、Flash；
5、頁(yè)面的純文本代碼（包括HTML、JS、CSS）不超過(guò)500K。主頁(yè)等特殊頁(yè)面可以適當放寬。
6、使用主流瀏覽器實(shí)際測試頁(yè)面打開(kāi)速度，不要超過(guò)3秒。有條件的，從多個(gè)省市進(jìn)行測試。
四、TDK相關(guān)頁(yè)面
1、頁(yè)面的Title標簽、Description標簽、H1文字的默認版本是根據格式自動(dòng)生成的，但是系統需要為SEO人員預留填寫(xiě)功能。
2、欄目頁(yè)Title的默認格式：二級欄目名-一級欄目名-網(wǎng)站名稱(chēng)；
3、產(chǎn)品頁(yè)面標題默認格式：產(chǎn)品名稱(chēng)——網(wǎng)站名稱(chēng)；
4、文章頁(yè)面標題默認格式：文章標題——網(wǎng)站名稱(chēng)；
5、搜索頁(yè)面標題默認格式：搜索關(guān)鍵字-網(wǎng)站名稱(chēng)；；
6、每個(gè)頁(yè)面標題的默認格式：列名-X頁(yè)-網(wǎng)站名稱(chēng)；
7、除特殊要求外，網(wǎng)站使用HTML代碼鏈接代替JS生成的鏈接；
8、除好友鏈接外的導出鏈接添加nofollow屬性；
9、列，產(chǎn)品/文章將 ALT 文本添加到頁(yè)面的主圖像。后臺編輯器上傳圖片時(shí)，預留輸入框填寫(xiě)ATL文本；
10、一個(gè)頁(yè)面只使用一次H1。
五、函數使用及代碼
1、除非另有要求，網(wǎng)站確保在所有頁(yè)面都在線(xiàn)時(shí)添加流量統計代碼。
2、全部網(wǎng)站開(kāi)通百度資源平臺賬號。
3、在線(xiàn)網(wǎng)站，除非 SEO 或運營(yíng)部門(mén)另有要求，robots 文件對所有 URL 和文件（包括圖像、CSS、JS）的抓取都是開(kāi)放的。
4、XML版本的Sitemap在后臺實(shí)??時(shí)或定期生成更新，包括首頁(yè)、欄目和頁(yè)面、產(chǎn)品/文章頁(yè)面。是否收錄過(guò)濾條件頁(yè)面將在與SEO部門(mén)協(xié)調后確定。
5、新站點(diǎn)應始終使用響應式設計，不要使用獨立的移動(dòng)站點(diǎn)或移動(dòng)子域。已經(jīng)用移動(dòng)子域優(yōu)化過(guò)的老站暫時(shí)保持現狀，與SEO部門(mén)溝通后轉為響應式設計。
6、英文網(wǎng)站HTML 代碼中不應出現中文字符，包括注釋。
7、當由于各種原因需要更改URL時(shí)，舊的URL會(huì )被301重定向到新的URL，不要使用其他的轉向方式。
8、當由于各種原因更改 URL 時(shí)，導航和內頁(yè)鏈接會(huì )更新為新 URL。導航中禁止需要重定向的 URL。
六、使用PHP采集+SEO函數讓網(wǎng)站快收錄
如果以上都沒(méi)有問(wèn)題，我們可以使用這個(gè)PHP采集工具來(lái)實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，無(wú)需學(xué)習更專(zhuān)業(yè)的技術(shù)。只需幾個(gè)簡(jiǎn)單的步驟即可輕松實(shí)現采集內容數據，用戶(hù)只需在PHP采集上進(jìn)行簡(jiǎn)單設置，PHP采集工具會(huì )根據關(guān)鍵詞準確設置給用戶(hù)。采集文章，這確保了與行業(yè) 文章 的一致性。采集文章 from 采集可以選擇本地保存，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，提供方便快捷的內容采集和快速的內容創(chuàng )建偽原創(chuàng )。
與其他PHP采集相比，這個(gè)PHP采集基本沒(méi)有規則，更別說(shuō)花大量時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，直接輸入關(guān)鍵詞 采集可以實(shí)現（PHP采集也自帶關(guān)鍵詞采集函數）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)PHP采集還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），無(wú)需每天登錄網(wǎng)站后臺. SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
七、百度優(yōu)化排名最基本的原理！
一、網(wǎng)站優(yōu)化排名的對象是什么
1、一個(gè)網(wǎng)站由多個(gè)網(wǎng)頁(yè)組成，網(wǎng)站由一個(gè)或多個(gè)網(wǎng)頁(yè)組成。
2、seo優(yōu)化的對象是網(wǎng)頁(yè)而不是網(wǎng)站。關(guān)于網(wǎng)站優(yōu)化排名的誤區是，普通人總是認為優(yōu)化的對象是網(wǎng)站。我們通常所說(shuō)的“網(wǎng)站ranking”和“網(wǎng)站optimization”是不正確的。
二：百度蜘蛛的工作很簡(jiǎn)單：
找到頁(yè)面（發(fā)現網(wǎng)上有這個(gè)頁(yè)面）——頁(yè)面是否可以正常爬?。阍谂廊〉臅r(shí)候有沒(méi)有遇到困難：比如加載慢、質(zhì)量低、錯誤頁(yè)面多——你要爬嗎？ page)?是否應該爬??？爬取數據庫能給網(wǎng)名帶來(lái)實(shí)際的效果嗎？) 了解了這些基本原理后，我們就可以根據這些要求進(jìn)行嘗試了。比如，如何讓百度爬取更方便？方法如下：
1)百度主動(dòng)找到我們的頁(yè)面
2)我們提交給百度
3) 還有人告訴百度需要做一些外鏈推廣工作
三、什么是超鏈接分析，超鏈接分析簡(jiǎn)介
1、“超鏈接分析”
超鏈接分析是百度的專(zhuān)利。原理是通過(guò)分析鏈接網(wǎng)站的數量來(lái)評估鏈接網(wǎng)站的質(zhì)量。這樣做的效果是確保用戶(hù)使用搜索引擎。，質(zhì)量越高，頁(yè)面越受歡迎越高。百度總裁李彥宏是這項技術(shù)的擁有者，該技術(shù)已被全球主要搜索引擎廣泛采用。
2、我們如何理解超鏈分析技術(shù)？
總之，要判斷一個(gè)頁(yè)面是優(yōu)秀的還是權威的，其他頁(yè)面的“意見(jiàn)”是非常重要的。即使一個(gè)網(wǎng)頁(yè)不是那么好，只要其他網(wǎng)頁(yè)比其他網(wǎng)頁(yè)有更多的“信任票”（反向鏈接），那么它的排名就會(huì )更高。需要注意的是，“超鏈接分析”只是排名的一個(gè)重要參考。
四：分析模塊的工作，百度會(huì )對網(wǎng)頁(yè)進(jìn)行再加工預測評價(jià)：
1)網(wǎng)站頁(yè)面內容好不好？
2) 頁(yè)面的主題是什么？（標題、關(guān)鍵詞和網(wǎng)站描述、網(wǎng)站內容本身由網(wǎng)站的TDK決定）
3)多少錢(qián)？原創(chuàng )學(xué)位？
4)還有其他評分選項，比如多少個(gè)鏈接？
通過(guò)以上指標，百度會(huì )給搜索關(guān)鍵詞一個(gè)匹配排名，其匹配模式設計為??：完全匹配+詞組匹配+廣泛匹配。
我們seo優(yōu)化的價(jià)值在于匹配模式相當于排名機會(huì )，我們需要實(shí)現更多更好的排名機會(huì )。繼續增加匹配機會(huì )，讓更多流量找到我們的網(wǎng)站?？赐赀@篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
如何使用PHP采集快速收錄和關(guān)鍵詞排名？本文分為2個(gè)部分，一個(gè)是網(wǎng)站程序的標準化，另一個(gè)是網(wǎng)站fast收錄和排名，我想大多數人都會(huì )遇到，公司的網(wǎng)站有程序問(wèn)題，url優(yōu)化要求等，但是程序部的小伙伴不配合！或者網(wǎng)站邀請第三方公司！如果你堅持做seo，你基本上就無(wú)法工作了！基本上以上都是公司程序部和我們seo網(wǎng)站優(yōu)化部沒(méi)有協(xié)調或者根本沒(méi)有嚴格規定造成的！要知道seo是一個(gè)非常復雜的行業(yè)和職位，所涉及的內容包羅萬(wàn)象。其中，程序對網(wǎng)站的支持非常重要！如果和seo配合不好，程序會(huì )比較麻煩！網(wǎng)站程序中需要滿(mǎn)足哪些規范才能適合SEO？
一、域和服務(wù)器相關(guān)
1、如果頁(yè)面不存在，應該返回404錯誤碼；
2、4XX、5XX服務(wù)器頭信息異常增加，及時(shí)通知SEO部門(mén)做進(jìn)一步檢查。
3、域名不使用泛解析。需要使用二級域名時(shí)，需要提前與SEO部門(mén)溝通，然后解決；
3、URL 規范化，URL 啟用 301
4、網(wǎng)站不能有多個(gè)域名打開(kāi)同一個(gè)頁(yè)面；
5、如果有打開(kāi)子域進(jìn)行測試，使用robots文件禁止搜索引擎抓??；
6、服務(wù)器開(kāi)啟gzip壓縮，提高瀏覽速度；
7、在新欄目上線(xiàn)前完成內容填充；網(wǎng)站 和內容未完成的欄目無(wú)法上線(xiàn)。
二、網(wǎng)站結構和URL相關(guān)
1、所有網(wǎng)址網(wǎng)站都是靜態(tài)的，除了計劃禁止搜索引擎抓取的內容和收錄。
2、 URL一旦確定在線(xiàn)，就不能隨意更改。特殊情況需要調整的，必須與SEO部門(mén)溝通；
3、網(wǎng)站 列和 URL 目錄需要一一對應。一級分類(lèi)對應一級分類(lèi)，二級分類(lèi)對應二級分類(lèi)。最多可以歸類(lèi)到二級目錄。如果產(chǎn)品/頁(yè)數需要分類(lèi)在三級以上，此時(shí)需要注意。
4、全站目錄URL以斜杠結尾，該URL不顯示index.php等文件名；
5、URL 中的列名、文件名等字母都是小寫(xiě)的。
6、網(wǎng)站的所有頁(yè)面都添加了面包屑；
7、URL中統一使用破折號或下劃線(xiàn)，不要添加其他特殊字符；
8、URL目錄名優(yōu)先對應英文單詞，不是中文拼音，而是數字或字母；
9、當URL發(fā)生變化時(shí)，舊的URL應該通過(guò)301重定向到新的URL；
三、頁(yè)面打開(kāi)速度相關(guān)
1、在不影響視覺(jué)效果的前提下，前端頁(yè)面的所有圖片都要壓縮；
2、刪除未使用的CSS代碼，盡可能將頁(yè)面樣式代碼合并到CSS文件中；
3、謹慎使用JS，謹慎使用JS，測試JS是否減慢頁(yè)面訪(fǎng)問(wèn)；
4、禁止使用session ID、Frame、Flash；
5、頁(yè)面的純文本代碼（包括HTML、JS、CSS）不超過(guò)500K。主頁(yè)等特殊頁(yè)面可以適當放寬。
6、使用主流瀏覽器實(shí)際測試頁(yè)面打開(kāi)速度，不要超過(guò)3秒。有條件的，從多個(gè)省市進(jìn)行測試。
四、TDK相關(guān)頁(yè)面
1、頁(yè)面的Title標簽、Description標簽、H1文字的默認版本是根據格式自動(dòng)生成的，但是系統需要為SEO人員預留填寫(xiě)功能。
2、欄目頁(yè)Title的默認格式：二級欄目名-一級欄目名-網(wǎng)站名稱(chēng)；
3、產(chǎn)品頁(yè)面標題默認格式：產(chǎn)品名稱(chēng)——網(wǎng)站名稱(chēng)；
4、文章頁(yè)面標題默認格式：文章標題——網(wǎng)站名稱(chēng)；
5、搜索頁(yè)面標題默認格式：搜索關(guān)鍵字-網(wǎng)站名稱(chēng)；；
6、每個(gè)頁(yè)面標題的默認格式：列名-X頁(yè)-網(wǎng)站名稱(chēng)；
7、除特殊要求外，網(wǎng)站使用HTML代碼鏈接代替JS生成的鏈接；
8、除好友鏈接外的導出鏈接添加nofollow屬性；
9、列，產(chǎn)品/文章將 ALT 文本添加到頁(yè)面的主圖像。后臺編輯器上傳圖片時(shí)，預留輸入框填寫(xiě)ATL文本；
10、一個(gè)頁(yè)面只使用一次H1。
五、函數使用及代碼
1、除非另有要求，網(wǎng)站確保在所有頁(yè)面都在線(xiàn)時(shí)添加流量統計代碼。
2、全部網(wǎng)站開(kāi)通百度資源平臺賬號。
3、在線(xiàn)網(wǎng)站，除非 SEO 或運營(yíng)部門(mén)另有要求，robots 文件對所有 URL 和文件（包括圖像、CSS、JS）的抓取都是開(kāi)放的。
4、XML版本的Sitemap在后臺實(shí)??時(shí)或定期生成更新，包括首頁(yè)、欄目和頁(yè)面、產(chǎn)品/文章頁(yè)面。是否收錄過(guò)濾條件頁(yè)面將在與SEO部門(mén)協(xié)調后確定。
5、新站點(diǎn)應始終使用響應式設計，不要使用獨立的移動(dòng)站點(diǎn)或移動(dòng)子域。已經(jīng)用移動(dòng)子域優(yōu)化過(guò)的老站暫時(shí)保持現狀，與SEO部門(mén)溝通后轉為響應式設計。
6、英文網(wǎng)站HTML 代碼中不應出現中文字符，包括注釋。
7、當由于各種原因需要更改URL時(shí)，舊的URL會(huì )被301重定向到新的URL，不要使用其他的轉向方式。
8、當由于各種原因更改 URL 時(shí)，導航和內頁(yè)鏈接會(huì )更新為新 URL。導航中禁止需要重定向的 URL。
六、使用PHP采集+SEO函數讓網(wǎng)站快收錄
如果以上都沒(méi)有問(wèn)題，我們可以使用這個(gè)PHP采集工具來(lái)實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，無(wú)需學(xué)習更專(zhuān)業(yè)的技術(shù)。只需幾個(gè)簡(jiǎn)單的步驟即可輕松實(shí)現采集內容數據，用戶(hù)只需在PHP采集上進(jìn)行簡(jiǎn)單設置，PHP采集工具會(huì )根據關(guān)鍵詞準確設置給用戶(hù)。采集文章，這確保了與行業(yè) 文章 的一致性。采集文章 from 采集可以選擇本地保存，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，提供方便快捷的內容采集和快速的內容創(chuàng )建偽原創(chuàng )。
與其他PHP采集相比，這個(gè)PHP采集基本沒(méi)有規則，更別說(shuō)花大量時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，直接輸入關(guān)鍵詞 采集可以實(shí)現（PHP采集也自帶關(guān)鍵詞采集函數）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)PHP采集還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），無(wú)需每天登錄網(wǎng)站后臺. SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
七、百度優(yōu)化排名最基本的原理！
一、網(wǎng)站優(yōu)化排名的對象是什么
1、一個(gè)網(wǎng)站由多個(gè)網(wǎng)頁(yè)組成，網(wǎng)站由一個(gè)或多個(gè)網(wǎng)頁(yè)組成。
2、seo優(yōu)化的對象是網(wǎng)頁(yè)而不是網(wǎng)站。關(guān)于網(wǎng)站優(yōu)化排名的誤區是，普通人總是認為優(yōu)化的對象是網(wǎng)站。我們通常所說(shuō)的“網(wǎng)站ranking”和“網(wǎng)站optimization”是不正確的。
二：百度蜘蛛的工作很簡(jiǎn)單：
找到頁(yè)面（發(fā)現網(wǎng)上有這個(gè)頁(yè)面）——頁(yè)面是否可以正常爬?。阍谂廊〉臅r(shí)候有沒(méi)有遇到困難：比如加載慢、質(zhì)量低、錯誤頁(yè)面多——你要爬嗎？ page)?是否應該爬??？爬取數據庫能給網(wǎng)名帶來(lái)實(shí)際的效果嗎？) 了解了這些基本原理后，我們就可以根據這些要求進(jìn)行嘗試了。比如，如何讓百度爬取更方便？方法如下：
1)百度主動(dòng)找到我們的頁(yè)面
2)我們提交給百度
3) 還有人告訴百度需要做一些外鏈推廣工作
三、什么是超鏈接分析，超鏈接分析簡(jiǎn)介
1、“超鏈接分析”
超鏈接分析是百度的專(zhuān)利。原理是通過(guò)分析鏈接網(wǎng)站的數量來(lái)評估鏈接網(wǎng)站的質(zhì)量。這樣做的效果是確保用戶(hù)使用搜索引擎。，質(zhì)量越高，頁(yè)面越受歡迎越高。百度總裁李彥宏是這項技術(shù)的擁有者，該技術(shù)已被全球主要搜索引擎廣泛采用。
2、我們如何理解超鏈分析技術(shù)？
總之，要判斷一個(gè)頁(yè)面是優(yōu)秀的還是權威的，其他頁(yè)面的“意見(jiàn)”是非常重要的。即使一個(gè)網(wǎng)頁(yè)不是那么好，只要其他網(wǎng)頁(yè)比其他網(wǎng)頁(yè)有更多的“信任票”（反向鏈接），那么它的排名就會(huì )更高。需要注意的是，“超鏈接分析”只是排名的一個(gè)重要參考。
四：分析模塊的工作，百度會(huì )對網(wǎng)頁(yè)進(jìn)行再加工預測評價(jià)：
1)網(wǎng)站頁(yè)面內容好不好？
2) 頁(yè)面的主題是什么？（標題、關(guān)鍵詞和網(wǎng)站描述、網(wǎng)站內容本身由網(wǎng)站的TDK決定）
3)多少錢(qián)？原創(chuàng )學(xué)位？
4)還有其他評分選項，比如多少個(gè)鏈接？
通過(guò)以上指標，百度會(huì )給搜索關(guān)鍵詞一個(gè)匹配排名，其匹配模式設計為??：完全匹配+詞組匹配+廣泛匹配。
我們seo優(yōu)化的價(jià)值在于匹配模式相當于排名機會(huì )，我們需要實(shí)現更多更好的排名機會(huì )。繼續增加匹配機會(huì )，讓更多流量找到我們的網(wǎng)站?？赐赀@篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！ 查看全部
實(shí)時(shí)文章采集(怎么用PHP采集才能快速收錄以及關(guān)鍵詞排名？(圖))
如何使用PHP采集快速收錄和關(guān)鍵詞排名？本文分為2個(gè)部分，一個(gè)是網(wǎng)站程序的標準化，另一個(gè)是網(wǎng)站fast收錄和排名，我想大多數人都會(huì )遇到，公司的網(wǎng)站有程序問(wèn)題，url優(yōu)化要求等，但是程序部的小伙伴不配合！或者網(wǎng)站邀請第三方公司！如果你堅持做seo，你基本上就無(wú)法工作了！基本上以上都是公司程序部和我們seo網(wǎng)站優(yōu)化部沒(méi)有協(xié)調或者根本沒(méi)有嚴格規定造成的！要知道seo是一個(gè)非常復雜的行業(yè)和職位，所涉及的內容包羅萬(wàn)象。其中，程序對網(wǎng)站的支持非常重要！如果和seo配合不好，程序會(huì )比較麻煩！網(wǎng)站程序中需要滿(mǎn)足哪些規范才能適合SEO？
一、域和服務(wù)器相關(guān)
1、如果頁(yè)面不存在，應該返回404錯誤碼；
2、4XX、5XX服務(wù)器頭信息異常增加，及時(shí)通知SEO部門(mén)做進(jìn)一步檢查。
3、域名不使用泛解析。需要使用二級域名時(shí)，需要提前與SEO部門(mén)溝通，然后解決；
3、URL 規范化，URL 啟用 301
4、網(wǎng)站不能有多個(gè)域名打開(kāi)同一個(gè)頁(yè)面；
5、如果有打開(kāi)子域進(jìn)行測試，使用robots文件禁止搜索引擎抓??；
6、服務(wù)器開(kāi)啟gzip壓縮，提高瀏覽速度；
7、在新欄目上線(xiàn)前完成內容填充；網(wǎng)站 和內容未完成的欄目無(wú)法上線(xiàn)。
二、網(wǎng)站結構和URL相關(guān)
1、所有網(wǎng)址網(wǎng)站都是靜態(tài)的，除了計劃禁止搜索引擎抓取的內容和收錄。
2、 URL一旦確定在線(xiàn)，就不能隨意更改。特殊情況需要調整的，必須與SEO部門(mén)溝通；
3、網(wǎng)站 列和 URL 目錄需要一一對應。一級分類(lèi)對應一級分類(lèi)，二級分類(lèi)對應二級分類(lèi)。最多可以歸類(lèi)到二級目錄。如果產(chǎn)品/頁(yè)數需要分類(lèi)在三級以上，此時(shí)需要注意。
4、全站目錄URL以斜杠結尾，該URL不顯示index.php等文件名；
5、URL 中的列名、文件名等字母都是小寫(xiě)的。
6、網(wǎng)站的所有頁(yè)面都添加了面包屑；
7、URL中統一使用破折號或下劃線(xiàn)，不要添加其他特殊字符；
8、URL目錄名優(yōu)先對應英文單詞，不是中文拼音，而是數字或字母；
9、當URL發(fā)生變化時(shí)，舊的URL應該通過(guò)301重定向到新的URL；
三、頁(yè)面打開(kāi)速度相關(guān)
1、在不影響視覺(jué)效果的前提下，前端頁(yè)面的所有圖片都要壓縮；
2、刪除未使用的CSS代碼，盡可能將頁(yè)面樣式代碼合并到CSS文件中；
3、謹慎使用JS，謹慎使用JS，測試JS是否減慢頁(yè)面訪(fǎng)問(wèn)；
4、禁止使用session ID、Frame、Flash；
5、頁(yè)面的純文本代碼（包括HTML、JS、CSS）不超過(guò)500K。主頁(yè)等特殊頁(yè)面可以適當放寬。
6、使用主流瀏覽器實(shí)際測試頁(yè)面打開(kāi)速度，不要超過(guò)3秒。有條件的，從多個(gè)省市進(jìn)行測試。
四、TDK相關(guān)頁(yè)面
1、頁(yè)面的Title標簽、Description標簽、H1文字的默認版本是根據格式自動(dòng)生成的，但是系統需要為SEO人員預留填寫(xiě)功能。
2、欄目頁(yè)Title的默認格式：二級欄目名-一級欄目名-網(wǎng)站名稱(chēng)；
3、產(chǎn)品頁(yè)面標題默認格式：產(chǎn)品名稱(chēng)——網(wǎng)站名稱(chēng)；
4、文章頁(yè)面標題默認格式：文章標題——網(wǎng)站名稱(chēng)；
5、搜索頁(yè)面標題默認格式：搜索關(guān)鍵字-網(wǎng)站名稱(chēng)；；
6、每個(gè)頁(yè)面標題的默認格式：列名-X頁(yè)-網(wǎng)站名稱(chēng)；
7、除特殊要求外，網(wǎng)站使用HTML代碼鏈接代替JS生成的鏈接；
8、除好友鏈接外的導出鏈接添加nofollow屬性；
9、列，產(chǎn)品/文章將 ALT 文本添加到頁(yè)面的主圖像。后臺編輯器上傳圖片時(shí)，預留輸入框填寫(xiě)ATL文本；
10、一個(gè)頁(yè)面只使用一次H1。
五、函數使用及代碼
1、除非另有要求，網(wǎng)站確保在所有頁(yè)面都在線(xiàn)時(shí)添加流量統計代碼。
2、全部網(wǎng)站開(kāi)通百度資源平臺賬號。
3、在線(xiàn)網(wǎng)站，除非 SEO 或運營(yíng)部門(mén)另有要求，robots 文件對所有 URL 和文件（包括圖像、CSS、JS）的抓取都是開(kāi)放的。
4、XML版本的Sitemap在后臺實(shí)??時(shí)或定期生成更新，包括首頁(yè)、欄目和頁(yè)面、產(chǎn)品/文章頁(yè)面。是否收錄過(guò)濾條件頁(yè)面將在與SEO部門(mén)協(xié)調后確定。
5、新站點(diǎn)應始終使用響應式設計，不要使用獨立的移動(dòng)站點(diǎn)或移動(dòng)子域。已經(jīng)用移動(dòng)子域優(yōu)化過(guò)的老站暫時(shí)保持現狀，與SEO部門(mén)溝通后轉為響應式設計。
6、英文網(wǎng)站HTML 代碼中不應出現中文字符，包括注釋。
7、當由于各種原因需要更改URL時(shí)，舊的URL會(huì )被301重定向到新的URL，不要使用其他的轉向方式。
8、當由于各種原因更改 URL 時(shí)，導航和內頁(yè)鏈接會(huì )更新為新 URL。導航中禁止需要重定向的 URL。
六、使用PHP采集+SEO函數讓網(wǎng)站快收錄
如果以上都沒(méi)有問(wèn)題，我們可以使用這個(gè)PHP采集工具來(lái)實(shí)現采集偽原創(chuàng )自動(dòng)發(fā)布和主動(dòng)推送到搜索引擎。操作簡(jiǎn)單，無(wú)需學(xué)習更專(zhuān)業(yè)的技術(shù)。只需幾個(gè)簡(jiǎn)單的步驟即可輕松實(shí)現采集內容數據，用戶(hù)只需在PHP采集上進(jìn)行簡(jiǎn)單設置，PHP采集工具會(huì )根據關(guān)鍵詞準確設置給用戶(hù)。采集文章，這確保了與行業(yè) 文章 的一致性。采集文章 from 采集可以選擇本地保存，也可以選擇自動(dòng)偽原創(chuàng )發(fā)布，提供方便快捷的內容采集和快速的內容創(chuàng )建偽原創(chuàng )。
與其他PHP采集相比，這個(gè)PHP采集基本沒(méi)有規則，更別說(shuō)花大量時(shí)間學(xué)習正則表達式或者html標簽，一分鐘就能上手，直接輸入關(guān)鍵詞 采集可以實(shí)現（PHP采集也自帶關(guān)鍵詞采集函數）。全程自動(dòng)掛機！設置任務(wù)，自動(dòng)執行采集偽原創(chuàng )發(fā)布并主動(dòng)推送到搜索引擎。
不管你有成百上千個(gè)不同的cms網(wǎng)站都可以實(shí)現統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。這個(gè)PHP采集還配備了很多SEO功能，通過(guò)采集偽原創(chuàng )軟件發(fā)布后還可以提升很多SEO方面。
1、網(wǎng)站主動(dòng)推送（讓搜索引擎更快發(fā)現我們的網(wǎng)站）
2、自動(dòng)匹配圖片（文章如果內容中沒(méi)有圖片，會(huì )自動(dòng)配置相關(guān)圖片） 設置自動(dòng)下載圖片保存在本地或第三方（使內容無(wú)不再有對方的外部鏈接）。
3、自動(dòng)內部鏈接（讓搜索引擎更深入地抓取您的鏈接）
4、在內容或標題前后插入段落或關(guān)鍵詞（可選地將標題和標題插入同一個(gè)關(guān)鍵詞）
5、網(wǎng)站內容插入或隨機作者、隨機閱讀等變成“高度原創(chuàng )”。
6、定期發(fā)布（定期發(fā)布文章讓搜索引擎及時(shí)抓取你的網(wǎng)站內容）
通過(guò)增加具有這些 SEO 功能的 網(wǎng)站 頁(yè)面的 原創(chuàng ) 度來(lái)提高 網(wǎng)站 的 收錄 排名。通過(guò)工具上的監控管理查看文章采集的發(fā)布和主動(dòng)推送（百度/360/搜狗神馬/谷歌等），無(wú)需每天登錄網(wǎng)站后臺. SEO的內容優(yōu)化直接在工具上自動(dòng)完成。目前博主親測軟件是免費的，可以直接下載使用！
七、百度優(yōu)化排名最基本的原理！
一、網(wǎng)站優(yōu)化排名的對象是什么
1、一個(gè)網(wǎng)站由多個(gè)網(wǎng)頁(yè)組成，網(wǎng)站由一個(gè)或多個(gè)網(wǎng)頁(yè)組成。
2、seo優(yōu)化的對象是網(wǎng)頁(yè)而不是網(wǎng)站。關(guān)于網(wǎng)站優(yōu)化排名的誤區是，普通人總是認為優(yōu)化的對象是網(wǎng)站。我們通常所說(shuō)的“網(wǎng)站ranking”和“網(wǎng)站optimization”是不正確的。
二：百度蜘蛛的工作很簡(jiǎn)單：
找到頁(yè)面（發(fā)現網(wǎng)上有這個(gè)頁(yè)面）——頁(yè)面是否可以正常爬?。阍谂廊〉臅r(shí)候有沒(méi)有遇到困難：比如加載慢、質(zhì)量低、錯誤頁(yè)面多——你要爬嗎？ page)?是否應該爬??？爬取數據庫能給網(wǎng)名帶來(lái)實(shí)際的效果嗎？) 了解了這些基本原理后，我們就可以根據這些要求進(jìn)行嘗試了。比如，如何讓百度爬取更方便？方法如下：
1)百度主動(dòng)找到我們的頁(yè)面
2)我們提交給百度
3) 還有人告訴百度需要做一些外鏈推廣工作
三、什么是超鏈接分析，超鏈接分析簡(jiǎn)介
1、“超鏈接分析”
超鏈接分析是百度的專(zhuān)利。原理是通過(guò)分析鏈接網(wǎng)站的數量來(lái)評估鏈接網(wǎng)站的質(zhì)量。這樣做的效果是確保用戶(hù)使用搜索引擎。，質(zhì)量越高，頁(yè)面越受歡迎越高。百度總裁李彥宏是這項技術(shù)的擁有者，該技術(shù)已被全球主要搜索引擎廣泛采用。
2、我們如何理解超鏈分析技術(shù)？
總之，要判斷一個(gè)頁(yè)面是優(yōu)秀的還是權威的，其他頁(yè)面的“意見(jiàn)”是非常重要的。即使一個(gè)網(wǎng)頁(yè)不是那么好，只要其他網(wǎng)頁(yè)比其他網(wǎng)頁(yè)有更多的“信任票”（反向鏈接），那么它的排名就會(huì )更高。需要注意的是，“超鏈接分析”只是排名的一個(gè)重要參考。
四：分析模塊的工作，百度會(huì )對網(wǎng)頁(yè)進(jìn)行再加工預測評價(jià)：
1)網(wǎng)站頁(yè)面內容好不好？
2) 頁(yè)面的主題是什么？（標題、關(guān)鍵詞和網(wǎng)站描述、網(wǎng)站內容本身由網(wǎng)站的TDK決定）
3)多少錢(qián)？原創(chuàng )學(xué)位？
4)還有其他評分選項，比如多少個(gè)鏈接？
通過(guò)以上指標，百度會(huì )給搜索關(guān)鍵詞一個(gè)匹配排名，其匹配模式設計為??：完全匹配+詞組匹配+廣泛匹配。
我們seo優(yōu)化的價(jià)值在于匹配模式相當于排名機會(huì )，我們需要實(shí)現更多更好的排名機會(huì )。繼續增加匹配機會(huì )，讓更多流量找到我們的網(wǎng)站?？赐赀@篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給需要的朋友同事。關(guān)注博主，每天給你展示各種SEO經(jīng)驗，讓你的網(wǎng)站也能快速獲得收錄和關(guān)鍵詞的排名！
實(shí)時(shí)文章采集(開(kāi)發(fā)環(huán)境開(kāi)發(fā)語(yǔ)言Python，開(kāi)發(fā)架構Scrapy，非Python莫屬 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 119 次瀏覽 ? 2022-02-24 00:06
實(shí)時(shí)文章采集(開(kāi)發(fā)環(huán)境開(kāi)發(fā)語(yǔ)言Python，開(kāi)發(fā)架構Scrapy，非Python莫屬
)
背景
有朋友打算拓展業(yè)務(wù)渠道，準備在眾包平臺接單。他的主打產(chǎn)品是微信小程序，所以他想盡快收到客戶(hù)發(fā)來(lái)的需求信息，然后盡快聯(lián)系客戶(hù)，從而達成交易。只有費率才能保證，否則山棗會(huì )被其他同事接走，他的黃花菜就涼了。
開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架Scrapy，無(wú)非就是Python。數據神器采集！開(kāi)發(fā)工具 PyCharm；功能設計實(shí)時(shí)通知：使用郵件通知，將郵箱綁定微信，實(shí)現實(shí)時(shí)通知的效果。過(guò)濾模塊：根據標題和內容雙重過(guò)濾關(guān)鍵詞，丟棄不符合要求的訂單，實(shí)時(shí)通知符合要求的訂單。配置模塊：使用json文件配置。關(guān)鍵代碼
# -*- coding: utf-8 -*-<br />import re<br /><br />import scrapy<br />from flask import json<br />from requests import Request<br />from scrapy import Selector<br />from .. import common<br />import time<br /><br />from selenium import webdriver<br />from selenium.webdriver.chrome.options import Options<br /><br /><br />class CodemarttaskSpider(scrapy.Spider):<br /> name = 'codemarttask'<br /> allowed_domains = ['codemart.com']<br /> start_urls = ['https://codemart.com/api/project?page=1&roleTypeId=&status=RECRUITING']<br /><br /> # 重要，需要修改 application/json ，否則默認返回的是xml數據?。?！<br /> def parse(self, response):<br /> # 30 item per page<br /> # print(response.text)<br /> print(<br /> "--------------------------------------------------------------------------------------------------------")<br /> json_data = json.loads(response.text)<br /> rewards = json_data.get("rewards")<br /> print(rewards)<br /> url_prefix = "https://codemart.com/project/"<br /><br /> sended_id = common.read_taskid()<br /> max_id = sended_id<br /> print("sended_id ", sended_id)<br /> for node in rewards:<br /> id = node.get("id")<br /> id_str = str(id)<br /> name = node.get("name")<br /> description = node.get("description")<br /> price = node.get("price")<br /> roles = node.get("roles") # 招募：【roles】<br /> status = node.get("status")<br /> pubTime = node.get("pubTime")<br /> url = url_prefix + id_str<br /> print(name)<br /> print(pubTime)<br /> print(price)<br /><br /> if id > sended_id:<br /> if id > max_id:<br /> max_id = id<br /> subject = "CodeMart " + id_str + " " + name<br /> # content = price + "\n" + description + "\n" + url + "\n" + status + "\n" + roles + "\n"<br /> content = "%s <p> %s <p> < a href=%s>%s <p> %s <p> %s" % (price, description, url, url, status, roles)<br /> if common.send_mail(subject, content):<br /> print("CodeMart mail: send task sucess " % id)<br /> else:<br /> print("CodeMart mail: send task fail " % id)<br /> else:<br /> print("mail: task is already sended " % id)<br /> time.sleep(3)<br /><br /> # 記錄最大id<br /> common.write_taskid(id=max_id)
def send_mail(subject, content):<br /> sender = u'xxxxx@qq.com' # 發(fā)送人郵箱<br /> passwd = u'xxxxxx' # 發(fā)送人郵箱授權碼<br /> receivers = u'xxxxx@qq.com' # 收件人郵箱<br /><br /> # subject = u'一品威客 開(kāi)發(fā)任務(wù) ' #主題<br /> # content = u'這是我使用python smtplib模塊和email模塊自動(dòng)發(fā)送的郵件' #正文<br /> try:<br /> # msg = MIMEText(content, 'plain', 'utf-8')<br /> msg = MIMEText(content, 'html', 'utf-8')<br /> msg['Subject'] = subject<br /> msg['From'] = sender<br /> msg['TO'] = receivers<br /><br /> s = smtplib.SMTP_SSL('smtp.qq.com', 465)<br /> s.set_debuglevel(1)<br /> s.login(sender, passwd)<br /> s.sendmail(sender, receivers, msg.as_string())<br /> return True<br /> except Exception as e:<br /> print(e)<br /> return False
總結
程序上線(xiàn)后運行穩定，達到了預期效果。訂單接受率非常有效！
附：Scrapy結構圖
查看全部
)
背景
有朋友打算拓展業(yè)務(wù)渠道，準備在眾包平臺接單。他的主打產(chǎn)品是微信小程序，所以他想盡快收到客戶(hù)發(fā)來(lái)的需求信息，然后盡快聯(lián)系客戶(hù)，從而達成交易。只有費率才能保證，否則山棗會(huì )被其他同事接走，他的黃花菜就涼了。
開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架Scrapy，無(wú)非就是Python。數據神器采集！開(kāi)發(fā)工具 PyCharm；功能設計實(shí)時(shí)通知：使用郵件通知，將郵箱綁定微信，實(shí)現實(shí)時(shí)通知的效果。過(guò)濾模塊：根據標題和內容雙重過(guò)濾關(guān)鍵詞，丟棄不符合要求的訂單，實(shí)時(shí)通知符合要求的訂單。配置模塊：使用json文件配置。關(guān)鍵代碼
# -*- coding: utf-8 -*-<br />import re<br /><br />import scrapy<br />from flask import json<br />from requests import Request<br />from scrapy import Selector<br />from .. import common<br />import time<br /><br />from selenium import webdriver<br />from selenium.webdriver.chrome.options import Options<br /><br /><br />class CodemarttaskSpider(scrapy.Spider):<br /> name = 'codemarttask'<br /> allowed_domains = ['codemart.com']<br /> start_urls = ['https://codemart.com/api/project?page=1&roleTypeId=&status=RECRUITING']<br /><br /> # 重要，需要修改 application/json ，否則默認返回的是xml數據?。?！<br /> def parse(self, response):<br /> # 30 item per page<br /> # print(response.text)<br /> print(<br /> "--------------------------------------------------------------------------------------------------------")<br /> json_data = json.loads(response.text)<br /> rewards = json_data.get("rewards")<br /> print(rewards)<br /> url_prefix = "https://codemart.com/project/"<br /><br /> sended_id = common.read_taskid()<br /> max_id = sended_id<br /> print("sended_id ", sended_id)<br /> for node in rewards:<br /> id = node.get("id")<br /> id_str = str(id)<br /> name = node.get("name")<br /> description = node.get("description")<br /> price = node.get("price")<br /> roles = node.get("roles") # 招募：【roles】<br /> status = node.get("status")<br /> pubTime = node.get("pubTime")<br /> url = url_prefix + id_str<br /> print(name)<br /> print(pubTime)<br /> print(price)<br /><br /> if id > sended_id:<br /> if id > max_id:<br /> max_id = id<br /> subject = "CodeMart " + id_str + " " + name<br /> # content = price + "\n" + description + "\n" + url + "\n" + status + "\n" + roles + "\n"<br /> content = "%s <p> %s <p> < a href=%s>%s <p> %s <p> %s" % (price, description, url, url, status, roles)<br /> if common.send_mail(subject, content):<br /> print("CodeMart mail: send task sucess " % id)<br /> else:<br /> print("CodeMart mail: send task fail " % id)<br /> else:<br /> print("mail: task is already sended " % id)<br /> time.sleep(3)<br /><br /> # 記錄最大id<br /> common.write_taskid(id=max_id)
def send_mail(subject, content):<br /> sender = u'xxxxx@qq.com' # 發(fā)送人郵箱<br /> passwd = u'xxxxxx' # 發(fā)送人郵箱授權碼<br /> receivers = u'xxxxx@qq.com' # 收件人郵箱<br /><br /> # subject = u'一品威客 開(kāi)發(fā)任務(wù) ' #主題<br /> # content = u'這是我使用python smtplib模塊和email模塊自動(dòng)發(fā)送的郵件' #正文<br /> try:<br /> # msg = MIMEText(content, 'plain', 'utf-8')<br /> msg = MIMEText(content, 'html', 'utf-8')<br /> msg['Subject'] = subject<br /> msg['From'] = sender<br /> msg['TO'] = receivers<br /><br /> s = smtplib.SMTP_SSL('smtp.qq.com', 465)<br /> s.set_debuglevel(1)<br /> s.login(sender, passwd)<br /> s.sendmail(sender, receivers, msg.as_string())<br /> return True<br /> except Exception as e:<br /> print(e)<br /> return False
總結
程序上線(xiàn)后運行穩定，達到了預期效果。訂單接受率非常有效！
附：Scrapy結構圖
查看全部
實(shí)時(shí)文章采集(開(kāi)發(fā)環(huán)境開(kāi)發(fā)語(yǔ)言Python，開(kāi)發(fā)架構Scrapy，非Python莫屬
)
背景
有朋友打算拓展業(yè)務(wù)渠道，準備在眾包平臺接單。他的主打產(chǎn)品是微信小程序，所以他想盡快收到客戶(hù)發(fā)來(lái)的需求信息，然后盡快聯(lián)系客戶(hù)，從而達成交易。只有費率才能保證，否則山棗會(huì )被其他同事接走，他的黃花菜就涼了。
開(kāi)發(fā)環(huán)境、開(kāi)發(fā)語(yǔ)言、開(kāi)發(fā)框架Scrapy，無(wú)非就是Python。數據神器采集！開(kāi)發(fā)工具 PyCharm；功能設計實(shí)時(shí)通知：使用郵件通知，將郵箱綁定微信，實(shí)現實(shí)時(shí)通知的效果。過(guò)濾模塊：根據標題和內容雙重過(guò)濾關(guān)鍵詞，丟棄不符合要求的訂單，實(shí)時(shí)通知符合要求的訂單。配置模塊：使用json文件配置。關(guān)鍵代碼
# -*- coding: utf-8 -*-<br />import re<br /><br />import scrapy<br />from flask import json<br />from requests import Request<br />from scrapy import Selector<br />from .. import common<br />import time<br /><br />from selenium import webdriver<br />from selenium.webdriver.chrome.options import Options<br /><br /><br />class CodemarttaskSpider(scrapy.Spider):<br /> name = 'codemarttask'<br /> allowed_domains = ['codemart.com']<br /> start_urls = ['https://codemart.com/api/project?page=1&roleTypeId=&status=RECRUITING']<br /><br /> # 重要，需要修改 application/json ，否則默認返回的是xml數據?。?！<br /> def parse(self, response):<br /> # 30 item per page<br /> # print(response.text)<br /> print(<br /> "--------------------------------------------------------------------------------------------------------")<br /> json_data = json.loads(response.text)<br /> rewards = json_data.get("rewards")<br /> print(rewards)<br /> url_prefix = "https://codemart.com/project/"<br /><br /> sended_id = common.read_taskid()<br /> max_id = sended_id<br /> print("sended_id ", sended_id)<br /> for node in rewards:<br /> id = node.get("id")<br /> id_str = str(id)<br /> name = node.get("name")<br /> description = node.get("description")<br /> price = node.get("price")<br /> roles = node.get("roles") # 招募：【roles】<br /> status = node.get("status")<br /> pubTime = node.get("pubTime")<br /> url = url_prefix + id_str<br /> print(name)<br /> print(pubTime)<br /> print(price)<br /><br /> if id > sended_id:<br /> if id > max_id:<br /> max_id = id<br /> subject = "CodeMart " + id_str + " " + name<br /> # content = price + "\n" + description + "\n" + url + "\n" + status + "\n" + roles + "\n"<br /> content = "%s <p> %s <p> < a href=%s>%s <p> %s <p> %s" % (price, description, url, url, status, roles)<br /> if common.send_mail(subject, content):<br /> print("CodeMart mail: send task sucess " % id)<br /> else:<br /> print("CodeMart mail: send task fail " % id)<br /> else:<br /> print("mail: task is already sended " % id)<br /> time.sleep(3)<br /><br /> # 記錄最大id<br /> common.write_taskid(id=max_id)
def send_mail(subject, content):<br /> sender = u'xxxxx@qq.com' # 發(fā)送人郵箱<br /> passwd = u'xxxxxx' # 發(fā)送人郵箱授權碼<br /> receivers = u'xxxxx@qq.com' # 收件人郵箱<br /><br /> # subject = u'一品威客 開(kāi)發(fā)任務(wù) ' #主題<br /> # content = u'這是我使用python smtplib模塊和email模塊自動(dòng)發(fā)送的郵件' #正文<br /> try:<br /> # msg = MIMEText(content, 'plain', 'utf-8')<br /> msg = MIMEText(content, 'html', 'utf-8')<br /> msg['Subject'] = subject<br /> msg['From'] = sender<br /> msg['TO'] = receivers<br /><br /> s = smtplib.SMTP_SSL('smtp.qq.com', 465)<br /> s.set_debuglevel(1)<br /> s.login(sender, passwd)<br /> s.sendmail(sender, receivers, msg.as_string())<br /> return True<br /> except Exception as e:<br /> print(e)<br /> return False
總結
程序上線(xiàn)后運行穩定，達到了預期效果。訂單接受率非常有效！
附：Scrapy結構圖
實(shí)時(shí)文章采集(WordPress采集插件，自動(dòng)批量采集SEO功能選項(圖))
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 158 次瀏覽 ? 2022-02-21 03:17
實(shí)時(shí)文章采集(WordPress采集插件，自動(dòng)批量采集SEO功能選項(圖))
一個(gè) WordPress 采集 插件，允許 網(wǎng)站 每天自動(dòng)更新文章，保持 網(wǎng)站 的正常更新頻率。使用WordPress的采集插件代替手動(dòng)更新，自動(dòng)采集的內容會(huì )在偽原創(chuàng )之后自動(dòng)發(fā)布到WP網(wǎng)站，無(wú)需填寫(xiě)內容網(wǎng)站 的。擔心。如果想了解WordPress的采集插件，看圖1到圖4，略過(guò)文章的內容，圖片已經(jīng)很清楚的表達了本文的中心思想?！緢D一，WordPress采集插件，自動(dòng)批量采集發(fā)布】
在做SEO的時(shí)候，對于這些網(wǎng)站的操作，我們沒(méi)有多少資源可以利用，但是很多時(shí)候，是可以讓網(wǎng)站快速提升網(wǎng)站@權重的策略之一> 這一切都與使用高質(zhì)量的內容策略有關(guān)。關(guān)鍵是同時(shí)使用 SEO 和內容策略。SEO需要很多內容，內容SEO優(yōu)化很重要，我們可以從這個(gè)角度入手?！緢D2，WordPress采集插件，自動(dòng)SEO功能選項】
使用 WordPress 采集 插件來(lái)確定優(yōu)化的方向網(wǎng)站。為了首先吸引訪(fǎng)問(wèn)者，您可以更多地關(guān)注您的 SEO 內容策略，以吸引訪(fǎng)問(wèn)者訪(fǎng)問(wèn)您的 網(wǎng)站。如果您希望訪(fǎng)問(wèn)者在訪(fǎng)問(wèn)您的 網(wǎng)站 后獲得更高的轉化率，那么內容營(yíng)銷(xiāo)至關(guān)重要。但是，在大多數情況下，網(wǎng)站 應該既希望將訪(fǎng)問(wèn)者吸引到 網(wǎng)站，又希望在他們到達 網(wǎng)站 后進(jìn)行轉化。建立平衡后，您會(huì )看到訪(fǎng)問(wèn)者和轉化率都有所提高?！緢D3，WordPress采集插件，高效簡(jiǎn)單】
在搜索引擎優(yōu)化的過(guò)程中，對于網(wǎng)站，我們需要通過(guò)WordPress采集插件不斷輸出與目標受眾相關(guān)的專(zhuān)業(yè)內容，讓自己成為行業(yè)相關(guān)詞網(wǎng)站@ > 提高排名。在長(cháng)期的SEO運營(yíng)過(guò)程中，我們需要保持網(wǎng)站的每日更新頻率，比如WordPress的采集插件輸出了幾篇與行業(yè)相關(guān)的優(yōu)質(zhì)文章文章一天之內?！緢D4，WordPress采集插件，網(wǎng)站需要優(yōu)化】
剛開(kāi)始作為一個(gè)新站點(diǎn)，搜索引擎可能不知道你的網(wǎng)站，但是我們使用了有效的WordPress采集插件，例如采集相關(guān)的網(wǎng)站關(guān)鍵詞< @文章，使文章可以在短時(shí)間內被搜索引擎抓取。如果使用得當，WordPress 采集插件可以增加網(wǎng)站流量并繼續積累這些用戶(hù)。
吸引潛在搜索引擎的注意是每個(gè) SEO 網(wǎng)站管理員必須的。一旦用戶(hù)對網(wǎng)站有相關(guān)需求，搜索引擎可能會(huì )顯示你的網(wǎng)站。構建高質(zhì)量的內容策略非常棒，因為可以利用您深入且有用的內容來(lái)吸引新訪(fǎng)問(wèn)者。通常，這些訪(fǎng)問(wèn)者甚至可能不是特定于網(wǎng)站展示的界面，但他們需要網(wǎng)站其他展示信息。
WordPress 采集 插件確保為 網(wǎng)站 的訪(fǎng)問(wèn)者創(chuàng )建內容，使內容可讀，將搜索意圖與目標匹配，值得信賴(lài)，保持內容最新且結構合理 網(wǎng)站工作。通過(guò)這種方式，網(wǎng)站 將獲得吸引讀者的有趣內容。這將對 網(wǎng)站 的訪(fǎng)問(wèn)者數量、跳出率和轉化率產(chǎn)生積極影響。WordPress的采集插件可以全自動(dòng)批處理采集對采集，所以網(wǎng)站的SEO文案內容可以輕松搞定。 查看全部
一個(gè) WordPress 采集 插件，允許 網(wǎng)站 每天自動(dòng)更新文章，保持 網(wǎng)站 的正常更新頻率。使用WordPress的采集插件代替手動(dòng)更新，自動(dòng)采集的內容會(huì )在偽原創(chuàng )之后自動(dòng)發(fā)布到WP網(wǎng)站，無(wú)需填寫(xiě)內容網(wǎng)站 的。擔心。如果想了解WordPress的采集插件，看圖1到圖4，略過(guò)文章的內容，圖片已經(jīng)很清楚的表達了本文的中心思想?！緢D一，WordPress采集插件，自動(dòng)批量采集發(fā)布】
在做SEO的時(shí)候，對于這些網(wǎng)站的操作，我們沒(méi)有多少資源可以利用，但是很多時(shí)候，是可以讓網(wǎng)站快速提升網(wǎng)站@權重的策略之一> 這一切都與使用高質(zhì)量的內容策略有關(guān)。關(guān)鍵是同時(shí)使用 SEO 和內容策略。SEO需要很多內容，內容SEO優(yōu)化很重要，我們可以從這個(gè)角度入手?！緢D2，WordPress采集插件，自動(dòng)SEO功能選項】
使用 WordPress 采集 插件來(lái)確定優(yōu)化的方向網(wǎng)站。為了首先吸引訪(fǎng)問(wèn)者，您可以更多地關(guān)注您的 SEO 內容策略，以吸引訪(fǎng)問(wèn)者訪(fǎng)問(wèn)您的 網(wǎng)站。如果您希望訪(fǎng)問(wèn)者在訪(fǎng)問(wèn)您的 網(wǎng)站 后獲得更高的轉化率，那么內容營(yíng)銷(xiāo)至關(guān)重要。但是，在大多數情況下，網(wǎng)站 應該既希望將訪(fǎng)問(wèn)者吸引到 網(wǎng)站，又希望在他們到達 網(wǎng)站 后進(jìn)行轉化。建立平衡后，您會(huì )看到訪(fǎng)問(wèn)者和轉化率都有所提高?！緢D3，WordPress采集插件，高效簡(jiǎn)單】
在搜索引擎優(yōu)化的過(guò)程中，對于網(wǎng)站，我們需要通過(guò)WordPress采集插件不斷輸出與目標受眾相關(guān)的專(zhuān)業(yè)內容，讓自己成為行業(yè)相關(guān)詞網(wǎng)站@ > 提高排名。在長(cháng)期的SEO運營(yíng)過(guò)程中，我們需要保持網(wǎng)站的每日更新頻率，比如WordPress的采集插件輸出了幾篇與行業(yè)相關(guān)的優(yōu)質(zhì)文章文章一天之內?！緢D4，WordPress采集插件，網(wǎng)站需要優(yōu)化】
剛開(kāi)始作為一個(gè)新站點(diǎn)，搜索引擎可能不知道你的網(wǎng)站，但是我們使用了有效的WordPress采集插件，例如采集相關(guān)的網(wǎng)站關(guān)鍵詞< @文章，使文章可以在短時(shí)間內被搜索引擎抓取。如果使用得當，WordPress 采集插件可以增加網(wǎng)站流量并繼續積累這些用戶(hù)。
吸引潛在搜索引擎的注意是每個(gè) SEO 網(wǎng)站管理員必須的。一旦用戶(hù)對網(wǎng)站有相關(guān)需求，搜索引擎可能會(huì )顯示你的網(wǎng)站。構建高質(zhì)量的內容策略非常棒，因為可以利用您深入且有用的內容來(lái)吸引新訪(fǎng)問(wèn)者。通常，這些訪(fǎng)問(wèn)者甚至可能不是特定于網(wǎng)站展示的界面，但他們需要網(wǎng)站其他展示信息。
WordPress 采集 插件確保為 網(wǎng)站 的訪(fǎng)問(wèn)者創(chuàng )建內容，使內容可讀，將搜索意圖與目標匹配，值得信賴(lài)，保持內容最新且結構合理 網(wǎng)站工作。通過(guò)這種方式，網(wǎng)站 將獲得吸引讀者的有趣內容。這將對 網(wǎng)站 的訪(fǎng)問(wèn)者數量、跳出率和轉化率產(chǎn)生積極影響。WordPress的采集插件可以全自動(dòng)批處理采集對采集，所以網(wǎng)站的SEO文案內容可以輕松搞定。 查看全部
實(shí)時(shí)文章采集(WordPress采集插件，自動(dòng)批量采集SEO功能選項(圖))
一個(gè) WordPress 采集 插件，允許 網(wǎng)站 每天自動(dòng)更新文章，保持 網(wǎng)站 的正常更新頻率。使用WordPress的采集插件代替手動(dòng)更新，自動(dòng)采集的內容會(huì )在偽原創(chuàng )之后自動(dòng)發(fā)布到WP網(wǎng)站，無(wú)需填寫(xiě)內容網(wǎng)站 的。擔心。如果想了解WordPress的采集插件，看圖1到圖4，略過(guò)文章的內容，圖片已經(jīng)很清楚的表達了本文的中心思想?！緢D一，WordPress采集插件，自動(dòng)批量采集發(fā)布】
在做SEO的時(shí)候，對于這些網(wǎng)站的操作，我們沒(méi)有多少資源可以利用，但是很多時(shí)候，是可以讓網(wǎng)站快速提升網(wǎng)站@權重的策略之一> 這一切都與使用高質(zhì)量的內容策略有關(guān)。關(guān)鍵是同時(shí)使用 SEO 和內容策略。SEO需要很多內容，內容SEO優(yōu)化很重要，我們可以從這個(gè)角度入手?！緢D2，WordPress采集插件，自動(dòng)SEO功能選項】
使用 WordPress 采集 插件來(lái)確定優(yōu)化的方向網(wǎng)站。為了首先吸引訪(fǎng)問(wèn)者，您可以更多地關(guān)注您的 SEO 內容策略，以吸引訪(fǎng)問(wèn)者訪(fǎng)問(wèn)您的 網(wǎng)站。如果您希望訪(fǎng)問(wèn)者在訪(fǎng)問(wèn)您的 網(wǎng)站 后獲得更高的轉化率，那么內容營(yíng)銷(xiāo)至關(guān)重要。但是，在大多數情況下，網(wǎng)站 應該既希望將訪(fǎng)問(wèn)者吸引到 網(wǎng)站，又希望在他們到達 網(wǎng)站 后進(jìn)行轉化。建立平衡后，您會(huì )看到訪(fǎng)問(wèn)者和轉化率都有所提高?！緢D3，WordPress采集插件，高效簡(jiǎn)單】
在搜索引擎優(yōu)化的過(guò)程中，對于網(wǎng)站，我們需要通過(guò)WordPress采集插件不斷輸出與目標受眾相關(guān)的專(zhuān)業(yè)內容，讓自己成為行業(yè)相關(guān)詞網(wǎng)站@ > 提高排名。在長(cháng)期的SEO運營(yíng)過(guò)程中，我們需要保持網(wǎng)站的每日更新頻率，比如WordPress的采集插件輸出了幾篇與行業(yè)相關(guān)的優(yōu)質(zhì)文章文章一天之內?！緢D4，WordPress采集插件，網(wǎng)站需要優(yōu)化】
剛開(kāi)始作為一個(gè)新站點(diǎn)，搜索引擎可能不知道你的網(wǎng)站，但是我們使用了有效的WordPress采集插件，例如采集相關(guān)的網(wǎng)站關(guān)鍵詞< @文章，使文章可以在短時(shí)間內被搜索引擎抓取。如果使用得當，WordPress 采集插件可以增加網(wǎng)站流量并繼續積累這些用戶(hù)。
吸引潛在搜索引擎的注意是每個(gè) SEO 網(wǎng)站管理員必須的。一旦用戶(hù)對網(wǎng)站有相關(guān)需求，搜索引擎可能會(huì )顯示你的網(wǎng)站。構建高質(zhì)量的內容策略非常棒，因為可以利用您深入且有用的內容來(lái)吸引新訪(fǎng)問(wèn)者。通常，這些訪(fǎng)問(wèn)者甚至可能不是特定于網(wǎng)站展示的界面，但他們需要網(wǎng)站其他展示信息。
WordPress 采集 插件確保為 網(wǎng)站 的訪(fǎng)問(wèn)者創(chuàng )建內容，使內容可讀，將搜索意圖與目標匹配，值得信賴(lài)，保持內容最新且結構合理 網(wǎng)站工作。通過(guò)這種方式，網(wǎng)站 將獲得吸引讀者的有趣內容。這將對 網(wǎng)站 的訪(fǎng)問(wèn)者數量、跳出率和轉化率產(chǎn)生積極影響。WordPress的采集插件可以全自動(dòng)批處理采集對采集，所以網(wǎng)站的SEO文案內容可以輕松搞定。
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集工具、可視化工具，看這個(gè)就夠了)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 115 次瀏覽 ? 2022-02-20 09:09
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集工具、可視化工具，看這個(gè)就夠了)
實(shí)時(shí)文章采集工具、可視化工具、評論采集工具，看這個(gè)就夠了。應該是個(gè)閉源工具。
可以嘗試下我們曾經(jīng)推薦過(guò)的捕手，軟件和代碼都是開(kāi)源的。
caoz的辦公桌-寫(xiě)給程序員的程序員知識圖譜
好像也是開(kāi)源的，kiva。
就feed48和豆瓣來(lái)看，和采集問(wèn)答沒(méi)有任何關(guān)系，好像和知乎目前的理念有關(guān)。
一次開(kāi)源，今后可能開(kāi)源，
有開(kāi)源版，目前采集問(wèn)答系列網(wǎng)站的數據還是比較吃力，好在還不是很復雜。不過(guò)后期應該會(huì )放大開(kāi)源，畢竟采集問(wèn)答系列的網(wǎng)站還是比較多，也不適合開(kāi)源，放大大推廣吧，還是很有用的。
剛剛有評論采集工具專(zhuān)門(mén)介紹的公眾號，可以關(guān)注下。并且，說(shuō)到開(kāi)源的問(wèn)答系統，
專(zhuān)注于采集問(wèn)答系列網(wǎng)站，因為是比較多的，因此每天采集量是很大的。
比較新，采集到的數據相對少，現在還是面向已經(jīng)關(guān)注我們的粉絲提供，人工回答的，我們目前的團隊才兩個(gè)人，我在知乎小小的推廣下，人工回答問(wèn)題還是很麻煩的，還不能收藏起來(lái)看，必須點(diǎn)進(jìn)去看，比較影響瀏覽量，所以知乎現在對這個(gè)采集是沒(méi)有什么幫助的，感謝知乎為我們的貢獻。 查看全部
實(shí)時(shí)文章采集工具、可視化工具、評論采集工具，看這個(gè)就夠了。應該是個(gè)閉源工具。
可以嘗試下我們曾經(jīng)推薦過(guò)的捕手，軟件和代碼都是開(kāi)源的。
caoz的辦公桌-寫(xiě)給程序員的程序員知識圖譜
好像也是開(kāi)源的，kiva。
就feed48和豆瓣來(lái)看，和采集問(wèn)答沒(méi)有任何關(guān)系，好像和知乎目前的理念有關(guān)。
一次開(kāi)源，今后可能開(kāi)源，
有開(kāi)源版，目前采集問(wèn)答系列網(wǎng)站的數據還是比較吃力，好在還不是很復雜。不過(guò)后期應該會(huì )放大開(kāi)源，畢竟采集問(wèn)答系列的網(wǎng)站還是比較多，也不適合開(kāi)源，放大大推廣吧，還是很有用的。
剛剛有評論采集工具專(zhuān)門(mén)介紹的公眾號，可以關(guān)注下。并且，說(shuō)到開(kāi)源的問(wèn)答系統，
專(zhuān)注于采集問(wèn)答系列網(wǎng)站，因為是比較多的，因此每天采集量是很大的。
比較新，采集到的數據相對少，現在還是面向已經(jīng)關(guān)注我們的粉絲提供，人工回答的，我們目前的團隊才兩個(gè)人，我在知乎小小的推廣下，人工回答問(wèn)題還是很麻煩的，還不能收藏起來(lái)看，必須點(diǎn)進(jìn)去看，比較影響瀏覽量，所以知乎現在對這個(gè)采集是沒(méi)有什么幫助的，感謝知乎為我們的貢獻。 查看全部
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集工具、可視化工具，看這個(gè)就夠了)
實(shí)時(shí)文章采集工具、可視化工具、評論采集工具，看這個(gè)就夠了。應該是個(gè)閉源工具。
可以嘗試下我們曾經(jīng)推薦過(guò)的捕手，軟件和代碼都是開(kāi)源的。
caoz的辦公桌-寫(xiě)給程序員的程序員知識圖譜
好像也是開(kāi)源的，kiva。
就feed48和豆瓣來(lái)看，和采集問(wèn)答沒(méi)有任何關(guān)系，好像和知乎目前的理念有關(guān)。
一次開(kāi)源，今后可能開(kāi)源，
有開(kāi)源版，目前采集問(wèn)答系列網(wǎng)站的數據還是比較吃力，好在還不是很復雜。不過(guò)后期應該會(huì )放大開(kāi)源，畢竟采集問(wèn)答系列的網(wǎng)站還是比較多，也不適合開(kāi)源，放大大推廣吧，還是很有用的。
剛剛有評論采集工具專(zhuān)門(mén)介紹的公眾號，可以關(guān)注下。并且，說(shuō)到開(kāi)源的問(wèn)答系統，
專(zhuān)注于采集問(wèn)答系列網(wǎng)站，因為是比較多的，因此每天采集量是很大的。
比較新，采集到的數據相對少，現在還是面向已經(jīng)關(guān)注我們的粉絲提供，人工回答的，我們目前的團隊才兩個(gè)人，我在知乎小小的推廣下，人工回答問(wèn)題還是很麻煩的，還不能收藏起來(lái)看，必須點(diǎn)進(jìn)去看，比較影響瀏覽量，所以知乎現在對這個(gè)采集是沒(méi)有什么幫助的，感謝知乎為我們的貢獻。
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集的干貨詳解、numpy、用infolayer插件生成pdf)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 130 次瀏覽 ? 2022-02-17 13:05
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集的干貨詳解、numpy、用infolayer插件生成pdf)
實(shí)時(shí)文章采集的干貨詳解哦，從、頭條、今日頭條、抖音、百度等熱門(mén)平臺做內容采集，然后自動(dòng)保存到excel表中，這樣可以快速將內容保存到本地，再有就是手機app端就可以看，看到的文章內容會(huì )原封不動(dòng)的保存，再也不用復制粘貼。excel數據處理：個(gè)性化生成表格工具、顏色值生成表格、條件格式、圖表類(lèi)型模板、列表式圖表模板、云端表格：郵件、qq、短信、qq郵箱、電話(huà)號碼生成excel文件、導出為html格式、excel文件生成pdf、用infolayer插件生成pdf。
一、引言最近幾年python的開(kāi)發(fā)和編譯技術(shù)可謂發(fā)展神速，移動(dòng)開(kāi)發(fā)也已經(jīng)向著(zhù)自動(dòng)化大方向邁進(jìn)，還能以python當中所提供的個(gè)性化工具和api對html標簽進(jìn)行定制，使得開(kāi)發(fā)人員能夠專(zhuān)注于html標簽上面，這在編程語(yǔ)言中確實(shí)是鮮有的，但是學(xué)習這個(gè)也還需要時(shí)間和精力投入，找一本好書(shū)說(shuō)是最好的，肯定也不能一蹴而就。
像平時(shí)我寫(xiě)c++和java開(kāi)發(fā)人員，可能不僅要掌握面向對象的編程，還要熟悉一些python語(yǔ)言特性以及擴展工具。這篇文章選取了一些最常用的開(kāi)發(fā)工具和工具類(lèi)，以方便大家查閱，這些工具工具基本上涵蓋了編程領(lǐng)域最常用的開(kāi)發(fā)工具，同時(shí)配有入門(mén)教程，學(xué)習成本低，如果你已經(jīng)對其有了一定的了解，可以直接跳過(guò)下一段。
二、初探zenddataprojpython中提供了很多數據分析工具包，包括了使用最為頻繁的pandas、numpy等包，這些包都對數據進(jìn)行轉換，生成高質(zhì)量的數據結構，最后將數據保存到一個(gè)具有良好格式的文件，這些主要工具中，命令操作基本上相同，就不贅述。在這里主要介紹一下pandas、numpy、matplotlib這幾個(gè)工具，pandas已經(jīng)是一個(gè)強大的數據分析工具包，可以支持大部分的數據分析操作，可以看出pandas是一個(gè)十分強大的工具，numpy在pandas和pandas有關(guān)的一些重要項目中不斷的推進(jìn)著(zhù)，他主要提供矩陣的運算功能，他用于進(jìn)行數學(xué)運算的各個(gè)函數跟pandas沒(méi)有太大差別，matplotlib則為對圖形化的影響，最后對數據進(jìn)行可視化進(jìn)行展示。
而除此之外，anaconda里面還有seaborn,matplotlib等等使用比較多的工具包，可以看看安裝教程，提供的包比較全面。
三、環(huán)境配置在學(xué)習pandas和numpy之前，需要安裝matplotlib，也就是我們平時(shí)說(shuō)的mpl環(huán)境，因為pandas是建立在matplotlib上面的，因此安裝好這個(gè)包我們就可以開(kāi)始使用pandas進(jìn)行數據分析，這里使用的是anaconda中自帶的pipinstallmpl_toolkit來(lái)安裝：。
1、我這里遇到的主要問(wèn)題是安裝不順利，因為老版本版本是3.5.1， 查看全部
實(shí)時(shí)文章采集的干貨詳解哦，從、頭條、今日頭條、抖音、百度等熱門(mén)平臺做內容采集，然后自動(dòng)保存到excel表中，這樣可以快速將內容保存到本地，再有就是手機app端就可以看，看到的文章內容會(huì )原封不動(dòng)的保存，再也不用復制粘貼。excel數據處理：個(gè)性化生成表格工具、顏色值生成表格、條件格式、圖表類(lèi)型模板、列表式圖表模板、云端表格：郵件、qq、短信、qq郵箱、電話(huà)號碼生成excel文件、導出為html格式、excel文件生成pdf、用infolayer插件生成pdf。
一、引言最近幾年python的開(kāi)發(fā)和編譯技術(shù)可謂發(fā)展神速，移動(dòng)開(kāi)發(fā)也已經(jīng)向著(zhù)自動(dòng)化大方向邁進(jìn)，還能以python當中所提供的個(gè)性化工具和api對html標簽進(jìn)行定制，使得開(kāi)發(fā)人員能夠專(zhuān)注于html標簽上面，這在編程語(yǔ)言中確實(shí)是鮮有的，但是學(xué)習這個(gè)也還需要時(shí)間和精力投入，找一本好書(shū)說(shuō)是最好的，肯定也不能一蹴而就。
像平時(shí)我寫(xiě)c++和java開(kāi)發(fā)人員，可能不僅要掌握面向對象的編程，還要熟悉一些python語(yǔ)言特性以及擴展工具。這篇文章選取了一些最常用的開(kāi)發(fā)工具和工具類(lèi)，以方便大家查閱，這些工具工具基本上涵蓋了編程領(lǐng)域最常用的開(kāi)發(fā)工具，同時(shí)配有入門(mén)教程，學(xué)習成本低，如果你已經(jīng)對其有了一定的了解，可以直接跳過(guò)下一段。
二、初探zenddataprojpython中提供了很多數據分析工具包，包括了使用最為頻繁的pandas、numpy等包，這些包都對數據進(jìn)行轉換，生成高質(zhì)量的數據結構，最后將數據保存到一個(gè)具有良好格式的文件，這些主要工具中，命令操作基本上相同，就不贅述。在這里主要介紹一下pandas、numpy、matplotlib這幾個(gè)工具，pandas已經(jīng)是一個(gè)強大的數據分析工具包，可以支持大部分的數據分析操作，可以看出pandas是一個(gè)十分強大的工具，numpy在pandas和pandas有關(guān)的一些重要項目中不斷的推進(jìn)著(zhù)，他主要提供矩陣的運算功能，他用于進(jìn)行數學(xué)運算的各個(gè)函數跟pandas沒(méi)有太大差別，matplotlib則為對圖形化的影響，最后對數據進(jìn)行可視化進(jìn)行展示。
而除此之外，anaconda里面還有seaborn,matplotlib等等使用比較多的工具包，可以看看安裝教程，提供的包比較全面。
三、環(huán)境配置在學(xué)習pandas和numpy之前，需要安裝matplotlib，也就是我們平時(shí)說(shuō)的mpl環(huán)境，因為pandas是建立在matplotlib上面的，因此安裝好這個(gè)包我們就可以開(kāi)始使用pandas進(jìn)行數據分析，這里使用的是anaconda中自帶的pipinstallmpl_toolkit來(lái)安裝：。
1、我這里遇到的主要問(wèn)題是安裝不順利，因為老版本版本是3.5.1， 查看全部
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集的干貨詳解、numpy、用infolayer插件生成pdf)
實(shí)時(shí)文章采集的干貨詳解哦，從、頭條、今日頭條、抖音、百度等熱門(mén)平臺做內容采集，然后自動(dòng)保存到excel表中，這樣可以快速將內容保存到本地，再有就是手機app端就可以看，看到的文章內容會(huì )原封不動(dòng)的保存，再也不用復制粘貼。excel數據處理：個(gè)性化生成表格工具、顏色值生成表格、條件格式、圖表類(lèi)型模板、列表式圖表模板、云端表格：郵件、qq、短信、qq郵箱、電話(huà)號碼生成excel文件、導出為html格式、excel文件生成pdf、用infolayer插件生成pdf。
一、引言最近幾年python的開(kāi)發(fā)和編譯技術(shù)可謂發(fā)展神速，移動(dòng)開(kāi)發(fā)也已經(jīng)向著(zhù)自動(dòng)化大方向邁進(jìn)，還能以python當中所提供的個(gè)性化工具和api對html標簽進(jìn)行定制，使得開(kāi)發(fā)人員能夠專(zhuān)注于html標簽上面，這在編程語(yǔ)言中確實(shí)是鮮有的，但是學(xué)習這個(gè)也還需要時(shí)間和精力投入，找一本好書(shū)說(shuō)是最好的，肯定也不能一蹴而就。
像平時(shí)我寫(xiě)c++和java開(kāi)發(fā)人員，可能不僅要掌握面向對象的編程，還要熟悉一些python語(yǔ)言特性以及擴展工具。這篇文章選取了一些最常用的開(kāi)發(fā)工具和工具類(lèi)，以方便大家查閱，這些工具工具基本上涵蓋了編程領(lǐng)域最常用的開(kāi)發(fā)工具，同時(shí)配有入門(mén)教程，學(xué)習成本低，如果你已經(jīng)對其有了一定的了解，可以直接跳過(guò)下一段。
二、初探zenddataprojpython中提供了很多數據分析工具包，包括了使用最為頻繁的pandas、numpy等包，這些包都對數據進(jìn)行轉換，生成高質(zhì)量的數據結構，最后將數據保存到一個(gè)具有良好格式的文件，這些主要工具中，命令操作基本上相同，就不贅述。在這里主要介紹一下pandas、numpy、matplotlib這幾個(gè)工具，pandas已經(jīng)是一個(gè)強大的數據分析工具包，可以支持大部分的數據分析操作，可以看出pandas是一個(gè)十分強大的工具，numpy在pandas和pandas有關(guān)的一些重要項目中不斷的推進(jìn)著(zhù)，他主要提供矩陣的運算功能，他用于進(jìn)行數學(xué)運算的各個(gè)函數跟pandas沒(méi)有太大差別，matplotlib則為對圖形化的影響，最后對數據進(jìn)行可視化進(jìn)行展示。
而除此之外，anaconda里面還有seaborn,matplotlib等等使用比較多的工具包，可以看看安裝教程，提供的包比較全面。
三、環(huán)境配置在學(xué)習pandas和numpy之前，需要安裝matplotlib，也就是我們平時(shí)說(shuō)的mpl環(huán)境，因為pandas是建立在matplotlib上面的，因此安裝好這個(gè)包我們就可以開(kāi)始使用pandas進(jìn)行數據分析，這里使用的是anaconda中自帶的pipinstallmpl_toolkit來(lái)安裝：。
1、我這里遇到的主要問(wèn)題是安裝不順利，因為老版本版本是3.5.1，
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集現在各大網(wǎng)站都使用tensorflow框架，tensorflow數組)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 135 次瀏覽 ? 2022-02-05 19:03
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集現在各大網(wǎng)站都使用tensorflow框架，tensorflow數組)
實(shí)時(shí)文章采集
<p>現在各大網(wǎng)站都使用tensorflow框架，而tensorflow只是基于numpy，但是還是使用了一些計算機領(lǐng)域的知識的，首先需要明白何為張量。一個(gè)numpyarray表示一個(gè)三維，四維，以及八維的數組，(不存在奇數維)，一維數組就好像是一個(gè)井字型放在向量的上下兩邊，而二維數組就像是一個(gè)扇形(已知y,z,h,c)，向量的上下邊也就是左右邊就是我們需要的向量的描述，一些關(guān)鍵詞出現在cursor（張量向量化）這一條，cursor一共有shape1,shape2,shape3,shape4，即shape1：x 查看全部
實(shí)時(shí)文章采集
<p>現在各大網(wǎng)站都使用tensorflow框架，而tensorflow只是基于numpy，但是還是使用了一些計算機領(lǐng)域的知識的，首先需要明白何為張量。一個(gè)numpyarray表示一個(gè)三維，四維，以及八維的數組，(不存在奇數維)，一維數組就好像是一個(gè)井字型放在向量的上下兩邊，而二維數組就像是一個(gè)扇形(已知y,z,h,c)，向量的上下邊也就是左右邊就是我們需要的向量的描述，一些關(guān)鍵詞出現在cursor（張量向量化）這一條，cursor一共有shape1,shape2,shape3,shape4，即shape1：x 查看全部
實(shí)時(shí)文章采集(實(shí)時(shí)文章采集現在各大網(wǎng)站都使用tensorflow框架，tensorflow數組)
實(shí)時(shí)文章采集
<p>現在各大網(wǎng)站都使用tensorflow框架，而tensorflow只是基于numpy，但是還是使用了一些計算機領(lǐng)域的知識的，首先需要明白何為張量。一個(gè)numpyarray表示一個(gè)三維，四維，以及八維的數組，(不存在奇數維)，一維數組就好像是一個(gè)井字型放在向量的上下兩邊，而二維數組就像是一個(gè)扇形(已知y,z,h,c)，向量的上下邊也就是左右邊就是我們需要的向量的描述，一些關(guān)鍵詞出現在cursor（張量向量化）這一條，cursor一共有shape1,shape2,shape3,shape4，即shape1：x
實(shí)時(shí)文章采集(如何使用騰訊云大數據組件來(lái)完成實(shí)時(shí)監控系統的設計和實(shí)現)
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 147 次瀏覽 ? 2022-02-04 14:04
實(shí)時(shí)文章采集(如何使用騰訊云大數據組件來(lái)完成實(shí)時(shí)監控系統的設計和實(shí)現)
本文介紹如何使用騰訊云大數據組件完成實(shí)時(shí)監控系統的設計與實(shí)現。通過(guò)電話(huà)、微信消息等方式實(shí)時(shí)反饋監控報警信息，有效保障系統穩定運行。使用基于云的Kafka、Flink、ES等組件，大大降低了開(kāi)發(fā)和運維人員的投入。
一、方案說(shuō)明（一）概述本方案結合騰訊云CKafka、流計算Oceanus（Flink）、Elasticsearch、Prometheus等，通過(guò)Filebeat實(shí)時(shí)采集系統和應用監控數據，并傳輸Go到CKafka，然后將CKafka數據連接到流計算Oceanus（Flink），經(jīng)過(guò)簡(jiǎn)單的業(yè)務(wù)邏輯處理后輸出到Elasticsearch，最后通過(guò)Kibana頁(yè)面查詢(xún)結果，方案中使用Promethus進(jìn)行監控系統指標，如流計算 Oceanus 作業(yè)運行狀態(tài)，使用 Cloud Grafana 監控 CVM 或業(yè)務(wù)應用指標。
(二）程序架構
二、前期準備在實(shí)施本方案之前，請確保已經(jīng)創(chuàng )建并配置了相應的大數據組件。(一）創(chuàng )建私有網(wǎng)絡(luò )VPC 私有網(wǎng)絡(luò )(VPC)是您在騰訊云上自定義的邏輯隔離的網(wǎng)絡(luò )空間。建議在構建CKafka、流計算Oceanus、 Elasticsearch集群。具體創(chuàng )建步驟請參考幫助文檔()。(二）創(chuàng )建CKafka實(shí)例Kafka推薦選擇最新的2.4.1版本，兼容性更好用 Filebeat 采集 工具購買(mǎi)完成后，創(chuàng )建一個(gè) Kafka 主題：topic-app-info (三） 創(chuàng )建流計算Oceanus集群 流計算Oceanus是大數據產(chǎn)品生態(tài)系統的實(shí)時(shí)分析工具。它基于A(yíng)pache Flink構建，一站式開(kāi)發(fā)，具有無(wú)縫連接、亞秒級延遲、低成本、安全穩定等特點(diǎn)的企業(yè)級實(shí)時(shí)大數據分析平臺。流計算Oceanus旨在實(shí)現價(jià)值最大化企業(yè)數據化，加快企業(yè)實(shí)時(shí)數字化建設進(jìn)程。在Oceanus控制臺的【集群管理】->【新建集群】頁(yè)面創(chuàng )建集群。具體步驟請參考幫助文檔()。(四）在Elasticsearch控制臺創(chuàng )建Elasticsearch實(shí)例，點(diǎn)擊左上角的【新建】創(chuàng )建集群，具體步驟請參考幫助文檔()。(五）
為了顯示自定義系統指標，需要購買(mǎi) Promethus 服務(wù)。只需要自定義業(yè)務(wù)指標的同學(xué)可以省略這一步。
進(jìn)入云監控控制臺，點(diǎn)擊左側的【Prometheus監控】，新建Prometheus實(shí)例。具體步驟請參考幫助文檔()。
(六）創(chuàng )建獨立的Grafana資源?；叶劝l(fā)布中，需要在Grafana管理頁(yè)面()單獨購買(mǎi)Grafana，展示業(yè)務(wù)監控指標。
?。ㄆ撸┌惭b和配置FilebeatFilebeat是一個(gè)輕量級的日志數據采集工具，通過(guò)監控指定位置的文件來(lái)采集信息。在這個(gè)VPC下，可以用在需要監控主機信息的云服務(wù)器和應用信息。安裝Filebeat。安裝方法一：下載Filebeat并安裝。下載地址()；方法二：使用【Elasticsearch管理頁(yè)面】->【beats管理】中提供的Filebeat，本例使用方法一。下載到CVM 和要配置 Filebeat，在 filebeat.yml 文件中添加以下配置項：
# 監控日志文件配置- type: logenabled: truepaths: - /tmp/test.log #- c:programdataelasticsearchlogs*
# 監控數據輸出項配置output.kafka:version: 2.0.0 # kafka 版本號hosts: ["xx.xx.xx.xx:xxxx"] # 請填寫(xiě)實(shí)際的 IP 地址+端口topic: 'topic-app-info' # 請填寫(xiě)實(shí)際的 topic
請根據實(shí)際業(yè)務(wù)需求配置對應的Filebeat.yml文件，參考Filebeat官方文檔（）。
注意：本例使用的是2.4.1的CKafka版本，這里是配置版本：2.0.0。版本不對應可能會(huì )出現“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): drop invalid message”錯誤
三、方案實(shí)現
接下來(lái)通過(guò)一個(gè)案例來(lái)介紹如何通過(guò)流計算Oceanus實(shí)現個(gè)性化監控。
(一）文件節拍采集數據
1、進(jìn)入Filebeat根目錄，啟動(dòng)Filebeat for data采集。例子中采集top命令中顯示的CPU、內存等信息也可以是采集jar應用日志、JVM使用情況、監聽(tīng)端口等，具體可以參考Filebeat官網(wǎng)
( )。
# filebeat 啟動(dòng)<br />./filebeat -e -c filebeat.yml<br /><br /># 監控系統信息寫(xiě)入 test.log 文件<br />top -d 10 >>/tmp/test.log
2、進(jìn)入CKafka頁(yè)面，點(diǎn)擊左側【消息查詢(xún)】，查詢(xún)對應主題消息，驗證數據是否為采集。
Filebeat采集發(fā)送的Kafka數據格式：
{ "@timestamp": "2021-08-30T10:22:52.888Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.14.0" }, "input": { "type": "log" }, "host": { "ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"], "mac": ["xx:xx:xx:xx:xx:xx"], "hostname": "xx.xx.xx.xx", "architecture": "x86_64", "os": { "type": "linux", "platform": "centos", "version": "7(Core)", "family": "redhat", "name": "CentOSLinux", "kernel": "3.10.0-1062.9.1.el7.x86_64", "codename": "Core" }, "id": "0ea734564f9a4e2881b866b82d679dfc", "name": "xx.xx.xx.xx", "containerized": false }, "agent": { "name": "xx.xx.xx.xx", "type": "filebeat", "version": "7.14.0", "hostname": "xx.xx.xx.xx", "ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9", "id": "6b23463c-0654-4f8b-83a9-84ec75721311" }, "ecs": { "version": "1.10.0" }, "log": { "offset": 2449931, "file": { "path": "/tmp/test.log" } }, "message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"}
(二）創(chuàng )建 Flink SQL 作業(yè)
使用流計算 Oceanus 處理 CKafka 訪(fǎng)問(wèn)的數據，并將其存儲在 Elasticsearch 中。1、定義Source，根據Filebeat中json消息的格式構造Flink Table Source。
CREATE TABLE DataInput ( `@timestamp` VARCHAR, `host` ROW, `log` ROW, `message` VARCHAR) WITH ( 'connector' = 'kafka', -- 可選 'kafka','kafka-0.11'. 注意選擇對應的內置 Connector 'topic' = 'topic-app-info', -- 替換為您要消費的 Topic 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '10.0.0.29:9092', 'properties.group.id' = 'oceanus_group2', -- 必選參數, 一定要指定 Group ID 'format' = 'json', 'json.ignore-parse-errors' = 'true', -- 忽略 JSON 結構解析異常 'json.fail-on-missing-field' = 'false' -- 如果設置為 true, 則遇到缺失字段會(huì )報錯 設置為 false 則缺失字段設置為 null);
2、定義接收器
CREATE TABLE es_output ( `id` VARCHAR, `ip` ARRAY, `path` VARCHAR, `num` INTEGER, `message` VARCHAR, `createTime` VARCHAR) WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '6', 'connector.hosts' = 'http://10.0.0.175:9200', 'connector.index' = 'oceanus_test2', 'connector.document-type' = '_doc', 'connector.username' = 'elastic', 'connector.password' = 'yourpassword', 'update-mode' = 'upsert', -- 可選無(wú)主鍵的 'append' 模式，或有主鍵的 'upsert' 模式 'connector.key-null-literal' = 'n/a', -- 主鍵為 null 時(shí)的替代字符串，默認是 'null' 'format.type' = 'json' -- 輸出數據格式, 目前只支持 'json');
3、處理業(yè)務(wù)數據
INSERT INTO es_outputSELECT host.id as `id`, host.ip as `ip`, log.file.path as `path`, log.`offset` as `num`, message, `@timestamp` as `createTime`from DataInput;
4、配置作業(yè)參數【內置連接器】選擇flink-connector-elasticsearch6和flink-connector-kafka 注意：根據實(shí)際版本選擇5、查詢(xún)ES數據。在 ES 控制臺的 Kibana 頁(yè)面查詢(xún)數據，或者進(jìn)入同一子網(wǎng)的 CVM 下，使用如下命令查詢(xún)：
# 查詢(xún)索引 username:password 請替換為實(shí)際賬號密碼curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'{ "query": { "match_all": {}}, "size": 10}'
更多訪(fǎng)問(wèn)方式請參考Access ES Cluster()。（三）系統指標監控本章主要實(shí)現系統信息監控和Flink作業(yè)運行狀態(tài)的監控和告警。Prometheus是一個(gè)非常靈活的時(shí)序數據庫，通常用于監控數據存儲、計算和告警。流計算Oceanus 建議用戶(hù)使用騰訊云監控提供的 Prometheus 服務(wù)，避免部署和運維成本；同時(shí)還支持騰訊云的通知模板，可以通過(guò)短信、電話(huà)輕松到達不同的告警信息、郵件、企業(yè)微信機器人等 .Monitoring 接收方 流式計算 Oceanus 作業(yè)監控
除了Stream Computing Oceanus控制臺自帶的監控信息外，還可以配置任務(wù)級細粒度監控、作業(yè)級監控、集群Flink作業(yè)列表監控。1、在流計算Oceanus作業(yè)詳情頁(yè)面，點(diǎn)擊【作業(yè)參數】，在【高級參數】中添加如下配置：
pipeline.max-parallelism: 2048metrics.reporters: promgatewaymetrics.reporter.promgateway.host: xx.xx.xx.xx # Prometheus實(shí)例地址metrics.reporter.promgateway.port: 9090 # Prometheus實(shí)例端口metrics.reporter.promgateway.needBasicAuth: truemetrics.reporter.promgateway.password: xxxxxxxxxxx # Prometheus實(shí)例密碼metrics.reporter.promgateway.interval: 10 SECONDS
2、在任意流計算Oceanus作業(yè)中，點(diǎn)擊【云監控】進(jìn)入云端Prometheus實(shí)例，點(diǎn)擊鏈接進(jìn)入Grafana（此處不能進(jìn)入灰度Grafana），導入json文件。詳情見(jiàn)訪(fǎng)問(wèn) Prometheus 自定義監視器
( )。
3、顯示的Flink任務(wù)監控效果如下。用戶(hù)也可以點(diǎn)擊【編輯】設置不同的面板以?xún)?yōu)化顯示效果。
告警配置1、進(jìn)入騰訊云監控界面，點(diǎn)擊左側【Prometheus監控】，點(diǎn)擊購買(mǎi)的實(shí)例進(jìn)入服務(wù)管理頁(yè)面，點(diǎn)擊左側【告警策略】，點(diǎn)擊【新建】進(jìn)行配置相關(guān)信息。具體操作請參考訪(fǎng)問(wèn)Prometheus自定義Monitor()。
2、設置警報通知。選擇【選擇模板】或【新建】設置通知模板。
3、短信通知消息
?。ㄋ模I(yè)務(wù)指標通過(guò)Filebeat采集監控到應用業(yè)務(wù)數據，通過(guò)流計算的Oceanus服務(wù)處理后存儲在ES中，使用ES+Grafana監控業(yè)務(wù)數據。
1、Grafana 配置 ES 數據源。進(jìn)入灰度發(fā)布中的Grafana控制臺()，進(jìn)入剛剛創(chuàng )建的Grafana服務(wù)，找到外網(wǎng)地址打開(kāi)登錄，Grafana賬號為admin，登錄后點(diǎn)擊【配置】，點(diǎn)擊【添加源】，搜索對于elasticsearch，并填寫(xiě)相關(guān)信息。ES實(shí)例信息，添加數據源。
2、點(diǎn)擊左側【Dashboards】，點(diǎn)擊【Manage】，點(diǎn)擊右上角【New Dashboard】，新建面板，編輯面板。
3、顯示效果如下：
注：這只是一個(gè)例子，沒(méi)有實(shí)際業(yè)務(wù)
四、總結本方案中嘗試了兩種監控方案，系統監控指標和業(yè)務(wù)監控指標。如果只需要監控業(yè)務(wù)指標，可以省略Promethus相關(guān)操作。此外，需要注意的是：
火熱進(jìn)行中↓↓
點(diǎn)擊文末“閱讀原文”了解更多騰訊云流計算Oceanus~騰訊云大數據
長(cháng)按二維碼 查看全部
本文介紹如何使用騰訊云大數據組件完成實(shí)時(shí)監控系統的設計與實(shí)現。通過(guò)電話(huà)、微信消息等方式實(shí)時(shí)反饋監控報警信息，有效保障系統穩定運行。使用基于云的Kafka、Flink、ES等組件，大大降低了開(kāi)發(fā)和運維人員的投入。
一、方案說(shuō)明（一）概述本方案結合騰訊云CKafka、流計算Oceanus（Flink）、Elasticsearch、Prometheus等，通過(guò)Filebeat實(shí)時(shí)采集系統和應用監控數據，并傳輸Go到CKafka，然后將CKafka數據連接到流計算Oceanus（Flink），經(jīng)過(guò)簡(jiǎn)單的業(yè)務(wù)邏輯處理后輸出到Elasticsearch，最后通過(guò)Kibana頁(yè)面查詢(xún)結果，方案中使用Promethus進(jìn)行監控系統指標，如流計算 Oceanus 作業(yè)運行狀態(tài)，使用 Cloud Grafana 監控 CVM 或業(yè)務(wù)應用指標。
(二）程序架構
二、前期準備在實(shí)施本方案之前，請確保已經(jīng)創(chuàng )建并配置了相應的大數據組件。(一）創(chuàng )建私有網(wǎng)絡(luò )VPC 私有網(wǎng)絡(luò )(VPC)是您在騰訊云上自定義的邏輯隔離的網(wǎng)絡(luò )空間。建議在構建CKafka、流計算Oceanus、 Elasticsearch集群。具體創(chuàng )建步驟請參考幫助文檔()。(二）創(chuàng )建CKafka實(shí)例Kafka推薦選擇最新的2.4.1版本，兼容性更好用 Filebeat 采集 工具購買(mǎi)完成后，創(chuàng )建一個(gè) Kafka 主題：topic-app-info (三） 創(chuàng )建流計算Oceanus集群 流計算Oceanus是大數據產(chǎn)品生態(tài)系統的實(shí)時(shí)分析工具。它基于A(yíng)pache Flink構建，一站式開(kāi)發(fā)，具有無(wú)縫連接、亞秒級延遲、低成本、安全穩定等特點(diǎn)的企業(yè)級實(shí)時(shí)大數據分析平臺。流計算Oceanus旨在實(shí)現價(jià)值最大化企業(yè)數據化，加快企業(yè)實(shí)時(shí)數字化建設進(jìn)程。在Oceanus控制臺的【集群管理】->【新建集群】頁(yè)面創(chuàng )建集群。具體步驟請參考幫助文檔()。(四）在Elasticsearch控制臺創(chuàng )建Elasticsearch實(shí)例，點(diǎn)擊左上角的【新建】創(chuàng )建集群，具體步驟請參考幫助文檔()。(五）
為了顯示自定義系統指標，需要購買(mǎi) Promethus 服務(wù)。只需要自定義業(yè)務(wù)指標的同學(xué)可以省略這一步。
進(jìn)入云監控控制臺，點(diǎn)擊左側的【Prometheus監控】，新建Prometheus實(shí)例。具體步驟請參考幫助文檔()。
(六）創(chuàng )建獨立的Grafana資源?；叶劝l(fā)布中，需要在Grafana管理頁(yè)面()單獨購買(mǎi)Grafana，展示業(yè)務(wù)監控指標。
?。ㄆ撸┌惭b和配置FilebeatFilebeat是一個(gè)輕量級的日志數據采集工具，通過(guò)監控指定位置的文件來(lái)采集信息。在這個(gè)VPC下，可以用在需要監控主機信息的云服務(wù)器和應用信息。安裝Filebeat。安裝方法一：下載Filebeat并安裝。下載地址()；方法二：使用【Elasticsearch管理頁(yè)面】->【beats管理】中提供的Filebeat，本例使用方法一。下載到CVM 和要配置 Filebeat，在 filebeat.yml 文件中添加以下配置項：
# 監控日志文件配置- type: logenabled: truepaths: - /tmp/test.log #- c:programdataelasticsearchlogs*
# 監控數據輸出項配置output.kafka:version: 2.0.0 # kafka 版本號hosts: ["xx.xx.xx.xx:xxxx"] # 請填寫(xiě)實(shí)際的 IP 地址+端口topic: 'topic-app-info' # 請填寫(xiě)實(shí)際的 topic
請根據實(shí)際業(yè)務(wù)需求配置對應的Filebeat.yml文件，參考Filebeat官方文檔（）。
注意：本例使用的是2.4.1的CKafka版本，這里是配置版本：2.0.0。版本不對應可能會(huì )出現“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): drop invalid message”錯誤
三、方案實(shí)現
接下來(lái)通過(guò)一個(gè)案例來(lái)介紹如何通過(guò)流計算Oceanus實(shí)現個(gè)性化監控。
(一）文件節拍采集數據
1、進(jìn)入Filebeat根目錄，啟動(dòng)Filebeat for data采集。例子中采集top命令中顯示的CPU、內存等信息也可以是采集jar應用日志、JVM使用情況、監聽(tīng)端口等，具體可以參考Filebeat官網(wǎng)
( )。
# filebeat 啟動(dòng)<br />./filebeat -e -c filebeat.yml<br /><br /># 監控系統信息寫(xiě)入 test.log 文件<br />top -d 10 >>/tmp/test.log
2、進(jìn)入CKafka頁(yè)面，點(diǎn)擊左側【消息查詢(xún)】，查詢(xún)對應主題消息，驗證數據是否為采集。
Filebeat采集發(fā)送的Kafka數據格式：
{ "@timestamp": "2021-08-30T10:22:52.888Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.14.0" }, "input": { "type": "log" }, "host": { "ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"], "mac": ["xx:xx:xx:xx:xx:xx"], "hostname": "xx.xx.xx.xx", "architecture": "x86_64", "os": { "type": "linux", "platform": "centos", "version": "7(Core)", "family": "redhat", "name": "CentOSLinux", "kernel": "3.10.0-1062.9.1.el7.x86_64", "codename": "Core" }, "id": "0ea734564f9a4e2881b866b82d679dfc", "name": "xx.xx.xx.xx", "containerized": false }, "agent": { "name": "xx.xx.xx.xx", "type": "filebeat", "version": "7.14.0", "hostname": "xx.xx.xx.xx", "ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9", "id": "6b23463c-0654-4f8b-83a9-84ec75721311" }, "ecs": { "version": "1.10.0" }, "log": { "offset": 2449931, "file": { "path": "/tmp/test.log" } }, "message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"}
(二）創(chuàng )建 Flink SQL 作業(yè)
使用流計算 Oceanus 處理 CKafka 訪(fǎng)問(wèn)的數據，并將其存儲在 Elasticsearch 中。1、定義Source，根據Filebeat中json消息的格式構造Flink Table Source。
CREATE TABLE DataInput ( `@timestamp` VARCHAR, `host` ROW, `log` ROW, `message` VARCHAR) WITH ( 'connector' = 'kafka', -- 可選 'kafka','kafka-0.11'. 注意選擇對應的內置 Connector 'topic' = 'topic-app-info', -- 替換為您要消費的 Topic 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '10.0.0.29:9092', 'properties.group.id' = 'oceanus_group2', -- 必選參數, 一定要指定 Group ID 'format' = 'json', 'json.ignore-parse-errors' = 'true', -- 忽略 JSON 結構解析異常 'json.fail-on-missing-field' = 'false' -- 如果設置為 true, 則遇到缺失字段會(huì )報錯 設置為 false 則缺失字段設置為 null);
2、定義接收器
CREATE TABLE es_output ( `id` VARCHAR, `ip` ARRAY, `path` VARCHAR, `num` INTEGER, `message` VARCHAR, `createTime` VARCHAR) WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '6', 'connector.hosts' = 'http://10.0.0.175:9200', 'connector.index' = 'oceanus_test2', 'connector.document-type' = '_doc', 'connector.username' = 'elastic', 'connector.password' = 'yourpassword', 'update-mode' = 'upsert', -- 可選無(wú)主鍵的 'append' 模式，或有主鍵的 'upsert' 模式 'connector.key-null-literal' = 'n/a', -- 主鍵為 null 時(shí)的替代字符串，默認是 'null' 'format.type' = 'json' -- 輸出數據格式, 目前只支持 'json');
3、處理業(yè)務(wù)數據
INSERT INTO es_outputSELECT host.id as `id`, host.ip as `ip`, log.file.path as `path`, log.`offset` as `num`, message, `@timestamp` as `createTime`from DataInput;
4、配置作業(yè)參數【內置連接器】選擇flink-connector-elasticsearch6和flink-connector-kafka 注意：根據實(shí)際版本選擇5、查詢(xún)ES數據。在 ES 控制臺的 Kibana 頁(yè)面查詢(xún)數據，或者進(jìn)入同一子網(wǎng)的 CVM 下，使用如下命令查詢(xún)：
# 查詢(xún)索引 username:password 請替換為實(shí)際賬號密碼curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'{ "query": { "match_all": {}}, "size": 10}'
更多訪(fǎng)問(wèn)方式請參考Access ES Cluster()。（三）系統指標監控本章主要實(shí)現系統信息監控和Flink作業(yè)運行狀態(tài)的監控和告警。Prometheus是一個(gè)非常靈活的時(shí)序數據庫，通常用于監控數據存儲、計算和告警。流計算Oceanus 建議用戶(hù)使用騰訊云監控提供的 Prometheus 服務(wù)，避免部署和運維成本；同時(shí)還支持騰訊云的通知模板，可以通過(guò)短信、電話(huà)輕松到達不同的告警信息、郵件、企業(yè)微信機器人等 .Monitoring 接收方 流式計算 Oceanus 作業(yè)監控
除了Stream Computing Oceanus控制臺自帶的監控信息外，還可以配置任務(wù)級細粒度監控、作業(yè)級監控、集群Flink作業(yè)列表監控。1、在流計算Oceanus作業(yè)詳情頁(yè)面，點(diǎn)擊【作業(yè)參數】，在【高級參數】中添加如下配置：
pipeline.max-parallelism: 2048metrics.reporters: promgatewaymetrics.reporter.promgateway.host: xx.xx.xx.xx # Prometheus實(shí)例地址metrics.reporter.promgateway.port: 9090 # Prometheus實(shí)例端口metrics.reporter.promgateway.needBasicAuth: truemetrics.reporter.promgateway.password: xxxxxxxxxxx # Prometheus實(shí)例密碼metrics.reporter.promgateway.interval: 10 SECONDS
2、在任意流計算Oceanus作業(yè)中，點(diǎn)擊【云監控】進(jìn)入云端Prometheus實(shí)例，點(diǎn)擊鏈接進(jìn)入Grafana（此處不能進(jìn)入灰度Grafana），導入json文件。詳情見(jiàn)訪(fǎng)問(wèn) Prometheus 自定義監視器
( )。
3、顯示的Flink任務(wù)監控效果如下。用戶(hù)也可以點(diǎn)擊【編輯】設置不同的面板以?xún)?yōu)化顯示效果。
告警配置1、進(jìn)入騰訊云監控界面，點(diǎn)擊左側【Prometheus監控】，點(diǎn)擊購買(mǎi)的實(shí)例進(jìn)入服務(wù)管理頁(yè)面，點(diǎn)擊左側【告警策略】，點(diǎn)擊【新建】進(jìn)行配置相關(guān)信息。具體操作請參考訪(fǎng)問(wèn)Prometheus自定義Monitor()。
2、設置警報通知。選擇【選擇模板】或【新建】設置通知模板。
3、短信通知消息
?。ㄋ模I(yè)務(wù)指標通過(guò)Filebeat采集監控到應用業(yè)務(wù)數據，通過(guò)流計算的Oceanus服務(wù)處理后存儲在ES中，使用ES+Grafana監控業(yè)務(wù)數據。
1、Grafana 配置 ES 數據源。進(jìn)入灰度發(fā)布中的Grafana控制臺()，進(jìn)入剛剛創(chuàng )建的Grafana服務(wù)，找到外網(wǎng)地址打開(kāi)登錄，Grafana賬號為admin，登錄后點(diǎn)擊【配置】，點(diǎn)擊【添加源】，搜索對于elasticsearch，并填寫(xiě)相關(guān)信息。ES實(shí)例信息，添加數據源。
2、點(diǎn)擊左側【Dashboards】，點(diǎn)擊【Manage】，點(diǎn)擊右上角【New Dashboard】，新建面板，編輯面板。
3、顯示效果如下：
注：這只是一個(gè)例子，沒(méi)有實(shí)際業(yè)務(wù)
四、總結本方案中嘗試了兩種監控方案，系統監控指標和業(yè)務(wù)監控指標。如果只需要監控業(yè)務(wù)指標，可以省略Promethus相關(guān)操作。此外，需要注意的是：
火熱進(jìn)行中↓↓
點(diǎn)擊文末“閱讀原文”了解更多騰訊云流計算Oceanus~騰訊云大數據
長(cháng)按二維碼 查看全部
實(shí)時(shí)文章采集(如何使用騰訊云大數據組件來(lái)完成實(shí)時(shí)監控系統的設計和實(shí)現)
本文介紹如何使用騰訊云大數據組件完成實(shí)時(shí)監控系統的設計與實(shí)現。通過(guò)電話(huà)、微信消息等方式實(shí)時(shí)反饋監控報警信息，有效保障系統穩定運行。使用基于云的Kafka、Flink、ES等組件，大大降低了開(kāi)發(fā)和運維人員的投入。
一、方案說(shuō)明（一）概述本方案結合騰訊云CKafka、流計算Oceanus（Flink）、Elasticsearch、Prometheus等，通過(guò)Filebeat實(shí)時(shí)采集系統和應用監控數據，并傳輸Go到CKafka，然后將CKafka數據連接到流計算Oceanus（Flink），經(jīng)過(guò)簡(jiǎn)單的業(yè)務(wù)邏輯處理后輸出到Elasticsearch，最后通過(guò)Kibana頁(yè)面查詢(xún)結果，方案中使用Promethus進(jìn)行監控系統指標，如流計算 Oceanus 作業(yè)運行狀態(tài)，使用 Cloud Grafana 監控 CVM 或業(yè)務(wù)應用指標。
(二）程序架構
二、前期準備在實(shí)施本方案之前，請確保已經(jīng)創(chuàng )建并配置了相應的大數據組件。(一）創(chuàng )建私有網(wǎng)絡(luò )VPC 私有網(wǎng)絡(luò )(VPC)是您在騰訊云上自定義的邏輯隔離的網(wǎng)絡(luò )空間。建議在構建CKafka、流計算Oceanus、 Elasticsearch集群。具體創(chuàng )建步驟請參考幫助文檔()。(二）創(chuàng )建CKafka實(shí)例Kafka推薦選擇最新的2.4.1版本，兼容性更好用 Filebeat 采集 工具購買(mǎi)完成后，創(chuàng )建一個(gè) Kafka 主題：topic-app-info (三） 創(chuàng )建流計算Oceanus集群 流計算Oceanus是大數據產(chǎn)品生態(tài)系統的實(shí)時(shí)分析工具。它基于A(yíng)pache Flink構建，一站式開(kāi)發(fā)，具有無(wú)縫連接、亞秒級延遲、低成本、安全穩定等特點(diǎn)的企業(yè)級實(shí)時(shí)大數據分析平臺。流計算Oceanus旨在實(shí)現價(jià)值最大化企業(yè)數據化，加快企業(yè)實(shí)時(shí)數字化建設進(jìn)程。在Oceanus控制臺的【集群管理】->【新建集群】頁(yè)面創(chuàng )建集群。具體步驟請參考幫助文檔()。(四）在Elasticsearch控制臺創(chuàng )建Elasticsearch實(shí)例，點(diǎn)擊左上角的【新建】創(chuàng )建集群，具體步驟請參考幫助文檔()。(五）
為了顯示自定義系統指標，需要購買(mǎi) Promethus 服務(wù)。只需要自定義業(yè)務(wù)指標的同學(xué)可以省略這一步。
進(jìn)入云監控控制臺，點(diǎn)擊左側的【Prometheus監控】，新建Prometheus實(shí)例。具體步驟請參考幫助文檔()。
(六）創(chuàng )建獨立的Grafana資源?；叶劝l(fā)布中，需要在Grafana管理頁(yè)面()單獨購買(mǎi)Grafana，展示業(yè)務(wù)監控指標。
?。ㄆ撸┌惭b和配置FilebeatFilebeat是一個(gè)輕量級的日志數據采集工具，通過(guò)監控指定位置的文件來(lái)采集信息。在這個(gè)VPC下，可以用在需要監控主機信息的云服務(wù)器和應用信息。安裝Filebeat。安裝方法一：下載Filebeat并安裝。下載地址()；方法二：使用【Elasticsearch管理頁(yè)面】->【beats管理】中提供的Filebeat，本例使用方法一。下載到CVM 和要配置 Filebeat，在 filebeat.yml 文件中添加以下配置項：
# 監控日志文件配置- type: logenabled: truepaths: - /tmp/test.log #- c:programdataelasticsearchlogs*
# 監控數據輸出項配置output.kafka:version: 2.0.0 # kafka 版本號hosts: ["xx.xx.xx.xx:xxxx"] # 請填寫(xiě)實(shí)際的 IP 地址+端口topic: 'topic-app-info' # 請填寫(xiě)實(shí)際的 topic
請根據實(shí)際業(yè)務(wù)需求配置對應的Filebeat.yml文件，參考Filebeat官方文檔（）。
注意：本例使用的是2.4.1的CKafka版本，這里是配置版本：2.0.0。版本不對應可能會(huì )出現“ERROR [kafka] kafka/client.go:341 Kafka (topic=topic-app-info): drop invalid message”錯誤
三、方案實(shí)現
接下來(lái)通過(guò)一個(gè)案例來(lái)介紹如何通過(guò)流計算Oceanus實(shí)現個(gè)性化監控。
(一）文件節拍采集數據
1、進(jìn)入Filebeat根目錄，啟動(dòng)Filebeat for data采集。例子中采集top命令中顯示的CPU、內存等信息也可以是采集jar應用日志、JVM使用情況、監聽(tīng)端口等，具體可以參考Filebeat官網(wǎng)
( )。
# filebeat 啟動(dòng)<br />./filebeat -e -c filebeat.yml<br /><br /># 監控系統信息寫(xiě)入 test.log 文件<br />top -d 10 >>/tmp/test.log
2、進(jìn)入CKafka頁(yè)面，點(diǎn)擊左側【消息查詢(xún)】，查詢(xún)對應主題消息，驗證數據是否為采集。
Filebeat采集發(fā)送的Kafka數據格式：
{ "@timestamp": "2021-08-30T10:22:52.888Z", "@metadata": { "beat": "filebeat", "type": "_doc", "version": "7.14.0" }, "input": { "type": "log" }, "host": { "ip": ["xx.xx.xx.xx", "xx::xx:xx:xx:xx"], "mac": ["xx:xx:xx:xx:xx:xx"], "hostname": "xx.xx.xx.xx", "architecture": "x86_64", "os": { "type": "linux", "platform": "centos", "version": "7(Core)", "family": "redhat", "name": "CentOSLinux", "kernel": "3.10.0-1062.9.1.el7.x86_64", "codename": "Core" }, "id": "0ea734564f9a4e2881b866b82d679dfc", "name": "xx.xx.xx.xx", "containerized": false }, "agent": { "name": "xx.xx.xx.xx", "type": "filebeat", "version": "7.14.0", "hostname": "xx.xx.xx.xx", "ephemeral_id": "6c0922a6-17af-4474-9e88-1fc3b1c3b1a9", "id": "6b23463c-0654-4f8b-83a9-84ec75721311" }, "ecs": { "version": "1.10.0" }, "log": { "offset": 2449931, "file": { "path": "/tmp/test.log" } }, "message": "(B[m16root0-20000S0.00.00:00.00kworker/1:0H(B[m[39;49m[K"}
(二）創(chuàng )建 Flink SQL 作業(yè)
使用流計算 Oceanus 處理 CKafka 訪(fǎng)問(wèn)的數據，并將其存儲在 Elasticsearch 中。1、定義Source，根據Filebeat中json消息的格式構造Flink Table Source。
CREATE TABLE DataInput ( `@timestamp` VARCHAR, `host` ROW, `log` ROW, `message` VARCHAR) WITH ( 'connector' = 'kafka', -- 可選 'kafka','kafka-0.11'. 注意選擇對應的內置 Connector 'topic' = 'topic-app-info', -- 替換為您要消費的 Topic 'scan.startup.mode' = 'earliest-offset', 'properties.bootstrap.servers' = '10.0.0.29:9092', 'properties.group.id' = 'oceanus_group2', -- 必選參數, 一定要指定 Group ID 'format' = 'json', 'json.ignore-parse-errors' = 'true', -- 忽略 JSON 結構解析異常 'json.fail-on-missing-field' = 'false' -- 如果設置為 true, 則遇到缺失字段會(huì )報錯 設置為 false 則缺失字段設置為 null);
2、定義接收器
CREATE TABLE es_output ( `id` VARCHAR, `ip` ARRAY, `path` VARCHAR, `num` INTEGER, `message` VARCHAR, `createTime` VARCHAR) WITH ( 'connector.type' = 'elasticsearch', 'connector.version' = '6', 'connector.hosts' = 'http://10.0.0.175:9200', 'connector.index' = 'oceanus_test2', 'connector.document-type' = '_doc', 'connector.username' = 'elastic', 'connector.password' = 'yourpassword', 'update-mode' = 'upsert', -- 可選無(wú)主鍵的 'append' 模式，或有主鍵的 'upsert' 模式 'connector.key-null-literal' = 'n/a', -- 主鍵為 null 時(shí)的替代字符串，默認是 'null' 'format.type' = 'json' -- 輸出數據格式, 目前只支持 'json');
3、處理業(yè)務(wù)數據
INSERT INTO es_outputSELECT host.id as `id`, host.ip as `ip`, log.file.path as `path`, log.`offset` as `num`, message, `@timestamp` as `createTime`from DataInput;
4、配置作業(yè)參數【內置連接器】選擇flink-connector-elasticsearch6和flink-connector-kafka 注意：根據實(shí)際版本選擇5、查詢(xún)ES數據。在 ES 控制臺的 Kibana 頁(yè)面查詢(xún)數據，或者進(jìn)入同一子網(wǎng)的 CVM 下，使用如下命令查詢(xún)：
# 查詢(xún)索引 username:password 請替換為實(shí)際賬號密碼curl -XGET -u username:password http://xx.xx.xx.xx:xxxx/oceanus_test2/_search -H 'Content-Type: application/json' -d'{ "query": { "match_all": {}}, "size": 10}'
更多訪(fǎng)問(wèn)方式請參考Access ES Cluster()。（三）系統指標監控本章主要實(shí)現系統信息監控和Flink作業(yè)運行狀態(tài)的監控和告警。Prometheus是一個(gè)非常靈活的時(shí)序數據庫，通常用于監控數據存儲、計算和告警。流計算Oceanus 建議用戶(hù)使用騰訊云監控提供的 Prometheus 服務(wù)，避免部署和運維成本；同時(shí)還支持騰訊云的通知模板，可以通過(guò)短信、電話(huà)輕松到達不同的告警信息、郵件、企業(yè)微信機器人等 .Monitoring 接收方 流式計算 Oceanus 作業(yè)監控
除了Stream Computing Oceanus控制臺自帶的監控信息外，還可以配置任務(wù)級細粒度監控、作業(yè)級監控、集群Flink作業(yè)列表監控。1、在流計算Oceanus作業(yè)詳情頁(yè)面，點(diǎn)擊【作業(yè)參數】，在【高級參數】中添加如下配置：
pipeline.max-parallelism: 2048metrics.reporters: promgatewaymetrics.reporter.promgateway.host: xx.xx.xx.xx # Prometheus實(shí)例地址metrics.reporter.promgateway.port: 9090 # Prometheus實(shí)例端口metrics.reporter.promgateway.needBasicAuth: truemetrics.reporter.promgateway.password: xxxxxxxxxxx # Prometheus實(shí)例密碼metrics.reporter.promgateway.interval: 10 SECONDS
2、在任意流計算Oceanus作業(yè)中，點(diǎn)擊【云監控】進(jìn)入云端Prometheus實(shí)例，點(diǎn)擊鏈接進(jìn)入Grafana（此處不能進(jìn)入灰度Grafana），導入json文件。詳情見(jiàn)訪(fǎng)問(wèn) Prometheus 自定義監視器
( )。
3、顯示的Flink任務(wù)監控效果如下。用戶(hù)也可以點(diǎn)擊【編輯】設置不同的面板以?xún)?yōu)化顯示效果。
告警配置1、進(jìn)入騰訊云監控界面，點(diǎn)擊左側【Prometheus監控】，點(diǎn)擊購買(mǎi)的實(shí)例進(jìn)入服務(wù)管理頁(yè)面，點(diǎn)擊左側【告警策略】，點(diǎn)擊【新建】進(jìn)行配置相關(guān)信息。具體操作請參考訪(fǎng)問(wèn)Prometheus自定義Monitor()。
2、設置警報通知。選擇【選擇模板】或【新建】設置通知模板。
3、短信通知消息
?。ㄋ模I(yè)務(wù)指標通過(guò)Filebeat采集監控到應用業(yè)務(wù)數據，通過(guò)流計算的Oceanus服務(wù)處理后存儲在ES中，使用ES+Grafana監控業(yè)務(wù)數據。
1、Grafana 配置 ES 數據源。進(jìn)入灰度發(fā)布中的Grafana控制臺()，進(jìn)入剛剛創(chuàng )建的Grafana服務(wù)，找到外網(wǎng)地址打開(kāi)登錄，Grafana賬號為admin，登錄后點(diǎn)擊【配置】，點(diǎn)擊【添加源】，搜索對于elasticsearch，并填寫(xiě)相關(guān)信息。ES實(shí)例信息，添加數據源。
2、點(diǎn)擊左側【Dashboards】，點(diǎn)擊【Manage】，點(diǎn)擊右上角【New Dashboard】，新建面板，編輯面板。
3、顯示效果如下：
注：這只是一個(gè)例子，沒(méi)有實(shí)際業(yè)務(wù)
四、總結本方案中嘗試了兩種監控方案，系統監控指標和業(yè)務(wù)監控指標。如果只需要監控業(yè)務(wù)指標，可以省略Promethus相關(guān)操作。此外，需要注意的是：
火熱進(jìn)行中↓↓
點(diǎn)擊文末“閱讀原文”了解更多騰訊云流計算Oceanus~騰訊云大數據
長(cháng)按二維碼
實(shí)時(shí)文章采集(項目架構分析日志數據采集：根據數據進(jìn)行可視化篩選 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 114 次瀏覽 ? 2022-02-01 23:17
實(shí)時(shí)文章采集(項目架構分析日志數據采集：根據數據進(jìn)行可視化篩選
)
項目概況
項目主要通過(guò)實(shí)時(shí)數倉的搭建完成對Flink的進(jìn)一步掌握和學(xué)習。Flink代碼是用Java編寫(xiě)的，會(huì )涉及到Flink的很多知識點(diǎn)，FlinkCDC，FlinkSQL，航海，豐富的功能等等，習慣了學(xué)習Flink，順便傳個(gè)倉庫還是很不錯的。從 FlinkForward2021 的一些進(jìn)展來(lái)看，Flink SQLization 已經(jīng)勢不可擋，流式數據倉庫 StreamHouse 也開(kāi)始緩慢推進(jìn)。
這里的實(shí)時(shí)數倉主要是為了提高數據的復用性。見(jiàn)下圖，當有大量中間結果時(shí)
使用時(shí)充分體現了實(shí)時(shí)數倉的必要性，省去了很多重復計算，提交了實(shí)時(shí)計算的時(shí)效性。
說(shuō)到數據倉庫，數據倉庫的分層是分不開(kāi)的?；陔娮由虅?wù)的實(shí)時(shí)數倉分層如下：
ods：原創(chuàng )數據，存儲業(yè)務(wù)數據和日志數據
dwd：按數據對象劃分，如訂單、頁(yè)面訪(fǎng)問(wèn)量
dim：維度數據
dwm：進(jìn)一步處理一些數據對象，將其與維度表關(guān)聯(lián)，形成寬表，例如獨立訪(fǎng)問(wèn)和跳出行為
dws：根據一個(gè)主題輕輕聚合多個(gè)事實(shí)數據，形成主題寬表
ads：基于數據的可視化過(guò)濾器聚合
實(shí)時(shí)需求
主要分為：每日統計報表或分析圖表模塊、實(shí)時(shí)數據監控大屏、數據預警或提示、實(shí)時(shí)推薦系統。
項目架構分析
記錄數據采集
查看全部
)
項目概況
項目主要通過(guò)實(shí)時(shí)數倉的搭建完成對Flink的進(jìn)一步掌握和學(xué)習。Flink代碼是用Java編寫(xiě)的，會(huì )涉及到Flink的很多知識點(diǎn)，FlinkCDC，FlinkSQL，航海，豐富的功能等等，習慣了學(xué)習Flink，順便傳個(gè)倉庫還是很不錯的。從 FlinkForward2021 的一些進(jìn)展來(lái)看，Flink SQLization 已經(jīng)勢不可擋，流式數據倉庫 StreamHouse 也開(kāi)始緩慢推進(jìn)。
這里的實(shí)時(shí)數倉主要是為了提高數據的復用性。見(jiàn)下圖，當有大量中間結果時(shí)
使用時(shí)充分體現了實(shí)時(shí)數倉的必要性，省去了很多重復計算，提交了實(shí)時(shí)計算的時(shí)效性。
說(shuō)到數據倉庫，數據倉庫的分層是分不開(kāi)的?；陔娮由虅?wù)的實(shí)時(shí)數倉分層如下：
ods：原創(chuàng )數據，存儲業(yè)務(wù)數據和日志數據
dwd：按數據對象劃分，如訂單、頁(yè)面訪(fǎng)問(wèn)量
dim：維度數據
dwm：進(jìn)一步處理一些數據對象，將其與維度表關(guān)聯(lián)，形成寬表，例如獨立訪(fǎng)問(wèn)和跳出行為
dws：根據一個(gè)主題輕輕聚合多個(gè)事實(shí)數據，形成主題寬表
ads：基于數據的可視化過(guò)濾器聚合
實(shí)時(shí)需求
主要分為：每日統計報表或分析圖表模塊、實(shí)時(shí)數據監控大屏、數據預警或提示、實(shí)時(shí)推薦系統。
項目架構分析
記錄數據采集
查看全部
實(shí)時(shí)文章采集(項目架構分析日志數據采集：根據數據進(jìn)行可視化篩選
)
項目概況
項目主要通過(guò)實(shí)時(shí)數倉的搭建完成對Flink的進(jìn)一步掌握和學(xué)習。Flink代碼是用Java編寫(xiě)的，會(huì )涉及到Flink的很多知識點(diǎn)，FlinkCDC，FlinkSQL，航海，豐富的功能等等，習慣了學(xué)習Flink，順便傳個(gè)倉庫還是很不錯的。從 FlinkForward2021 的一些進(jìn)展來(lái)看，Flink SQLization 已經(jīng)勢不可擋，流式數據倉庫 StreamHouse 也開(kāi)始緩慢推進(jìn)。
這里的實(shí)時(shí)數倉主要是為了提高數據的復用性。見(jiàn)下圖，當有大量中間結果時(shí)
使用時(shí)充分體現了實(shí)時(shí)數倉的必要性，省去了很多重復計算，提交了實(shí)時(shí)計算的時(shí)效性。
說(shuō)到數據倉庫，數據倉庫的分層是分不開(kāi)的?；陔娮由虅?wù)的實(shí)時(shí)數倉分層如下：
ods：原創(chuàng )數據，存儲業(yè)務(wù)數據和日志數據
dwd：按數據對象劃分，如訂單、頁(yè)面訪(fǎng)問(wèn)量
dim：維度數據
dwm：進(jìn)一步處理一些數據對象，將其與維度表關(guān)聯(lián)，形成寬表，例如獨立訪(fǎng)問(wèn)和跳出行為
dws：根據一個(gè)主題輕輕聚合多個(gè)事實(shí)數據，形成主題寬表
ads：基于數據的可視化過(guò)濾器聚合
實(shí)時(shí)需求
主要分為：每日統計報表或分析圖表模塊、實(shí)時(shí)數據監控大屏、數據預警或提示、實(shí)時(shí)推薦系統。
項目架構分析
記錄數據采集
實(shí)時(shí)文章采集(如何利用Python編寫(xiě)的異步爬蟲(chóng)框架(圖)實(shí)例 )
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 179 次瀏覽 ? 2022-02-01 17:10
實(shí)時(shí)文章采集(如何利用Python編寫(xiě)的異步爬蟲(chóng)框架(圖)實(shí)例
)
一、scrapy簡(jiǎn)介
scrapy 是一個(gè)用 Python 編寫(xiě)的異步爬蟲(chóng)框架。它基于 Twisted 實(shí)現，運行在 Linux/Windows/MacOS 等各種環(huán)境中。具有速度快、擴展性強、使用方便等特點(diǎn)。即使是新手也能快速掌握并編寫(xiě)所需的爬蟲(chóng)程序。 scrapy 可以在本地運行或部署到云端 (scrapyd) 以獲取真正的生產(chǎn)級數據采集系統。
我們通過(guò)一個(gè)示例來(lái)學(xué)習如何使用scrapy 來(lái)采集來(lái)自網(wǎng)絡(luò )的數據。 《博客園》是一篇綜合性的技術(shù)資料網(wǎng)站，這次我們的任務(wù)是采集網(wǎng)站MySQL類(lèi)下所有文章的標題、摘要和發(fā)布日期，讀數的數量，共4個(gè)字段。最終結果是一個(gè)收錄所有 4 個(gè)字段的文本文件。如圖：
最終得到的數據如下，每條記錄有四行，分別是標題、閱讀次數、發(fā)表時(shí)間和文章摘要：
二、安裝scrapy
讓我們看看如何安裝scrapy。首先，您的系統中必須有 Python 和 pip。本文以最常見(jiàn)的 Python2.7.5 版本為例。 pip 是 Python 的包管理工具，一般 Linux 系統默認安裝。在命令行輸入以下命令并執行：
sudo pip install scrapy -i http://pypi.douban.com/simple –trusted-host=pypi.douban.com
pip會(huì )從豆瓣的軟件源下載安裝scrapy，所有依賴(lài)包都會(huì )自動(dòng)下載安裝。 “sudo”表示以超級用戶(hù)權限執行此命令。所有進(jìn)度條完成后，如果提示類(lèi)似“Successfully installed Twisted, scrapy ...”，則安裝成功。
三、scrapy 交互環(huán)境
scrapy 還提供了一個(gè)交互式 shell，可以讓我們輕松地測試解析規則。 scrapy安裝成功后，在命令行輸入scrapy shell，啟動(dòng)scrapy的交互環(huán)境。 scrapy shell的提示符是三個(gè)大于號>>>，表示可以接收命令。我們首先使用 fetch() 方法獲取首頁(yè)內容：
>>> fetch( “https://www.cnblogs.com/cate/mysql/” )
如果屏幕顯示如下輸出，則表示已獲取網(wǎng)頁(yè)內容。
2017-09-04 07:46:55 [scrapy.core.engine] INFO: Spider opened
2017-09-04 07:46:55 [scrapy.core.engine] DEBUG: Crawled (200)
(referer: None)
得到的響應會(huì )保存在響應對象中。該對象的status屬性表示HTTP響應狀態(tài)，一般為200。
>>> print response.status
200
text屬性表示返回的內容數據，從中可以解析出想要的內容。
>>> print response.text
u'\r\n\r\n\r\n
\r\n
\r\n
\r\n
MySQL – \u7f51\u7ad9\u5206\u7c7b – \u535a\u5ba2\u56ed\r\n
’
可以看出是亂七八糟的HTML代碼，無(wú)法直觀(guān)的找到我們需要的數據。這時(shí)候我們可以通過(guò)瀏覽器的“開(kāi)發(fā)者工具”獲取指定數據的DOM路徑。用瀏覽器打開(kāi)網(wǎng)頁(yè)后，按F12鍵啟動(dòng)開(kāi)發(fā)者工具，快速定位到指定內容。
可以看到我們需要的4個(gè)字段在/body/div(id=”wrapper”)/div(id=”main”)/div(id=”post_list”)/div(class=”post_item ”) / div(class=”post_item_body”) / ，每個(gè)“post_item_body”收錄一篇文章文章的標題、摘要、發(fā)表日期和閱讀次數。我們先得到所有的“post_item_body”，然后從中解析出每個(gè)文章的4個(gè)字段。
>>> post_item_body = response.xpath( “//div[@id=’wrapper’]/div[@id=’main’]/div[@id=’post_list’]/div[@class=’post_item’]/div[@class=’post_item_body’]” )
>>> len( post_item_body )
20
響應的xpath方法可以使用xpath解析器來(lái)獲取DOM數據。 xpath的語(yǔ)法請參考官網(wǎng)文檔。您可以看到我們在首頁(yè)上獲得了所有 20 篇 文章 文章的 post_item_body。那么如何提取每個(gè)文章的這4個(gè)字段呢？
我們以第一篇文章為例。先取第一個(gè) post_item_body：
>>> first_article = post_item_body[ 0 ]
標題在 post_item_body 節點(diǎn)下的 h3/a 中。 xpath方法中text()的作用是取當前節點(diǎn)的文本，而extract_first()和strip()提取xpath表達式中的節點(diǎn)，過(guò)濾掉前后空格和回車(chē)：
>>> article_title = first_article.xpath( “h3/a/text()” ).extract_first().strip()
>>> print article_title
Mysql表操作和索引操作
然后以類(lèi)似的方式提取文章摘要：
>>> article_summary = first_article.xpath( “p[@class=’post_item_summary’]/text()” ).extract_first().strip()
>>> print article_summary
表操作：1.表創(chuàng )建：如果不存在則創(chuàng )建表 table_name(字段定義);示例：如果不存在則創(chuàng )建表 user(id int auto_increment, uname varchar(20), address varch ...
在提取post_item_foot的時(shí)候，發(fā)現提取了兩組內容，第一組是空內容，第二組是文字“Posted on XXX”。我們提取第二組內容，過(guò)濾掉“published on”這個(gè)詞：
>>> post_date = first_article.xpath( “div[@class=’post_item_foot’]/text()” ).extract()[ 1 ].split( “發(fā)布于” )[ 1 ].strip()
>>> print post_date
2017-09-03 18:13 查看全部
)
一、scrapy簡(jiǎn)介
scrapy 是一個(gè)用 Python 編寫(xiě)的異步爬蟲(chóng)框架。它基于 Twisted 實(shí)現，運行在 Linux/Windows/MacOS 等各種環(huán)境中。具有速度快、擴展性強、使用方便等特點(diǎn)。即使是新手也能快速掌握并編寫(xiě)所需的爬蟲(chóng)程序。 scrapy 可以在本地運行或部署到云端 (scrapyd) 以獲取真正的生產(chǎn)級數據采集系統。
我們通過(guò)一個(gè)示例來(lái)學(xué)習如何使用scrapy 來(lái)采集來(lái)自網(wǎng)絡(luò )的數據。 《博客園》是一篇綜合性的技術(shù)資料網(wǎng)站，這次我們的任務(wù)是采集網(wǎng)站MySQL類(lèi)下所有文章的標題、摘要和發(fā)布日期，讀數的數量，共4個(gè)字段。最終結果是一個(gè)收錄所有 4 個(gè)字段的文本文件。如圖：
最終得到的數據如下，每條記錄有四行，分別是標題、閱讀次數、發(fā)表時(shí)間和文章摘要：
二、安裝scrapy
讓我們看看如何安裝scrapy。首先，您的系統中必須有 Python 和 pip。本文以最常見(jiàn)的 Python2.7.5 版本為例。 pip 是 Python 的包管理工具，一般 Linux 系統默認安裝。在命令行輸入以下命令并執行：
sudo pip install scrapy -i http://pypi.douban.com/simple –trusted-host=pypi.douban.com
pip會(huì )從豆瓣的軟件源下載安裝scrapy，所有依賴(lài)包都會(huì )自動(dòng)下載安裝。 “sudo”表示以超級用戶(hù)權限執行此命令。所有進(jìn)度條完成后，如果提示類(lèi)似“Successfully installed Twisted, scrapy ...”，則安裝成功。
三、scrapy 交互環(huán)境
scrapy 還提供了一個(gè)交互式 shell，可以讓我們輕松地測試解析規則。 scrapy安裝成功后，在命令行輸入scrapy shell，啟動(dòng)scrapy的交互環(huán)境。 scrapy shell的提示符是三個(gè)大于號>>>，表示可以接收命令。我們首先使用 fetch() 方法獲取首頁(yè)內容：
>>> fetch( “https://www.cnblogs.com/cate/mysql/” )
如果屏幕顯示如下輸出，則表示已獲取網(wǎng)頁(yè)內容。
2017-09-04 07:46:55 [scrapy.core.engine] INFO: Spider opened
2017-09-04 07:46:55 [scrapy.core.engine] DEBUG: Crawled (200)
(referer: None)
得到的響應會(huì )保存在響應對象中。該對象的status屬性表示HTTP響應狀態(tài)，一般為200。
>>> print response.status
200
text屬性表示返回的內容數據，從中可以解析出想要的內容。
>>> print response.text
u'\r\n\r\n\r\n
\r\n
\r\n
\r\n
MySQL – \u7f51\u7ad9\u5206\u7c7b – \u535a\u5ba2\u56ed\r\n
’
可以看出是亂七八糟的HTML代碼，無(wú)法直觀(guān)的找到我們需要的數據。這時(shí)候我們可以通過(guò)瀏覽器的“開(kāi)發(fā)者工具”獲取指定數據的DOM路徑。用瀏覽器打開(kāi)網(wǎng)頁(yè)后，按F12鍵啟動(dòng)開(kāi)發(fā)者工具，快速定位到指定內容。
可以看到我們需要的4個(gè)字段在/body/div(id=”wrapper”)/div(id=”main”)/div(id=”post_list”)/div(class=”post_item ”) / div(class=”post_item_body”) / ，每個(gè)“post_item_body”收錄一篇文章文章的標題、摘要、發(fā)表日期和閱讀次數。我們先得到所有的“post_item_body”，然后從中解析出每個(gè)文章的4個(gè)字段。
>>> post_item_body = response.xpath( “//div[@id=’wrapper’]/div[@id=’main’]/div[@id=’post_list’]/div[@class=’post_item’]/div[@class=’post_item_body’]” )
>>> len( post_item_body )
20
響應的xpath方法可以使用xpath解析器來(lái)獲取DOM數據。 xpath的語(yǔ)法請參考官網(wǎng)文檔。您可以看到我們在首頁(yè)上獲得了所有 20 篇 文章 文章的 post_item_body。那么如何提取每個(gè)文章的這4個(gè)字段呢？
我們以第一篇文章為例。先取第一個(gè) post_item_body：
>>> first_article = post_item_body[ 0 ]
標題在 post_item_body 節點(diǎn)下的 h3/a 中。 xpath方法中text()的作用是取當前節點(diǎn)的文本，而extract_first()和strip()提取xpath表達式中的節點(diǎn)，過(guò)濾掉前后空格和回車(chē)：
>>> article_title = first_article.xpath( “h3/a/text()” ).extract_first().strip()
>>> print article_title
Mysql表操作和索引操作
然后以類(lèi)似的方式提取文章摘要：
>>> article_summary = first_article.xpath( “p[@class=’post_item_summary’]/text()” ).extract_first().strip()
>>> print article_summary
表操作：1.表創(chuàng )建：如果不存在則創(chuàng )建表 table_name(字段定義);示例：如果不存在則創(chuàng )建表 user(id int auto_increment, uname varchar(20), address varch ...
在提取post_item_foot的時(shí)候，發(fā)現提取了兩組內容，第一組是空內容，第二組是文字“Posted on XXX”。我們提取第二組內容，過(guò)濾掉“published on”這個(gè)詞：
>>> post_date = first_article.xpath( “div[@class=’post_item_foot’]/text()” ).extract()[ 1 ].split( “發(fā)布于” )[ 1 ].strip()
>>> print post_date
2017-09-03 18:13 查看全部
實(shí)時(shí)文章采集(如何利用Python編寫(xiě)的異步爬蟲(chóng)框架(圖)實(shí)例
)
一、scrapy簡(jiǎn)介
scrapy 是一個(gè)用 Python 編寫(xiě)的異步爬蟲(chóng)框架。它基于 Twisted 實(shí)現，運行在 Linux/Windows/MacOS 等各種環(huán)境中。具有速度快、擴展性強、使用方便等特點(diǎn)。即使是新手也能快速掌握并編寫(xiě)所需的爬蟲(chóng)程序。 scrapy 可以在本地運行或部署到云端 (scrapyd) 以獲取真正的生產(chǎn)級數據采集系統。
我們通過(guò)一個(gè)示例來(lái)學(xué)習如何使用scrapy 來(lái)采集來(lái)自網(wǎng)絡(luò )的數據。 《博客園》是一篇綜合性的技術(shù)資料網(wǎng)站，這次我們的任務(wù)是采集網(wǎng)站MySQL類(lèi)下所有文章的標題、摘要和發(fā)布日期，讀數的數量，共4個(gè)字段。最終結果是一個(gè)收錄所有 4 個(gè)字段的文本文件。如圖：
最終得到的數據如下，每條記錄有四行，分別是標題、閱讀次數、發(fā)表時(shí)間和文章摘要：
二、安裝scrapy
讓我們看看如何安裝scrapy。首先，您的系統中必須有 Python 和 pip。本文以最常見(jiàn)的 Python2.7.5 版本為例。 pip 是 Python 的包管理工具，一般 Linux 系統默認安裝。在命令行輸入以下命令并執行：
sudo pip install scrapy -i http://pypi.douban.com/simple –trusted-host=pypi.douban.com
pip會(huì )從豆瓣的軟件源下載安裝scrapy，所有依賴(lài)包都會(huì )自動(dòng)下載安裝。 “sudo”表示以超級用戶(hù)權限執行此命令。所有進(jìn)度條完成后，如果提示類(lèi)似“Successfully installed Twisted, scrapy ...”，則安裝成功。
三、scrapy 交互環(huán)境
scrapy 還提供了一個(gè)交互式 shell，可以讓我們輕松地測試解析規則。 scrapy安裝成功后，在命令行輸入scrapy shell，啟動(dòng)scrapy的交互環(huán)境。 scrapy shell的提示符是三個(gè)大于號>>>，表示可以接收命令。我們首先使用 fetch() 方法獲取首頁(yè)內容：
>>> fetch( “https://www.cnblogs.com/cate/mysql/” )
如果屏幕顯示如下輸出，則表示已獲取網(wǎng)頁(yè)內容。
2017-09-04 07:46:55 [scrapy.core.engine] INFO: Spider opened
2017-09-04 07:46:55 [scrapy.core.engine] DEBUG: Crawled (200)
(referer: None)
得到的響應會(huì )保存在響應對象中。該對象的status屬性表示HTTP響應狀態(tài)，一般為200。
>>> print response.status
200
text屬性表示返回的內容數據，從中可以解析出想要的內容。
>>> print response.text
u'\r\n\r\n\r\n
\r\n
\r\n
\r\n
MySQL – \u7f51\u7ad9\u5206\u7c7b – \u535a\u5ba2\u56ed\r\n
’
可以看出是亂七八糟的HTML代碼，無(wú)法直觀(guān)的找到我們需要的數據。這時(shí)候我們可以通過(guò)瀏覽器的“開(kāi)發(fā)者工具”獲取指定數據的DOM路徑。用瀏覽器打開(kāi)網(wǎng)頁(yè)后，按F12鍵啟動(dòng)開(kāi)發(fā)者工具，快速定位到指定內容。
可以看到我們需要的4個(gè)字段在/body/div(id=”wrapper”)/div(id=”main”)/div(id=”post_list”)/div(class=”post_item ”) / div(class=”post_item_body”) / ，每個(gè)“post_item_body”收錄一篇文章文章的標題、摘要、發(fā)表日期和閱讀次數。我們先得到所有的“post_item_body”，然后從中解析出每個(gè)文章的4個(gè)字段。
>>> post_item_body = response.xpath( “//div[@id=’wrapper’]/div[@id=’main’]/div[@id=’post_list’]/div[@class=’post_item’]/div[@class=’post_item_body’]” )
>>> len( post_item_body )
20
響應的xpath方法可以使用xpath解析器來(lái)獲取DOM數據。 xpath的語(yǔ)法請參考官網(wǎng)文檔。您可以看到我們在首頁(yè)上獲得了所有 20 篇 文章 文章的 post_item_body。那么如何提取每個(gè)文章的這4個(gè)字段呢？
我們以第一篇文章為例。先取第一個(gè) post_item_body：
>>> first_article = post_item_body[ 0 ]
標題在 post_item_body 節點(diǎn)下的 h3/a 中。 xpath方法中text()的作用是取當前節點(diǎn)的文本，而extract_first()和strip()提取xpath表達式中的節點(diǎn)，過(guò)濾掉前后空格和回車(chē)：
>>> article_title = first_article.xpath( “h3/a/text()” ).extract_first().strip()
>>> print article_title
Mysql表操作和索引操作
然后以類(lèi)似的方式提取文章摘要：
>>> article_summary = first_article.xpath( “p[@class=’post_item_summary’]/text()” ).extract_first().strip()
>>> print article_summary
表操作：1.表創(chuàng )建：如果不存在則創(chuàng )建表 table_name(字段定義);示例：如果不存在則創(chuàng )建表 user(id int auto_increment, uname varchar(20), address varch ...
在提取post_item_foot的時(shí)候，發(fā)現提取了兩組內容，第一組是空內容，第二組是文字“Posted on XXX”。我們提取第二組內容，過(guò)濾掉“published on”這個(gè)詞：
>>> post_date = first_article.xpath( “div[@class=’post_item_foot’]/text()” ).extract()[ 1 ].split( “發(fā)布于” )[ 1 ].strip()
>>> print post_date
2017-09-03 18:13
實(shí)時(shí)文章采集(發(fā)展歷程FlinkSQL應用實(shí)踐平臺建設總結展望(組圖))
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 128 次瀏覽 ? 2022-01-31 09:14
實(shí)時(shí)文章采集(發(fā)展歷程FlinkSQL應用實(shí)踐平臺建設總結展望(組圖))
摘要：本文組織了 Homework Group 實(shí)時(shí)計算負責人張穎在 Flink Forward Asia 2021 上的分享。Flink 在 Homework 實(shí)時(shí)計算的演進(jìn)中發(fā)揮了重要作用。尤其是在 FlinkSQL 的幫助下，實(shí)時(shí)任務(wù)的開(kāi)發(fā)效率得到了極大的提升。本文文章主要分享FlinkSQL在作業(yè)幫助中的使用和實(shí)踐經(jīng)驗，以及隨著(zhù)任務(wù)規模的增加，從0到1搭建實(shí)時(shí)計算平臺過(guò)程中遇到的問(wèn)題和解決方法. 內容包括：
發(fā)展歷程 Flink SQL 應用實(shí)踐平臺建設總結與展望
FFA 2021 現場(chǎng)重播和演講 PDF 下載
一、發(fā)展歷程
Homework Help主要利用人工智能、大數據等技術(shù)為學(xué)生提供更高效的學(xué)習解決方案。因此，業(yè)務(wù)數據主要包括學(xué)生的出勤率和知識點(diǎn)的掌握情況。在整體架構中，無(wú)論是binlog還是普通日志，都是在采集之后寫(xiě)入Kafka，分別通過(guò)實(shí)時(shí)和離線(xiàn)計算寫(xiě)入存儲層?；贠LAP，對外提供相應的產(chǎn)品化服務(wù)，如工作臺、BI分析等。工具。
目前 Homework Help 的實(shí)時(shí)計算主要基于 Flink，開(kāi)發(fā)過(guò)程分為三個(gè)階段：
2019 年實(shí)時(shí)計算包括少量 SparkStreaming 作業(yè)，提供給導師和講師。在解決實(shí)時(shí)性需求的過(guò)程中，會(huì )發(fā)現開(kāi)發(fā)效率很低，數據很難復用；之后，常規的做法是在生產(chǎn)實(shí)踐中逐步應用 Flink JAR，積累經(jīng)驗后開(kāi)始搭建平臺，應用 Flink SQL。但是，20年來(lái)，業(yè)務(wù)提出了很多實(shí)時(shí)計算的需求，我們的開(kāi)發(fā)人力儲備不足。當時(shí)，在 Flink SQL 1.9 發(fā)布后不久，SQL 功能發(fā)生了很大變化，所以我們的做法是直接將 Flink SQL 應用到實(shí)時(shí)數倉方向?，F在，整個(gè)實(shí)時(shí)數倉90%以上的任務(wù)都是使用Flink SQL實(shí)現的。; 到了 2020 年 11 月，Flink 的 Job 數量迅速增加到數百個(gè)，我們開(kāi)始構建從 0 到 1 的實(shí)時(shí)計算平臺，已經(jīng)支撐了公司所有重要業(yè)務(wù)線(xiàn)，并且計算部署在多個(gè)集群上在多云中。
介紹以下兩個(gè)方面：
FlinkSQL實(shí)踐中遇到的典型問(wèn)題及解決方案；搭建實(shí)時(shí)計算平臺過(guò)程中的一些思考。二、Flink SQL 應用實(shí)踐
下面是基于 Flink SQL 的完整數據流架構：
binlog/log 采集 寫(xiě)入 Kafka 后，topic 會(huì )自動(dòng)注冊為元數據表，這是后續所有實(shí)時(shí) SQL 作業(yè)的起點(diǎn)。用戶(hù)可以在 SQL 作業(yè)中使用此表，而無(wú)需定義復雜的 DDL。
同時(shí)，在考慮實(shí)際應用時(shí)，還需要根據元數據表添加或替換表屬性：
新增：元數據記錄表級屬性，但 SQL 作業(yè)可能需要添加任務(wù)級屬性。比如對于Kafka源表，添加job的group.id來(lái)記錄offset；替換：離線(xiàn)測試時(shí)，在引用元數據表的基礎上，只需要定義broker topic等屬性覆蓋源表，即可快速構建一行。測試表格如下。
框架還需要支持用戶(hù)的SQL作業(yè)，方便輸出指標和日志，實(shí)現全鏈路監控和跟蹤。
這里主要介紹SQL添加Trace函數時(shí)的DAG優(yōu)化實(shí)踐，以及我們對Table底層物理存儲的選擇和封裝。
2.1 SQL 添加 Trace 功能
SQL可以提高開(kāi)發(fā)效率，但是業(yè)務(wù)邏輯的復雜度還是有的，復雜的業(yè)務(wù)邏輯寫(xiě)的DML會(huì )很長(cháng)。在這種情況下，建議使用視圖來(lái)提高可讀性。因為視圖的 SQL 比較短，所以不應該像代碼規范中的單個(gè)函數那樣太長(cháng)。
下圖左側是一個(gè)示例任務(wù)的部分DAG，可以看到有很多SQL節點(diǎn)。這種情況下很難定位，因為如果是DataStream API實(shí)現的代碼，也可以加日志。但是 SQL 做不到。用戶(hù)可以干預的入口很少，只能看到整個(gè)作業(yè)的輸入輸出。
類(lèi)似于在函數中打印日志，我們希望支持在視圖中添加 Trace，以方便案例追蹤。
但是我在嘗試將 Trace 添加到 SQL 時(shí)遇到了一些問(wèn)題，這是一個(gè)簡(jiǎn)化的示例：
右上角的SQL創(chuàng )建source_table為源表，prepare_data視圖讀取表，在sql中調用foo udf，然后使用StatementSet分別插入兩個(gè)下游，同時(shí)將視圖轉換為DataStream調用 TraceSDK 寫(xiě)入跟蹤系統。
注意：我們當時(shí)是基于 1.9 開(kāi)發(fā)的。為了清楚起見(jiàn)，我們還使用了一些后來(lái)添加的功能。
上圖下方的實(shí)際 DAG 看起來(lái)并不像預期的那樣：
DAG分為上下不相關(guān)的兩部分。Kafka源表是DataSource部分，讀取兩次；foo 方法被調用了 3 次。
數據源壓力和計算性能需要優(yōu)化。
為了解決這個(gè)問(wèn)題，我們需要從幾個(gè)角度進(jìn)行優(yōu)化。這里主要介紹DAG合并的思想。無(wú)論是table還是stream的env，都會(huì )產(chǎn)生相應的transformation。我們的做法是統一合并到stream env中，這樣就可以在stream env中得到一個(gè)完整的變換列表，然后生成StreamGraph提交。
左下角是我們優(yōu)化的 DAG，讀取源表并只調用一次 foo 方法：
優(yōu)化后的 DAG 效果與我們寫(xiě) SQL 時(shí)的邏輯圖非常相似，性能自然符合預期。
回到問(wèn)題本身，業(yè)務(wù)可以簡(jiǎn)單地用一條語(yǔ)句給視圖的某些字段添加trace，例如：prepare_data.trace.fields=f0,f1. 由于SQL自然收錄字段名，所以trace數據的可讀性甚至高于普通原木。
2.2 表的選擇與設計
如前所述，我們的首要要求是提高人的效率。因此，Table 需要具備更好的分層和復用能力，并且支持模板化開(kāi)發(fā)，以便 N 個(gè)端到端的 Flink 作業(yè)能夠快速串聯(lián)起來(lái)。
我們的解決方案是基于 Redis 實(shí)現的，它首先有幾個(gè)優(yōu)點(diǎn)：
高qps，低延遲：這應該是所有實(shí)時(shí)計算的關(guān)注點(diǎn)；TTL：用戶(hù)無(wú)需關(guān)心數據如何退出，可以給出合理的TTL；通過(guò)使用protobuf等高性能緊湊的序列化方式，使用TTL，整體存儲小于200G，redis的內存壓力可以接受；適合計算模型：為了保證計算本身的時(shí)序，會(huì )進(jìn)行keyBy操作，同時(shí)需要處理的數據會(huì )被shuffle到同一個(gè)并發(fā)，所以不依賴(lài)存儲過(guò)多考慮鎖優(yōu)化。
接下來(lái)，我們的場(chǎng)景主要是解決多索引和觸發(fā)消息的問(wèn)題。
上圖顯示了一個(gè)表格示例，顯示學(xué)生是否出現在某個(gè)章節中：
多索引：數據首先以字符串形式存儲，比如key=(uid, course_id), value=serialize(is_attend, ...)，這樣我們就可以在SQL中JOIN ON uid AND course_id。如果 JOIN ON 其他字段，比如 course_id 怎么辦？我們的做法是同時(shí)寫(xiě)一個(gè)以lesson_id為key的集合，集合中的元素是對應的（uid，lesson_id）。接下來(lái)，在找lesson_id = 123的時(shí)候，先取出集合下的所有元素，然后通過(guò)管道找到所有的VALUE并返回；觸發(fā)消息：寫(xiě)入redis后，會(huì )同時(shí)向Kafka寫(xiě)入一條更新消息。兩個(gè)存儲在 Redis Connector 的實(shí)現中都保證了一致性、順序性和不丟失數據。
這些功能都封裝在 Redis Connector 中，業(yè)務(wù)可以通過(guò) DDL 簡(jiǎn)單定義這樣的 Table。
DDL 中的幾個(gè)重要屬性：
primary 定義主鍵，對應字符串數據結構，如示例中的uid + course_id；index.fields 定義了輔助搜索的索引字段，如示例中的課程id；也可以定義多個(gè)索引；poster.kafka定義了接收觸發(fā)消息kafka表也定義在元數據中，用戶(hù)可以在后續的SQL作業(yè)中直接讀取該表而無(wú)需定義。
因此，整個(gè)開(kāi)發(fā)模式復用性高，用戶(hù)可以輕松開(kāi)發(fā)端到端的N個(gè)SQL作業(yè)，而無(wú)需擔心如何追溯案例。
三、平臺搭建
上述數據流架構搭建完成后，2020.11的實(shí)時(shí)作業(yè)數量迅速增加到幾百個(gè)，比2019年快很多。這個(gè)時(shí)候我們開(kāi)始搭建實(shí)時(shí)計算平臺從0到1，然后分享了搭建過(guò)程中的一些想法。
平臺支持的功能主要有三個(gè)起點(diǎn)：
統一：統一不同云廠(chǎng)商的不同集群環(huán)境、Flink版本、提交方式等。之前hadoop客戶(hù)端分散在用戶(hù)的提交機器上，給集群數據和任務(wù)安全帶來(lái)隱患，增加了后續集群升級和遷移的成本。我們希望通過(guò)平臺統一任務(wù)的提交入口和提交方式；易用性：平臺交互可以提供更易用的功能，比如調試、語(yǔ)義檢測等，可以提高任務(wù)測試的人為效率，記錄任務(wù)的版本歷史。方便的在線(xiàn)和回滾操作；規范：權限控制、流程審批等，類(lèi)似于線(xiàn)上服務(wù)的線(xiàn)上流程，通過(guò)平臺，實(shí)時(shí)任務(wù)的研發(fā)流程可以標準化。3.1 規范——實(shí)時(shí)任務(wù)進(jìn)程管理
FlinkSQL 讓開(kāi)發(fā)變得非常簡(jiǎn)單高效，但是越簡(jiǎn)單越難標準化，因為寫(xiě)一段 SQL 可能只需要兩個(gè)小時(shí)，但通過(guò)規范卻需要半天時(shí)間。
但是，該規范仍然需要執行。一些問(wèn)題類(lèi)似于在線(xiàn)服務(wù)，在實(shí)時(shí)計算中也遇到過(guò)：
記不清了：任務(wù)上線(xiàn)已經(jīng)一年了，最初的需求可能是口耳相傳。最好記住wiki或email，但在任務(wù)交接時(shí)容易記??；不規范：UDF或DataStream代碼 兩種方式都沒(méi)有按照規范，可讀性差，以至于后來(lái)接手的同學(xué)不能升級，或者不敢改，長(cháng)期維護不了。還應該有一個(gè)關(guān)于如何編寫(xiě)包括實(shí)時(shí)任務(wù)的 SQL 的規范；找不到：線(xiàn)上運行的任務(wù)依賴(lài)一個(gè)jar，哪個(gè)git模塊對應哪個(gè)commitId，如果有問(wèn)題如何第一時(shí)間找到對應的代碼實(shí)現；盲改：一直正常的任務(wù)，周末突然報警，
規范主要分為三個(gè)部分：
開(kāi)發(fā)：RD 可以從 UDF 原型項目快速創(chuàng )建 UDF 模塊，該項目基于 flink 快速入門(mén)。創(chuàng )建的 UDF 模塊可以正常編譯，包括 WordCount 之類(lèi)的 udf 示例，以及 ReadMe 和 VersionHelper 等默認的 helper 方法。根據業(yè)務(wù)需求修改后，通過(guò)CR上傳到Git；需求管理和編譯：提交的代碼會(huì )與需求卡片關(guān)聯(lián)，集群編譯和QA測試后，可以在線(xiàn)下單；在線(xiàn)：根據模塊和編譯輸出，選擇更新/被job owner或leader批準后創(chuàng )建和重新部署哪些job。
整個(gè)研發(fā)過(guò)程不能離線(xiàn)修改，比如更改jar包或者對哪個(gè)任務(wù)生效。一個(gè)實(shí)時(shí)任務(wù)，即使運行幾年，也能查到誰(shuí)在線(xiàn)，誰(shuí)批準了當前任務(wù)，當時(shí)的測試記錄，對應的Git代碼，提出的實(shí)時(shí)指標要求由誰(shuí)開(kāi)始。任務(wù)維持很長(cháng)時(shí)間。
3.2 易用性 - 監控
我們當前的 Flink 作業(yè)在 Yarn 上運行。作業(yè)啟動(dòng)后，預計 Prometheus 會(huì )抓取 Yarn 分配的 Container，然后連接到報警系統。用戶(hù)可以根據告警系統配置Kafka延遲告警和Checkpoint故障告警。構建此路徑時(shí)遇到兩個(gè)主要問(wèn)題：
PrometheusReporter啟動(dòng)HTTPServer后，Prometheus如何動(dòng)態(tài)感知；它還需要能夠控制度量的大小，以避免采集大量無(wú)用數據；我們的 SQL 源表基本上是基于 Kafka 的。相比第三方工具，在計算平臺上配置Kafka延遲告警更方便。因為自然可以得到任務(wù)讀取的topic和group.id，所以也可以和任務(wù)失敗使用同一個(gè)告警組。結合告警模板，配置告警非常簡(jiǎn)單。
關(guān)于解決方案：
發(fā)現功能是在官方PrometheusReporter的基礎上增加的。Container 的 HTTPServer 啟動(dòng)后，對應的 ip:port 以臨時(shí)節點(diǎn)的形式注冊到 zk 上，然后使用 Prometheus 的 discover 目標來(lái)監控 zk 節點(diǎn)的變化。由于是臨時(shí)節點(diǎn)，當 Container 被銷(xiāo)毀時(shí)，該節點(diǎn)就消失了，Prometheus 也能感應到它不再被抓取。這樣一來(lái)，就很容易為普羅米修斯搭建一條搶奪的路徑。KafkaConsumer.records-lag 是一個(gè)比較實(shí)用和重要的延遲指標，它主要做了兩個(gè)任務(wù)。修改 KafkaConnector 并在 KafkaConsumer.poll 之后將其公開(kāi)，以確保 records-lag 指示器可見(jiàn)。此外，在這樣做的過(guò)程中，我們發(fā)現不同Kafka版本的metric格式是不同的()。我們的方法是將它們扁平化為一種格式，并將它們注冊到 flink 的指標中。這樣不同版本暴露的指標是一致的。四、總結與展望
上一階段使用 Flink SQL 來(lái)支持實(shí)時(shí)作業(yè)的快速開(kāi)發(fā)，搭建了實(shí)時(shí)計算平臺來(lái)支持數千個(gè) Flink 作業(yè)。
更大的見(jiàn)解之一是 SQL 確實(shí)簡(jiǎn)化了開(kāi)發(fā)，但它也阻止了更多的技術(shù)細節。對實(shí)時(shí)作業(yè)運維工具的要求，比如 Trace，或者任務(wù)的規范沒(méi)有改變，對這些的要求更加嚴格。因為在細節被屏蔽的同時(shí)，一旦出現問(wèn)題，用戶(hù)不知道如何處理。就像冰山一角，漏水越少，下沉越多，越需要做好周邊系統的建設。
二是適應現狀。一是能盡快滿(mǎn)足當前的需求。比如，我們正在提高人的效率，降低發(fā)展門(mén)檻。同時(shí)還要繼續探索更多的業(yè)務(wù)場(chǎng)景，比如用HBase和RPC服務(wù)代替Redis Connector?，F在的好處是修改了底層存儲，用戶(hù)對SQL作業(yè)的感知很小，因為SQL作業(yè)基本都是業(yè)務(wù)邏輯，DDL定義了元數據。
接下來(lái)的計劃主要分為三個(gè)部分：
支持資源彈性伸縮，平衡實(shí)時(shí)作業(yè)的成本和時(shí)效；我們從 1.9 開(kāi)始大規模應用 Flink SQL，現在版本升級變化很大，需要考慮如何讓業(yè)務(wù)能夠低成本升級和使用新版本。版本中的功能；探索流批融合在實(shí)際業(yè)務(wù)場(chǎng)景中的實(shí)現。
FFA 2021 現場(chǎng)重播和演講 PDF 下載
更多Flink相關(guān)技術(shù)問(wèn)題，可以?huà)叽a加入社區釘釘交流群 查看全部
摘要：本文組織了 Homework Group 實(shí)時(shí)計算負責人張穎在 Flink Forward Asia 2021 上的分享。Flink 在 Homework 實(shí)時(shí)計算的演進(jìn)中發(fā)揮了重要作用。尤其是在 FlinkSQL 的幫助下，實(shí)時(shí)任務(wù)的開(kāi)發(fā)效率得到了極大的提升。本文文章主要分享FlinkSQL在作業(yè)幫助中的使用和實(shí)踐經(jīng)驗，以及隨著(zhù)任務(wù)規模的增加，從0到1搭建實(shí)時(shí)計算平臺過(guò)程中遇到的問(wèn)題和解決方法. 內容包括：
發(fā)展歷程 Flink SQL 應用實(shí)踐平臺建設總結與展望
FFA 2021 現場(chǎng)重播和演講 PDF 下載
一、發(fā)展歷程
Homework Help主要利用人工智能、大數據等技術(shù)為學(xué)生提供更高效的學(xué)習解決方案。因此，業(yè)務(wù)數據主要包括學(xué)生的出勤率和知識點(diǎn)的掌握情況。在整體架構中，無(wú)論是binlog還是普通日志，都是在采集之后寫(xiě)入Kafka，分別通過(guò)實(shí)時(shí)和離線(xiàn)計算寫(xiě)入存儲層?；贠LAP，對外提供相應的產(chǎn)品化服務(wù)，如工作臺、BI分析等。工具。
目前 Homework Help 的實(shí)時(shí)計算主要基于 Flink，開(kāi)發(fā)過(guò)程分為三個(gè)階段：
2019 年實(shí)時(shí)計算包括少量 SparkStreaming 作業(yè)，提供給導師和講師。在解決實(shí)時(shí)性需求的過(guò)程中，會(huì )發(fā)現開(kāi)發(fā)效率很低，數據很難復用；之后，常規的做法是在生產(chǎn)實(shí)踐中逐步應用 Flink JAR，積累經(jīng)驗后開(kāi)始搭建平臺，應用 Flink SQL。但是，20年來(lái)，業(yè)務(wù)提出了很多實(shí)時(shí)計算的需求，我們的開(kāi)發(fā)人力儲備不足。當時(shí)，在 Flink SQL 1.9 發(fā)布后不久，SQL 功能發(fā)生了很大變化，所以我們的做法是直接將 Flink SQL 應用到實(shí)時(shí)數倉方向?，F在，整個(gè)實(shí)時(shí)數倉90%以上的任務(wù)都是使用Flink SQL實(shí)現的。; 到了 2020 年 11 月，Flink 的 Job 數量迅速增加到數百個(gè)，我們開(kāi)始構建從 0 到 1 的實(shí)時(shí)計算平臺，已經(jīng)支撐了公司所有重要業(yè)務(wù)線(xiàn)，并且計算部署在多個(gè)集群上在多云中。
介紹以下兩個(gè)方面：
FlinkSQL實(shí)踐中遇到的典型問(wèn)題及解決方案；搭建實(shí)時(shí)計算平臺過(guò)程中的一些思考。二、Flink SQL 應用實(shí)踐
下面是基于 Flink SQL 的完整數據流架構：
binlog/log 采集 寫(xiě)入 Kafka 后，topic 會(huì )自動(dòng)注冊為元數據表，這是后續所有實(shí)時(shí) SQL 作業(yè)的起點(diǎn)。用戶(hù)可以在 SQL 作業(yè)中使用此表，而無(wú)需定義復雜的 DDL。
同時(shí)，在考慮實(shí)際應用時(shí)，還需要根據元數據表添加或替換表屬性：
新增：元數據記錄表級屬性，但 SQL 作業(yè)可能需要添加任務(wù)級屬性。比如對于Kafka源表，添加job的group.id來(lái)記錄offset；替換：離線(xiàn)測試時(shí)，在引用元數據表的基礎上，只需要定義broker topic等屬性覆蓋源表，即可快速構建一行。測試表格如下。
框架還需要支持用戶(hù)的SQL作業(yè)，方便輸出指標和日志，實(shí)現全鏈路監控和跟蹤。
這里主要介紹SQL添加Trace函數時(shí)的DAG優(yōu)化實(shí)踐，以及我們對Table底層物理存儲的選擇和封裝。
2.1 SQL 添加 Trace 功能
SQL可以提高開(kāi)發(fā)效率，但是業(yè)務(wù)邏輯的復雜度還是有的，復雜的業(yè)務(wù)邏輯寫(xiě)的DML會(huì )很長(cháng)。在這種情況下，建議使用視圖來(lái)提高可讀性。因為視圖的 SQL 比較短，所以不應該像代碼規范中的單個(gè)函數那樣太長(cháng)。
下圖左側是一個(gè)示例任務(wù)的部分DAG，可以看到有很多SQL節點(diǎn)。這種情況下很難定位，因為如果是DataStream API實(shí)現的代碼，也可以加日志。但是 SQL 做不到。用戶(hù)可以干預的入口很少，只能看到整個(gè)作業(yè)的輸入輸出。
類(lèi)似于在函數中打印日志，我們希望支持在視圖中添加 Trace，以方便案例追蹤。
但是我在嘗試將 Trace 添加到 SQL 時(shí)遇到了一些問(wèn)題，這是一個(gè)簡(jiǎn)化的示例：
右上角的SQL創(chuàng )建source_table為源表，prepare_data視圖讀取表，在sql中調用foo udf，然后使用StatementSet分別插入兩個(gè)下游，同時(shí)將視圖轉換為DataStream調用 TraceSDK 寫(xiě)入跟蹤系統。
注意：我們當時(shí)是基于 1.9 開(kāi)發(fā)的。為了清楚起見(jiàn)，我們還使用了一些后來(lái)添加的功能。
上圖下方的實(shí)際 DAG 看起來(lái)并不像預期的那樣：
DAG分為上下不相關(guān)的兩部分。Kafka源表是DataSource部分，讀取兩次；foo 方法被調用了 3 次。
數據源壓力和計算性能需要優(yōu)化。
為了解決這個(gè)問(wèn)題，我們需要從幾個(gè)角度進(jìn)行優(yōu)化。這里主要介紹DAG合并的思想。無(wú)論是table還是stream的env，都會(huì )產(chǎn)生相應的transformation。我們的做法是統一合并到stream env中，這樣就可以在stream env中得到一個(gè)完整的變換列表，然后生成StreamGraph提交。
左下角是我們優(yōu)化的 DAG，讀取源表并只調用一次 foo 方法：
優(yōu)化后的 DAG 效果與我們寫(xiě) SQL 時(shí)的邏輯圖非常相似，性能自然符合預期。
回到問(wèn)題本身，業(yè)務(wù)可以簡(jiǎn)單地用一條語(yǔ)句給視圖的某些字段添加trace，例如：prepare_data.trace.fields=f0,f1. 由于SQL自然收錄字段名，所以trace數據的可讀性甚至高于普通原木。
2.2 表的選擇與設計
如前所述，我們的首要要求是提高人的效率。因此，Table 需要具備更好的分層和復用能力，并且支持模板化開(kāi)發(fā)，以便 N 個(gè)端到端的 Flink 作業(yè)能夠快速串聯(lián)起來(lái)。
我們的解決方案是基于 Redis 實(shí)現的，它首先有幾個(gè)優(yōu)點(diǎn)：
高qps，低延遲：這應該是所有實(shí)時(shí)計算的關(guān)注點(diǎn)；TTL：用戶(hù)無(wú)需關(guān)心數據如何退出，可以給出合理的TTL；通過(guò)使用protobuf等高性能緊湊的序列化方式，使用TTL，整體存儲小于200G，redis的內存壓力可以接受；適合計算模型：為了保證計算本身的時(shí)序，會(huì )進(jìn)行keyBy操作，同時(shí)需要處理的數據會(huì )被shuffle到同一個(gè)并發(fā)，所以不依賴(lài)存儲過(guò)多考慮鎖優(yōu)化。
接下來(lái)，我們的場(chǎng)景主要是解決多索引和觸發(fā)消息的問(wèn)題。
上圖顯示了一個(gè)表格示例，顯示學(xué)生是否出現在某個(gè)章節中：
多索引：數據首先以字符串形式存儲，比如key=(uid, course_id), value=serialize(is_attend, ...)，這樣我們就可以在SQL中JOIN ON uid AND course_id。如果 JOIN ON 其他字段，比如 course_id 怎么辦？我們的做法是同時(shí)寫(xiě)一個(gè)以lesson_id為key的集合，集合中的元素是對應的（uid，lesson_id）。接下來(lái)，在找lesson_id = 123的時(shí)候，先取出集合下的所有元素，然后通過(guò)管道找到所有的VALUE并返回；觸發(fā)消息：寫(xiě)入redis后，會(huì )同時(shí)向Kafka寫(xiě)入一條更新消息。兩個(gè)存儲在 Redis Connector 的實(shí)現中都保證了一致性、順序性和不丟失數據。
這些功能都封裝在 Redis Connector 中，業(yè)務(wù)可以通過(guò) DDL 簡(jiǎn)單定義這樣的 Table。
DDL 中的幾個(gè)重要屬性：
primary 定義主鍵，對應字符串數據結構，如示例中的uid + course_id；index.fields 定義了輔助搜索的索引字段，如示例中的課程id；也可以定義多個(gè)索引；poster.kafka定義了接收觸發(fā)消息kafka表也定義在元數據中，用戶(hù)可以在后續的SQL作業(yè)中直接讀取該表而無(wú)需定義。
因此，整個(gè)開(kāi)發(fā)模式復用性高，用戶(hù)可以輕松開(kāi)發(fā)端到端的N個(gè)SQL作業(yè)，而無(wú)需擔心如何追溯案例。
三、平臺搭建
上述數據流架構搭建完成后，2020.11的實(shí)時(shí)作業(yè)數量迅速增加到幾百個(gè)，比2019年快很多。這個(gè)時(shí)候我們開(kāi)始搭建實(shí)時(shí)計算平臺從0到1，然后分享了搭建過(guò)程中的一些想法。
平臺支持的功能主要有三個(gè)起點(diǎn)：
統一：統一不同云廠(chǎng)商的不同集群環(huán)境、Flink版本、提交方式等。之前hadoop客戶(hù)端分散在用戶(hù)的提交機器上，給集群數據和任務(wù)安全帶來(lái)隱患，增加了后續集群升級和遷移的成本。我們希望通過(guò)平臺統一任務(wù)的提交入口和提交方式；易用性：平臺交互可以提供更易用的功能，比如調試、語(yǔ)義檢測等，可以提高任務(wù)測試的人為效率，記錄任務(wù)的版本歷史。方便的在線(xiàn)和回滾操作；規范：權限控制、流程審批等，類(lèi)似于線(xiàn)上服務(wù)的線(xiàn)上流程，通過(guò)平臺，實(shí)時(shí)任務(wù)的研發(fā)流程可以標準化。3.1 規范——實(shí)時(shí)任務(wù)進(jìn)程管理
FlinkSQL 讓開(kāi)發(fā)變得非常簡(jiǎn)單高效，但是越簡(jiǎn)單越難標準化，因為寫(xiě)一段 SQL 可能只需要兩個(gè)小時(shí)，但通過(guò)規范卻需要半天時(shí)間。
但是，該規范仍然需要執行。一些問(wèn)題類(lèi)似于在線(xiàn)服務(wù)，在實(shí)時(shí)計算中也遇到過(guò)：
記不清了：任務(wù)上線(xiàn)已經(jīng)一年了，最初的需求可能是口耳相傳。最好記住wiki或email，但在任務(wù)交接時(shí)容易記??；不規范：UDF或DataStream代碼 兩種方式都沒(méi)有按照規范，可讀性差，以至于后來(lái)接手的同學(xué)不能升級，或者不敢改，長(cháng)期維護不了。還應該有一個(gè)關(guān)于如何編寫(xiě)包括實(shí)時(shí)任務(wù)的 SQL 的規范；找不到：線(xiàn)上運行的任務(wù)依賴(lài)一個(gè)jar，哪個(gè)git模塊對應哪個(gè)commitId，如果有問(wèn)題如何第一時(shí)間找到對應的代碼實(shí)現；盲改：一直正常的任務(wù)，周末突然報警，
規范主要分為三個(gè)部分：
開(kāi)發(fā)：RD 可以從 UDF 原型項目快速創(chuàng )建 UDF 模塊，該項目基于 flink 快速入門(mén)。創(chuàng )建的 UDF 模塊可以正常編譯，包括 WordCount 之類(lèi)的 udf 示例，以及 ReadMe 和 VersionHelper 等默認的 helper 方法。根據業(yè)務(wù)需求修改后，通過(guò)CR上傳到Git；需求管理和編譯：提交的代碼會(huì )與需求卡片關(guān)聯(lián)，集群編譯和QA測試后，可以在線(xiàn)下單；在線(xiàn)：根據模塊和編譯輸出，選擇更新/被job owner或leader批準后創(chuàng )建和重新部署哪些job。
整個(gè)研發(fā)過(guò)程不能離線(xiàn)修改，比如更改jar包或者對哪個(gè)任務(wù)生效。一個(gè)實(shí)時(shí)任務(wù)，即使運行幾年，也能查到誰(shuí)在線(xiàn)，誰(shuí)批準了當前任務(wù)，當時(shí)的測試記錄，對應的Git代碼，提出的實(shí)時(shí)指標要求由誰(shuí)開(kāi)始。任務(wù)維持很長(cháng)時(shí)間。
3.2 易用性 - 監控
我們當前的 Flink 作業(yè)在 Yarn 上運行。作業(yè)啟動(dòng)后，預計 Prometheus 會(huì )抓取 Yarn 分配的 Container，然后連接到報警系統。用戶(hù)可以根據告警系統配置Kafka延遲告警和Checkpoint故障告警。構建此路徑時(shí)遇到兩個(gè)主要問(wèn)題：
PrometheusReporter啟動(dòng)HTTPServer后，Prometheus如何動(dòng)態(tài)感知；它還需要能夠控制度量的大小，以避免采集大量無(wú)用數據；我們的 SQL 源表基本上是基于 Kafka 的。相比第三方工具，在計算平臺上配置Kafka延遲告警更方便。因為自然可以得到任務(wù)讀取的topic和group.id，所以也可以和任務(wù)失敗使用同一個(gè)告警組。結合告警模板，配置告警非常簡(jiǎn)單。
關(guān)于解決方案：
發(fā)現功能是在官方PrometheusReporter的基礎上增加的。Container 的 HTTPServer 啟動(dòng)后，對應的 ip:port 以臨時(shí)節點(diǎn)的形式注冊到 zk 上，然后使用 Prometheus 的 discover 目標來(lái)監控 zk 節點(diǎn)的變化。由于是臨時(shí)節點(diǎn)，當 Container 被銷(xiāo)毀時(shí)，該節點(diǎn)就消失了，Prometheus 也能感應到它不再被抓取。這樣一來(lái)，就很容易為普羅米修斯搭建一條搶奪的路徑。KafkaConsumer.records-lag 是一個(gè)比較實(shí)用和重要的延遲指標，它主要做了兩個(gè)任務(wù)。修改 KafkaConnector 并在 KafkaConsumer.poll 之后將其公開(kāi)，以確保 records-lag 指示器可見(jiàn)。此外，在這樣做的過(guò)程中，我們發(fā)現不同Kafka版本的metric格式是不同的()。我們的方法是將它們扁平化為一種格式，并將它們注冊到 flink 的指標中。這樣不同版本暴露的指標是一致的。四、總結與展望
上一階段使用 Flink SQL 來(lái)支持實(shí)時(shí)作業(yè)的快速開(kāi)發(fā)，搭建了實(shí)時(shí)計算平臺來(lái)支持數千個(gè) Flink 作業(yè)。
更大的見(jiàn)解之一是 SQL 確實(shí)簡(jiǎn)化了開(kāi)發(fā)，但它也阻止了更多的技術(shù)細節。對實(shí)時(shí)作業(yè)運維工具的要求，比如 Trace，或者任務(wù)的規范沒(méi)有改變，對這些的要求更加嚴格。因為在細節被屏蔽的同時(shí)，一旦出現問(wèn)題，用戶(hù)不知道如何處理。就像冰山一角，漏水越少，下沉越多，越需要做好周邊系統的建設。
二是適應現狀。一是能盡快滿(mǎn)足當前的需求。比如，我們正在提高人的效率，降低發(fā)展門(mén)檻。同時(shí)還要繼續探索更多的業(yè)務(wù)場(chǎng)景，比如用HBase和RPC服務(wù)代替Redis Connector?，F在的好處是修改了底層存儲，用戶(hù)對SQL作業(yè)的感知很小，因為SQL作業(yè)基本都是業(yè)務(wù)邏輯，DDL定義了元數據。
接下來(lái)的計劃主要分為三個(gè)部分：
支持資源彈性伸縮，平衡實(shí)時(shí)作業(yè)的成本和時(shí)效；我們從 1.9 開(kāi)始大規模應用 Flink SQL，現在版本升級變化很大，需要考慮如何讓業(yè)務(wù)能夠低成本升級和使用新版本。版本中的功能；探索流批融合在實(shí)際業(yè)務(wù)場(chǎng)景中的實(shí)現。
FFA 2021 現場(chǎng)重播和演講 PDF 下載
更多Flink相關(guān)技術(shù)問(wèn)題，可以?huà)叽a加入社區釘釘交流群 查看全部
實(shí)時(shí)文章采集(發(fā)展歷程FlinkSQL應用實(shí)踐平臺建設總結展望(組圖))
摘要：本文組織了 Homework Group 實(shí)時(shí)計算負責人張穎在 Flink Forward Asia 2021 上的分享。Flink 在 Homework 實(shí)時(shí)計算的演進(jìn)中發(fā)揮了重要作用。尤其是在 FlinkSQL 的幫助下，實(shí)時(shí)任務(wù)的開(kāi)發(fā)效率得到了極大的提升。本文文章主要分享FlinkSQL在作業(yè)幫助中的使用和實(shí)踐經(jīng)驗，以及隨著(zhù)任務(wù)規模的增加，從0到1搭建實(shí)時(shí)計算平臺過(guò)程中遇到的問(wèn)題和解決方法. 內容包括：
發(fā)展歷程 Flink SQL 應用實(shí)踐平臺建設總結與展望
FFA 2021 現場(chǎng)重播和演講 PDF 下載
一、發(fā)展歷程
Homework Help主要利用人工智能、大數據等技術(shù)為學(xué)生提供更高效的學(xué)習解決方案。因此，業(yè)務(wù)數據主要包括學(xué)生的出勤率和知識點(diǎn)的掌握情況。在整體架構中，無(wú)論是binlog還是普通日志，都是在采集之后寫(xiě)入Kafka，分別通過(guò)實(shí)時(shí)和離線(xiàn)計算寫(xiě)入存儲層?；贠LAP，對外提供相應的產(chǎn)品化服務(wù)，如工作臺、BI分析等。工具。
目前 Homework Help 的實(shí)時(shí)計算主要基于 Flink，開(kāi)發(fā)過(guò)程分為三個(gè)階段：
2019 年實(shí)時(shí)計算包括少量 SparkStreaming 作業(yè)，提供給導師和講師。在解決實(shí)時(shí)性需求的過(guò)程中，會(huì )發(fā)現開(kāi)發(fā)效率很低，數據很難復用；之后，常規的做法是在生產(chǎn)實(shí)踐中逐步應用 Flink JAR，積累經(jīng)驗后開(kāi)始搭建平臺，應用 Flink SQL。但是，20年來(lái)，業(yè)務(wù)提出了很多實(shí)時(shí)計算的需求，我們的開(kāi)發(fā)人力儲備不足。當時(shí)，在 Flink SQL 1.9 發(fā)布后不久，SQL 功能發(fā)生了很大變化，所以我們的做法是直接將 Flink SQL 應用到實(shí)時(shí)數倉方向?，F在，整個(gè)實(shí)時(shí)數倉90%以上的任務(wù)都是使用Flink SQL實(shí)現的。; 到了 2020 年 11 月，Flink 的 Job 數量迅速增加到數百個(gè)，我們開(kāi)始構建從 0 到 1 的實(shí)時(shí)計算平臺，已經(jīng)支撐了公司所有重要業(yè)務(wù)線(xiàn)，并且計算部署在多個(gè)集群上在多云中。
介紹以下兩個(gè)方面：
FlinkSQL實(shí)踐中遇到的典型問(wèn)題及解決方案；搭建實(shí)時(shí)計算平臺過(guò)程中的一些思考。二、Flink SQL 應用實(shí)踐
下面是基于 Flink SQL 的完整數據流架構：
binlog/log 采集 寫(xiě)入 Kafka 后，topic 會(huì )自動(dòng)注冊為元數據表，這是后續所有實(shí)時(shí) SQL 作業(yè)的起點(diǎn)。用戶(hù)可以在 SQL 作業(yè)中使用此表，而無(wú)需定義復雜的 DDL。
同時(shí)，在考慮實(shí)際應用時(shí)，還需要根據元數據表添加或替換表屬性：
新增：元數據記錄表級屬性，但 SQL 作業(yè)可能需要添加任務(wù)級屬性。比如對于Kafka源表，添加job的group.id來(lái)記錄offset；替換：離線(xiàn)測試時(shí)，在引用元數據表的基礎上，只需要定義broker topic等屬性覆蓋源表，即可快速構建一行。測試表格如下。
框架還需要支持用戶(hù)的SQL作業(yè)，方便輸出指標和日志，實(shí)現全鏈路監控和跟蹤。
這里主要介紹SQL添加Trace函數時(shí)的DAG優(yōu)化實(shí)踐，以及我們對Table底層物理存儲的選擇和封裝。
2.1 SQL 添加 Trace 功能
SQL可以提高開(kāi)發(fā)效率，但是業(yè)務(wù)邏輯的復雜度還是有的，復雜的業(yè)務(wù)邏輯寫(xiě)的DML會(huì )很長(cháng)。在這種情況下，建議使用視圖來(lái)提高可讀性。因為視圖的 SQL 比較短，所以不應該像代碼規范中的單個(gè)函數那樣太長(cháng)。
下圖左側是一個(gè)示例任務(wù)的部分DAG，可以看到有很多SQL節點(diǎn)。這種情況下很難定位，因為如果是DataStream API實(shí)現的代碼，也可以加日志。但是 SQL 做不到。用戶(hù)可以干預的入口很少，只能看到整個(gè)作業(yè)的輸入輸出。
類(lèi)似于在函數中打印日志，我們希望支持在視圖中添加 Trace，以方便案例追蹤。
但是我在嘗試將 Trace 添加到 SQL 時(shí)遇到了一些問(wèn)題，這是一個(gè)簡(jiǎn)化的示例：
右上角的SQL創(chuàng )建source_table為源表，prepare_data視圖讀取表，在sql中調用foo udf，然后使用StatementSet分別插入兩個(gè)下游，同時(shí)將視圖轉換為DataStream調用 TraceSDK 寫(xiě)入跟蹤系統。
注意：我們當時(shí)是基于 1.9 開(kāi)發(fā)的。為了清楚起見(jiàn)，我們還使用了一些后來(lái)添加的功能。
上圖下方的實(shí)際 DAG 看起來(lái)并不像預期的那樣：
DAG分為上下不相關(guān)的兩部分。Kafka源表是DataSource部分，讀取兩次；foo 方法被調用了 3 次。
數據源壓力和計算性能需要優(yōu)化。
為了解決這個(gè)問(wèn)題，我們需要從幾個(gè)角度進(jìn)行優(yōu)化。這里主要介紹DAG合并的思想。無(wú)論是table還是stream的env，都會(huì )產(chǎn)生相應的transformation。我們的做法是統一合并到stream env中，這樣就可以在stream env中得到一個(gè)完整的變換列表，然后生成StreamGraph提交。
左下角是我們優(yōu)化的 DAG，讀取源表并只調用一次 foo 方法：
優(yōu)化后的 DAG 效果與我們寫(xiě) SQL 時(shí)的邏輯圖非常相似，性能自然符合預期。
回到問(wèn)題本身，業(yè)務(wù)可以簡(jiǎn)單地用一條語(yǔ)句給視圖的某些字段添加trace，例如：prepare_data.trace.fields=f0,f1. 由于SQL自然收錄字段名，所以trace數據的可讀性甚至高于普通原木。
2.2 表的選擇與設計
如前所述，我們的首要要求是提高人的效率。因此，Table 需要具備更好的分層和復用能力，并且支持模板化開(kāi)發(fā)，以便 N 個(gè)端到端的 Flink 作業(yè)能夠快速串聯(lián)起來(lái)。
我們的解決方案是基于 Redis 實(shí)現的，它首先有幾個(gè)優(yōu)點(diǎn)：
高qps，低延遲：這應該是所有實(shí)時(shí)計算的關(guān)注點(diǎn)；TTL：用戶(hù)無(wú)需關(guān)心數據如何退出，可以給出合理的TTL；通過(guò)使用protobuf等高性能緊湊的序列化方式，使用TTL，整體存儲小于200G，redis的內存壓力可以接受；適合計算模型：為了保證計算本身的時(shí)序，會(huì )進(jìn)行keyBy操作，同時(shí)需要處理的數據會(huì )被shuffle到同一個(gè)并發(fā)，所以不依賴(lài)存儲過(guò)多考慮鎖優(yōu)化。
接下來(lái)，我們的場(chǎng)景主要是解決多索引和觸發(fā)消息的問(wèn)題。
上圖顯示了一個(gè)表格示例，顯示學(xué)生是否出現在某個(gè)章節中：
多索引：數據首先以字符串形式存儲，比如key=(uid, course_id), value=serialize(is_attend, ...)，這樣我們就可以在SQL中JOIN ON uid AND course_id。如果 JOIN ON 其他字段，比如 course_id 怎么辦？我們的做法是同時(shí)寫(xiě)一個(gè)以lesson_id為key的集合，集合中的元素是對應的（uid，lesson_id）。接下來(lái)，在找lesson_id = 123的時(shí)候，先取出集合下的所有元素，然后通過(guò)管道找到所有的VALUE并返回；觸發(fā)消息：寫(xiě)入redis后，會(huì )同時(shí)向Kafka寫(xiě)入一條更新消息。兩個(gè)存儲在 Redis Connector 的實(shí)現中都保證了一致性、順序性和不丟失數據。
這些功能都封裝在 Redis Connector 中，業(yè)務(wù)可以通過(guò) DDL 簡(jiǎn)單定義這樣的 Table。
DDL 中的幾個(gè)重要屬性：
primary 定義主鍵，對應字符串數據結構，如示例中的uid + course_id；index.fields 定義了輔助搜索的索引字段，如示例中的課程id；也可以定義多個(gè)索引；poster.kafka定義了接收觸發(fā)消息kafka表也定義在元數據中，用戶(hù)可以在后續的SQL作業(yè)中直接讀取該表而無(wú)需定義。
因此，整個(gè)開(kāi)發(fā)模式復用性高，用戶(hù)可以輕松開(kāi)發(fā)端到端的N個(gè)SQL作業(yè)，而無(wú)需擔心如何追溯案例。
三、平臺搭建
上述數據流架構搭建完成后，2020.11的實(shí)時(shí)作業(yè)數量迅速增加到幾百個(gè)，比2019年快很多。這個(gè)時(shí)候我們開(kāi)始搭建實(shí)時(shí)計算平臺從0到1，然后分享了搭建過(guò)程中的一些想法。
平臺支持的功能主要有三個(gè)起點(diǎn)：
統一：統一不同云廠(chǎng)商的不同集群環(huán)境、Flink版本、提交方式等。之前hadoop客戶(hù)端分散在用戶(hù)的提交機器上，給集群數據和任務(wù)安全帶來(lái)隱患，增加了后續集群升級和遷移的成本。我們希望通過(guò)平臺統一任務(wù)的提交入口和提交方式；易用性：平臺交互可以提供更易用的功能，比如調試、語(yǔ)義檢測等，可以提高任務(wù)測試的人為效率，記錄任務(wù)的版本歷史。方便的在線(xiàn)和回滾操作；規范：權限控制、流程審批等，類(lèi)似于線(xiàn)上服務(wù)的線(xiàn)上流程，通過(guò)平臺，實(shí)時(shí)任務(wù)的研發(fā)流程可以標準化。3.1 規范——實(shí)時(shí)任務(wù)進(jìn)程管理
FlinkSQL 讓開(kāi)發(fā)變得非常簡(jiǎn)單高效，但是越簡(jiǎn)單越難標準化，因為寫(xiě)一段 SQL 可能只需要兩個(gè)小時(shí)，但通過(guò)規范卻需要半天時(shí)間。
但是，該規范仍然需要執行。一些問(wèn)題類(lèi)似于在線(xiàn)服務(wù)，在實(shí)時(shí)計算中也遇到過(guò)：
記不清了：任務(wù)上線(xiàn)已經(jīng)一年了，最初的需求可能是口耳相傳。最好記住wiki或email，但在任務(wù)交接時(shí)容易記??；不規范：UDF或DataStream代碼 兩種方式都沒(méi)有按照規范，可讀性差，以至于后來(lái)接手的同學(xué)不能升級，或者不敢改，長(cháng)期維護不了。還應該有一個(gè)關(guān)于如何編寫(xiě)包括實(shí)時(shí)任務(wù)的 SQL 的規范；找不到：線(xiàn)上運行的任務(wù)依賴(lài)一個(gè)jar，哪個(gè)git模塊對應哪個(gè)commitId，如果有問(wèn)題如何第一時(shí)間找到對應的代碼實(shí)現；盲改：一直正常的任務(wù)，周末突然報警，
規范主要分為三個(gè)部分：
開(kāi)發(fā)：RD 可以從 UDF 原型項目快速創(chuàng )建 UDF 模塊，該項目基于 flink 快速入門(mén)。創(chuàng )建的 UDF 模塊可以正常編譯，包括 WordCount 之類(lèi)的 udf 示例，以及 ReadMe 和 VersionHelper 等默認的 helper 方法。根據業(yè)務(wù)需求修改后，通過(guò)CR上傳到Git；需求管理和編譯：提交的代碼會(huì )與需求卡片關(guān)聯(lián)，集群編譯和QA測試后，可以在線(xiàn)下單；在線(xiàn)：根據模塊和編譯輸出，選擇更新/被job owner或leader批準后創(chuàng )建和重新部署哪些job。
整個(gè)研發(fā)過(guò)程不能離線(xiàn)修改，比如更改jar包或者對哪個(gè)任務(wù)生效。一個(gè)實(shí)時(shí)任務(wù)，即使運行幾年，也能查到誰(shuí)在線(xiàn)，誰(shuí)批準了當前任務(wù)，當時(shí)的測試記錄，對應的Git代碼，提出的實(shí)時(shí)指標要求由誰(shuí)開(kāi)始。任務(wù)維持很長(cháng)時(shí)間。
3.2 易用性 - 監控
我們當前的 Flink 作業(yè)在 Yarn 上運行。作業(yè)啟動(dòng)后，預計 Prometheus 會(huì )抓取 Yarn 分配的 Container，然后連接到報警系統。用戶(hù)可以根據告警系統配置Kafka延遲告警和Checkpoint故障告警。構建此路徑時(shí)遇到兩個(gè)主要問(wèn)題：
PrometheusReporter啟動(dòng)HTTPServer后，Prometheus如何動(dòng)態(tài)感知；它還需要能夠控制度量的大小，以避免采集大量無(wú)用數據；我們的 SQL 源表基本上是基于 Kafka 的。相比第三方工具，在計算平臺上配置Kafka延遲告警更方便。因為自然可以得到任務(wù)讀取的topic和group.id，所以也可以和任務(wù)失敗使用同一個(gè)告警組。結合告警模板，配置告警非常簡(jiǎn)單。
關(guān)于解決方案：
發(fā)現功能是在官方PrometheusReporter的基礎上增加的。Container 的 HTTPServer 啟動(dòng)后，對應的 ip:port 以臨時(shí)節點(diǎn)的形式注冊到 zk 上，然后使用 Prometheus 的 discover 目標來(lái)監控 zk 節點(diǎn)的變化。由于是臨時(shí)節點(diǎn)，當 Container 被銷(xiāo)毀時(shí)，該節點(diǎn)就消失了，Prometheus 也能感應到它不再被抓取。這樣一來(lái)，就很容易為普羅米修斯搭建一條搶奪的路徑。KafkaConsumer.records-lag 是一個(gè)比較實(shí)用和重要的延遲指標，它主要做了兩個(gè)任務(wù)。修改 KafkaConnector 并在 KafkaConsumer.poll 之后將其公開(kāi)，以確保 records-lag 指示器可見(jiàn)。此外，在這樣做的過(guò)程中，我們發(fā)現不同Kafka版本的metric格式是不同的()。我們的方法是將它們扁平化為一種格式，并將它們注冊到 flink 的指標中。這樣不同版本暴露的指標是一致的。四、總結與展望
上一階段使用 Flink SQL 來(lái)支持實(shí)時(shí)作業(yè)的快速開(kāi)發(fā)，搭建了實(shí)時(shí)計算平臺來(lái)支持數千個(gè) Flink 作業(yè)。
更大的見(jiàn)解之一是 SQL 確實(shí)簡(jiǎn)化了開(kāi)發(fā)，但它也阻止了更多的技術(shù)細節。對實(shí)時(shí)作業(yè)運維工具的要求，比如 Trace，或者任務(wù)的規范沒(méi)有改變，對這些的要求更加嚴格。因為在細節被屏蔽的同時(shí)，一旦出現問(wèn)題，用戶(hù)不知道如何處理。就像冰山一角，漏水越少，下沉越多，越需要做好周邊系統的建設。
二是適應現狀。一是能盡快滿(mǎn)足當前的需求。比如，我們正在提高人的效率，降低發(fā)展門(mén)檻。同時(shí)還要繼續探索更多的業(yè)務(wù)場(chǎng)景，比如用HBase和RPC服務(wù)代替Redis Connector?，F在的好處是修改了底層存儲，用戶(hù)對SQL作業(yè)的感知很小，因為SQL作業(yè)基本都是業(yè)務(wù)邏輯，DDL定義了元數據。
接下來(lái)的計劃主要分為三個(gè)部分：
支持資源彈性伸縮，平衡實(shí)時(shí)作業(yè)的成本和時(shí)效；我們從 1.9 開(kāi)始大規模應用 Flink SQL，現在版本升級變化很大，需要考慮如何讓業(yè)務(wù)能夠低成本升級和使用新版本。版本中的功能；探索流批融合在實(shí)際業(yè)務(wù)場(chǎng)景中的實(shí)現。
FFA 2021 現場(chǎng)重播和演講 PDF 下載
更多Flink相關(guān)技術(shù)問(wèn)題，可以?huà)叽a加入社區釘釘交流群
