亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　解決方案:云端內容采集+內容推送，游戲廠(chǎng)商如何以游戲生態(tài)在中國取得成功？
　　云端內容采集+內容推送。游戲廠(chǎng)商可以在云端監控游戲內容的制作情況，如果設計有些ugc的游戲，還可以自動(dòng)推送給玩家，以此獲得收入。如果有相應的建站系統，直接也可以實(shí)現全平臺共享內容。
　　
　　現在的appstore里面，已經(jīng)有很多游戲社區提供第三方內容了。
　　已經(jīng)有很多獨立游戲從store上架了，游戲平臺內是包含大量自己的游戲內容，包括玩法，聲優(yōu)等等。再說(shuō)了，第三方平臺一般只能在美國發(fā)售，對咱們來(lái)說(shuō)影響力可能不足。（如果國內有這么一個(gè)網(wǎng)站和平臺，
　　
　　steam已經(jīng)有了，獨立游戲就在自己的平臺，
　　在未來(lái)在更加成熟和發(fā)達的市場(chǎng)將會(huì )有越來(lái)越多的游戲做獨立化和工作室化生產(chǎn)實(shí)際上是內容和獨立性，內容在于“不止于游戲”，而獨立性則在于創(chuàng )造力，這兩者是相輔相成的，只有創(chuàng )造力發(fā)達的平臺或者說(shuō)是環(huán)境里才能孕育出優(yōu)秀的內容獨立游戲indiegame,indiehousehouseprojects我曾經(jīng)的回答：如何能夠以游戲生態(tài)在中國取得成功？-rothleo的回答。
　　新游推薦一般有微博推薦和微信公眾號，缺點(diǎn)是信息比較陳舊，內容專(zhuān)業(yè)性不強；其他還有一些社區，類(lèi)似于獨立游戲博客和獨立游戲社區。做游戲社區并不是單純?yōu)榱藬U大影響力和資金，游戲社區更重要的是提供更加全面的、精準的游戲推薦；獨立游戲推薦本身需要解決的是相關(guān)游戲資訊、社區氣氛、全網(wǎng)問(wèn)答等問(wèn)題；說(shuō)白了，玩家看見(jiàn)你的，看不到別人的，中間要差個(gè)誰(shuí)呢？獨立游戲圈缺人；國內手游、頁(yè)游、電影行業(yè)的戰爭啊。

　　最新版:怎樣從列表頁(yè)批量點(diǎn)擊采集詳情頁(yè)內容.docx 11頁(yè)
　　優(yōu)采云·云采集網(wǎng)絡(luò )爬蟲(chóng)軟件優(yōu)采云·云采集如何從列表頁(yè)批量點(diǎn)擊采集詳情頁(yè)內容 新增標簽是什么？指的是在瀏覽器中打開(kāi)一個(gè)新頁(yè)面，新標簽頁(yè)打開(kāi)是指在瀏覽器中打開(kāi)一個(gè)新頁(yè)面并重新加載整個(gè)網(wǎng)頁(yè)。常見(jiàn)應用場(chǎng)景 當您在瀏覽器中點(diǎn)擊某些頁(yè)面選項時(shí)，例如點(diǎn)擊京東商品列表中的商品，瀏覽器會(huì )打開(kāi)一個(gè)新標簽頁(yè)，并加載該商品的詳細頁(yè)面。（如下圖所示）此時(shí)需要將點(diǎn)擊步驟設置為“在新標簽頁(yè)中打開(kāi)頁(yè)面”的高級選項。優(yōu)采云中的頁(yè)面介紹 在優(yōu)采云客戶(hù)端中，新建標簽選項一般是在“點(diǎn)擊元素”這一步設置的，但不是所有的“點(diǎn)擊元素” 需要設置一個(gè)新標簽。只有滿(mǎn)足一個(gè)條件才能設置，否則采集過(guò)程會(huì )出問(wèn)題，無(wú)法采集數據。需要滿(mǎn)足的條件是：當你在瀏覽器中執行相同的點(diǎn)擊操作，瀏覽器自動(dòng)打開(kāi)一個(gè)新的標簽頁(yè)時(shí)，你需要在優(yōu)采云的點(diǎn)擊元素步驟中設置此項。操作示例 示例URL：/news/gold-latest（黃金頭條網(wǎng)站新聞頻道） 示例采集 需求：采集頁(yè)面第一條新聞news的詳細內容。下面是具體的操作步驟 1、用戶(hù)可以先在瀏覽器中測試一下，如下圖，點(diǎn)擊新聞標題的鏈接后，瀏覽器自動(dòng)跳出一個(gè)新的頁(yè)面，加載第一條的詳細內容新聞，證明點(diǎn)擊步驟是“
　　
　　在優(yōu)采云中新建任務(wù)，打開(kāi)樣例網(wǎng)址3。因為需求只是針對第一條采集消息的詳細內容，其他消息不需要采集，所以不循環(huán)，只要點(diǎn)擊第一個(gè)新聞鏈接的標題，在提示框中選擇“點(diǎn)擊鏈接”即可。4、此時(shí)已經(jīng)進(jìn)入詳情頁(yè)，點(diǎn)擊右上角“流程”，可以看到優(yōu)采云流程圖，包括“點(diǎn)擊元素”步驟和右側的高級選項， 優(yōu)采云 已自動(dòng)選中“在新選項卡中打開(kāi)頁(yè)面”。（如果優(yōu)采云沒(méi)有自動(dòng)勾選，需要用戶(hù)手動(dòng)點(diǎn)擊勾選）點(diǎn)擊優(yōu)采云中的文本內容，在采集中選擇“采集該元素的文本”提示框。規則已完成。筆記：如果在瀏覽器中點(diǎn)擊設置，但沒(méi)有打開(kāi)新標簽頁(yè)，而是在原網(wǎng)頁(yè)中加載，說(shuō)明該頁(yè)面沒(méi)有在新標簽頁(yè)中打開(kāi)，可能是ajax加載頁(yè)面，需要設置ajax加載設置。具體設置方法請參考《ajax功能點(diǎn)教程》。相關(guān)采集教程：網(wǎng)絡(luò )爬蟲(chóng)視頻教程/tutorial/videotutorial初學(xué)者視頻采集tutorial/tutorial/videotutorial/videoxsrm優(yōu)采云爬蟲(chóng)軟件入門(mén)準備/tutorial/xsksrm/rmzb優(yōu)采云爬蟲(chóng)軟件功能使用教程/tutorial/gndxpath爬取網(wǎng)頁(yè)文本/tutorial/gnd/xpath網(wǎng)頁(yè)數據導出/tutorial/gnd/dataexport優(yōu)采云——90萬(wàn)用戶(hù)精選的網(wǎng)頁(yè)數據采集器。但是在原網(wǎng)頁(yè)加載，說(shuō)明頁(yè)面不是在新標簽頁(yè)打開(kāi)，可能是ajax加載頁(yè)面，需要設置ajax加載設置。具體設置方法請參考《ajax功能點(diǎn)教程》。相關(guān)采集教程：網(wǎng)絡(luò )爬蟲(chóng)視頻教程/tutorial/videotutorial初學(xué)者視頻采集tutorial/tutorial/videotutorial/videoxsrm優(yōu)采云爬蟲(chóng)軟件入門(mén)準備/tutorial/xsksrm/rmzb優(yōu)采云爬蟲(chóng)軟件功能使用教程/tutorial/gndxpath爬取網(wǎng)頁(yè)文本/tutorial/gnd/xpath網(wǎng)頁(yè)數據導出/tutorial/gnd/dataexport優(yōu)采云——90萬(wàn)用戶(hù)精選的網(wǎng)頁(yè)數據采集器。但是在原網(wǎng)頁(yè)加載，說(shuō)明頁(yè)面不是在新標簽頁(yè)打開(kāi)，可能是ajax加載頁(yè)面，需要設置ajax加載設置。具體設置方法請參考《ajax功能點(diǎn)教程》。相關(guān)采集教程：網(wǎng)絡(luò )爬蟲(chóng)視頻教程/tutorial/videotutorial初學(xué)者視頻采集tutorial/tutorial/videotutorial/videoxsrm優(yōu)采云爬蟲(chóng)軟件入門(mén)準備/tutorial/xsksrm/rmzb優(yōu)采云爬蟲(chóng)軟件功能使用教程/tutorial/gndxpath爬取網(wǎng)頁(yè)文本/tutorial/gnd/xpath網(wǎng)頁(yè)數據導出/tutorial/gnd/dataexport優(yōu)采云——90萬(wàn)用戶(hù)精選的網(wǎng)頁(yè)數據采集器。具體設置方法請參考《ajax功能點(diǎn)教程》。相關(guān)采集教程：網(wǎng)絡(luò )爬蟲(chóng)視頻教程/tutorial/videotutorial初學(xué)者視頻采集tutorial/tutorial/videotutorial/videoxsrm優(yōu)采云爬蟲(chóng)軟件入門(mén)準備/tutorial/xsksrm/rmzb優(yōu)采云爬蟲(chóng)軟件功能使用教程/tutorial/gndxpath爬取網(wǎng)頁(yè)文本/tutorial/gnd/xpath網(wǎng)頁(yè)數據導出/tutorial/gnd/dataexport優(yōu)采云——90萬(wàn)用戶(hù)精選的網(wǎng)頁(yè)數據采集器。具體設置方法請參考《ajax功能點(diǎn)教程》。相關(guān)采集教程：網(wǎng)絡(luò )爬蟲(chóng)視頻教程/tutorial/videotutorial初學(xué)者視頻采集tutorial/tutorial/videotutorial/videoxsrm優(yōu)采云爬蟲(chóng)軟件入門(mén)準備/tutorial/xsksrm/rmzb優(yōu)采云爬蟲(chóng)軟件功能使用教程/tutorial/gndxpath爬取網(wǎng)頁(yè)文本/tutorial/gnd/xpath網(wǎng)頁(yè)數據導出/tutorial/gnd/dataexport優(yōu)采云——90萬(wàn)用戶(hù)精選的網(wǎng)頁(yè)數據采集器。
　　
　　1. 操作簡(jiǎn)單，任何人都可以使用：采集 無(wú)需技術(shù)背景即可使用。流程完全可視化，點(diǎn)擊鼠標即可完成操作，2分鐘即可快速上手。2、功能強大，任何網(wǎng)站均可采集：對于點(diǎn)擊、登錄、翻頁(yè)、識別驗證碼、瀑布流、Ajax腳本異步加載數據的網(wǎng)頁(yè)，采集可通過(guò)處理簡(jiǎn)單的設置。3.云采集，你也可以關(guān)機了。采集任務(wù)配置完成后，可以關(guān)閉，任務(wù)可以在云端執行。龐大云采集集群24*7不間斷運行，無(wú)需擔心IP被封、網(wǎng)絡(luò )中斷。4.功能免費+增值服務(wù)，按需選擇。免費版具有滿(mǎn)足用戶(hù)基本 采集 需求的所有功能。同時(shí)設置一些增值服務(wù)（如私有云），以滿(mǎn)足高端付費企業(yè)用戶(hù)的需求。
　　最新版:最新YGbook小說(shuō)網(wǎng)自適應源碼 自動(dòng)采集筆趣閣 附詳細圖文安裝教程
　　
　　通過(guò)新安裝的直接安裝壓縮包中的安裝教程執行本小說(shuō)采集程序的好處是軟解析不帶小說(shuō)采集的文字和圖片，而是使用轉碼的情況在你的網(wǎng)站空間內實(shí)現建站！自帶4條采集規則更快（相比原版我個(gè)人對源碼做了一點(diǎn)優(yōu)化，運行速度更流暢）網(wǎng)站源碼深度SEO優(yōu)化（網(wǎng)頁(yè)快收錄) 自適應（完美自適應手機/電腦端，設置已經(jīng)自動(dòng)填寫(xiě)，無(wú)需修改也會(huì )自適應） 網(wǎng)站背景采集小說(shuō)（無(wú)需要使用采集器，
　　教程
　　新穎的自動(dòng)采集+【深度seo優(yōu)化】+自適應=新穎的網(wǎng)站源碼（原創(chuàng )模板）
　　默認圖片地址：\\Public\\images\\nocover.jpg
　　
　　標志圖片Public/bookpc/images/logo.png
　　請記住，采集 之后的文章 需要處理文章 信息。至于自動(dòng)采集，沒(méi)仔細研究過(guò)。和之前的版本差別不大，有些東西已經(jīng)優(yōu)化了。，基本上第一次需要采集一些內容，后面的更新都是自動(dòng)的，批量處理文章信息一定不能少。
　　這個(gè)好像寫(xiě)的很好，大家一起來(lái)試試這個(gè)源碼，看看效果如何。
　　我已經(jīng)下載了文件，嗯，寫(xiě)的很簡(jiǎn)單，我來(lái)細說(shuō)一下，

　　最近發(fā)布:強大的UI組件集Telerik Web R3 2022亮點(diǎn)——發(fā)布全新主題、支持
　　Telerik DevCraft 收錄一個(gè)完整的堆棧，用于構建您的下一個(gè) Web、移動(dòng)和桌面應用程序。它為每個(gè) .NET 平臺使用 HTML 和 UI 庫來(lái)加快開(kāi)發(fā)速度。Telerik DevCraft 為構建現代和面向未來(lái)的業(yè)務(wù)應用程序提供了最完整的工具箱。
　　Telerik DevCraft R3 2022 官方下載
　　Telerik & Kendo UI 的新 Fluent 主題
　　全新的 Fluent 主題于 R3 2022 發(fā)布，正式可用于 Telerik 和 Kendo UI 庫及其 Web UI 組件。與其他主題一樣，新的 Fluent 主題遵循官方 Fluent 設計系統的指導方針，ASP.NET MVC、ASP.NET Core、Blazor、jQuery、Angular、React 和 Vue UI 組件可以立即使用 Fluent 設計系統進(jìn)行樣式設置，只要它們收錄新主題。
　　如果您已經(jīng)在 Web 應用程序中使用了 Fluent 主題中的組件，則通過(guò)添加 Fluent 主題，任何 Telerik 和 Kendo UI 組件都可以無(wú)縫地融入其中。
　　與最新的 .NET 7 預覽版的兼容性
　　
　　釋放
　　對于想要試用 Microsoft 最新功能的開(kāi)發(fā)人員，適用于 Blazor 的 Telerik UI 和適用于 ASP.NET 核心庫的 Telerik UI 與最新的 .NET 7 預覽版 7 完全兼容。官方技術(shù)團隊的目標是微軟在今年 11 月發(fā)布。NET 7 提供全面支持。
　　輔助功能增強功能
　　在 R3 2022 中，所有 Telerik Web UI 組件的主要重點(diǎn)是進(jìn)一步提高可訪(fǎng)問(wèn)性合規性級別，以及可用于參考點(diǎn)或直接 A11Y 測試的可用文檔和演示。
　　新的 Telerik 文檔處理功能
　　R3 2022 的所有 Telerik 文檔處理庫中都發(fā)布了新功能，以幫助開(kāi)發(fā)人員更好地導航文檔格式。新功能包括：
　　
　　更新字處理庫
　　更新點(diǎn)差處理庫
　　更新傳播流處理庫
　　更新 PdfProcessing 庫
　　Telerik_KendoUI產(chǎn)品技術(shù)交流群：歡迎726377843加入群討論
　　有關(guān)最新的劍道UI新聞，請關(guān)注Telerik中文網(wǎng)站！
　　解決方案:如何自動(dòng)收集大批量現成的互聯(lián)網(wǎng)業(yè)務(wù)
　　在過(guò)去的工作生活中，盡管創(chuàng )業(yè)初期的迷茫，但在個(gè)人和團隊成熟之后，我們從未被“找項目”的問(wèn)題所困擾。
　　因為我們有多種手段，從不同的角度去挖掘、采集、統計、捕捉存在于互聯(lián)網(wǎng)各個(gè)角落的商機和業(yè)務(wù)。對我們來(lái)說(shuō)，更重要的是項目的篩選。在我們看來(lái)，哪個(gè)機會(huì )多，哪個(gè)潛力大。除了之前分享的幾個(gè)方法，今天再分享一個(gè)方法。如果說(shuō)以前挖的是需求，那么今天這樣挖的就是現成的業(yè)務(wù)。
　　信息挖掘是網(wǎng)絡(luò )營(yíng)銷(xiāo)生存的基礎，其次是信息篩選。今天，主要涉及信息挖掘。知識點(diǎn)： 1：在百度搜索時(shí)，加上“intitle”，搜索結果的標題必須有完整的關(guān)鍵詞：
　　這幾年這個(gè)功能變了，比如變聰明了，懂匹配了。偶爾有些東西沒(méi)有完全包括在內，但不影響，大體上是一樣的。2：百度搜索時(shí)，加上“inurl”，搜索后的結果鏈接必須有完整的字符：
　　單擊這些結果，它們必須都是 知乎 列中的 文章 鏈接。3：百度搜索時(shí)，在搜索鏈接中加入“&rn=50”，一次可返回50條結果：
　　基于以上三點(diǎn)，這個(gè)文章就是利用這個(gè)功能來(lái)挖掘“互聯(lián)網(wǎng)引流者手中的業(yè)務(wù)”。
　　“私域流量”這個(gè)詞是近兩年流行起來(lái)的。每個(gè)人都希望把流量放在自己的私域里，由自己控制，不受平臺控制。能稱(chēng)為私域流量的地方并不多?；旧向v訊的產(chǎn)品是霸道的：微信、QQ、群、公眾號、個(gè)人網(wǎng)站 除了單純的買(mǎi)賣(mài)流量，大部分人不會(huì )把流量引到號召以外的地方。所以，每一個(gè)引流人，不管做的是什么生意，最終都會(huì )想方設法在引流內容中留下自己的“私域流量”聯(lián)系方式。為了向用戶(hù)解釋頻道，在留下聯(lián)系方式時(shí)必須加上必要的前綴，例如：“家偉”?？紤]到平臺的封禁政策，我們不得不絞盡腦汁想出各種諧音字，比如“嘉偉”、“+偉”。而這些前綴就是我們今天的關(guān)鍵詞。我們需要通過(guò)申訴搜索引擎的特殊排序，批量采集別人的現成業(yè)務(wù)，加上這些前綴。Step 1：采集聯(lián)合訴求，我們可以想到：
　　“inurl”后面的鏈接就是我們要采集的平臺。對于這個(gè)平臺，我們選擇了號稱(chēng)“全球最大的中文社區”的百度貼吧。這個(gè)標題有點(diǎn)虛構，卻是真實(shí)的。在移動(dòng)端，百度貼吧依然是集“社交”和“論壇”為一體的頂級應用。在PC端，貼吧作為百度之子，幾乎占據了其他兄弟產(chǎn)品的No.1。如果你搜索一個(gè)詞，就會(huì )有貼吧。另外，我們都知道百度引流貼吧幾乎是每個(gè)互聯(lián)網(wǎng)新手老手都做過(guò)的事情。那么“inurl”怎么寫(xiě)呢？這個(gè)命令的意思是我們希望搜索結果鏈接中一定收錄我們填寫(xiě)的字符串，關(guān)鍵詞"加微" 我們在標題中搜索的是希望出現在貼吧主帖標題中的。貼吧主帖的鏈接是：
　　https://tieba.baidu.com/p/000000000
　　每個(gè)帖子的格式都一樣，后面的一串數字代表不同的帖子。所以“inurl”的值應該是：
　　tieba.baidu.com/p/
　　這樣就可以搜索到所有的百度貼吧話(huà)題帖：
　　以下是我們的搜索結果：
　　世上有各種各樣的事，只有我們想不到的，沒(méi)有別人做不到的。當然，并不是所有的業(yè)務(wù)都適合我們，也不是所有的業(yè)務(wù)都適合做，而我們要的是現成的，除了要知道ta在做什么，還要知道怎么做，所以就是有必要采集所有這些信息進(jìn)行研究。信息的采集非常簡(jiǎn)單。不需要懂技術(shù)，用我之前分享的“網(wǎng)絡(luò )爬蟲(chóng)”來(lái)采集就可以了。如果您不知道如何使用它，這是門(mén)戶(hù)網(wǎng)站。請參閱其中的步驟 1：
　　對于這個(gè)集合，對于每個(gè)搜索結果，我們只需要標題和標題對應的鏈接：
　　下面新建一個(gè)ws project工程（不懂ws的可以從上面的文章學(xué)習，下面講解的一些操作步驟忽略）：
　　
　　重點(diǎn)看三個(gè)紅框的內容： 我們在百度搜索：intitle:"jiawei" inurl:/p/intitle:"jiawei" inurl:/p/就是這次搜索的關(guān)鍵詞。搜索后會(huì )在瀏覽器鏈接框（第一個(gè)紅框）中顯示對應的百度鏈接。一般我們搜索后顯示的鏈接是類(lèi)似這樣的：
　　密串，這是因為鏈接中收錄各種字段，每個(gè)字段都有對應的代表信息，又因為不是每個(gè)字段都是必填的，所以上面第一個(gè)紅框里的鏈接是我預留的必填字段，其他不需要的字段直接去掉，這樣就清楚多了。鏈接字段之間用“&”分隔，除了第一個(gè)字段用“?”，其他字段都需要在前面加上“&”來(lái)表示分隔。在上訴的搜索鏈接中：
　　wd字段等于的值就是我們要查找的關(guān)鍵詞，里面會(huì )有一些"%"和數字，轉義后瀏覽器會(huì )顯示出來(lái)，不用擔心，"rn"就是上面提到返回50個(gè)結果的作用?！皃n”是百度的分頁(yè)格式，pn=0表示第一頁(yè)，pn=50表示第二頁(yè)，以此類(lèi)推，每頁(yè)遞增50。如果我們把這個(gè)鏈接復制到其他地方，它會(huì )是這樣的：
　　https://www.baidu.com/s%3Fwd%3 ... n%3D0
　　“wd”后面的關(guān)鍵詞就變成了一串亂碼。這是瀏覽器的 URL 編碼。別著(zhù)急，理解就好了，那么現在回頭看看上圖：
　　這次我們?yōu)?采集 創(chuàng )建了一個(gè)新項目。這個(gè)項目的配置不會(huì )變，因為都是采集百度結果頁(yè)，但是我們可能采集不同的詞，比如“嘉偉”和“嘉偉”，鏈接需要改一下如果單詞不同，則每次 采集 都需要更改“起始 URL”。當我們切換到其他 關(guān)鍵詞 時(shí)：
　　先把瀏覽器鏈接中的“嘉偉”改成“嘉偉”，然后直接回車(chē)搜索。搜索后，將瀏覽器上的鏈接復制到下圖紅框中，保存并重新開(kāi)始。一輪征集。當然，“pn”的值復制后需要改變，不能直接等于0。百度的搜索結果最多只能顯示76頁(yè)，而我們的搜索（每頁(yè)返回50條）只會(huì )顯示10最多大約頁(yè)面。因此，每次搜索新詞，首先要確認“pn”可以是多少：
　　每次有5頁(yè)或者10頁(yè)，等到?jīng)]有了，查看上面瀏覽器鏈接中的pn，然后按照剛才的鏈接格式填寫(xiě)“起始URL”，將pn設置為對應的值. 現在讓我們設置用于抓取標題的“選擇器”：
　　點(diǎn)擊后，標題已經(jīng)過(guò)濾掉，保存并啟動(dòng)采集。采集資料到此結束，完全不需要什么技術(shù)，如果看不懂，那一定是對ws的基礎了解不夠，回頭看看之前的文章，先學(xué)習一下。你可能會(huì )奇怪，一頁(yè)有50條結果，十幾頁(yè)只有幾百條結果，數據量很小。事實(shí)上，足夠了。每次我們搜集百度能返回的最多的結果，我們剛才說(shuō)的前綴“加微”就可以演化出各種形式。根據以往看到的，我們可以發(fā)揮想象，每個(gè)詞都能抓到幾百甚至上千個(gè)，單獨采集上千個(gè)是沒(méi)有問(wèn)題的，足夠我們挖掘了。這些詞包括但不限于：Jiawei、Jiawei、Jiawei、Jiawei、Jiawei、+V、vx 以及各種組合。另外，我們只搜微信，加群，加Q，關(guān)注公眾號等等，光是公眾號就有各種變體，抖音和貼吧的公眾號也有很多變體不見(jiàn)了。Step 2: Organize 這是本次測試采集的數據（2000+，標題需要去重）：
　　第一個(gè)是“迪拜包機”生意，嘖嘖嘖，這生意可真大，因為對方是引流，所以要說(shuō)明一下TA能提供什么，所以每一個(gè)標題都是清晰明了的商家信息. 那么如何使用這些數據呢？剛才我們講到，我們需要現成的業(yè)務(wù)，現在業(yè)務(wù)都在這個(gè)表里面。我們知道他們在做什么，然后我們需要了解他們是如何做的。由于數據量大，我們有必要優(yōu)先篩選。評選標準是：“迪拜包機，有需要的朋友微博150********6357[UAE]...”這樣的標題，我們很清楚他在做什么，因為“迪拜”和“包機”都寫(xiě)得很清楚。對于諸如“
　　因此，我們顯然優(yōu)先考慮那些可以從標題直接看到業(yè)務(wù)信息的帖子。這兩個(gè)標題的區別在于：沒(méi)有明確業(yè)務(wù)信息的標題填充了一些常用詞，比如：加微、聯(lián)系、進(jìn)入、查找各種標題中出現像我這樣的常用詞，但是如果只有這些詞一個(gè)標題，它是一個(gè)沒(méi)有明確信息的標題。PS：以下操作需要用到Python，不懂的朋友可以先看下，后面會(huì )慢慢更新一些需要用到的Python小工具。因此，我們首先將所有的標題進(jìn)行分詞，統計詞頻。因為這些常用詞出現在很多標題中，所以很容易統計出它們：
　　如上，在這些高頻詞中，如：百度、家微、需要、歡迎、溝通、聯(lián)系等，對我們了解商業(yè)信息并無(wú)幫助。在這些詞中，我們看一下它們，認為它們很常見(jiàn)，對我們理解信息沒(méi)有幫助。我們可以把它們挑出來(lái)放在圖書(shū)館里。假設它被稱(chēng)為：無(wú)效詞庫。在無(wú)效詞庫中取一個(gè)詞根進(jìn)行比較，存在則去掉，不存在則保留。最終沒(méi)有明顯業(yè)務(wù)信息的title會(huì )返回空，有業(yè)務(wù)信息的title會(huì )返回關(guān)鍵信息，然后一一匹配：
　　如上圖，第一列的title是我們采集到的，第二列是我們從title中的貼吧 name字段中取出來(lái)的，第三列是我們取完后得到的第二列用于分詞和去除無(wú)效詞。您可以看到類(lèi)似以下內容：
　　紅框內兩列的標題沒(méi)有關(guān)鍵信息，都是常用詞。單從標題是看不出來(lái)的，所以經(jīng)過(guò)計算，返回的是空的。我們稍后會(huì )研究這種目標?，F在我們過(guò)濾掉第三列（stem）為空：
　　
　　最后，我們首先需要知道的數據：
　　主要看“關(guān)鍵”一欄，一看就夠了。如果關(guān)鍵詞是我們感興趣的內容，點(diǎn)擊右側對應的百度快照鏈接，即可進(jìn)入原帖頁(yè)面：
　　以上是朋友給別人推薦的配置。他玩游戲，預算不高，可以給閑魚(yú)或者微信引流量。當我們對某項業(yè)務(wù)感興趣時(shí)，我們應該怎么做？直接加微信，加完直接問(wèn)，或者觀(guān)察朋友圈一周左右，基本了解他的業(yè)務(wù)。如果我們對他的生意感興趣，想估計他能賺多少錢(qián)，大體的邏輯可以根據我的知乎專(zhuān)欄第二個(gè)文章的第5步，這里是傳送門(mén)：如果了解了這些你還對這門(mén)生意感興趣，那你就要知道怎么引流了。這個(gè)業(yè)務(wù)的基本門(mén)檻是多少？首先是門(mén)檻，需要多少錢(qián)，要準備什么工具和資源，需要多少時(shí)間來(lái)操作，需要多少人，具體項目情況不同，只能根據個(gè)人常識和經(jīng)驗判斷。二是如何引流，太簡(jiǎn)單了，拿他的聯(lián)系方式去搜索引擎搜索：
　　能搜到的地方隨便搜，只要他在網(wǎng)上留下痕跡，大部分都能查到。當然，我們也可以想到一些引流渠道。這樣一來(lái)，搜索不僅僅是基于通道，更重要的是確認是否可以安全引流。比如有人在貼吧上拉流量，我們就把貼吧都搜了一遍，不過(guò)這也有價(jià)值，一個(gè)貼吧可以被很多人打廣告，何樂(lè )而不為貼吧關(guān)注的人不多，或者沒(méi)有管理員，他可以導流我們，我們也可以。但是不要以為沒(méi)人關(guān)注就沒(méi)有引流的價(jià)值。貼吧里的引流不一定給貼吧里的用戶(hù)看。別忘了還有搜索，只要我們的帖子不被刪，有機會(huì )被搜身。有些人只是在尋找這種東西，很多 貼吧 從來(lái)沒(méi)有聽(tīng)說(shuō)過(guò)：
　　像這樣，貼吧關(guān)注的人不多，發(fā)一個(gè)長(cháng)尾詞排版的標題，發(fā)文內容開(kāi)頭寫(xiě)著(zhù)看頭像，名字設為微信ID，內容與標題無(wú)關(guān)。但是一搜他的微信號（一些臟話(huà)都刪掉了）：
　　說(shuō)到這里，我們剛剛采集的原創(chuàng )標題收錄很多貼吧名字：
　　除了標題本身太長(cháng)，否則會(huì )有一個(gè)名字收錄貼吧，我們按照格式提取出來(lái)（Excel，Python都可以），這里經(jīng)常出現的貼吧是更好的帖子貼吧，很可能很久沒(méi)人管了。有些人專(zhuān)門(mén)發(fā)長(cháng)尾詞，搜索量很低。幾乎沒(méi)有人和他比，然后發(fā)到貼吧不會(huì )被刪。隨著(zhù)時(shí)間的推移，這個(gè)領(lǐng)域的大部分長(cháng)尾需求已經(jīng)產(chǎn)生。到現在，他在這個(gè)小眾領(lǐng)域幾乎霸屏了，我們隨便一搜都能找到他的身影。小改進(jìn)： 1：結合微信、QQ、群、公眾號、掃碼等核心詞，發(fā)揮你的想象力，想出盡可能多的詞來(lái)搜索，能想到的越多，你比別人能找到的信息越多，信息鴻溝就這樣出來(lái)了。2：我們演示的是貼吧，除了貼吧，百度知乎、豆瓣、簡(jiǎn)書(shū)等都可以采集。3：在《Word文本向量分類(lèi)》中介紹過(guò)，這是一種廣義的挖掘方法。如果你限定了一個(gè)領(lǐng)域，可以結合該領(lǐng)域的核心詞來(lái)挖掘：
　　這個(gè)時(shí)候，你能挖掘的范圍是無(wú)窮無(wú)盡的。4：搜索引擎可以自定義時(shí)間范圍，如果你在意時(shí)效性：
　　當然，這個(gè)搜索的內容會(huì )相對少很多。題外話(huà)：
　　近期，幾項發(fā)掘思路和方法相繼發(fā)表。想法本身不是目標，而是實(shí)現的關(guān)鍵。這需要一些基本的能力，所以一定要知道學(xué)習的方向，學(xué)什么需要用什么。這些年經(jīng)歷了很多工作內容，學(xué)習了很多工作技巧，但是一直沒(méi)有整理出來(lái)，所以在接下來(lái)的更新中，會(huì )慢慢加入特殊技能科普的文章。
　　知乎里面的“好物推薦”的文章我刪掉了，因為我考慮分一兩個(gè)人操作這個(gè)思路，我比較樂(lè )觀(guān)，所以不放文章在開(kāi)放平臺傳播一下，公眾號比較私密，放在這里給有需要的粉絲。如果你有條件，我建議你盡快嘗試。除了知乎放在簽名中外，該公眾號目前沒(méi)有使用任何引流方式。我傾向于認為公眾號應該靠?jì)热輥?lái)吸引和留住粉絲。
　　如果您覺(jué)得我發(fā)的文章還不錯，對您有幫助和啟發(fā)，請點(diǎn)贊和分享我的文章，謝謝！

　　正式推出:百度普通收錄的云端抓取，云端推送的功能網(wǎng)站,迅睿CMS
　　我用迅瑞cms做了一個(gè)百度普通收錄云抓拍，云推送功能網(wǎng)站。閑置也是閑置，免費開(kāi)放給大家使用。
　　
　　注冊成為會(huì )員后，即可在會(huì )員群中申請免費推送會(huì )員群，并使用API數據插件獲取會(huì )員信息。
　　
　　功能是每天自動(dòng)抓取網(wǎng)站地圖或TXT中的URL鏈接，提交到對應的百度API，365天不休息，自動(dòng)抓取，自動(dòng)推送。
　　橫空出世:如何優(yōu)化新網(wǎng)站獲得大量長(cháng)尾詞排名？
　　網(wǎng)站上線(xiàn)后會(huì )先收錄首頁(yè)。一兩周開(kāi)始時(shí)沒(méi)有 收錄 內容和快照更新。如果過(guò)度優(yōu)化，沙盒將花費更長(cháng)的時(shí)間。對于新推出的網(wǎng)站，盡量不要收錄很多文章、偽原創(chuàng )。慢慢做一些優(yōu)質(zhì)的鏈，比如穩定的搜索引擎收錄，等待百度信任我們的網(wǎng)站。
　　關(guān)鍵詞分為核心關(guān)鍵詞、核心關(guān)鍵詞變體（同義詞、同義詞、縮寫(xiě)、拼寫(xiě)錯誤）、優(yōu)秀關(guān)鍵詞、次要關(guān)鍵詞、長(cháng)尾關(guān)鍵詞。A 網(wǎng)站 一般來(lái)說(shuō)，首頁(yè)的權重比較高，所以不要在首頁(yè)疊加關(guān)鍵詞，但要注意關(guān)鍵詞的優(yōu)化。
　　
　　SEO內容為王！確保您的 網(wǎng)站文章 是連續的、高質(zhì)量的，原創(chuàng )文章！不要試圖立即對您的 網(wǎng)站 進(jìn)行排名。你所要做的就是做你自己。你認為搜索引擎是用來(lái)做什么的？搜索引擎的目的是及時(shí)解決用戶(hù)的需求，改善用戶(hù)體驗。這樣你的文章就可以圍繞用戶(hù)的需求，及時(shí)展示高質(zhì)量的原創(chuàng )文章（可以解決用戶(hù)的問(wèn)題）！
　　內部頁(yè)面優(yōu)化收錄標題優(yōu)化，頁(yè)面關(guān)鍵字放置，ALT標簽，粗體，斜體，nofollow標簽。您不能在一個(gè) 文章 中使用多個(gè) H 標簽。H標簽主要用于突出主題，不能濫用。粗體標簽也應謹慎使用。一般一個(gè)文章3-5條就夠了，ALT描述結合實(shí)際圖片，不要堆積太多關(guān)鍵詞。
　　
　　做鏈的一個(gè)重要指標是網(wǎng)站每個(gè)鏈接沒(méi)有死鏈接，有沒(méi)有404頁(yè)？網(wǎng)站標準化了嗎？網(wǎng)頁(yè) URL 設置是否正確？機器人文件之間存在合理準確的鏈接。另外，請記住，您不能跨頁(yè)面使用相同的錨文本鏈接，您應該多樣化。
　　很多網(wǎng)站都有網(wǎng)站maps，主要是為了幫助搜索引擎蜘蛛正確快速的搜索和爬取網(wǎng)站，不是給人看的，是給蜘蛛看的。

　　解決方案:是否可以將應用部署在云端，數據庫放在本地IDC，然后通過(guò)VPN實(shí)現互聯(lián)？
　　更新時(shí)間：2022-11-09 GMT+08:00
　　查看 PDF
　　鏈接復制成功！
　　
　　是否可以將應用部署在云端，將數據庫放在本地IDC，然后通過(guò)VPN實(shí)現互聯(lián)？
　　能。
　　VPN連接兩個(gè)子網(wǎng)，即云上的VPC網(wǎng)絡(luò )和用戶(hù)數據中心網(wǎng)絡(luò )。
　　VPN建立成功后，兩個(gè)子網(wǎng)之間可以運行任何類(lèi)型的業(yè)務(wù)流量。此時(shí)應用服務(wù)器訪(fǎng)問(wèn)數據庫業(yè)務(wù)在邏輯上與訪(fǎng)問(wèn)同一局域網(wǎng)內的其他主機在邏輯上是一樣的，所以這種方案是可行的。
　　
　　此場(chǎng)景是IPsec VPN的典型場(chǎng)景，請放心使用。
　　同時(shí)，VPN連接后，不限制服務(wù)的發(fā)起方是云端還是用戶(hù)側數據中心，即用戶(hù)可以從云端向用戶(hù)側數據中心發(fā)起服務(wù)， 或相反亦然。
　　父主題： 熱點(diǎn)問(wèn)題
　　解決方案:Python常用的標準庫以及第三方庫有哪些？
　　【Python系統運維常用庫】
　　1.psutil是一個(gè)跨平臺庫()
　　可以實(shí)現系統的進(jìn)程和系統利用率（內存、CPU、磁盤(pán)、網(wǎng)絡(luò )等）運行，主要用于系統監控、分析和管理系統資源和進(jìn)程。
　　2、IPy()，輔助IP規劃。
　　3. dnspython() Python實(shí)現的DNS工具包。
　　
　　4、difflib：作為Python的標準模塊，difflib不需要安裝。它的功能是比較文本之間的差異。
　　5.filecmp：系統自帶，可以實(shí)現文件、目錄、遍歷子目錄的區別和比較功能。
　　6. smtplib：發(fā)送郵件模塊
　　7.pycurl()是用C語(yǔ)言編寫(xiě)的libcurl的Python實(shí)現。功能強大，支持以下協(xié)議：FTP、HTTP、HTTPS、TELNET等，可以理解為L(cháng)inux下curl命令功能的Python封裝。
　　8. XlsxWriter：對Excel工作表中的文字、數字、公式、圖表等進(jìn)行操作。
　　9. rrdtool：用于跟蹤對象的變化并生成這些變化的趨勢圖
　　
　　10. scapy() 是一個(gè)強大的交互式數據包處理程序，可以偽造或解包數據包，包括發(fā)送數據包、數據包嗅探、確認和反饋等功能。
　　11. Clam Antivirus 免費開(kāi)源的殺毒軟件pyClamad，允許Python模塊直接使用ClamAV病毒掃描守護進(jìn)程calld。
　　12. pexpect：可以理解為L(cháng)inux下expect的Python包。通過(guò)pexpect，我們可以自動(dòng)與ssh、ftp、passwd、telnet等命令行交互，無(wú)需人工干預，達到自動(dòng)化的目的。
　　13. paramiko是一個(gè)基于Python的SSH2遠程安裝連接，支持認證和密鑰方式?？梢詫?shí)現遠程命令執行、文件傳輸、中間SSH代理等功能。與Pexpect相比，封裝級別更高，更接近SSH協(xié)議的功能。官網(wǎng)地址：（依賴(lài)：Crypto、Ecdsa、Python開(kāi)發(fā)包python-devel）
　　14. Fabric是一個(gè)基于Python的SSH命令行工具，簡(jiǎn)化了SSH應用部署和系統管理任務(wù)。它提供了基于系統的操作組件，可以實(shí)現本地或遠程shell命令，包括命令執行、文件上傳和下載。并完成執行日志輸出等功能。Fabric在paramiko的基礎上做了更高層次的封裝，操作起來(lái)更簡(jiǎn)單。官網(wǎng)地址：（取決于setuptools、Crypto、paramiko包支持）

　　解決方案:使用 DataFlux 采集 Zookeeper 性能指標并展示
　　DataFlux是上海住云自主研發(fā)的一套統一的大數據分析平臺，通過(guò)對任意來(lái)源、任意類(lèi)型、任意規模的實(shí)時(shí)數據進(jìn)行監測、分析和處理，釋放數據價(jià)值。
　　DataFlux 包括五個(gè)功能模塊：
　　- 數據包 采集器
　　- Dataway 數據網(wǎng)關(guān)
　　- DataFlux Studio 實(shí)時(shí)數據洞察平臺
　　- DataFlux Admin Console 管理后臺
　　- DataFlux.f(x) 實(shí)時(shí)數據處理開(kāi)發(fā)平臺
　　為企業(yè)提供全場(chǎng)景數據洞察分析能力，具有實(shí)時(shí)性、靈活性、易擴展性、易部署性。
　　安裝 DataKit
　　PS：以L(fǎng)inux系統為例
　　第一步：執行安裝命令
　　DataKit 安裝命令：
　　DK_FTDATAWAY=[你的 DataWay 網(wǎng)關(guān)地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
　　
　　在安裝命令中添加DataWay網(wǎng)關(guān)地址，然后將安裝命令復制到主機執行。
　　例如：如果DataWay網(wǎng)關(guān)的IP地址為1.2.3.4，端口為9528（9528為默認端口），則網(wǎng)關(guān)地址為
　　:9528/v1/write/metrics，安裝命令為：
　　DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
　　安裝完成后DataKit會(huì )默認自動(dòng)運行，并會(huì )在終端提示DataKit狀態(tài)管理命令
　　Zookeeper 監控指標采集
　　前提
　　配置
　　打開(kāi)DataKit采集源碼配置文件夾（默認路徑是DataKit安裝目錄的conf.d文件夾），找到zookeeper文件夾，打開(kāi)里面的zookeeper.conf。
　　修改設置
　　配置完成后重啟DataKit生效。
　　如果有問(wèn)題，使用netcat查看Zookeeper的直接輸出。
　　采集指標
　　
　　訪(fǎng)問(wèn)日志指標
　　指標可能因配置、平臺和版本而異。
　　驗證數據報告
　　完成數據采集操作后，我們需要驗證數據采集是否成功并上報給DataWay，以便日后可以正常分析和展示數據。
　　操作步驟：登錄DataFlux-數據管理-指標瀏覽-驗證數據采集是否成功
　　Zookeeper 性能指標：
　　DataFlux 的數據洞察力
　　根據獲得的指標進(jìn)行數據洞察設計，如：
　　zookeeper性能監控視圖
　　基于自研DataKit數據（采集器），DataFlux現在可以對接200多種數據協(xié)議，包括：云數據采集、應用數據采集、日志數據采集，時(shí)序數據上報和常用數據庫的數據聚合，幫助企業(yè)實(shí)現最便捷的IT統一監控。
　　解決方案:分布式追蹤與監控：Skywalking全方位介紹
　　一、APM簡(jiǎn)介
　　APM（Application Performance Management）應用性能管理，通過(guò)各種探針采集和上報數據，采集關(guān)鍵指標，同時(shí)進(jìn)行數據展示，實(shí)現應用性能管理和故障管理的系統解決方案。
　　目前主要的APM工具有：Cat、Zipkin、Pinpoint、SkyWalking。這里我們主要介紹SkyWalking，這是一款優(yōu)秀的國產(chǎn)APM工具，包括分布式跟蹤、性能指標分析、應用和服務(wù)依賴(lài)分析等。
　　Zabbix、Premetheus、open-falcon等監控系統主要關(guān)注服務(wù)器硬件指標和系統服務(wù)運行狀態(tài)等，而APM系統更關(guān)注內部程序執行過(guò)程指標和服務(wù)之間的鏈接調用的監控，APM是更有利于深入代碼 找到“慢”請求響應的根本問(wèn)題，是對像 Zabbix 這樣的監控的補充。
　　2.分布式鏈路跟蹤
　　下圖是常見(jiàn)微服務(wù)的框架，4個(gè)實(shí)例，2個(gè)MySQL，1個(gè)Redis。其實(shí)它有兩個(gè)完全不同的請求進(jìn)來(lái)：一個(gè)請求會(huì )訪(fǎng)問(wèn)Redis，然后去MySQL；另一個(gè)可能去另一個(gè)服務(wù)，然后直接去MySQL。整個(gè)分布式追蹤的目的是什么？這樣我們才能最終在頁(yè)面、UI 和數據上重現這個(gè)過(guò)程。我們需要獲取整個(gè)完整的鏈接，包括準確的響應時(shí)間、訪(fǎng)問(wèn)方式、訪(fǎng)問(wèn)的圈子、訪(fǎng)問(wèn)的Redis key等。這些是我們在做分布式追蹤時(shí)需要展示的完整信息。
　　3. Apache Skywalking（孵化器）簡(jiǎn)介
　　適用于分布式系統的應用程序性能監控工具，專(zhuān)為微服務(wù)、云原生架構和基于容器的（Docker、K8s、Mesos）架構而設計。
　　Apache Skywalking（孵化器）是專(zhuān)為微服務(wù)架構和云原生架構系統設計的APM系統，支持分布式鏈路追蹤。Apache Skywalking（孵化器）通過(guò)加載探針以非侵入方式采集應用調用鏈接信息，分析采集的調用鏈接信息，生成應用間和服務(wù)間的關(guān)系和服務(wù)指標。Apache Skywalking (Incubating) 目前支持多種語(yǔ)言，包括 Java、.Net Core、Node.js 和 Go。此外，社區還發(fā)展了一個(gè)名為 OpenTracing 的組織，旨在推動(dòng)調用鏈監控的一些規范和標準。
　　Skywalking 支持從 6 個(gè)視覺(jué)維度分析分布式系統的運行。
　　四、SkyWalking原理架構圖
　　5. SkyWalking核心模塊
　　SkyWalking 采用組件化開(kāi)發(fā)，易于擴展。主要成分如下：
　　1. Skywalking Agent：鏈接數據采集tracing（調用鏈數據）和metric（度量）信息并上報，通過(guò)HTTP或gRPC向Skywalking Collector發(fā)送數據。
　　2. Skywalking Collector：鏈路數據采集器，對agent發(fā)送的tracing和metric數據進(jìn)行整合分析，通過(guò)Analysis Core模塊進(jìn)行處理并存儲在相關(guān)數據存儲中，通過(guò)Query進(jìn)行二次統計和監控告警核心模塊。.
　　3、存儲：Skywalking的存儲，支持ElasticSearch、Mysql、TiDB、H2等主流存儲作為數據存儲的存儲介質(zhì)。H2 僅用于單機臨時(shí)演示。
　　4. SkyWalking UI：用于顯示著(zhù)陸數據的網(wǎng)絡(luò )可視化平臺。目前，RocketBot 被正式采用為 SkyWalking 的主要 UI。
　　本文通過(guò)一個(gè)Docker容器安裝Skywalking，并集成apisix網(wǎng)關(guān)和Spring Boot微服務(wù)項目進(jìn)行APM（Application Performance Management）應用性能管理，檢測從接口網(wǎng)關(guān)到微服務(wù)實(shí)例、到數據庫、緩存等的鏈條存儲層。道路跟蹤。
　　六、SkyWalking服務(wù)器安裝
　　安裝環(huán)境：
　　操作系統：CentOS7，配置為4核8G
　　Docker 版本：Docker 版本 19.03.12，構建 48a66213fe
　　安裝工具：docker-compose，版本：docker-compose version 1.26.2，build eefe0d31
　　空中漫步版本：8.1.0
　　彈性搜索版本：7.5.0
　　1.創(chuàng )建目錄
　　mkdir -p /data/ent/skywalking
cd /data/ent/skywalking
　　2.編寫(xiě)docker-compose.yml
　　vim docker-compose.yml
#添加以下內容
version: '3.8'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0
container_name: elasticsearch
restart: always
ports:
- 9200:9200
healthcheck:
test: ["CMD-SHELL", "curl --silent --fail localhost:9200/_cluster/health || exit 1"]
interval: 30s
timeout: 10s
retries: 3
<p>
start_period: 40s
environment:
- discovery.type=single-node
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- TZ=Asia/Shanghai
ulimits:
memlock:
soft: -1
hard: -1
skywalking-oap:
image: apache/skywalking-oap-server:8.1.0-es7
container_name: skywalking-oap
depends_on:
- elasticsearch
links:
- elasticsearch
restart: always
ports:
- 11800:11800
- 12800:12800
healthcheck:
test: ["CMD-SHELL", "/skywalking/bin/swctl"]
interval: 30s
timeout: 10s
retries: 3
start_period: 40s
environment:
TZ: Asia/Shanghai
SW_STORAGE: elasticsearch7
SW_STORAGE_ES_CLUSTER_NODES: elasticsearch:9200
skywalking-ui:
image: apache/skywalking-ui:8.1.0
container_name: skywalking-ui
depends_on:
- skywalking-oap
links:
- skywalking-oap
restart: always
ports:
- 28080:8080
environment:
TZ: Asia/Shanghai
SW_OAP_ADDRESS: skywalking-oap:12800
</p>
　　3.啟動(dòng)服務(wù)
　　#啟動(dòng)（docker和docker-compose的安裝不再詳介紹）
<p>
docker-compose up -d
</p>
　　4.開(kāi)放端口
　　firewall-cmd --zone=public --add-port=11800/tcp --permanent
firewall-cmd --zone=public --add-port=12800/tcp --permanent
firewall-cmd --zone=public --add-port=28080/tcp --permanent
firewall-cmd --reload
　　5.訪(fǎng)問(wèn)skywalking ui后臺，訪(fǎng)問(wèn)地址為：server ip:28080
　　七、Skywalking Agent安裝
　　以java代理為例，下載skywalking項目，地址：
　　將下載的文件解壓，將agent文件夾復制到j(luò )ava項目中，執行java項目時(shí)使用javaagent打開(kāi)skywalking代理
　　java -javaagent:agent/skywalking-agent.jar=agent.service_name=sab-service,collector.backend_service=192.168.35.226:11800 -jar sab-manager.war --spring.profiles.active=local_dev
　　其中agent.service_name是要注冊到skywalking的服務(wù)名，collector.backend_service是skywalking grpc注冊地址。
　　啟動(dòng)時(shí)沒(méi)有報錯，可以在skywalking ui后臺查看服務(wù)是否成功注冊到skywalking。
　　八、Skywalking UI管理后臺介紹 1.首頁(yè)
　　2. 儀表板
　　查看全局服務(wù)基本性能指標
　　2.1。參數說(shuō)明 2.1.1 全局維度
　　2.1.2 服務(wù)實(shí)例維度
　　2.1.3 Instance 實(shí)例維度
　　2.1.4 Endpoint 端點(diǎn)維度
　　3. 拓撲
　　SkyWalking 可以根據獲取的數據自動(dòng)繪制服務(wù)之間的調用關(guān)系圖，并可以識別常用服務(wù)并顯示在圖標上。每個(gè)連接的顏色反映了服務(wù)之間的調用延遲，可以非常直觀(guān)的看到服務(wù)之間的調用狀態(tài)。點(diǎn)擊連接中間的點(diǎn)可以顯示兩個(gè)服務(wù)之間的連接的平均值。響應時(shí)間、吞吐率和 SLA 等信息。
　　4. 追蹤
　　顯示請求響應的內部執行，一個(gè)完整的請求經(jīng)過(guò)了哪些服務(wù)，執行了哪些代碼方法，每個(gè)方法的執行時(shí)間，執行狀態(tài)等詳細信息，快速定位代碼問(wèn)題。
　　可以通過(guò)選擇服務(wù)、實(shí)例、狀態(tài)和端點(diǎn)名稱(chēng)來(lái)搜索調用鏈接，
　　您可以點(diǎn)擊紅色標記的端點(diǎn)查看異常信息
　　5、性能分析
　　新建一個(gè)待分析端點(diǎn)，左側列表顯示任務(wù)和對應的采樣請求，右側顯示各個(gè)端點(diǎn)的端點(diǎn)鏈接和堆棧信息。
　　6.報警
　　不同維度的告警列表可以分為服務(wù)、端點(diǎn)、實(shí)例。

　　事實(shí):云端內容采集解決方案小程序可能是未來(lái)5-10年
　　
　　云端內容采集解決方案小程序可能是未來(lái)5-10年內互聯(lián)網(wǎng)上發(fā)展最快的內容形式，是未來(lái)趨勢。據統計，2018年網(wǎng)絡(luò )小程序實(shí)現開(kāi)發(fā)超過(guò)500萬(wàn)個(gè)。在我司招聘系統上有7000份左右，主要是地推廣小程序建設，以及群發(fā)圖文，推廣二維碼推廣，原創(chuàng )文章?tīng)I銷(xiāo)。針對地推人員可以不用自己搭建服務(wù)器。首先配置一個(gè)好用的小程序后臺，主要是第三方平臺的二次開(kāi)發(fā)。
　　
　　作為運營(yíng)人員可以使用第三方平臺的云服務(wù)將自己的小程序產(chǎn)品分享給微信用戶(hù)。在網(wǎng)上的搜索引擎上都可以搜索到小程序的模板。建議初學(xué)者找幾家相對成熟的公司來(lái)學(xué)習。但是如果資金有限的話(huà)，也可以使用我們的建站平臺來(lái)建設，比如騰訊saas平臺云建站。每年可以租金680元的域名主機，建站花不了多少錢(qián)。有需要可以聯(lián)系我，可以幫助你建立一個(gè)輕量級的云服務(wù)器，你也可以隨時(shí)移動(dòng)過(guò)來(lái)更新。
　　為什么我發(fā)現今年很多推薦微信公眾號的推廣？但是今年是從公眾號推廣變成app推廣的一年，app推廣包括包括很多方面，最主要的就是渠道，渠道就是網(wǎng)絡(luò )上你網(wǎng)站的老用戶(hù)了，這些可以通過(guò)百度還有手機各大地方關(guān)鍵詞搜索引擎，這些用戶(hù)經(jīng)常訪(fǎng)問(wèn)你，你的轉化率就比較高，并且也比較精準，目前很多的app目標群體都在微信公眾號，很多地方各大app里的分銷(xiāo)員跟地推人員都是先做公眾號，然后人脈中推廣，有的人剛剛接觸就看到了曙光，都開(kāi)始收回成本了，關(guān)鍵就是這幾方面，大家如果想做app，大家在微信中有信息的話(huà)，請聯(lián)系我。

　　經(jīng)驗:木島精靈：知識管理方向有哪些優(yōu)秀的產(chǎn)品？
　　云端內容采集，
　　云端知識管理分享平臺，提供微博/知乎等平臺視頻和文檔的上傳/下載，社區定制：指導粉絲/用戶(hù)發(fā)布互動(dòng)貼/專(zhuān)題活動(dòng)，
　　我看看有沒(méi)有免費的，
　　
　　速傳云知識管理平臺
　　自己收藏了很多免費的知識，想在知乎上學(xué)習點(diǎn)什么，
　　微博，專(zhuān)欄，收藏夾，live什么的，都覺(jué)得很不方便，希望有好的體驗，
　　
　　謝邀。我覺(jué)得樓上阿柒說(shuō)的很全面了，我這邊同樣也有知識管理系統，免費的免費的免費的。
　　木島精靈，提供基礎知識管理系統。
　　相關(guān)話(huà)題的回答：知識管理方向有哪些優(yōu)秀的產(chǎn)品？-知識管理一條知識管理方面的專(zhuān)欄更好的回答，
　　剛開(kāi)始接觸到木島精靈還是在百度知道，后來(lái)發(fā)現能夠免費使用，且免費的內容質(zhì)量也不錯，就對木島精靈充滿(mǎn)好感?？赡苁钱a(chǎn)品還不夠完善，產(chǎn)品其實(shí)在技術(shù)人員眼里，重點(diǎn)是產(chǎn)品技術(shù)人員感興趣才能產(chǎn)生更好的體驗。木島精靈的優(yōu)勢，個(gè)人覺(jué)得在于采用的是微博，知乎等平臺的知識收集，分享功能，以及有微信公眾號不錯，還有能夠將優(yōu)質(zhì)內容快速集成，移動(dòng)互聯(lián)網(wǎng)時(shí)代內容已經(jīng)不是重點(diǎn)，如何使用好產(chǎn)品才是重點(diǎn)。通過(guò)微信公眾號也能夠不錯的集成live課程。

　　解決方案:共同打造專(zhuān)業(yè)的云端知識庫，沉淀知識資產(chǎn)！“語(yǔ)雀”正在強大！
　　之前介紹工具【窗簾】的時(shí)候，有讀者和我們反映這個(gè)軟件的部分功能開(kāi)始收費，向我們推薦了【雨雀】。了解之后發(fā)現這個(gè)軟件真的很強大，現在推薦給大家！
　　一、語(yǔ)雀簡(jiǎn)介
　　【魚(yú)闕】是一個(gè)專(zhuān)業(yè)的云知識庫，孵化自螞蟻金服（你想到支付寶了嗎？）。10萬(wàn)阿里巴巴員工書(shū)寫(xiě)文檔，積累知識。
　　【語(yǔ)言】一詞來(lái)源于【語(yǔ)言】，一般指人類(lèi)交流的方式。語(yǔ)雀的核心是通過(guò)將知識以文字、圖片、表格等形式承載交流過(guò)程中需要用到的載體，讓人與人之間的交流更加高效。
　　“云雀”一詞來(lái)源于“云雀”，在雪萊的代表作《致云雀》中象征著(zhù)“歡樂(lè )、光明和美麗”。
　　官網(wǎng)介紹視頻
　　二、案例效果
　　很多老師會(huì )問(wèn)，為什么要為這些花里胡哨的東西煩惱呢？
　　當文件堆積如山，沒(méi)有條理，查找起來(lái)很麻煩。當文件存儲沒(méi)有組織有序時(shí)，工作效率很低。
　　經(jīng)雨闕編輯后，左側為全書(shū)目錄，可分類(lèi)；右邊是章節中自動(dòng)生成的內容大綱。
　　像一本書(shū)，整齊有序，一目了然！
　　三、功能介紹
　　1.豐富的應用場(chǎng)景。擁有多種典型模板，包括項目文檔、學(xué)習筆記等。
　　2.專(zhuān)業(yè)編輯。自研編輯器，支持Markdown、腦圖、代碼塊、公式等專(zhuān)業(yè)版塊的輸入，也支持本地視頻、Office文件、PDF的在線(xiàn)閱讀。
　　
　　3. 結構化的知識庫。擁有大量的知識庫排版模型，快速形成像一本書(shū)一樣清晰易讀的知識庫。
　　4.系統協(xié)調?；趫F隊的知識管理，使團隊能夠一起在線(xiàn)。實(shí)現團隊之間知識的自由流動(dòng)，創(chuàng )造更大的價(jià)值。
　　5、同時(shí)，所有公立醫院、公立學(xué)校、非營(yíng)利組織均可申請長(cháng)期免費使用【魚(yú)雀空間】，長(cháng)期免費使用的知識庫和文檔數量不限。
　　四、功能介紹
　　1.個(gè)人用戶(hù)進(jìn)行個(gè)人創(chuàng )作，寫(xiě)生活日記。建立個(gè)人秘密倉庫，存放個(gè)人筆記。使用它來(lái)采集和組織數據并建立自己的知識庫。
　　2. 小型組織適合社團、學(xué)習小組、一群人一起創(chuàng )建知識庫。集體編寫(xiě)和翻譯書(shū)籍。分工寫(xiě)文件和制作手冊。
　　五、操作指南
　　去魚(yú)雀官方網(wǎng)站注冊使用，或者在電腦上下載軟件。
　　網(wǎng)址：
　　您可以選擇手機號、釘釘或微信登錄。
　　客戶(hù)端界面
　　頁(yè)面端工作界面
　　1. 創(chuàng )建新的文件和表格
　　在任何帶有頂部導航的頁(yè)面上，單擊右側的“+”以啟動(dòng)新文檔和表格的創(chuàng )建。
　　進(jìn)入編輯器后，無(wú)論是文檔還是表格，每隔1分鐘就會(huì )開(kāi)啟一次自動(dòng)保護。內容僅在沒(méi)有帖子或更新時(shí)對您或您的團隊成員可見(jiàn)。
　　
　　當然，手動(dòng)保護也是可以的。
　　2.資源知識庫文件上傳
　　第一步是選擇“新建知識庫”，在新建知識庫頁(yè)面選擇“資源知識庫”。
　　第二步，點(diǎn)擊右上角的“上傳文件”，一次最多可以同時(shí)上傳10個(gè)文件。
　　以前的教案和知識總結文件可以統一上傳，組織成知識體系框架，構建知識庫，方便又安全。
　　3.組建團隊共同編輯
　　第一步，在第一個(gè)飛行欄上，點(diǎn)擊“+”并選擇New Team。
　　第二步：在彈出的頁(yè)面中，選擇需要的類(lèi)型模板，點(diǎn)擊下一步。
　　第三步：在彈出的信息輸入頁(yè)面，輸入團隊信息，選擇需要的套餐。
　　基本模型有50個(gè)團隊成員，這已經(jīng)足夠龐大了！
　　教學(xué)視頻：
　　用戶(hù)手冊：
　　如果喜歡今天的文章，請留言告訴小編！
　　本文為實(shí)用教育技術(shù)原創(chuàng )，作者蛋撻。
　　解決方案:阿里本地生活全域日志平臺 Xlog 的思考與實(shí)踐
　　作者 | 王宇（奧天）
　　來(lái)源 | 阿里云日志服務(wù)團隊
　　1. 背景
　　程序員通過(guò)打印“hello world”來(lái)學(xué)習每一種語(yǔ)言。這種啟發(fā)性的探索正在向我們傳遞一個(gè)信息：“當你踏入編程領(lǐng)域時(shí)，代碼和日志將是你最重要的伙伴”。在代碼部分，有了越來(lái)越多強大的idea插件和快捷鍵，大大提高了開(kāi)發(fā)者的編碼效率。在日志部分，各個(gè)團隊也在朝著(zhù)調查的方向進(jìn)行創(chuàng )新嘗試。這也是研發(fā)有效性領(lǐng)域的重要組成部分。
　　阿里集團的本地生活，在支持多生態(tài)公司、多技術(shù)棧的背景下，逐漸沉淀出跨應用、跨域的日志排查解決方案——Xlog。目前還支持icbu、本地生活、新零售、盒馬、螞蟻、阿里cto、阿里云、淘特、靈曦互娛等團隊。也獲得了sls開(kāi)發(fā)團隊的好評。
　　希望這篇文章能給正在使用或打算使用sls的同學(xué)帶來(lái)一些投入，幫助團隊盡快落實(shí)日志排查計劃。第一部分重點(diǎn)介紹微服務(wù)框架下日志排查面臨的挑戰以及我們是如何解決的。第二部分從細節的角度談了程序設計的幾個(gè)難點(diǎn)和克服策略。第三部分是關(guān)于 Xlog 目前的能力。第四部分，主體能力，如何建設生態(tài)能力。
　　1.1 Xlog解決的問(wèn)題
　　通過(guò)日志排查的時(shí)候，相信有幾個(gè)步驟大家都很熟悉： 1.登錄跳板。2. 切換跳線(xiàn)。3. 登錄阿里云平臺sls。4.切換到阿里云sls項目logstore。來(lái)回循環(huán)。
　　例如，下圖展示了一個(gè)長(cháng)鏈接系統的片段（真實(shí)鏈接更復雜）：Application1，Application2，Application3。其中 Application1 和 Application2 是同一個(gè)域（類(lèi)似于：一個(gè)子團隊），而 Application3 屬于另一個(gè)域。那么這個(gè)查詢(xún)涉及到兩個(gè)場(chǎng)景：跨應用查詢(xún)和跨域查詢(xún)。
　　Application1的負責人接手問(wèn)題后，通過(guò)跳板或者sls日志發(fā)現需要上游同學(xué)協(xié)助排查。這時(shí)候無(wú)論是切換跳板還是sls，還是聯(lián)系Application2的負責人協(xié)助查詢(xún)，都需要1min-&gt;3min的響應時(shí)間。從Application2的負責人那里找Application3的負責人會(huì )比較難，因為可能不清楚Application3的sls信息（我們的bu有10萬(wàn)級的logstore信息），也沒(méi)有跳板登錄許可，我不知道Application3的sls信息。主要的。結果，調查時(shí)間大大增加。
　　前面的例子只展示了三個(gè)應用的查詢(xún)場(chǎng)景，真實(shí)的鏈接往往比這復雜得多。那么有沒(méi)有可以一鍵一站式查詢(xún)所需日志的平臺呢？于是，致力于解決長(cháng)鏈接下跨應用、跨域搜索頻繁切換的Xlog誕生了！
　　1.2 Xlog支持的場(chǎng)景
　　微服務(wù)框架下的跨應用查詢(xún)，跨域集成環(huán)境下的跨域查詢(xún)。
　　本文向大家介紹xlog，幫助群內業(yè)務(wù)搭建更大的生態(tài)系統，簡(jiǎn)單易用，非侵入式，并且隨著(zhù)越來(lái)越多的域連接，點(diǎn)可以連接，線(xiàn)可以組合創(chuàng )建一個(gè)經(jīng)濟體，或者一個(gè)更大的生態(tài)系統的日志全鏈路解決方案。
　　1.3 Xlog目前的系統建設
　　對于已經(jīng)采集到sls的應用，我們可以實(shí)現代碼零修改，不侵入部署環(huán)境，采集結構和采集通道都是免費的?；旧现灰茉L(fǎng)問(wèn)sls，就可以訪(fǎng)問(wèn)Xlog。通過(guò)對結構、格式和跨域能力的規范化，Xlog 支持了幾種最常用于故障排除的場(chǎng)景：應用內跨文件搜索、域內跨應用搜索和跨域搜索。
　　《持續交付2.0》作者喬亮提到：一致性是提高研發(fā)效率的唯一途徑。整個(gè)經(jīng)濟發(fā)展了20多年，很難做到全覆蓋一致。但是，Xlog 創(chuàng )新性地提出了一種將不一致性轉化為一致性的解決方案。無(wú)論是查詢(xún)還是其他基于日志的技術(shù)體系建設，都有里程碑。意義。
　　2、方案設計
　　本段將詳細描述Xlog的設計思路和開(kāi)發(fā)過(guò)程。如果已經(jīng)連接過(guò)sls，可以跳到2.2；如果你還沒(méi)有連接sls，你可以閱讀2.1，會(huì )有一些創(chuàng )新的想法。
　　2.1 初步計劃：創(chuàng )新與隔離
　　2019年SaaS剛剛成立，很多基礎設施都需要完善。和很多團隊一樣，我們主要使用兩種方式查詢(xún)日志：
　　1.登錄跳板查詢(xún)：使用Traceid-&gt;Eagle-&gt;機器ip-&gt;登錄跳板-&gt;grep關(guān)鍵字的查詢(xún)鏈接。缺點(diǎn)：每次查詢(xún)4-6分鐘，日志檢索和可視化較差，無(wú)法跨應用查詢(xún)，無(wú)法查看歷史日志。
　　2.登錄阿里云sls web控制臺查詢(xún)：登錄sls-&gt;keyword查詢(xún)。缺點(diǎn)：每次查詢(xún)1-2分鐘，日志可視化較差，無(wú)法跨應用跨域查詢(xún)。
　　基于這樣的背景，我們做了3件事來(lái)提高查詢(xún)效率：
　　統一的日志格式：一組標準用于 logback 中的模式。
　　%d{yyyy-MM-dd HH:mm:ss.SSS} {LOG_LEVEL_PATTERN:-%5p}{LOG_LEVEL_PATTERN:-%5p}{PID:-} --- [%t] [%X{EAGLEEYE_TRACE_ID}] %記錄器-%L: %m%n
　　在：
　　%d{yyyy-MM-dd HH:mm:ss.SSS}：時(shí)間精確到毫秒
　　${LOG_LEVEL_PATTERN:-%5p}：日志級別、DEBUG、INFO、WARN、ERROR等。
　　${PID:-}：進(jìn)程 ID
　　---：分隔符沒(méi)有特殊含義
　　[%t]: 線(xiàn)程名稱(chēng)
　　[%X{EAGLEEYE_TRACE_ID}]：鷹眼追蹤 ID
　　%logger：日志名稱(chēng)
　　%m%n: 消息正文和換行符
　　在域內使用相同的日志格式被證明比預期更有利可圖。對整個(gè)鏈路的分析、監控、故障排除，甚至未來(lái)的智能故障排除，都將帶來(lái)極大的便利。
　　
　　該方案在解決域內單應用和跨應用方面都有非常好的表現，只需要完成一次API調用。如果你的團隊準備使用 sls，如果 sls 的數據只是用來(lái)排查問(wèn)題（監控類(lèi)的 sunfire 可以直接讀取服務(wù)器的本地日志），我們還是推薦這個(gè)方案。它可以很好地完成調查的需要?；谶@些條件的解決方案已經(jīng)存入Xlog，可以直接接入Xlog，享受Xlog的全套能力。
　　2.2 當前計劃：創(chuàng )新助世界
　　剛才的解決方案在解決自己域的排錯問(wèn)題上表現不錯。但2020年，SaaS開(kāi)始支持多個(gè)生態(tài)公司，面臨的場(chǎng)景不再是自己的領(lǐng)域，需要將多個(gè)領(lǐng)域打通。在這一點(diǎn)上，我們面臨兩個(gè)主要挑戰：
　　因此，在之前的方案中，我們升級了Xlog，重新定義了目標：
　　2.2.1 模型設計
　　由于調用sls api查詢(xún)日志的單元是logstore，所以我們可以將各種采集結構拆分成以下三個(gè)單元的組合（當然大部分域可能是這些結構之一）。
　　1. 一個(gè)環(huán)境對應一個(gè)logstore，（例如：在這個(gè)域中，日常環(huán)境中應用的所有日志都在一個(gè)logstore中）。域A如下圖所示。
　　2、一個(gè)應用對應一個(gè)logstore，（比如應用A的日常環(huán)境對應logstore1，應用A的預發(fā)布環(huán)境對應logstore2，應用B的日常環(huán)境對應logstore3）。域 B 如下圖所示。
　　3.一個(gè)文件對應一個(gè)logstore，（例如應用A的a文件對應日常環(huán)境的logstore1，應用A的b文件對應日常環(huán)境的logstore2）。域 C 如下圖所示。
　　有了這樣的原子結構，在xlog上配置時(shí)，只需要創(chuàng )建域、環(huán)境、應用、文件=&gt;logstore的映射關(guān)系即可。這樣，可以在域內執行應用程序粒度和文件粒度查詢(xún)。
　　同樣在沒(méi)有網(wǎng)關(guān)的跨域場(chǎng)景下，可以通過(guò)結合兩個(gè)域的logstore來(lái)完成跨域查詢(xún)。如上圖： 指定域A中的兩個(gè)應用，可以轉換成logstore加過(guò)濾條件。指定域 B 中的兩個(gè)應用程序，可以轉換成兩個(gè) logstore。在域C中指定兩個(gè)應用程序，可以先搜索應用程序下的文件，然后找到文件對應的logstore集合。至此，阿里云sls中有所有需要查詢(xún)日志的logstore。最終的結果是通過(guò)對查詢(xún)結果進(jìn)行組合和排序得到的。同樣，如果要進(jìn)行跨域搜索，只需要拼接多個(gè)域的logstore即可。然后進(jìn)行查詢(xún)。
　　2.2.2 性能優(yōu)化
　　通過(guò)2.2.1模型設計的描述，無(wú)論是環(huán)境類(lèi)型、應用類(lèi)型還是文件類(lèi)型的sls結構，以及單應用、多應用、多域查詢(xún)都可以轉換成一組logstore，然后遍歷并執行日志存儲。但這會(huì )帶來(lái)新的問(wèn)題。如果有很多logstore，如何提高效率。比如對接一個(gè)團隊的日志，發(fā)現他們的logstore有3000個(gè)，每個(gè)環(huán)境有1000個(gè)應用。假設每個(gè)查詢(xún)需要 150ms，1000 個(gè)應用程序需要執行 150s（2.5 分鐘）。試想一下，如果在不指定應用程序的情況下搜索整個(gè)域以查找日志需要 2.5 分鐘，將會(huì )花費多少。針對這個(gè)問(wèn)題，我們對性能進(jìn)行了優(yōu)化。主要使用以下方法，
　　如上圖所示，當用戶(hù)通過(guò)前端選擇對應的操作域和查詢(xún)條件時(shí)。后端分析得到需要查詢(xún)的logstore列表（如圖A、B、C、D、E所示）。然后通過(guò)分析用戶(hù)的私密應用進(jìn)行排序和過(guò)濾，得到一個(gè)優(yōu)先級隊列（圖中B、A、C）。使用創(chuàng )建的鏈接池對優(yōu)先級隊列進(jìn)行并發(fā)查詢(xún)，得到一組日志結果。最后前端完成排序組裝，渲染完成一個(gè)循環(huán)。本文主要講解線(xiàn)程池并發(fā)和算法優(yōu)化模塊。
　　2.2.3 線(xiàn)程池并發(fā)
　　與傳統的線(xiàn)程池并發(fā)執行相比，并沒(méi)有太大的區別。將要查詢(xún)的logstore按順序插入到線(xiàn)程池隊列中。通過(guò)這種方式，在每次logstore查詢(xún)次數較少（小于核心線(xiàn)程數）的情況下，可以有效減少查詢(xún)時(shí)間。對于大量場(chǎng)景，有算法優(yōu)化支持。
　　對于查詢(xún)后的補償操作，也采用異步處理的方式來(lái)減少查詢(xún)時(shí)間。
　　2.2.4 算法優(yōu)化
　　對于滿(mǎn)足條件的logstore較多（超過(guò)核心線(xiàn)程數）的場(chǎng)景，通過(guò)線(xiàn)程池并發(fā)查詢(xún)無(wú)法快速得到結果。經(jīng)過(guò)一年的日志快速排序數據積累和分析，我們發(fā)現即使不指定應用和搜索條件，通過(guò)查詢(xún)人員操作習慣或關(guān)注應用習慣，也能定位到最可能的日志存儲順序。
　　例如，在商家 saas 中心，大約有 500 個(gè)應用程序。同學(xué)A的負責系統是Application1，查詢(xún)較多的應用程序是Application11和Application12。另外，與Application1上下游關(guān)系密切的應用是Application2和Application3。如果是這樣，我們可以認為A同學(xué)會(huì )比其他應用程序更關(guān)注應用程序Application1、Application11、Application12、Application2和Application3。對于這些應用程序，可以執行優(yōu)先級查詢(xún)。從而將 500 個(gè)查詢(xún)任務(wù)減少到 5 個(gè)。
　　結合日常生活中的情況，每個(gè)開(kāi)發(fā)者關(guān)注的應用數量極有可能控制在30個(gè)以?xún)取?br /> 　　通過(guò)以上分析，我們建立了兩組親和網(wǎng)絡(luò )來(lái)定位查詢(xún)批次和梯隊。
　　用戶(hù)每次調用時(shí)，都可以分析查詢(xún)條件、查詢(xún)結果和用戶(hù)，建立關(guān)系。因為可以在查詢(xún)條件中指定應用程序，所以也不需要指定應用程序。
　　如果是指定的應用程序，則表示用戶(hù)顯式查詢(xún)了應用程序的內容。給用戶(hù)與應用的親密度加 5 分。
　　如果不指定應用，可以根據關(guān)鍵字查詢(xún)來(lái)分析查詢(xún)結果。提取查詢(xún)結果的每條日志對應的應用，然后加1分（因為沒(méi)有明確指定，而是根據關(guān)鍵字進(jìn)行輻射）。
　　至此，經(jīng)過(guò)多次用戶(hù)操作，即可獲得用戶(hù)與各個(gè)應用之間的親密度。當遇到多個(gè)logstore查詢(xún)時(shí)，可以根據用戶(hù)過(guò)濾掉親密度最高的15個(gè)應用。作為第一批查詢(xún)對象。
　　應用程序之間也存在親和力。應用的親密度越高，被關(guān)聯(lián)搜索的概率就越大。例如，應用中心和產(chǎn)品這兩個(gè)應用中心在系統設計上就有這種密切的關(guān)系。如果用戶(hù)A的親屬關(guān)系中收錄application center，那么在查詢(xún)log的時(shí)候很有可能會(huì )輻射到application prod?；谶@個(gè)思想，可以通過(guò)分析每個(gè)查詢(xún)日志的結果來(lái)創(chuàng )建關(guān)系矩陣。
　　每次獲取關(guān)鍵字查詢(xún)的日志結果后，涉及的應用的成對親密度加1。相當于在一個(gè)鏈接上應用親密度加1。方便日后查詢(xún)，不會(huì )因人員親密度丟失應用親密度信息，導致鏈接失真。
　　以上是我們如何訓練親和矩陣的一般概述。下面說(shuō)說(shuō)如何通過(guò)這個(gè)矩陣來(lái)優(yōu)化查詢(xún)算法。如下圖，左上角是我們記錄的人-應用和應用-應用的關(guān)系矩陣。具體來(lái)說(shuō)，對于用戶(hù)與應用A、應用B、應用C等的關(guān)系，我們會(huì )用一個(gè)分數來(lái)衡量他們的親和度，主要可以描述人們對應用的關(guān)注度。在 app-app 之間，我們記錄了彼此的耦合程度。右上角是查詢(xún)條件。根據查詢(xún)條件和各個(gè)域的采集結構，可以快速計算出要查詢(xún)的logstore列表。但并非所有日志存儲都需要查詢(xún)。這里，
　　如下圖所示，對于命中路口的應用，會(huì )根據人和應用的關(guān)系進(jìn)行計算，選擇得分高的。然后，那些低于 30 閾值的人會(huì )得到應用與應用親和力的補充。這里涉及到一個(gè)比較邏輯，會(huì )根據人與應用的比例得分*應用的得分與應用比例，類(lèi)似于霍夫曼編碼中路徑權重的含義。最后得到一個(gè)需要查詢(xún)的30個(gè)logstore的列表。
　　2.2.5 跨域映射
　　跨域是進(jìn)行全鏈路故障排除時(shí)必須面對的挑戰。在實(shí)現原理上，跨域有兩種場(chǎng)景：通過(guò)網(wǎng)關(guān)和不通過(guò)網(wǎng)關(guān)。
　　如上圖所示，分別為域1、域2、域3、域4的通話(huà)鏈接。域1調用域2，域3調用域4不經(jīng)過(guò)網(wǎng)關(guān)，traceId不變。域2調用域3時(shí)，需要經(jīng)過(guò)網(wǎng)關(guān)，traceId發(fā)生變化。
　　我們可以將查詢(xún)方法分為兩種。1.關(guān)鍵字查詢(xún)，如輸入訂單號。這實(shí)際上不受鏈路跟蹤方案的影響，也不受網(wǎng)關(guān)的影響。因此，您仍然可以按每個(gè)域中的關(guān)鍵字進(jìn)行搜索。2.通過(guò)traceId查詢(xún)。這首先需要通過(guò)網(wǎng)關(guān)信息獲取映射關(guān)系。即traceId1-&gt;traceId2。然后使用這兩個(gè) traceId 在各自的域中進(jìn)行搜索。
　　3. 現有能力
　　通過(guò)對原有飛云日志快速排序功能的改進(jìn)和訪(fǎng)問(wèn)成本的提高。Xlog已經(jīng)完成了主要功能的開(kāi)發(fā)和實(shí)現。
　　
　　跨域查詢(xún)操作：
　　通過(guò)對用戶(hù)使用習慣的分析，目前支持單應用、域內跨應用、跨域。按文件、日志級別、關(guān)鍵字、時(shí)間等搜索，同時(shí)支持保存用戶(hù)操作習慣。
　　支持阿里云sls采集結構，只要能拆成采集的上述三種模式，都可以支持。如果有非常特殊的情況，可以聯(lián)系奧天定制。
　　對于已經(jīng)連上sls的系統，sls的配置不需要更改，在Xlog上配置即可。對于sls采集日志存儲時(shí)間、采集方法、預算等，分配給各個(gè)業(yè)務(wù)團隊，可以根據自己的實(shí)際情況進(jìn)行調整。
　　對于不同的域，對一些關(guān)鍵字段的敏感度可能不同。比如有的需要使用traceid，有的需要使用requestid，游戲需要使用messageid。對于這種場(chǎng)景，支持自定義搜索框，并且在顯示日志時(shí)會(huì )突出顯示關(guān)鍵字段。
　　通過(guò)以上方法的性能優(yōu)化，目前的性能指標如下：?jiǎn)蝹€(gè)應用查詢(xún)150ms。32 個(gè)應用程序為 400 毫秒。超過(guò)50個(gè)應用，算法優(yōu)化，時(shí)間在500ms。
　　4、生態(tài)建設
　　本章記錄了本系統日志級別的優(yōu)化和構建。大部分想法和策略都可以重復使用，希望對有相同需求的同學(xué)有所幫助。
　　4.1 成本優(yōu)化
　　Xlog系統建成后，如何降低成本成為新的挑戰。實(shí)施以下方法后，成本降低80%。主要的操作也列在這里，希望能給也在使用sls的用戶(hù)一些幫助。
　　阿里云內部賬戶(hù)相比外部賬戶(hù)有額外的折扣。因此，如果有部門(mén)在外彈部署，可以考慮將日志直接上傳到域內的賬號，或者申請該賬號成為域內的賬號。
　　其實(shí)在打印日志的時(shí)候，往往沒(méi)有考慮到成本，很多都是隨意打印的。因此，我們根據交易量為每個(gè)應用程序設計域值，如果超過(guò)指標的需要進(jìn)行優(yōu)化。
　　優(yōu)化存儲時(shí)間是最簡(jiǎn)單、最直接的方法。我們將離線(xiàn)（每日和預發(fā)布）日志存儲時(shí)間減少到 1 天，在線(xiàn)時(shí)間減少到 3 天 -&gt; 7 天。然后結合使用歸檔功能來(lái)優(yōu)化成本。
　　索引優(yōu)化相對復雜，但也是最有效的。經(jīng)過(guò)分析，我們的大部分成本都分布在索引、存儲和交付上。該指數約占70%。優(yōu)化索引的操作，其實(shí)就是降低索引占用日志的比例。例如，只支持前幾個(gè)字節的查詢(xún)能力，下面的詳細信息部分是附加的詳細信息。由于我們域內有統一的日志格式，所以域內的日志中只留下traceid索引，為匯總日志維護全索引。所以后續的查詢(xún)方式是先通過(guò)summary log查詢(xún)traceid，再通過(guò)traceid查詢(xún)明細。
　　4.2 歸檔能力
　　在構建整個(gè)架構時(shí)，我們還考慮了成本因素。在降低成本的同時(shí)，我們縮短了存儲時(shí)間。但是，縮短存儲時(shí)間必然會(huì )導致對歷史問(wèn)題的排查能力不足。因此，我們也提出了歸檔能力的建設。
　　在 sls 的 logstore 中，可以配置數據下發(fā)： . 這一步其實(shí)就是講sls中的信息，存到oss中。通俗的講，就是將數據庫表以文件的形式保存，刪除索引的能力。在交付過(guò)程中將執行加密。目前，Xlog 支持在界面下載和歸檔日志，然后在本地搜索。
　　后期可以根據需要重新導入oss數據到sls，參考：.
　　4.3 異常日志掃描
　　借助之前的架構，其實(shí)可以清楚的知道每條日志的內容在哪里，可以準確的查詢(xún)到記錄錯誤日志的文件內容。因此，每10分鐘進(jìn)行一次檢查，匯總各個(gè)應用程序中的異常日志，獲取此期間異常信息的數量。然后通過(guò)之前的對比就可以知道是否有新的錯誤，爆炸錯誤等等。
　　如上圖所示，獲取所有異常日志后，會(huì )按照規則計算md5。堆棧類(lèi)型和異常日志類(lèi)型對這兩種類(lèi)型有不同的算法，但本質(zhì)目標是相同的，都是計算最有可能被重讀的段落的md5，然后進(jìn)行聚類(lèi)。聚類(lèi)完成后，可以得到差異并進(jìn)行比較，從而判斷是新增還是突然增加。
　　5. 規劃
　　目前，Xlog的基本組件和功能已經(jīng)實(shí)現。在各種應用和域的訪(fǎng)問(wèn)中，整個(gè)環(huán)節會(huì )越來(lái)越完整。接下來(lái)，將補充全鏈路、視覺(jué)檢查、智能檢查和問(wèn)題發(fā)現。
　　6. 使用和共建
　　參考很多其他團隊對采集結構、日志格式、查詢(xún)方式、呈現方式的要求，降低了訪(fǎng)問(wèn)成本，提高了定制化。滿(mǎn)足條件的團隊，可輕松接入
　　對于一些特殊或定制化的需求，Xlog預留了擴展模塊，方便共建。
　　如上圖所示，圖中綠色的組件是可以復用的，只需要為自己的領(lǐng)域定制結構和跨域映射即可。只需要根據定義的策略模式的接口來(lái)實(shí)現即可。
　　?
　　參與話(huà)題互動(dòng)贏(yíng)阿里科技定制口袋！
　　互動(dòng)文章：《6大論壇，30+技術(shù)話(huà)題，2022首屆阿里巴巴開(kāi)源開(kāi)放周來(lái)了！》
　　好的技術(shù)文章
　　灰度接口遷移方案千萬(wàn)級可觀(guān)測數據采集器 - iLogtail 代碼完整開(kāi)源全鏈路壓力測試：影子庫與影子表之戰 全鏈路灰度 數據庫上怎么做？
　　企業(yè)案例
　　企業(yè)上云| 阿里云長(cháng)春數字化轉型經(jīng)驗分享：助力“專(zhuān)、專(zhuān)、新”，數字科技伴隨企業(yè)成長(cháng)
　　云柱
　　三星堆夢(mèng)幻之旅：只有云計算才能帶來(lái)的體驗，不僅可以在路上，還可以提供良好的服務(wù)：自動(dòng)駕駛產(chǎn)品的規模問(wèn)題，定義了自動(dòng)駕駛，未來(lái)的移動(dòng)智能載體？如何提出關(guān)鍵問(wèn)題，支持10萬(wàn)人同時(shí)在線(xiàn)互動(dòng)，是實(shí)現元界的基本前提？返回搜狐，查看更多

　　匯總:云端內容采集推送，你了解多少？(一)？
　　云端內容采集推送，
　　1、技術(shù)，云端內容的推送技術(shù)目前已經(jīng)很成熟了，大都是ai方面的推送技術(shù)，可以同時(shí)推送很多內容的。
　　2、內容的標準，就是一些已有的平臺，知乎、豆瓣、淘寶等等，他們的內容是固定的，平臺給大家傳遞內容、互動(dòng)內容。
　　3、用戶(hù)行為，現在用戶(hù)的交互已經(jīng)很豐富了，然后一些社交類(lèi)的app也在嘗試，通過(guò)這些行為來(lái)進(jìn)行匹配內容，獲取用戶(hù)感興趣的內容。
　　
　　找這方面的大神回答問(wèn)題
　　一般數據是通過(guò)爬蟲(chóng)獲取的
　　android手機里內置就是小米瀏覽器的“抓包”功能
　　阿里云端互聯(lián)網(wǎng)服務(wù)
　　
　　因為中國互聯(lián)網(wǎng)還不夠發(fā)達，有的用戶(hù)連瀏覽器都沒(méi)用過(guò)，某些連搜索引擎都沒(méi)用過(guò)，
　　百度
　　公開(kāi)的資源.沒(méi)有必要讓別人隨便知道.除非他需要,就會(huì )展示.不展示.完全沒(méi)必要對外.用戶(hù)只要想在互聯(lián)網(wǎng)尋找東西,就能搜到信息.必須要展示
　　我猜應該是：抓取過(guò)來(lái)以后，進(jìn)行過(guò)濾，做過(guò)濾，再進(jìn)行分類(lèi)，分類(lèi)過(guò)后，不需要展示（比如，那些違法的內容，那些不適合做廣告的內容），用戶(hù)想看的內容會(huì )展示出來(lái)，被分類(lèi)為用戶(hù)需要的，并且，有需要下載的內容，即使這個(gè)網(wǎng)站沒(méi)有這方面的東西，用戶(hù)也需要下載該網(wǎng)站的內容（這里需要的定義要有區別）這么麻煩，會(huì )降低用戶(hù)使用效率，增加大量不必要的流量。
　　大概這么一些原因：1.首先，大部分網(wǎng)站是公開(kāi)資源2.其次，大部分公開(kāi)資源，都是針對用戶(hù)提供的，而不是企業(yè)主動(dòng)推薦3.然后，國內的訪(fǎng)問(wèn)速度及穩定性及發(fā)展前景，似乎還不夠。

　　解決方案:云采集是個(gè)業(yè)務(wù)問(wèn)題，就好比你在星巴克，打開(kāi)的是wifi星巴克
　　云端內容采集本質(zhì)上并不是一個(gè)技術(shù)問(wèn)題，而是一個(gè)業(yè)務(wù)問(wèn)題。就好比你在星巴克，打開(kāi)的是wifi星巴克，而不是移動(dòng)電信那個(gè)有線(xiàn)連接一樣。題主可以去搜索下云采集，有一大堆相關(guān)文章可以參考。從技術(shù)角度來(lái)說(shuō)，只要你能夠為客戶(hù)提供穩定的mqtt服務(wù)，最終一切都好辦。你要做的是可以提供相應的業(yè)務(wù)產(chǎn)品，并且使這個(gè)產(chǎn)品能夠為企業(yè)本身的業(yè)務(wù)提供良好的支撐。至于數據穩定，除了騰訊系那些一些專(zhuān)業(yè)做數據存儲的廠(chǎng)商外，幾乎大部分都不行，可以認為無(wú)法保證。
　　
　　云采集就是云采集唄？
　　云采集是個(gè)多業(yè)務(wù)流轉的過(guò)程，采集肯定是涉及到業(yè)務(wù)的。
　　
　　云采集就是傳統采集技術(shù)與云采集技術(shù)的融合。具體包括兩方面內容，采集方面是專(zhuān)業(yè)化的采集引擎，不是普通采集數據，方便遷移整合到新業(yè)務(wù)使用，采集的標準化準確穩定應用，前端瀏覽器端、移動(dòng)端，互聯(lián)網(wǎng)網(wǎng)頁(yè)端、接入前端，更多個(gè)數據源，跨設備，跨終端。能實(shí)現前端設備到后端數據應用的協(xié)同采集。這方面跟專(zhuān)業(yè)的采集人員就需要在數據源有很高的技術(shù)能力還需要找到合適的采集方式。
　　后端處理上需要分庫分表，存儲建庫，數據處理統一模塊，而不是簡(jiǎn)單的把數據采集出來(lái)然后通過(guò)規范化標準化數據模塊高度自動(dòng)化復用。這些內容在實(shí)際應用中多數能接觸到的更多是傳統的采集程序，云采集既然是融合那就建議配合云采集的專(zhuān)業(yè)化進(jìn)行開(kāi)發(fā)，操作更加便捷。

　　優(yōu)化的解決方案:云端內容采集+云端儲存+中轉中心解決跨平臺問(wèn)題
　　
　　云端內容采集+云端儲存+中轉中心，可以解決跨平臺問(wèn)題，比如用qq郵箱來(lái)對我每天發(fā)送的文章進(jìn)行分發(fā)，問(wèn)題是人家不知道你用qq郵箱發(fā)過(guò)來(lái)的到底是什么類(lèi)型的文章，另外一個(gè)就是是這個(gè)郵箱的昵稱(chēng)是否和前一個(gè)一致，就會(huì )產(chǎn)生問(wèn)題。所以郵箱就比較雞肋了，畢竟郵箱的安全性也是個(gè)問(wèn)題。手機網(wǎng)頁(yè)就可以就解決郵箱的問(wèn)題了，我們就可以把各類(lèi)型的文章以列表的形式整理好，然后配上標題，進(jìn)行發(fā)送。就沒(méi)有多余的文件去整理各類(lèi)型文章到各個(gè)郵箱。
　　
　　更新時(shí)間放到6月30日，到時(shí)候文章如果超過(guò)字數，排版工作就會(huì )比較繁瑣。我的方案是全部用圖片?，F在是打開(kāi)網(wǎng)頁(yè)就看到，不用開(kāi)電腦網(wǎng)頁(yè)對于大多數人來(lái)說(shuō)很好用，有需要開(kāi)電腦再登陸（不過(guò)大多數只用電腦瀏覽器瀏覽的話(huà)，還是挺麻煩的）可以自己用格式圖片處理工具（微軟自帶就可以）編輯。應該不是針對小號很多，現在像愛(ài)奇藝，騰訊這些國內視頻網(wǎng)站基本都用google看電影吧（我知道的騰訊也支持，不過(guò)從我用google看下來(lái)來(lái)看更方便），360搜索也可以（我也在用，但是有些瀏覽器不支持google+）我知道騰訊，優(yōu)酷，搜狐這類(lèi)網(wǎng)站同樣不支持google+，我也是通過(guò)其他手段才了解到的。
　　題主如果手機能看txt格式的文件，建議用微信看，首頁(yè)有一個(gè)搜一搜，直接搜索文件，搜到后點(diǎn)開(kāi)，閱讀格式都是txt格式的，你可以自己選文件閱讀格式。你說(shuō)到的搜索會(huì )分辨率不清楚這個(gè)如何調整，這個(gè)一般人用不到，我用手機網(wǎng)頁(yè)搜索電腦網(wǎng)頁(yè)搜索對比發(fā)現：手機網(wǎng)頁(yè)都是以一代流式傳輸為標準來(lái)識別文字的，而電腦網(wǎng)頁(yè)是以為標準識別文字的。所以電腦網(wǎng)頁(yè)上文字基本顯示大小和我手機網(wǎng)頁(yè)上一樣。

　　終極:網(wǎng)易云音樂(lè )采集“十三條緯線(xiàn)”“特殊采集技巧”
　　云端內容采集是個(gè)復雜又燒腦的事，光是買(mǎi)軟件就要千萬(wàn)，不過(guò)我們今天以三級巨頭網(wǎng)易云音樂(lè )采集為例，跟大家分享網(wǎng)易云音樂(lè )采集的“十三條緯線(xiàn)“特殊采集技巧。經(jīng)過(guò)云麥對網(wǎng)易云音樂(lè )所有歌曲的采集，將歌曲列表與采集關(guān)鍵詞分開(kāi)，采集后按照《十三條緯線(xiàn)》的規則，點(diǎn)擊采集就可以將采集到的歌曲整體呈現在mac上，采集歌曲列表為歌詞，點(diǎn)擊歌詞可以直接顯示歌曲名稱(chēng)或者標簽。
　　
　　一、采集網(wǎng)易云音樂(lè )整體歌詞數據首先，進(jìn)入網(wǎng)易云音樂(lè )，導入需要采集的歌曲關(guān)鍵詞，云采集會(huì )自動(dòng)匹配匹配歌曲的歌詞內容。點(diǎn)擊歌詞進(jìn)入歌詞采集頁(yè)面，右上角可以獲取一些歌詞相關(guān)的資源，包括歌詞框的字體大小、歌詞來(lái)源等，選擇來(lái)源可以獲取歌詞本身，選擇歌曲就是歌曲名稱(chēng)或者歌曲鏈接等內容；選擇匹配詞，然后在確定這些歌詞出現在哪個(gè)歌詞框中，出現在：關(guān)鍵詞，歌詞還原為歌曲歌詞框的內容；匹配詞需要參數化，參數從關(guān)鍵詞和歌詞這兩個(gè)文本字段中匹配，關(guān)鍵詞就是歌曲的歌詞，歌詞就是歌曲的歌詞框，至于匹配的歌詞如何設置，可以看云采集接口提供的設置功能。
　　已有歌詞頁(yè)面，直接在編輯采集內容首先獲取歌曲名稱(chēng)和歌詞編碼，點(diǎn)擊編碼獲取歌曲編碼，歌曲編碼就是所搜集歌曲的歌詞編碼，可以在云采集的編碼列表中查看到。歌詞采集最常用的方法就是用php語(yǔ)言字符集處理字符，然后轉換成python可讀的base64字符集。值得一提的是，云采集提供可以使用php中的assembly庫來(lái)管理整個(gè)采集過(guò)程，讓mac上采集歌詞也變得非常簡(jiǎn)單。
　　
　　在詞典獲取點(diǎn)擊鏈接解析設置內容是否解析，比如歌詞解析，是否是歌詞顯示就可以設置是否顯示歌詞，顯示歌詞的時(shí)候勾選關(guān)鍵詞和歌曲名，隱藏歌詞關(guān)鍵詞歌曲，把采集時(shí)的歌詞文件保存為臨時(shí)文件，進(jìn)入云采集點(diǎn)擊歌詞即可生成歌詞。txt或者livefile格式都可以，寫(xiě)入文件保存在什么地方就保存到什么地方，這里建議寫(xiě)入云端，采集失敗恢復很快。
　　根據云采集的使用說(shuō)明可以看到，云采集從歌詞到歌詞進(jìn)入歌詞池，每一步都要存儲一些歌詞，這些歌詞需要采集到服務(wù)器上，存儲歌詞就是云采集的一個(gè)特色功能，三種最常見(jiàn)的存儲方式：硬盤(pán)存儲、文件/目錄存儲和excel存儲。云采集使用dropbox文件存儲，一個(gè)大文件可以存2個(gè)小文件，更改只需要移動(dòng)一下即可，只需要把字段加到服務(wù)器上，匹配歌詞也是一樣，把匹配出來(lái)的歌詞存儲到云采集服務(wù)器上。
　　2.創(chuàng )建歌詞存儲組存儲歌詞的時(shí)候選擇創(chuàng )建歌詞池，選擇歌詞存儲組，按照要求填寫(xiě)相關(guān)信息，歌詞池中的歌詞包括歌曲名稱(chēng)和歌詞編碼，點(diǎn)擊確定可以創(chuàng )建歌詞池，在云。

　　解決方案:云端內容采集設備是淘寶網(wǎng)的規則細則嗎？？
　　云端內容采集設備：淘寶內容采集器一般分為幾種類(lèi)型：
　　1、云端采集器和云端外采集器。云端采集器就是，用外部程序去爬取淘寶網(wǎng)的內容，直接發(fā)到你的客戶(hù)端；云端外采集器是用專(zhuān)門(mén)的云端采集器軟件，直接從淘寶里面采集內容。
　　
　　2、手機客戶(hù)端淘寶內容采集器。手機端淘寶有幾種方式可以抓取阿里巴巴里面的網(wǎng)頁(yè)內容，一個(gè)是用淘寶賬號登錄，一個(gè)是用云采集器軟件登錄。在他們的后臺里面是可以看到每一個(gè)頁(yè)面內容的的來(lái)源。
　　3、網(wǎng)頁(yè)自動(dòng)采集。手機淘寶里面還有個(gè)頁(yè)面自動(dòng)采集，這個(gè)需要手動(dòng)設置對應的頁(yè)面，然后網(wǎng)頁(yè)上面會(huì )直接自動(dòng)跳轉到上述方式里面。
　　
　　4、網(wǎng)頁(yè)批量采集。在阿里云里面，可以設置很多個(gè)標簽，每天爬取多少網(wǎng)頁(yè)的內容。在爬取之前先把網(wǎng)頁(yè)都下載下來(lái)，然后把里面的標簽添加到采集隊列。這樣操作，可以增加效率，還可以記錄前端瀏覽數據。
　　5、還有很多方式，比如全圖內容，可以通過(guò)淘寶網(wǎng)-我的淘寶app去抓取，還有全圖視頻直接通過(guò)百度云的方式去抓取。我接觸過(guò)的云采集器多是淘寶和大麥網(wǎng)，現在人們越來(lái)越懶，基本上就是人工智能去抓取。需要特別指出的是：要學(xué)會(huì )抓取淘寶網(wǎng)的內容，必須是要看淘寶上面的內容是否是規范的，也就是說(shuō)：內容是否合法，是否符合淘寶網(wǎng)的規則。
　　這些規則細則、協(xié)議不能隨便寫(xiě)在淘寶網(wǎng)的規則里面。還要看看內容是否是原創(chuàng )的。不然就等于找死，之前接觸過(guò)賣(mài)家都是把別人給你提供的內容，自己修改成你的頁(yè)面重新上架售賣(mài)，這就很不合法。

　　優(yōu)化的解決方案:使用 DataFlux 采集 Docker 監控指標并展示
　　DataFlux是上海住云自主研發(fā)的一套統一的大數據分析平臺，通過(guò)對任意來(lái)源、任意類(lèi)型、任意規模的實(shí)時(shí)數據進(jìn)行監測、分析和處理，釋放數據價(jià)值。
　　DataFlux 包括五個(gè)功能模塊：
　　- 數據包 采集器
　　- Dataway 數據網(wǎng)關(guān)
　　- DataFlux Studio 實(shí)時(shí)數據洞察平臺
　　- DataFlux Admin Console 管理后臺
　　- DataFlux.f(x) 實(shí)時(shí)數據處理開(kāi)發(fā)平臺
　　為企業(yè)提供全場(chǎng)景數據洞察分析能力，具有實(shí)時(shí)性、靈活性、易擴展性、易部署性。
　　安裝 DataKit
　　PS：以L(fǎng)inux系統為例
　　第一步：執行安裝命令
　　DataKit 安裝命令：
　　DK_FTDATAWAY=[你的 DataWay 網(wǎng)關(guān)地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
　　在安裝命令中添加DataWay網(wǎng)關(guān)地址，然后將安裝命令復制到主機執行。
　　例如：如果DataWay網(wǎng)關(guān)的IP地址為1.2.3.4，端口為9528（9528為默認端口），則網(wǎng)關(guān)地址為：9528/v1/write/metrics，安裝命令為：
　　DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
　　安裝完成后DataKit會(huì )默認自動(dòng)運行，并會(huì )在終端提示DataKit狀態(tài)管理命令
　　Docker 指標采集
　　采集 docker 指標報告給 DataFlux
　　打開(kāi)DataKit采集源碼配置文件夾（默認路徑是DataKit安裝目錄的conf.d文件夾），找到docker文件夾，打開(kāi)里面的docker.conf。
　　設置：
　　# Read metrics about docker containers
[[inputs.docker]]
## Docker Endpoint
## To use TCP, set endpoint = "tcp://[ip]:[port]"
## To use environment variables (ie, docker-machine), set endpoint = "ENV"
endpoint = "unix:///var/run/docker.sock"
<p>
## Set to true to collect Swarm metrics(desired_replicas, running_replicas)
## Note: configure this in one of the manager nodes in a Swarm cluster.
## configuring in multiple Swarm managers results in duplication of metrics.
gather_services = false
## Only collect metrics for these containers. Values will be appended to
## container_name_include.
## Deprecated (1.4.0), use container_name_include
container_names = []
## Set the source tag for the metrics to the container ID hostname, eg first 12 chars
source_tag = false
## Containers to include and exclude. Collect all if empty. Globs accepted.
container_name_include = []
container_name_exclude = []
## Container states to include and exclude. Globs accepted.
## When empty only containers in the "running" state will be captured.
## example: container_state_include = ["created", "restarting", "running", "removing", "paused", "exited", "dead"]
## example: container_state_exclude = ["created", "restarting", "running", "removing", "paused", "exited", "dead"]
# container_state_include = []
# container_state_exclude = []
## Timeout for docker list, info, and stats commands
timeout = "5s"
## Whether to report for each container per-device blkio (8:0, 8:1...) and
## network (eth0, eth1, ...) stats or not
perdevice = true
　　
## Whether to report for each container total blkio and network stats or not
total = false
## docker labels to include and exclude as tags. Globs accepted.
## Note that an empty array for both will include all labels as tags
docker_label_include = []
docker_label_exclude = []
## Which environment variables should we use as a tag
tag_env = ["JAVA_HOME", "HEAP_SIZE"]
## Optional TLS Config
# tls_ca = "/etc/telegraf/ca.pem"
# tls_cert = "/etc/telegraf/cert.pem"
# tls_key = "/etc/telegraf/key.pem"
## Use TLS but skip chain & host verification
# insecure_skip_verify = false</p>
　　配置好后重啟DataKit生效
　　驗證數據報告
　　完成數據采集操作后，我們需要驗證數據采集是否成功并上報給DataWay，以便日后可以正常分析和展示數據。
　　操作步驟：登錄DataFlux-數據管理-指標瀏覽-驗證數據采集是否成功
　　碼頭工人指標：
　　DataFlux 的數據洞察力
　　根據獲得的指標進(jìn)行數據洞察設計，如：
　　Docker監控視圖
　　基于自研DataKit數據（采集器），DataFlux現在可以對接200多種數據協(xié)議，包括：云數據采集、應用數據采集、日志數據采集，時(shí)序數據上報和常用數據庫的數據聚合，幫助企業(yè)實(shí)現最便捷的IT統一監控。
　　匯總:千萬(wàn)級可觀(guān)測數據采集器--iLogtail代碼完整開(kāi)源
　　簡(jiǎn)介：2022年6月29日，阿里云iLogtail迎來(lái)開(kāi)源后的第一次重大更新，正式發(fā)布全功能iLogtail社區版。在本次更新中，所有 C++ 核心代碼都是開(kāi)源的。該版本是第一個(gè)在內核功能方面與企業(yè)版保持一致的版本。開(kāi)發(fā)者可以構建 iLogtail 云原生可觀(guān)測數據采集器，性能媲美企業(yè)版。本次發(fā)布增加了日志文件采集、容器文件采集、無(wú)鎖事件處理、多租戶(hù)隔離等重要特性，以及基于Pipeline的全新配置方式，全面提升了可用性社區版。和性能，歡迎開(kāi)發(fā)者關(guān)注，共同打造。
　　作者 | 訊飛，葉默
　　
　　來(lái)源 | 阿里開(kāi)發(fā)者公眾號
　　2022年6月29日，阿里云iLogtail迎來(lái)開(kāi)源后的第一次重大更新，正式發(fā)布全功能iLogtail社區版。在本次更新中，所有 C++ 核心代碼都是開(kāi)源的。該版本是第一個(gè)在內核功能方面與企業(yè)版保持一致的版本。開(kāi)發(fā)者可以構建 iLogtail 云原生可觀(guān)測數據采集器，性能媲美企業(yè)版。本次發(fā)布增加了日志文件采集、容器文件采集、無(wú)鎖事件處理、多租戶(hù)隔離等重要特性，以及基于Pipeline的全新配置方式，全面提升了可用性社區版。和性能，歡迎開(kāi)發(fā)者關(guān)注，共同打造。
　　可觀(guān)測性數據采集挑戰
　　
　　可觀(guān)察性是通過(guò)檢查系統輸出來(lái)測量系統內部狀態(tài)的能力。該術(shù)語(yǔ)起源于幾十年前的控制理論，由匈牙利出生的工程師魯道夫卡爾曼首次提出。在分布式 IT 系統中，可觀(guān)察性通常使用各種類(lèi)型的遙測數據（日志、指標和跟蹤）來(lái)測量基礎設施、平臺和應用程序，以了解它們的運行狀態(tài)和流程。這些數據的采集通常由一個(gè)采集Agent 完成，該Agent 與觀(guān)察到的對象一起運行。在基于云原生和微服務(wù)的現代系統架構下，這些觀(guān)察對象比以往更加分散、數量更多、變化更快，使得采集Agent面臨以下挑戰：
　　高性能、低開(kāi)銷(xiāo)：現代應用程序往往運行在數據中心、公共云和邊緣的數千臺服務(wù)器、虛擬機和容器中，采集Agent 的每一點(diǎn)性能開(kāi)銷(xiāo)都會(huì )被計入 Zoom在數千次。目前很多開(kāi)源代理的設計都更注重功能而非性能。單核處理性能一般在2-10M/s左右，我們希望達到100M/s的單核性能。在采集目標增加、數據量增加、采集延遲、服務(wù)器端異常等情況下，開(kāi)源代理的內存將呈現爆發(fā)式增長(cháng)，我們希望即使在各種環(huán)境下，內存可以在較低的水位。采集穩定準確，多級故障隔離：可觀(guān)察性需要至少比被觀(guān)察系統可靠一個(gè)數量級。數據采集Agent的穩定性，除了保證數據本身的準確性采集外，還需要保證不影響業(yè)務(wù)應用，否則會(huì )帶來(lái)災難性的后果。另一方面，無(wú)論問(wèn)題如何發(fā)生，都需要盡可能地隔離問(wèn)題。比如一個(gè)Agent上有多個(gè)采集配置，一個(gè)配置問(wèn)題不能影響其他配置。企業(yè)級管控大規模配置：可觀(guān)測數據應用廣泛。企業(yè)內部通常有大量配置。需要代理支持集中化和自動(dòng)化的配置管理能力，而不是手動(dòng)登錄機器修改配置，并確保配置期間的數據重新加載。不丟失也不重。當Agent有多個(gè)采集配置時(shí)，合理安排資源。高優(yōu)先級配置需要優(yōu)先分配內存帶寬等資源，保證低優(yōu)先級配置不被“餓死”。之后，就有足夠的 Burst 能力快速趕上數據。更原生、更友好的K8s支持：K8s提供強大的運維部署、彈性伸縮、故障恢復能力，極大的方便了分布式系統的開(kāi)發(fā)和管理。但是，日志的問(wèn)題采集 也來(lái)了。K8s多樣化的數據輸出使得同一個(gè)Agent需要同時(shí)支持采集主機日志、容器日志、容器stdout等數據源。K8s業(yè)務(wù)部署的彈性伸縮能力要求Agent具備動(dòng)態(tài)發(fā)現和標記容器的能力，同時(shí)如何保證數據采集

　　整套解決方案:云端內容采集器云采集：上傳視頻--批量采集
　　云端內容采集器云采集：上傳視頻--批量采集：采集器--全網(wǎng)--采集--編輯篩選--批量采集--審核--下載--保存（可以同步把全網(wǎng)視頻批量采集好自動(dòng)下載）--轉存文件云采集：內容是視頻--自動(dòng)添加相關(guān)批量采集內容進(jìn)行下載
　　云采集文章推薦-如何用手機把文章采集到電腦上(收錄)
　　“一鍵采集”可以試試
　　這里的還不錯一鍵抓取各大網(wǎng)站的文章和視頻等
　　就是我今天發(fā)現的一個(gè)網(wǎng)站，感覺(jué)效果還不錯，而且無(wú)需安裝任何軟件！原理很簡(jiǎn)單，通過(guò)抓取去除重復內容，然后轉換成app的形式推送給用戶(hù)。供其他人抓取到視頻和文章直接分享給用戶(hù)就可以了。
　　
　　愛(ài)奇藝視頻下載不需要費什么力氣，只需要關(guān)注微信公眾號“高效率工具”-點(diǎn)擊“下載”你的視頻就行了。
　　一鍵采集
　　是抖音嗎
　　廣告有毒，
　　小視頻可以分享到公眾號的，另外，
　　
　　我這里有同步抖音視頻可以分享給你，把這篇視頻發(fā)送給他，他就會(huì )自動(dòng)分享，
　　類(lèi)似于快手，也是通過(guò)微信推送的，但是它上傳的時(shí)候沒(méi)有水印，
　　原理就是同步到你的百度網(wǎng)盤(pán)或者app中。
　　只是搬運
　　還真不一定哈哈哈一鍵采集是知道嗎
　　可以通過(guò)迅雷進(jìn)行無(wú)水印搬運

　　直觀(guān):使用 DataFlux 采集 Nginx 監控指標并展示
　　DataFlux是上海住云自主研發(fā)的一套統一的大數據分析平臺，通過(guò)對任意來(lái)源、任意類(lèi)型、任意規模的實(shí)時(shí)數據進(jìn)行監測、分析和處理，釋放數據價(jià)值。
　　DataFlux 包括五個(gè)功能模塊：
　　- 數據包 采集器
　　- Dataway 數據網(wǎng)關(guān)
　　- DataFlux Studio 實(shí)時(shí)數據洞察平臺
　　- DataFlux Admin Console 管理后臺
　　- DataFlux.f(x) 實(shí)時(shí)數據處理開(kāi)發(fā)平臺
　　為企業(yè)提供全場(chǎng)景數據洞察分析能力，具有實(shí)時(shí)性、靈活性、易擴展性、易部署性。
　　Nginx作為常用的Web容器之一，經(jīng)常被很多運維（開(kāi)發(fā)）伙伴用來(lái)搭建Web網(wǎng)站服務(wù)器。今天給大家分享一個(gè)監控SAAS平臺，通過(guò)簡(jiǎn)單的配置即可實(shí)現站點(diǎn)和業(yè)務(wù)監控——使用DataFlux采集Nginx性能指標并分析展示。
　　安裝 DataKit
　　PS：以L(fǎng)inux系統為例
　　第一步：執行安裝命令
　　
　　DataKit 安裝命令：
　　DK_FTDATAWAY=[你的 DataWay 網(wǎng)關(guān)地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
　　在安裝命令中添加DataWay網(wǎng)關(guān)地址，然后將安裝命令復制到主機執行。
　　例如：如果DataWay網(wǎng)關(guān)的IP地址為1.2.3.4，端口為9528（9528為默認端口），則網(wǎng)關(guān)地址為：9528/v1/write/metrics，安裝命令為：
　　DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"
　　安裝完成后DataKit會(huì )默認自動(dòng)運行，并會(huì )在終端提示DataKit狀態(tài)管理命令
　　Nginx 監控指標采集
　　按需 采集 各種版本的 nginx 指標并報告給 DataFlux。
　　前提
　　配置
　　打開(kāi)DataKit采集源碼配置文件夾（默認路徑是DataKit安裝目錄的conf.d文件夾），找到nginx文件夾，打開(kāi)里面的nginx.conf。
　　修改配置文件，如圖。
　　
　　配置完成后重啟DataKit生效。
　　驗證數據報告
　　完成數據采集操作后，我們需要驗證數據采集是否成功并上報給DataWay，以便日后可以正常分析和展示數據。
　　操作步驟：登錄DataFlux-數據管理-指標瀏覽-驗證數據采集是否成功
　　Nginx 指標：
　　DataFlux 的數據洞察力
　　根據獲得的指標進(jìn)行數據洞察設計，如：
　　Nginx監控視圖
　　基于自研DataKit數據（采集器），DataFlux現在可以對接200多種數據協(xié)議，包括：云數據采集、應用數據采集、日志數據采集，時(shí)序數據上報和常用數據庫的數據聚合，幫助企業(yè)實(shí)現最便捷的IT統一監控。
　　測評:滲透測試之信息收集
　　港口信息采集
　　端口作為服務(wù)器和客戶(hù)端之間的接口，起著(zhù)非常重要的作用。
　　一些常用端口標識服務(wù)器啟用了哪些功能。常見(jiàn)的135、137、138、139、445，這些端口經(jīng)常會(huì )爆發(fā)漏洞。以下是部分服務(wù)端口的漏洞。
　　掃描端口，可以使用 Nmap 和 masscan 進(jìn)行掃描和檢測。采集盡可能多的開(kāi)放端口和對應的服務(wù)版本。得到準確的服務(wù)版本后，可以搜索對應版本的漏洞。
　　nmap 掃描的精度很高，但是掃描速度比較慢。
　　Masscan 掃描速度更快，但準確性較低。
　　Nmap -O 192.168.1.1
　　( )
　　側站C段查詢(xún)
　　側站信息：側站是與目標網(wǎng)站在同一服務(wù)器上的另一個(gè)網(wǎng)站。如果主站無(wú)法獲取權限，可以將側站作為攻擊入口，然后想辦法穿越服務(wù)器。到真正的目標站點(diǎn)目錄。
　　C段：C段是與目標機器ip在同一C段的其他機器；
　　通過(guò)目標所在的C段中的任何其他機器，找到一種方法可以穿越到我們的目標機器。對于紅藍對抗和網(wǎng)保，C段掃描更有意義。
　　但是對于單獨的 網(wǎng)站 滲透測試，C 段掃描幾乎沒(méi)有意義。
　　每個(gè) IP 有四個(gè)段 ABCD。比如192.168.0.1，segment A是192，segment B是168，segment C是0，segment D是1，segment C嗅探就是拿下同C網(wǎng)段中的一臺服務(wù)器，也就是，段 D 1-255 中的服務(wù)器，然后使用工具嗅探來(lái)關(guān)閉服務(wù)器。
　　目錄掃描
　　由于發(fā)布網(wǎng)站時(shí)服務(wù)器配置問(wèn)題，可以打開(kāi)目錄瀏覽器，造成信息泄露和安全隱患。
　　在信息采集過(guò)程中，需要采集的敏感目錄/文件包括：
　　提到網(wǎng)站敏感目錄時(shí)，要注意robots.txt文件。
　　robots.txt 文件是專(zhuān)門(mén)為搜索引擎機器人編寫(xiě)的純文本文件。我們可以在 網(wǎng)站 中指定我們不想被該文件中的機器人訪(fǎng)問(wèn)的目錄。
　　這樣我們的網(wǎng)站內容可以部分或全部從搜索引擎收錄中排除，或者搜索引擎只能收錄指定內容。
　　因此，我們可以使用robots.txt來(lái)阻止Google的機器人訪(fǎng)問(wèn)我們網(wǎng)站上的重要文件，GoogleHack的威脅是不存在的。
　　如果 robots.txt 文件內容如下：
　　&nbsp;
　　用戶(hù)代理： *
　　禁止：/數據/
　　禁止：/db/
　　禁止：/admin/
　　禁止：/經(jīng)理/
　　&nbsp;
　　“Disallow”參數后面是禁止robot收錄部分的路徑，
　　比如我們想讓機器人封禁收錄網(wǎng)站目錄下的“data”文件夾，
　　只需在 Disallow 參數后添加 /data/ 即可。
　　如果要添加其他目錄，只需繼續以這種格式添加即可。
　　文件寫(xiě)入后，將其上傳到 網(wǎng)站 的根目錄，以使 網(wǎng)站 遠離 Google Hack。
　　盡管 robots 文件的目的是防止搜索蜘蛛想要爬取它們想要保護的頁(yè)面，
　　但是如果我們知道robots文件的內容，就可以知道目標網(wǎng)站那些文件夾是不允許訪(fǎng)問(wèn)的。從側面看，這些文件夾非常重要。
　　檢測目標網(wǎng)站后端目錄的工具：
　　網(wǎng)站指紋識別
　　在滲透測試中，對目標服務(wù)器進(jìn)行指紋識別是非常有必要的，因為只有識別出對應的Web容器或者cms，才能找到相關(guān)的漏洞，然后才能進(jìn)行對應的滲透操作。
　　cms又稱(chēng)全站系統。
　　常見(jiàn)的cms有：WordPress、Dedecms、Discuz、PhpWeb、PhpWind、Dvbbs、Phpcms、ECShop、、SiteWeaver、Aspcms、Empire、Z-Blog等待。
　　在線(xiàn)指紋網(wǎng)站：
　　內容敏感信息泄露
　　我們使用谷歌語(yǔ)法查找敏感信息
　　
　　搜索文件
　　查找參數
　　找到登錄點(diǎn)：
　　找到目錄：
　　尋找重要的東西：
　　Github 信息泄露
　　Github 不僅可以托管代碼，還可以搜索代碼。在上傳和發(fā)布代碼時(shí)，一些敏感的配置信息文件會(huì )被公開(kāi)。
　　Github 主要合集：
　　網(wǎng)站架構
　　但是要確定目標網(wǎng)站服務(wù)器的具體版本，可以使用nmap掃描，-O和-A參數可以?huà)呙琛?br /> 　　1、Access的全稱(chēng)是Microsoft Office Access，是微軟公司發(fā)布的關(guān)聯(lián)數據庫管理系統。
　　對于小型數據庫，當數據庫達到 100M 左右時(shí)，性能會(huì )下降。數據庫后綴：.mdb 一般是使用access數據庫的asp網(wǎng)頁(yè)文件
　　2、SQL Server是微軟開(kāi)發(fā)和推廣的關(guān)系數據庫管理系統（DBMS），是一個(gè)比較大的數據庫。端口號為1433。數據庫后綴.mdf
　　3.MySQL是關(guān)系型數據庫管理系統，由瑞典MySQL AB公司開(kāi)發(fā)，目前是Oracle的產(chǎn)品。
　　MySQL 是最流行的關(guān)系數據庫管理系統。MySQL是WEB應用中最好的應用軟件之一。大多數 MySQL 數據庫都是 php 頁(yè)面。默認端口為 3306
　　4.Oracle又稱(chēng)Oracle RDBMS，簡(jiǎn)稱(chēng)Oracle。
　　它是 Oracle Corporation 的關(guān)系數據庫管理系統。通常用于較大的 網(wǎng)站。默認端口為 1521
　　首先是成本的區別，訪(fǎng)問(wèn)是免費的，mysql也是開(kāi)源的，sql server一般要幾千，Oracle要幾萬(wàn)。
　　其次，處理能力，access支持千級以?xún)鹊脑L(fǎng)問(wèn)，sql server支持千級到幾萬(wàn)級的訪(fǎng)問(wèn)，Oracle支持海量訪(fǎng)問(wèn)。
　　再次，從數據庫規模來(lái)看，access是小型數據庫，mysql是中小型數據庫，sql server是中型數據庫，oracle是大型數據庫。
　　知道了這些信息后，我們需要知道 網(wǎng)站 使用的是什么類(lèi)型的 web 服務(wù)器：Apache、Nginx、Tomcat 或 IIS。
　　在知道了web服務(wù)器是什么類(lèi)型之后，我們還需要檢測web服務(wù)器的具體版本。
　　比如Ngnix版本
　　1.可以根據網(wǎng)站URL判斷
　　2. 站點(diǎn)：xxx 文件類(lèi)型：php
　　3.可以根據火狐瀏覽器的插件來(lái)判斷
　　教學(xué)具體工具 SubDomainsBrute subDomainsBrute 的特點(diǎn) subDomainsBrute 安裝
　　1.首先，你的電腦需要有python環(huán)境。如果沒(méi)有，可以按照下面的鏈接下載。這里推薦使用python2.7.10。
　　python2.7.10下載地址
　　或者下載首頁(yè)也可以下載python2.7.10按照以上提示步驟依次安裝。
　　安裝后，需要添加環(huán)境變量。
　　2.下載subDomainsBrute到python根目錄。下載地址如下：
　　subDomainsBrute 下載地址：
　　3.檢查python27文件夾下是否有Script文件夾
　　里面有一些easy_install相關(guān)的內容，直接安裝setuptools可以自動(dòng)生成Script文件夾。
　　下載 ez_setup.py 并在 cmd 中運行。
　　進(jìn)入命令行，然后將目錄切換到python安裝目錄下的Script文件夾，運行python ez_setup.py生成scripts文件夾。
　　4、在Script文件所在路徑下輸入cmd，在調用的命令行中安裝需要的庫。您可以使用 pip 直接安裝它。命令是 pip install dnspython gevent
　　子域Brutez 使用
　　Usage: subDomainsBrute.py [options] target.com<br />Options:<br /> --version show program's version number and exit<br /> -h, --help show this help message and exit<br /> -f FILE File contains new line delimited subs, default is<br /> subnames.txt.<br /> --full Full scan, NAMES FILE subnames_full.txt will be used<br /> to brute<br /> -i, --ignore-intranet<br /> Ignore domains pointed to private IPs<br /> -t THREADS, --threads=THREADS<br /> Num of scan threads, 200 by default<br /> -p PROCESS, --process=PROCESS<br /> Num of scan Process, 6 by default<br /> -o OUTPUT, --output=OUTPUT<br /> Output file name. default is {target}.txt
　　
　　層子域挖掘器
　　Layer子域礦機是一款域名查詢(xún)工具，提供網(wǎng)站子域查詢(xún)服務(wù)；
　　界面簡(jiǎn)潔，操作方式簡(jiǎn)單，支持服務(wù)接口、暴力搜索、同服挖礦三種模式，支持打開(kāi)網(wǎng)站、復制域名、復制IP、復制CDN、導出域名、導出IP ，導出域名+IP，導出域名+IP+WEB服務(wù)器，導出生存網(wǎng)站！
　　使用說(shuō)明
　　列出百度下的子域
　　網(wǎng)站使用后臺掃描工具御劍
　　御劍是一款好用的網(wǎng)站后臺掃描工具，帶有圖形化頁(yè)面，易于使用。
　　我們使用Edgeworth Scanner，主要是掃描網(wǎng)站敏感目錄，包括網(wǎng)站backends等。
　　掃描原理也是爆破，就是通過(guò)敏感目錄的字典進(jìn)行匹配。
　　在御劍后臺掃描之前，爬蟲(chóng)會(huì )訪(fǎng)問(wèn)robots txt文件。
　　工具介紹
　　御劍安裝使用
　　1.下載解壓后雙擊打開(kāi)軟件。
　　2、打開(kāi)后在域名輸入框中輸入要掃描的后臺地址。
　　3. 在下面的選項中，您可以選擇掃描線(xiàn)程、掃描超時(shí)和文件類(lèi)型。
　　4.全部選好后，就可以點(diǎn)擊開(kāi)始掃描了。
　　5. 等待掃描后，下方會(huì )出現掃描結果。
　　御劍的使用非??常簡(jiǎn)單，簡(jiǎn)單配置后即可進(jìn)行掃描，但缺點(diǎn)是御劍無(wú)法導出掃描報告。
　　當然御劍也有很多版本，功能略有不同，比如指紋識別、后臺掃描、獲取真實(shí)IP、檢測注入等。
　　使用 dirbuster
　　工具介紹
　　dirbuster的安裝和使用
　　1. 下載最新版本的 DirBuster。解壓后在Windows中雙擊DirBuster-0.12.jar，或者直接打開(kāi)kali自帶的DirBuster（命令：root@kali:~# dirbuster）。
　　2、啟動(dòng)DirBuser后，主界面如下：
　　注意：如果您的掃描目標是，
　　然后在URL中填寫(xiě)“/admin/{dir}”進(jìn)行fuzz，
　　表示可以在“{dir}”前后拼接任何你想要的目錄或后綴，
　　例如輸入“:/admin/{dir}.php”表示掃描admin目錄下的所有php文件。
　　回顧過(guò)去的內容
　　掃碼獲取賣(mài)淫視頻+工具+群訪(fǎng)問(wèn)+靶場(chǎng)等資料
　　掃描二維碼免費賣(mài)淫！
　　還有免費匹配的靶場(chǎng)和交流群！

　　解決方案:c#如何與云端連接接受發(fā)送數據？
　　PHP實(shí)例開(kāi)發(fā)源碼-phpBB-WAP移動(dòng)端網(wǎng)頁(yè)程序源碼4.0.4 LTS.zip
　　PHP實(shí)例開(kāi)發(fā)源碼—phpBB-WAP手機端網(wǎng)頁(yè)程序源碼4.0.4 LTS.zip PHP實(shí)例開(kāi)發(fā)源碼—phpBB-WAP手機端網(wǎng)頁(yè)程序源碼4.0.4 LTS.zip PHP實(shí)例開(kāi)發(fā)源碼— phpBB-WAP移動(dòng)端網(wǎng)頁(yè)程序源碼4.0 .4 LTS.zip
　　國家級自然保護區矢量邊界數據
　　
　　國家級自然保護區矢量邊界數據。我國國家級自然保護區邊界數據。數據格式：shp
　　按鈕開(kāi)關(guān).swf
　　按鈕開(kāi)關(guān).swf
　　微真天5.0微信群自動(dòng)回復.exe
　　
　　微真天5.0微信群自動(dòng)回復.exe
　　基于Java+sqlserver的通用安全模塊設計與實(shí)現（源碼+文檔）.zip
　　資源名稱(chēng)：基于Java+sqlserver的通用安全模塊設計與實(shí)現（源碼+文檔）_java_sqlserver_general security module.zip 資源內容：全套項目源碼+完整文檔源碼說(shuō)明：所有項目源碼100%后測試和校正成功運行。適用場(chǎng)景：相關(guān)項目設計
　　免費獲取:W11】各大視頻網(wǎng)VIP賬號資源分享網(wǎng)站源碼全自動(dòng)采集發(fā)布,無(wú)需人工
　　主要視頻網(wǎng)絡(luò )的VIP賬號資源共享網(wǎng)站源代碼自動(dòng)采集發(fā)布，無(wú)需人工操作
　　
　　今天我就和大家分享一個(gè)VIP資源賬號來(lái)分享網(wǎng)站源代碼，源代碼是PHP版，全自動(dòng)采集發(fā)布，無(wú)需人工操作，自動(dòng)更新，源代碼是thinphP內核開(kāi)發(fā)，第二次打開(kāi)特別方便，方便設置廣告、流量工具，這事量很大！
　　
　　贊助商可以下載并加入贊助商聯(lián)系客服QQ/微信1963666915開(kāi)放

　　即將上線(xiàn):商友速匯云端內容采集接入通道正式上線(xiàn)(圖)
　　
　　云端內容采集接入商友速匯正式上線(xiàn)，此前就有一波商友速匯用戶(hù)抱怨想對接ios商友速匯,卻要通過(guò)手機app來(lái)下載，完全是徒增了用戶(hù)量，提高了工作量。為了解決這個(gè)問(wèn)題，商友速匯與百度聯(lián)合推出了云端內容采集接入通道，不用再下載app，只需在云端通過(guò)商友速匯公眾號或者微信公眾號接入云端內容采集就可以實(shí)現蘋(píng)果ios內容采集，助力提高業(yè)務(wù)效率、降低營(yíng)銷(xiāo)成本和提升用戶(hù)粘性。
　　
　　商友速匯云端內容采集流程第一步：商友速匯公眾號或者個(gè)人號進(jìn)入“接入商友速匯云端采集通道”功能第二步：接入，綁定通道流量和內容采集賬號第三步：綁定完成后，點(diǎn)擊右上角采集按鈕，開(kāi)始采集內容第四步：有采集完成的文章和圖片就會(huì )通過(guò)商友速匯網(wǎng)頁(yè)鏈接分享到商友速匯公眾號，不需要下載app。操作流程1.微信公眾號內搜索商友速匯2.進(jìn)入后需要申請登錄，申請登錄請在微信登錄頁(yè)面的右上角點(diǎn)擊右上角，進(jìn)入人工申請登錄3.填寫(xiě)您的申請登錄信息4.申請成功后，綁定通道賬號，管理員無(wú)需在申請登錄時(shí)指定賬號5.后續內容采集都在云端即可接入6.采集完成后可直接將采集的圖片或文章發(fā)送或下載到相應的商友速匯網(wǎng)頁(yè)即可。
　　其實(shí)，相信大家遇到的最大問(wèn)題不是沒(méi)有安卓手機，而是沒(méi)有安卓手機的安卓賬號。安卓云采集就是在云端發(fā)布采集到的內容，然后用安卓手機登錄微信或者app采集就可以，

　　云端內容采集 福利:動(dòng)漫b站動(dòng)漫視頻屬于二次元的視頻，你買(mǎi)了嗎？
　　云端內容采集，如果是要實(shí)現內容采集的話(huà)，就需要購買(mǎi)企業(yè)或者是個(gè)人自己的云端服務(wù)器，然后用到的工具一般有nginx、lnmp等進(jìn)行采集。有些比較大的企業(yè)采用的是采集阿里云上面數據，推薦commondo系列。還有，云端不僅僅要做數據采集，也要對接一些web站點(diǎn)，比如:58同城，黃頁(yè)等等都需要自己有服務(wù)器來(lái)做http請求對接，以方便更好的做數據采集。
　　采集b站視頻這個(gè)需求，包含了整個(gè)動(dòng)漫行業(yè)分發(fā)的渠道，建議采用動(dòng)漫視頻行業(yè)相關(guān)api，其他b站相關(guān)的api雖然可以直接調用，但是對接效率、服務(wù)質(zhì)量以及拓展能力等方面會(huì )有很多影響。lz可以嘗試用優(yōu)采云網(wǎng)的api接口接入+api接口開(kāi)發(fā)+apisdk服務(wù)，價(jià)格優(yōu)惠，功能強大且穩定。
　　
　　動(dòng)漫b站動(dòng)漫視頻屬于二次元的視頻，其他類(lèi)似的也有很多。我比較了解b站，把我b站的api接口給你說(shuō)一下，
　　可以考慮樂(lè )童音樂(lè )
　　集三次元視頻分享，動(dòng)漫類(lèi)app分享為一體的。我找到個(gè)功能相近的，希望能幫到你。
　　
　　api
　　不都是買(mǎi)服務(wù)器的么？你買(mǎi)了服務(wù)器，用那個(gè)api買(mǎi)的服務(wù)器就可以直接去爬去接入視頻了呀。
　　推薦一個(gè)國內做的比較好的數據統計分析服務(wù)商
　　你可以搜一下國內相對比較好的幾家公司之前和一個(gè)大牛聊天，推薦給你一個(gè)信息，有興趣私聊，有時(shí)間我給你發(fā)api。