匯總:對180+的SRC收集約300w相關(guān)資產(chǎn)后的簡(jiǎn)單分析

　　資產(chǎn)分析

　　前言

　　這是對之前的 X 射線(xiàn)分析的后續分析。本來(lái)想寫(xiě)很多內容的。整理期間，我用的bug notes連續兩次出問(wèn)題。很多筆記亂七八糟，我的心態(tài)爆炸了。終于把比較直觀(guān)的內容拿走了。編寫(xiě)了現有結果的簡(jiǎn)單分析統計數據 文章。

　　自動(dòng)化掃描平臺搭建完成后，首先手動(dòng)錄入189個(gè)src，自動(dòng)采集5808個(gè)主要域名。然后，基于這些資產(chǎn)開(kāi)始了一個(gè)完全自動(dòng)化的采集和掃描測試循環(huán)。目前單個(gè)子域每天掃描約200-400個(gè)主域名，單個(gè)漏洞掃描約1500-4500個(gè)節點(diǎn)網(wǎng)站。

　　body src 采集源

　　在后續的采集整理過(guò)程中，有的src網(wǎng)站已經(jīng)好幾年沒(méi)有維護了，有的src采集了太多的漏洞和限制，后來(lái)取消了一些src的關(guān)注。

　　設置好目標src后，大部分主域名和各種資產(chǎn)都會(huì )被自動(dòng)采集識別，所以會(huì )出現采集到非src資產(chǎn)的情況，整體識別邏輯和規則還在根據結果進(jìn)行優(yōu)化。

　　資產(chǎn)采集方式

　　資產(chǎn)采集無(wú)非就是子域名采集、web信息采集、端口掃描、服務(wù)識別。

　　簡(jiǎn)述目前的鑒別方法：

　　目前還有162個(gè)，4000+個(gè)主域名，累計收錄280w個(gè)子域名，48w+個(gè)web，23w+個(gè)服務(wù)資產(chǎn)。

　　網(wǎng)絡(luò )資產(chǎn)

　　

　　網(wǎng)絡(luò )資源來(lái)源

　　這里可以看到子域名資產(chǎn)是280w，而web資產(chǎn)只有43w。由于子域名不一定對應web資產(chǎn)，存在大量泛解析等無(wú)效資產(chǎn)，僅靠dns查詢(xún)的信息無(wú)法進(jìn)行更高精度的過(guò)濾，所以數量真正的網(wǎng)頁(yè)比子域名的數量要少得多。

　　在43w個(gè)web資產(chǎn)中，雖然做了進(jìn)一步的處理，但是還是有一些無(wú)效的資產(chǎn)。主要有以下三個(gè)原因：

　　雖然在oneforall上做了一定的識別和過(guò)濾，理論上可以解決通用域名的問(wèn)題，但是在大量使用的時(shí)候還是無(wú)法進(jìn)行穩定的識別。一旦出現漏報，就會(huì )產(chǎn)生大量的無(wú)效域名。似乎沒(méi)有人提到過(guò)這一點(diǎn)。這種情況在單一場(chǎng)景下可能問(wèn)題不大，但是會(huì )浪費大量的資源用于自動(dòng)化掃描，而且這個(gè)區域比一般分析更難自動(dòng)識別。目前，已經(jīng)實(shí)施了一些識別策略，但仍有改進(jìn)的空間。

　　有一些網(wǎng)站的主域名屬于對應公司，但內容其實(shí)是其他的網(wǎng)站。

　　基于以上情況，統計目前采集到的資產(chǎn)后，排名前20的資產(chǎn)如下：

　　在這些資產(chǎn)中識別出1127個(gè)不同的指紋，top20指紋類(lèi)別為：

　　由于使用了復雜的指紋庫，內置了nginx、jQuery等識別，導致統計top fingerprints被此類(lèi)指紋占用...

　　指紋可以做重量識別，開(kāi)源庫基本不會(huì )做這個(gè)，但是自己整理太麻煩了。

　　另外，我統計了一下指紋庫的數據。指紋庫收錄命中各類(lèi)指紋10416枚，命中指紋2373枚，即src場(chǎng)景指紋庫有效指紋約占25%。

　　服務(wù)資產(chǎn)

　　服務(wù)識別的前提是端口識別。端口識別的IP來(lái)源主要是子域名和web解析的IP地址。由于目標中可能存在大量非真實(shí)IP，這里是經(jīng)過(guò)一定的去重和真實(shí)IP驗證后的資產(chǎn)結果。

　　

　　xnmap工具的規則體雖然是基于nmap的，但是其設計的識別思路與nmap不同，不會(huì )以命中一條規則而告終。

　　在24w+個(gè)服務(wù)資產(chǎn)中，一共識別出881個(gè)不同的服務(wù)，2467個(gè)默認服務(wù)（nmap規則），top20服務(wù)如下：

　　共識別出14987個(gè)不同端口，top20端口如下

　　可惜目前只有src相關(guān)的公司參與，并不具有普遍性。如果范圍足夠廣，可以利用這些高頻端口進(jìn)行快速端口識別。

　　在統計nmap規則時(shí)發(fā)現，雖然有11786條服務(wù)識別規則，但實(shí)際上命中的規則有535條。從這點(diǎn)來(lái)看，nmap中的垃圾指紋其實(shí)還是挺多的。

　　后記

　　本來(lái)打算在發(fā)這個(gè)文章的時(shí)候開(kāi)放一些查詢(xún)接口，但是看了自己的土豆網(wǎng)服務(wù)器，估計改成多用戶(hù)的工作量，emmmmm……

　　所以先看一篇文章文章，有興趣的人多了，以后繼續折騰吧。

　　根據目前的經(jīng)驗，單個(gè)場(chǎng)景下優(yōu)秀的工具很多，但在資源有限的情況下，很難采集和掃描*敏*感*詞*的自動(dòng)化信息。該工具修改和適配較多，具體細節可能會(huì )在以后整理分享。如果各位高手對相關(guān)內容感興趣，歡迎各位高手與我交流！

　　師傅師傅注意

　　過(guò)去的問(wèn)題 文章

　　解決方案:亞馬遜數據采集工具有哪些？亞馬遜數據采集工具推薦

　　放開(kāi)眼睛，戴上耳機，聽(tīng)~！

　　如何批量處理 采集 亞馬遜產(chǎn)品數據？今天小魚(yú)君就為大家帶來(lái)亞馬遜數據采集工具推薦，需要的朋友一起來(lái)看看吧~

　　如何批量處理 采集 亞馬遜產(chǎn)品數據？今天小魚(yú)君就為大家帶來(lái)亞馬遜數據采集工具推薦，需要的朋友一起來(lái)看看吧~

　　1. 優(yōu)采云

　　優(yōu)采云數據采集器，實(shí)現亞馬遜關(guān)鍵詞搜索排名的自動(dòng)監控?？勺詣?dòng)監測亞馬遜關(guān)鍵詞搜索排名，完全替代人工查詢(xún)。

　　在 優(yōu)采云采集器 中，打開(kāi)完成的 [Amazon-關(guān)鍵詞Search Results采集] 模板。

　　輸入運送區域的郵政編碼和 關(guān)鍵詞

　　啟動(dòng)優(yōu)采云并讓它自動(dòng)采集數據。

　　

　　稍等片刻后，我們就得到了關(guān)鍵詞搜索到的item數據。等待采集完成后，就可以結束采集并導出數據了。

　　采集 完成后，需要分析時(shí)，可一鍵導出歷史數據，用于排名搜索分析。

　　例如，我想在搜索無(wú)線(xiàn)充電器關(guān)鍵詞時(shí)查看asin B089RHFSSR在3/30和3/31的排名變化。然后一鍵導出3/30和3/31的數據。通過(guò)搜索B089RHFSSR發(fā)現：3/30在第1頁(yè)排名第18位，3/31在第1頁(yè)排名第23位，排名下降了5位。警報。

　　以上過(guò)程總共只需要2分鐘。這里只是以一個(gè)關(guān)鍵詞和一個(gè)asin的監控為例。當需要監控的關(guān)鍵詞和asin較多時(shí)，優(yōu)采云會(huì )為我們節省大量的時(shí)間和精力。

　　2.米京通跨境

　　米京通跨境電商erp系統可以批量采集亞馬遜商品，一鍵將其他平臺的商品數據批量復制到自家亞馬遜店鋪。主要功能如下：

　　1.一鍵復制批量上傳

　　亞馬遜批量listing工具可以復制任意平臺商品數據，也可以是自己的，支持所有商品、商品分類(lèi)、單品、搜索地址的復制和移動(dòng)。

　　2.完美復制快速高效

　　無(wú)論是產(chǎn)品標題、標題圖片、主圖、描述、銷(xiāo)售屬性、屬性圖，都可以完整復制。

　　

　　3.批量修改加水印

　　支持批量修改商品價(jià)格、商品數量、批量編輯圖片、批量添加水印、覆蓋水印、批量刪除圖片再批量上傳圖片！

　　4. 不同語(yǔ)言的自動(dòng)翻譯

　　如果批次 采集 與發(fā)布的站點(diǎn)語(yǔ)言不同，則支持自動(dòng)翻譯成目標語(yǔ)言。

　　3.店鋪秘密

　　點(diǎn)小米提供商品管理、刊物加載、訂單配送、圖片管理、數據采集、數據搬家、數據統計、智能采購、庫存管理等一站式管理服務(wù)。一個(gè)店秘書(shū)賬號可以同時(shí)授權多個(gè)平臺的多個(gè)店鋪。

　　4.芒果店長(cháng)

　　Mango Store Manager 始終是免費軟件，并且有兩個(gè) VIP 程序。VIP年費用戶(hù)還可領(lǐng)取10000個(gè)EDM群郵件?？蓪觲ish、速賣(mài)通、eBay、Amazon、lazada、shopee等各大平臺。

　　芒果店長(cháng)ERP可以讓產(chǎn)品輕量化運作。Mango店長(cháng)可以進(jìn)行批量操作，包括增加、刪除和更改運輸時(shí)間、運輸量、產(chǎn)品運費、標簽價(jià)格、產(chǎn)品名稱(chēng)等，提高賣(mài)家效率，加快產(chǎn)品發(fā)布、產(chǎn)品維護，減少商家的重復工作。平臺可無(wú)縫對接20多家一流跨境電商平臺，支持300多家*敏*感*詞*API接口，每天處理超過(guò)250萬(wàn)筆訂單。

　　以上就是小魚(yú)君為大家推薦的亞馬遜好數據采集工具。點(diǎn)小魚(yú)平臺還有收錄更多類(lèi)似的工具~有興趣的朋友不妨點(diǎn)擊轉載搜索你想要的工具~