亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　終極:飛天助手腳本提取(按鍵精靈定點(diǎn)自動(dòng)采集腳本)
　　飛天助手腳本提取(Key Wizard定點(diǎn)自動(dòng)采集腳本) admin12-29 18:16170 瀏覽量
　　點(diǎn)擊制作郵箱采集器腳本圖標，點(diǎn)擊打開(kāi)控制臺
　　只需點(diǎn)擊編輯我們的第一個(gè)腳本
　　在頂部@name 中，將名稱(chēng)更改為“郵箱采集器”
　　腳本描述寫(xiě)在@description 之后，用于介紹腳本的用途。寫(xiě)郵箱采集器
　　引入@require，主要依賴(lài)js文件，臨時(shí)寫(xiě)jquery依賴(lài)包。第359章 /jquery/3.3.1/jquery.min.js
　　
　　如何制作文本的內容？先在百度上搜索關(guān)鍵詞，留下郵箱
　　我找到了很多約會(huì )郵箱。我們應該做的就是復制這些郵箱。一個(gè)一個(gè)地復制很麻煩。測試一下。
　　首先創(chuàng )建郵箱采集的正則表達式
　　正則表達式=/[\w！#$%'* /=? ^_`{|}~-]？3360\.#$%'* /=? ^_`{|}~~]*@? 3360？3360\w-*[\w]？(.) ) w ) )? 3360\w-*[\w]？/G
　　打開(kāi)F12控制臺，在控制臺寫(xiě)下這段代碼
　　在這種情況下，還需要要采集的文本。
　　讓 doc=$(body) ).html );
　　
　　采集郵件代碼已成功蓋章。
　　電子郵件 = 文件匹配（注冊）| [];
　　這時(shí)候如果輸出email的內容，就是我們采集到的email地址。
　　現在，將此代碼復制到腳本的編輯區域。如圖所示
　　重新更新，剛剛在百度上搜索了郵箱頁(yè)面，如圖。第一個(gè)腳本完成。
　　() 傅雷家書(shū)讀書(shū)筆記節選（筆記）
　　整套解決方案:智能自動(dòng)化平臺五大功能之一|流程創(chuàng )建功能中的“智能文檔處理平臺（UiBot Ma
　　UiBot Mage上線(xiàn)后，將與UiBot家族原有的Creator、Worker、Commander三大模塊進(jìn)行集成，為RPA機器人的生產(chǎn)、執行、分發(fā)、智能提供相應的工具和工具。平臺。這也意味著(zhù) UiBot 可以實(shí)現更高復雜度和更高價(jià)值的流程自動(dòng)化，為客戶(hù)帶來(lái)真正的 RPA+AI。
　　智能自動(dòng)化平臺涵蓋系列產(chǎn)品，具備業(yè)務(wù)理解、流程創(chuàng )建、隨處操作、集中管控、人機協(xié)同5大功能。
　　本文文章將介紹智能自動(dòng)化平臺的五個(gè)功能之一的流程創(chuàng )建功能中的“智能文檔處理平臺（UiBot Mage）”。
　　智能文檔處理平臺（UiBot Mage）是基于OCR、NLP等前沿深度學(xué)習算法的智能文檔處理平臺。提供文檔識別、分類(lèi)、元素提取、校驗、比對、糾錯等功能，實(shí)現企業(yè)的日常文檔。處理作業(yè)的自動(dòng)化。
　　豐富的預訓練AI能力，無(wú)需AI經(jīng)驗，開(kāi)箱即用
　　可處理旋轉、遮擋、傾斜、文字密集、背景復雜、光照不均、抖動(dòng)模糊等復雜場(chǎng)景 可識別印章、手寫(xiě)??、復選框等特殊物體 支持中文（繁體和簡(jiǎn)體）、英文、日文、韓文、法文等10余種常用語(yǔ)言可識別加框表格、不加框表格和文字表格的混合排列可識別40余種常見(jiàn)票據及卡片核心字段，可識別混合發(fā)票，支持自動(dòng)分類(lèi), 準確率 99% % 以上
　　
　　強大的定制化AI能力，根據業(yè)務(wù)場(chǎng)景，無(wú)需代碼輕松定制專(zhuān)屬模型
　　基于規則和基于模型的混合AI定制能力，使用少量樣本進(jìn)行模型定制，只需要鼠標拖放操作，例如標記文檔（合同、公文、簡(jiǎn)歷等）中的元素字段和文檔（發(fā)票、訂單等），可以訓練模型支持長(cháng)文本和短文本分類(lèi)，每種類(lèi)型只有20條訓練數據，支持數據管理、標注、評估、在線(xiàn)等完整的工作流程，通過(guò)在線(xiàn)數據不斷優(yōu)化效果
　　長(cháng)文本比對糾錯，海量文檔準確快速處理
　　比較具有不同頁(yè)面的文檔的全文內容。用不同顏色標記文檔的變化，支持快速定位結果，快速定位差異。提供智能干預模型，根據語(yǔ)義信息合并差異、去除空格等冗余信息。在文件、招標文件等文件的編寫(xiě)和審閱中，智能識別和糾正常見(jiàn)的句法、音韻接近詞、成語(yǔ)、地名、人名、專(zhuān)業(yè)術(shù)語(yǔ)、標點(diǎn)符號錯誤
　　與 RPA 無(wú)縫集成，使用流程創(chuàng )建器 (UiBot Creator)，零代碼識別和文本、表格和工單的信息提取
　　
　　實(shí)現零代碼AI能力，在添加AI能力的過(guò)程中幾乎不需要觸摸鍵盤(pán)。支持圖像文件、PDF文件和界面元素作為圖像源。表格識別可轉成數據表格或直接轉成Excel文件輕松添加各種發(fā)票、優(yōu)采云機票、行程單、身份證、社?？?、駕照、戶(hù)口本、護照、房產(chǎn)證、和 RPA 流程的營(yíng)業(yè)執照
　　智能文檔處理平臺（UiBot Mage）是一款B/S架構的軟件，安裝好服務(wù)器后即可使用。我們推薦與流程創(chuàng )建器（UiBot Creator）一起使用，但您也可以獨立使用智能文檔處理平臺（UiBot Mage），或者通過(guò)Open API調用它的AI能力。
　　我們在互聯(lián)網(wǎng)上部署了智能文檔處理平臺（UiBot Mage），每月提供固定的免費使用量。超過(guò)免費額度后，可以按使用次數付費，讓企業(yè)控制使用成本。
　　如果想私下部署智能文檔處理平臺（UiBot Mage），需要自己準備一臺Linux操作系統（或國產(chǎn)銀河麒麟、同心等操作系統）的服務(wù)器。具體配置要求和部署方式，請聯(lián)系我們的售前顧問(wèn)。
　　私有部署時(shí)，智能文檔處理平臺（UiBot Mage）可以選擇使用GPU或CPU版本。GPU 版本需要服務(wù)器上的 GPU 硬件，但性能也會(huì )明顯優(yōu)于 CPU 版本。
　　私有部署時(shí)，智能文檔處理平臺（UiBot Mage）可以選擇使用基于Kubernetes（k8s）的部署方式。這種情況下至少需要3臺服務(wù)器，運維工作會(huì )比較復雜，但是可以實(shí)現高可用。
　　來(lái)業(yè)科技RPA+AI現已開(kāi)放社區版免費使用。歡迎訪(fǎng)問(wèn)來(lái)業(yè)科技官網(wǎng)免費使用。 查看全部

　　學(xué)習筆記:C#筆記 采集卡測試
　　一周多！
　　1. 1CAM 文件1.參數
　　CAM文件是一個(gè)可讀的ASCII文件，文件擴展名為.cam文件，其中收錄一個(gè)參數列表，如：采集模式，三元模式等。通過(guò)麥克塞特范式方法將康貝文件加載到通道中：
　　McSetParamStr(MyChannelMyChannel, MC_CamFile , "VCC VCC-870A_P15RA");
　　1.2 通道
　　通道是相機、幀捕獲器和主機 PC 內存之間的采集路徑。該頻道由三部分組成：
　　1. 負責圖像捕獲的相機。
　　2.幀捕捉器負責圖像的采集和傳輸。
　　3. 用于在主機 PC 中存儲圖像的內存緩沖區。
　　通道可以設置為以下四種狀態(tài)之一：
　　名字
　　意義
　　孤兒
　　沒(méi)有與之相關(guān)的抓取器。因此，不可能立即獲取圖像。但是通道存在，其所有參數都可以設置或自由獲取。
　　怠
　　當通道處于空閑狀態(tài)時(shí)，它有一個(gè)與之關(guān)聯(lián)的抓取器。因此，可以立即執行圖像采集。在此狀態(tài)下，多機位可能會(huì )自動(dòng)將爬網(wǎng)程序資源重新分配給另一個(gè)通道。
　　準備
　　當通道處于就緒狀態(tài)時(shí)，它具有與之關(guān)聯(lián)的抓取器。因此，可以立即執行圖像采集。在此狀態(tài)下，多攝像頭無(wú)法自動(dòng)將抓取器資源重新分配給另一個(gè)通道。
　　積極
　　當通道處于活動(dòng)狀態(tài)時(shí)，它具有與之關(guān)聯(lián)的抓取器，并執行圖像采集序列。在此狀態(tài)下，多攝像頭無(wú)法自動(dòng)將抓取器資源重新分配給另一個(gè)通道。
　　代碼示例：
　　1.3 表面
　　表面是一個(gè)緩沖區，用戶(hù)應用程序可以在其中找到要分析采集圖像。內存緩沖區由稱(chēng)為圖面的多機位對象表示。表面可以由多機位自動(dòng)創(chuàng )建，也可以由用戶(hù)手動(dòng)創(chuàng )建。抓取器通過(guò)DMA機制自動(dòng)將采集圖像傳輸到目標表面。一個(gè)通道可以有一個(gè)或多個(gè)曲面（缺省4）。根據曲面的數量，定義單緩沖區和多緩沖區。
　　表面狀態(tài)
　　意義
　　自由
　　自由表面能夠無(wú)條件地從采集卡接收圖像數據。
　　填充
　　圖像數據是
　　當前正在從抓取器接收，或正在準備接收數據。群集應都具有曲面的填充狀態(tài)。
　　?
　　您已完成從采集卡接收圖像數據，并已準備好進(jìn)行處理。
　　加工
　　曲面的處理狀態(tài)正在由處理器處理。
　　保留
　　已從標準狀態(tài)轉換機制中刪除。
　　代碼示例：
　　一組表面稱(chēng)為聚類(lèi)，一個(gè)通道只能有一個(gè)聚類(lèi)。群集的狀態(tài)為“關(guān)閉”、“就緒”（無(wú)曲面的處理）、“忙碌”（“正在處理”中有一個(gè)曲面）和“不可用”（無(wú)法獲取圖像）
　?。?。
　　單緩沖
　　雙緩沖
　　三重緩沖
　　1.4多聲信令
　　
　　信號是由與用戶(hù)應用程序交互的通道生成的事件。
　　幀觸發(fā)沖突
　　開(kāi)始曝光
　　該信號在幀曝光條件開(kāi)始時(shí)發(fā)射。
　　結束曝光
　　該信號在幀曝光條件結束時(shí)發(fā)射。
　　表面填充
　　當目標簇的曲面進(jìn)入“已填充”狀態(tài)時(shí)，將發(fā)出此信號。
　　表面處理
　　當目標群集的曲面進(jìn)入“正在處理”狀態(tài)時(shí)，將發(fā)出此信號。
　　群集不可用
　　獲取失敗 （**）
　　開(kāi)始采集序列
　　采集序列結束
　　頻道活動(dòng)結束
　　有三種機制可以訪(fǎng)問(wèn)它們：
　　1.指用戶(hù)編寫(xiě)的函數，當出現預定義的信號時(shí)會(huì )自動(dòng)調用（回調）。
　　2. 一種專(zhuān)門(mén)的機制，允許線(xiàn)程等待預定義的信號出現。
　　3.涉及標準 Windows 等待功能的用戶(hù)定義機制。
　　要使用回調：
　　1. 默認情況下，所有信號都處于禁用狀態(tài)。信號啟用參數用于設置它。
　　2. 注冊回調函數
　　3. 在回調函數中，事件是使用收錄有關(guān)觸發(fā)事件的信息的 PMCSIGNALINFO 捕獲的。
　　例：
　　1.5觸發(fā)
　　觸發(fā)器事件由“三元模式”和“下一步三模式”參數設置。
　　1.5.1 初始觸發(fā)事件：
　　1.5.2 觸發(fā)事件結束
　　采集階段可以通過(guò)結束三模式結束：
　　1）序列在采集幀、頁(yè)或行計數器過(guò)期時(shí)自動(dòng)終止。
　　2）檢測到硬件端觸發(fā)線(xiàn)的有效轉換時(shí)，采集序列終止 （HARD）。
　　或者直接通過(guò)斷路效應參數終止通道的活動(dòng)狀態(tài)：
　　1）切片/相/序列結束后停止采集
　　2） 立即停止（中止）
　?。?。
　　1.6收購模式1.7 異常
　　異常通過(guò)異常代碼或 Windows 異常進(jìn)行管理。錯誤處理參數使用 4 個(gè)可能的值設置錯誤管理行為。
　　2.演示
　　2.1 打開(kāi)驅動(dòng)程序
　　// Open MultiCam driver
MC.OpenDriver();
　　2.2 創(chuàng )建頻道
　　// Create a channel and associate it with the first connector on the first board
MC.Create("CHANNEL", out channel);
MC.SetParam(channel, "DriverIndex", 0);
　　2.3 相機參數設置
　　
　　// Choose the CAM file
MC.SetParam(channel, "CamFile", "1000m_P50RG");
// Choose the camera expose duration
MC.SetParam(channel, "Expose_us", 20000);
// Choose the pixel color format
MC.SetParam(channel, "ColorFormat", "Y8");
　　2.4 觸發(fā)模式更改
　　//Set the acquisition mode to Snapshot
MC.SetParam(channel, "AcquisitionMode", "SNAPSHOT");
// Choose the way the first acquisition is triggered
MC.SetParam(channel, "TrigMode", "COMBINED");
// Choose the triggering mode for subsequent acquisitions
MC.SetParam(channel, "NextTrigMode", "COMBINED");
　　2.5 事件觸發(fā)
　　2.5.1 注冊回調函數
　　// Register the callback function
multiCamCallback = new MC.CALLBACK(MultiCamCallback);
MC.RegisterCallback(channel, multiCamCallback, channel);
　　2.5.2 開(kāi)放信號
　　// Enable the signals corresponding to the callback functions
MC.SetParam(channel, MC.SignalEnable + MC.SIG_SURFACE_PROCESSING, "ON");
MC.SetParam(channel, MC.SignalEnable + MC.SIG_ACQUISITION_FAILURE, "ON");
　　2.5.3 確定接收到的信號
　　如果接收到MC.SIG_SURFACE_PROCESSING，則調用處理回調以獲取圖片的數據并將圖片數據轉換為位圖。如果收到MC.SIG_ACQUISITION_FAILURE，請調用故障回調以輸出“獲取失敗”。
　　private void MultiCamCallback(ref MC.SIGNALINFO signalInfo)
{
switch(signalInfo.Signal)
{
case MC.SIG_SURFACE_PROCESSING:
ProcessingCallback(signalInfo);
break;
case MC.SIG_ACQUISITION_FAILURE:
AcqFailureCallback(signalInfo);
break;
default:
throw new Euresys.MultiCamException("Unknown signal");
}
}
　　2.6 通道狀態(tài)設置為就緒
　　// Prepare the channel in order to minimize the acquisition sequence startup latency
MC.SetParam(channel, "ChannelState", "READY");
　　3. 編寫(xiě)測試程序
　　觸發(fā)模式默認按順序觸發(fā)。
　　在界面上顯示凸輪文件的加載情況。
　　演示界面只有Go和停止，還有狀態(tài)欄，增加了打開(kāi)/關(guān)閉相機和啟動(dòng)/停止采集按鈕。
　　觸發(fā)曝光開(kāi)始事件，幀開(kāi)始計數++;surface_processing事件觸發(fā)，繪制計數++;獲取觸發(fā)的失敗事件、丟失的幀計數++。
　　代碼絕對沒(méi)有運行，畢竟我是一個(gè)從未見(jiàn)過(guò)采集卡的人，只是說(shuō)說(shuō)就哈哈哈
　　程序員的燈塔
　　測評:如何用優(yōu)采云采集器器實(shí)現網(wǎng)絡(luò )上企業(yè)名錄、客戶(hù)手機電話(huà)號碼的搜索采集
　　此時(shí)，您可以完成電話(huà)采集項目的設置、運行和數據導出的整個(gè)過(guò)程。
　　
　　請注意，在同一網(wǎng)站下，
　　不建議同時(shí)運行多個(gè)采集項目，因為這會(huì )給對方的網(wǎng)站帶來(lái)很大的訪(fǎng)問(wèn)壓力，可能會(huì )被IP屏蔽。該軟件的內置模板在訪(fǎng)問(wèn)壓力上已經(jīng)平衡，當單個(gè)項目運行時(shí)，它通常不會(huì )被阻止IP。但是，同時(shí)運行多個(gè)項目超出了均衡設置的范圍。
　　
　　當IP地址被封禁時(shí)，請打開(kāi)“項目高級設置”-云計算-選擇“僅請求網(wǎng)頁(yè)訪(fǎng)問(wèn)協(xié)助”進(jìn)行云采集，可以繞過(guò)對方采集網(wǎng)站屏蔽。
　　圖 8：項目的云采集請求的設置 查看全部

　　教程:用python編寫(xiě)自動(dòng)信息收集腳本(三) -ip收集
　　我只是一個(gè)python初學(xué)者，這篇文章只適合初學(xué)者觀(guān)看和學(xué)習。大佬，請繞道（或指出需要改進(jìn)的地方）！在日常的滲透測試過(guò)程中，我們都知道，在目標被滲透之前，必須采集一波信息。采集到的信息越多，滲透過(guò)程就越順暢，因此信息采集就顯得尤為重要。信息采集往往需要很多時(shí)間，所以我們想寫(xiě)一個(gè)自動(dòng)信息采集的腳本，但是代碼量太大了。本文從whois信息開(kāi)始，代碼不好的地方。希望大家給點(diǎn)意見(jiàn)！
　　本模塊配合之前使用python編寫(xiě)自動(dòng)信息采集腳本1、2
　　導入線(xiàn)程#多線(xiàn)程
　　導入請求
　　進(jìn)口時(shí)間
　　
　　從 lxml 導入 etree
　　import re #正則表達式
　　導入 csv
　　import telnetlib #創(chuàng )建用于端口掃描的tcp鏈接
　　xxsj 類(lèi)（對象）：
　　def __init__(self):
　　
　　global dk #創(chuàng )建全局變量，后面用于端口掃描
　　self.wz = input("請輸入你要查詢(xún)的網(wǎng)站") #接收網(wǎng)站的地址
　　dk = self.wz
　　self.a = re.sub(r"www.","",self.wz) #正則表達式，匹配刪除
　　self.header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, 像壁虎）Chrome/75.0.3770.100 Safari/537.36'}
　　定義IP（自我）：
　　最新版本:html 動(dòng)態(tài)導航菜單,導航菜單,css3,javascript,響應式菜單
　　最近有很多關(guān)于HTML5和CSS3的東西，表明這項技術(shù)正在成熟，本文介紹了20個(gè)很酷的導航菜單。
　　導航欄是網(wǎng)站最常用的部分之一，用戶(hù)可以在其中有條不紊地訪(fǎng)問(wèn)網(wǎng)頁(yè)并返回首頁(yè)。這就要求導航欄要簡(jiǎn)單易用，不能讓用戶(hù)在瀏覽網(wǎng)站的過(guò)程中迷失方向。接下來(lái)我們要講的是它下面的導航菜單的設計。導航菜單不應設計得過(guò)于花哨和無(wú)聊。還要追求討好
　　導航結構在網(wǎng)站設計中起著(zhù)決定性的作用。導航菜單/欄經(jīng)常使用顏色、排版、形狀和一些圖片來(lái)幫助網(wǎng)站創(chuàng )建更好的外觀(guān)和感覺(jué)，這是網(wǎng)頁(yè)設計的關(guān)鍵元素。
　　如果您是 網(wǎng)站 前端開(kāi)發(fā)人員，那么制作一個(gè)漂亮的導航菜單可能會(huì )派上用場(chǎng)。但是今天暴風(fēng)彬彬想給大家總結一下各種導航菜單的資源，讓大家的網(wǎng)站前端開(kāi)發(fā)工作更加方便快捷，只要選擇現成的例子，就可以應用到你自己的 網(wǎng)站 。風(fēng)風(fēng)斌斌采集的這些資源，來(lái)自很簡(jiǎn)單
　　這是一個(gè)透明的 CSS 菜單，兼容性：IE5.5+, Opera, Frefox, Netscape。
　　CSS 代碼：
　　引用如下：
　　身體{
　　字體：80% 宋體，無(wú)襯線(xiàn)；
　　背景：#666;
　　}
　　
　　#導航
　　采用 CSS 架構的網(wǎng)頁(yè)不僅符合 W3C 標準，而且非常漂亮。標準化網(wǎng)頁(yè)從漂亮的 CSS 菜單開(kāi)始。如果您還在猶豫，請查看下面的這些 CSS 菜單演示。
　　上一篇《WordPress網(wǎng)站全方位速度優(yōu)化：托管》講的是WordPress網(wǎng)站所在主機的設置。這次，我們將討論 網(wǎng)站 的內部膨脹，這會(huì )導致加載緩慢。
　　HTML css javascript 算是前端必須掌握的東西，但是我們的瀏覽器是如何解析這些東西的呢？我們如何處理html css javascript 讓我們的網(wǎng)頁(yè)更合理，我這里做了一些實(shí)驗，總結出來(lái)給大家看看。
　　正文 我們將在 2014 年為網(wǎng)頁(yè)設計師推薦 15 個(gè) HTML 和 CSS 框架。閱讀下面的框架列表并與我們分享您的想法！
　　在開(kāi)始使用 SVG 之前，我們先來(lái)了解一下 SVG，并解釋一下我們?yōu)槭裁词褂?SVG。SVG的全稱(chēng)是Scalable Vector Graphics。如果你用過(guò)Adobe Illustrator，相信你對這種中等格式的圖片并不陌生！
　　以 HTML5 和 CSS3 全面革新和網(wǎng)頁(yè)設計布局創(chuàng )新改革。讓很多網(wǎng)頁(yè)設計師和界面設計師知道一個(gè)道理。就是掌握一套相應的工具包。這不僅是為了提高以后的工作效率，也是為了更好地處理網(wǎng)頁(yè)的整體視覺(jué)效果。界面也可以變得更具交互性。一個(gè)偉大的工具包肯定可以讓你的工作更有效率。
　　無(wú)論您過(guò)去在網(wǎng)頁(yè)布局中如何稱(chēng)呼它們——“區域”或“塊”，我們總是在布局中將頁(yè)面劃分為視覺(jué)上不同的區域。但真正的問(wèn)題是我們沒(méi)有使用任何正確的工具來(lái)做到這一點(diǎn)。一般來(lái)說(shuō)，我們使用典型的網(wǎng)格來(lái)劃分頁(yè)眉、頁(yè)面主題、頁(yè)腳等區域，實(shí)現所謂的頁(yè)面布局。
　　您可能知道 HTML5 中有很多以前不存在的標簽，例如 header、nav 和 footer。在此之前，我們在開(kāi)發(fā)相關(guān)的頁(yè)面布局時(shí)，經(jīng)常使用CSS來(lái)定義相關(guān)的headers、navigation及其底部
　　今天我們來(lái)看看如何創(chuàng )建一個(gè)實(shí)用又強大的表單，表單是使用最流行的HTML5和css3技術(shù)創(chuàng )建的，并且可以通過(guò)HTML5客戶(hù)端進(jìn)行驗證。
　　有時(shí)從頭開(kāi)始設計自己的 網(wǎng)站 可能是一項艱巨的任務(wù)，請專(zhuān)業(yè)人士來(lái)做是可以的，但它非常昂貴。這是我們再次在互聯(lián)網(wǎng)上尋找最好的免費HTML5和CSS3模板，如果您的下一個(gè)設計項目是創(chuàng )建自己的網(wǎng)站，今天分享精心設計的html5模板，這些高質(zhì)量的HTML/CSS模板可以非常有用并為您節省大量時(shí)間。
　　專(zhuān)業(yè)設計和簡(jiǎn)潔的網(wǎng)站模板可以幫助我們更輕松地開(kāi)發(fā)和設計網(wǎng)站頁(yè)面。作為最新最流行的網(wǎng)頁(yè)技術(shù) HTML5 和 CSS3 技術(shù)，使用它們構建的模板更加簡(jiǎn)潔時(shí)尚。
　　
　　之前，我們介紹了一個(gè)在線(xiàn)生成純CSS3氣泡提示的在線(xiàn)工具。今天，我們介紹一個(gè)工具來(lái)幫助你在線(xiàn)生成純CSS實(shí)現的動(dòng)畫(huà)切換界面UI——On/Off FlipSwitch。
　　網(wǎng)上可以找到很多PSD素材，包括PSD按鈕、PSD圖標、PSD網(wǎng)站模板等PSD界面素材。那么如果你把這些漂亮的 PSD 素材轉換成 HTML/CSS 代碼呢？
　　隨著(zhù)前端技術(shù)的發(fā)展，javascript和css在網(wǎng)站和web應用中顯示出強大的統治力，特別是隨著(zhù)HTML5和CSS3標準的成熟，我們可以使用javascript和css來(lái)開(kāi)發(fā)任何你想要的特效和沒(méi)有想到的動(dòng)畫(huà)，在今天的文章中，我們將介紹一套強大的CSS和javascript相關(guān)的教程和插件，希望大家喜歡！
　　站長(cháng)之家()5月22日編譯：目前，現成的HTML5和CSS模板已經(jīng)成為網(wǎng)頁(yè)設計師們非常追捧的資源。這些模板不僅為構建時(shí)尚的 網(wǎng)站 提供了一個(gè)快速可行的解決方案，還為 網(wǎng)站 開(kāi)發(fā)人員探索和理解 HTML5 或 CSS 提供了學(xué)習路徑。在這篇文章中，我將分享 17 個(gè)免費的 HTML5 和 CSS 模板，希望對你有所幫助。
　　本教程旨在教您如何使用 CSS3 樣式創(chuàng )建美觀(guān)簡(jiǎn)潔的導航欄。過(guò)去，我們只能使用圖像、JavaScript 和 div 層進(jìn)行創(chuàng )建。
　　站長(cháng)之家() 4月23日編譯：在本教程中，您將學(xué)習如何將HTML列表項（li元素）轉換為如下圖所示的“便簽墻”。效果分5步達到。以 webkit 為核心的 Safari 和 Chrome 瀏覽器以及 Firefox 和 Opera 都支持這種效果。其他瀏覽器無(wú)法實(shí)現傾斜和動(dòng)畫(huà)效果（譯者在IE9中測試過(guò)，但無(wú)法實(shí)現）。
　　本文從三個(gè)特殊的角度出發(fā)，用豐富的例子總結了HTML5和CSS3給頁(yè)面工作帶來(lái)的密切相關(guān)的變化和輝煌。
　　在搜索引擎中搜索關(guān)鍵字 .htaccess 緩存。您可以搜索許多關(guān)于設置 網(wǎng)站 文件緩存的教程。通過(guò)設置，可以在瀏覽器端緩存css、js等不經(jīng)常更新的文件，讓訪(fǎng)問(wèn)者每次訪(fǎng)問(wèn)你的網(wǎng)站時(shí)，瀏覽器都可以從瀏覽器的緩存中獲取css、js等，而無(wú)需不得不從你的服務(wù)器讀取，在一定程度上提速 網(wǎng)站 可以節省打開(kāi)速度，也可以節省你的服務(wù)器流量。
　　繼農歷新年“收尾”活動(dòng)后，百度手機再次推出情人節頁(yè)面特效，借助HTML5技術(shù)成功詮釋了情人節浪漫的“技術(shù)模式”。
　　今天我們將分享一系列 CSS3 的工具提示教程。工具提示通常用于顯示附加信息。當我們在 網(wǎng)站 上創(chuàng )建鏈接時(shí)，我們都需要添加一個(gè)標題來(lái)幫助進(jìn)行 SEO。這些標題在鼠標懸停的時(shí)候就能顯示出來(lái)，但是沒(méi)有很漂亮的樣式。
　　站長(cháng)之家()2月9日編譯：超文本標記語(yǔ)言，HTML(Hypertext Markup Language)，是一種用來(lái)描述web文檔的標記語(yǔ)言。文檔的主要語(yǔ)言。CSS是英文Cascading Style Sheets（層疊樣式表）的縮寫(xiě)，是一種用于表達HTML或XML等文檔樣式的計算機語(yǔ)言，可用于網(wǎng)頁(yè)樣式設計。為了最大限度地減少設計 網(wǎng)站 或優(yōu)化網(wǎng)頁(yè)所需的時(shí)間，這里有 13 個(gè)用于快速編寫(xiě) CSS 和 HTML 代碼的最常用工具。
　　站長(cháng)之家()1月29日編譯：CSS3和HTML5都是web開(kāi)發(fā)領(lǐng)域的技術(shù)熱點(diǎn)，它們給web開(kāi)發(fā)帶來(lái)了革命性的影響。HTML5作為下一代Web語(yǔ)言，增加了更多的語(yǔ)義標簽，而CSS3作為CSS的下一代版本，也引入了許多優(yōu)秀的屬性。在這里，我們將分享 25 個(gè)漂亮的 HTML5 和 CSS3 免費 網(wǎng)站 模板供下載。 查看全部

　　最新版:手機版的數據采集軟件好用嗎？
　　目前市面上的手機版數據采集軟件很多，報價(jià)也五花八門(mén)，讓不少消費者不解，不禁要問(wèn)：這種數據采集軟件真的好用嗎？
　　如果仔細分辨，很容易發(fā)現其中的奧妙。接下來(lái)從軟件的功能和商家的商業(yè)模式來(lái)分析，這款軟件是否好用（詳情請聯(lián)系1254733218）
　　
　　這是data采集軟件手機版的通用界面。目前市面上大部分的這款軟件都收錄兩個(gè)功能：采集數據和帶入通訊錄。
　　采集到的數據可以按照行業(yè)進(jìn)行過(guò)濾，通過(guò)電子地圖等一些渠道可以搜索到潛在客戶(hù)群；導入通訊錄就是將采集到的電話(huà)號碼保存到手機中。兩個(gè)功能都很容易實(shí)現，所以從功能上看，大部分都是相似的，差別不大
　　
　　接下來(lái)是關(guān)鍵問(wèn)題。從商家的商業(yè)模式來(lái)看，這些軟件有很大的不同。有商家說(shuō)軟件可以加微信、抖音快手小紅書(shū)等吸引流量，也有商家說(shuō)軟件可以代言，市場(chǎng)很大……朋友圈甚至更加包裝。
　　當然，對于普通用戶(hù)來(lái)說(shuō)，data采集software的值是最基本的兩個(gè)功能，采集導入通訊錄后的data和開(kāi)發(fā)（而且開(kāi)發(fā)需要手動(dòng)，不能自動(dòng)），沒(méi)有不管包裝如何，都離不開(kāi)這兩個(gè)基本面。所以，不管是哪家公司開(kāi)發(fā)的移動(dòng)數據軟件，如果低于五百，就劃算了。
　　綜上所述，如果你還缺客戶(hù)，還有時(shí)間打電話(huà)或者導入其他平臺開(kāi)發(fā)客戶(hù)，那么這個(gè)手機版的data采集軟件基本可以滿(mǎn)足你的需求。但是如果需要自動(dòng)開(kāi)發(fā)采集生成的數據，需要電腦版的軟件，自動(dòng)批量操作會(huì )節省時(shí)間。
　　內容分享:17款常用的付費谷歌SEO工具推薦，助網(wǎng)站流量翻倍增長(cháng)
　　Google SEO 付費工具
　　在上一篇文章中，我們分享了 12 個(gè)常用的免費 G??oogle SEO 工具。接下來(lái)，讓我們來(lái)看看一些很棒的付費工具。一些工具有免費試用期，而另一些工具則提供免費計劃。
　　1. HubSpot SEO 營(yíng)銷(xiāo)軟件
　　價(jià)格：入門(mén)版 $45/月；專(zhuān)業(yè)版 $800，企業(yè)版 $3200
　　說(shuō)明：幫助您系統地優(yōu)化您的網(wǎng)絡(luò )內容，無(wú)論是登錄頁(yè)面、網(wǎng)頁(yè)還是博客文章。除了 SEO 工具之外，它還可以與其他營(yíng)銷(xiāo)工具配合使用。
　　特點(diǎn)：1）電子郵件營(yíng)銷(xiāo)：為您的品牌設計和發(fā)送電子郵件；2）營(yíng)銷(xiāo)自動(dòng)化：為細分用戶(hù)創(chuàng )建動(dòng)態(tài)策略；3）潛在客戶(hù)管理：跟蹤每個(gè)階段的前景銷(xiāo)售流程； 4）分析：查看您的廣告系列以確定改進(jìn)機會(huì )。
　　2.Ahrefs
　　價(jià)格：7 天試用，精簡(jiǎn)版 99 美元/月，標準版 179 美元/月，高級版 399 美元/月，專(zhuān)業(yè)版 999 美元/月
　　說(shuō)明：檢查您的網(wǎng)站屬性、鏈接和排名相關(guān)文件，以幫助您優(yōu)化您的網(wǎng)站內容。
　　功能：1）網(wǎng)站瀏覽：顯示您在特定頁(yè)面上的 網(wǎng)站 表現； 2）內容瀏覽：允許您在特定的關(guān)鍵詞和主題網(wǎng)頁(yè)下搜索高性能網(wǎng)站； 3）關(guān)鍵詞瀏覽：了解特定關(guān)鍵詞的每月搜索量和點(diǎn)擊率等指標； 4）現場(chǎng)審核：揭示頁(yè)面中的技術(shù)問(wèn)題。
　　3.SEMrush
　　價(jià)格：專(zhuān)業(yè)版 119.95 美元/月，大師版 229.95 美元/月，商業(yè)版 339.95 美元/月
　　如何使用：SEMrush 可以報告整個(gè)域或其特定頁(yè)面的性能。 SEMrush最有用的功能之一就是SEO Toolkit，它可以讓你了解網(wǎng)站用來(lái)排名的關(guān)鍵詞，關(guān)鍵詞的頁(yè)面排名，關(guān)鍵詞的月搜索量@關(guān)鍵詞，以及更多信息。
　　特點(diǎn)：1）鏈接分析：分析反向鏈接； 2）關(guān)鍵字魔術(shù)工具：查找有助于建立 SEO 策略的 關(guān)鍵詞； 3）查看競爭對手的策略：識別在競爭對手的 PPC 廣告中使用的付費 關(guān)鍵詞 或廣告文案； 4）提供建議：了解如何優(yōu)化內容以增加自然流量。
　　4.KWFinder
　　價(jià)格：10 天免費試用，29 美元/月
　　說(shuō)明：進(jìn)行關(guān)鍵詞研究以幫助優(yōu)化復制內容。
　　功能：1）長(cháng)尾關(guān)鍵詞研究：尋??找長(cháng)尾關(guān)鍵詞為您提供更多獲取流量的機會(huì )； 2）競爭對手關(guān)鍵詞 研究：查看競爭對手的關(guān)鍵字策略并將其與自己的關(guān)鍵字策略進(jìn)行比較，以找到更多的關(guān)鍵字機會(huì )； 3）SERP 分析工具：分析 SERP 以了解讀者在您的頁(yè)面上尋找哪些元素；4）本地關(guān)鍵字研究工具：查看本地搜索者正在尋找什么，進(jìn)入本地市場(chǎng)以獲得更多流量。
　　5.增長(cháng)條
　　價(jià)格：5 天免費試用，Basic 29.$9/mo，Premium 39.$9/mo，Pro 79.$9/mo
　　p>
　　說(shuō)明：GrowthBar 是一款 Chrome 擴展程序，可幫助您進(jìn)行關(guān)鍵字研究、競爭分析和跟蹤 SEO 排名。
　　
　　功能：1）流行關(guān)鍵詞 和反向鏈接功能：查看哪些付費 關(guān)鍵詞 和有機 關(guān)鍵詞 為您的 網(wǎng)站 帶來(lái)了最多的流量，并獲得指向您的權威反向鏈接列表網(wǎng)站;2）獲取您的關(guān)鍵字難度分數：根據首頁(yè)排名的URL的域權威強度評級為特定關(guān)鍵詞難度秩; 3）字數統計工具：直接從 SERP 查看任何頁(yè)面的字數統計； 4）投放 Facebook 廣告：從搜索引擎的角度了解您的廣告的效果。 5）關(guān)鍵字建議工具：獲取您想要排名的相關(guān)關(guān)鍵詞列表，以及他們的搜索量和每次點(diǎn)擊費用。
　　6.Woorank
　　價(jià)格：14 天免費試用，Pro 79.9 美元/月。 Premium 199.99 美元/月，或聯(lián)系 Enterprise 獲取報價(jià)
　　如何使用：幫助營(yíng)銷(xiāo)人員發(fā)現優(yōu)化和改進(jìn)的機會(huì )。
　　功能：1）SEO：根據目標分析您的 SEO 指標； 2）移動(dòng)優(yōu)化：根據移動(dòng)數據決定使用哪種移動(dòng)優(yōu)化策略； 3）社交分析：了解社交媒體如何在流量目標和 SEO 目標中發(fā)揮作用。
　　7.BuzzStream
　　價(jià)格：30天免費試用，個(gè)人版24美元/月，團體版124美元/月，專(zhuān)業(yè)版299美元/月，定制版999美元+
　　使用方法：尋找潛在的反向鏈接機會(huì )并向右側發(fā)送邀請網(wǎng)站。
　　功能：按行業(yè)和參與各種社交網(wǎng)絡(luò )的情況尋找合適的反向鏈接候選人。
　　8.Moz Pro
　　價(jià)格：30 天免費試用，標準版 99 美元/月，中型 149 美元/月，大版 249 美元/月，高級版 599 美元/月
　　說(shuō)明：一種 SEO 工具，用于跟蹤增長(cháng)、構建報告、優(yōu)化等以提高搜索排名。
　　特點(diǎn)：1）網(wǎng)站爬蟲(chóng)：分析給定 URL 上的多達 3,000 個(gè)鏈接； 2）報告：通過(guò)電子郵件發(fā)送頁(yè)面數據的詳細信息。 2）“可抓取性”因素分析：這些因素包括可能影響您的 SEO 性能的重復內容和重定向。
　　9.Linkody
　　價(jià)格：30 天免費試用，基本版 14.9 美元/月，高級版 24.9 美元/月，專(zhuān)業(yè)版 49.9 美元/月，商業(yè)版 99.9 美元/月，高級商務(wù)版 153.9 美元/月
　　使用說(shuō)明：Linkody專(zhuān)注于反向鏈接，它可以幫助您發(fā)現、跟蹤、分析和拒絕反向鏈接。
　　功能：1）“窺探”競爭對手的反向鏈接：只需輸入競爭對手的 URL，您就會(huì )知道其反向鏈接的構成，并利用這些信息更好地構建自己 網(wǎng)站反向鏈接；2）Helpful Insights：查看在查看反向鏈接跟蹤時(shí)最重要的指標，例如“rel”屬性、Google 索引狀態(tài)、網(wǎng)站 的域權限、垃圾郵件分數、Alexa 排名等； 3）創(chuàng )建報告：創(chuàng )建您可以與您的團隊和/或客戶(hù)共享的報告，以更好地了解您的反向鏈接分布和鏈接構建進(jìn)度。
　　10. Screaming Frog SEO 蜘蛛
　　價(jià)格：免費，或 149 歐元/年
　　說(shuō)明：爬取您指定的 網(wǎng)站 以檢查常見(jiàn)的 SEO 問(wèn)題。該軟件簡(jiǎn)化了原本耗時(shí)的過(guò)程。
　　特點(diǎn)：1）Java 程序：Screaming Frog 收錄一個(gè)直觀(guān)的 Java 程序，帶有易于導航的選項卡； 2）輕松導出到 Excel：進(jìn)一步分析您的 SEO 數據。
　　11.移除他們
　　價(jià)格：一次性終身支付249美元，定期訂閱（一個(gè)網(wǎng)站）99美元/月，高級訂閱（十個(gè)以上網(wǎng)站）899美元/月
　　如何使用：Remove'em 幫助您刪除那些有問(wèn)題的反向鏈接。
　　特點(diǎn)：1）掃描你的反向鏈接配置文件：找到你需要刪除的鏈接和域聯(lián)系信息；2）導出反向鏈接列表：你可以告訴谷歌抓取不要認為這些“壞” 網(wǎng)站 時(shí)拒絕反向鏈接的鏈接。
　　12.AnswerThePublic
　　
　　價(jià)格：月度計劃 99 美元/月，年度計劃 79 美元/月，專(zhuān)家計劃 199 美元/月
　　如何使用：AnswerThePublic 是一個(gè) 關(guān)鍵詞 工具，用于監控來(lái)自 Google 和其他搜索引擎的自動(dòng)完成數據，然后為您提供人們在您的 關(guān)鍵詞 周?chē)阉鞯亩陶Z(yǔ)和問(wèn)題列表。
　　功能：1）接收更新：查看人們何時(shí)在談?wù)撃P(guān)鍵詞；2）監控關(guān)鍵字趨勢：了解關(guān)鍵詞目標受眾和客戶(hù)的搜索行為; 3）實(shí)時(shí)搜索：查看您的觀(guān)眾實(shí)時(shí)搜索的關(guān)鍵詞和短語(yǔ)； 4）為您的網(wǎng)站 和博客獲取創(chuàng )意：根據相關(guān)關(guān)鍵字研究找出新的內容創(chuàng )意。
　　13.關(guān)鍵詞英雄
　　價(jià)格：14 天試用，小英雄免費，大英雄 9 美元/月，巨人英雄 49 美元/月，終極英雄 149 美元/月
　　使用方法：Keyword Hero 幫助您了解自然流量的搜索意圖。
　　特征：1）識別自然流量和轉化率：揭示您從特定關(guān)鍵字獲得的結果；2）分離流量：識別品牌搜索流量和非品牌搜索流量；3）SERP優(yōu)化：針對特定目標關(guān)鍵詞優(yōu)化你的網(wǎng)站； 4）查看詳細的查詢(xún)信息：了解您的訪(fǎng)問(wèn)者是否在您的 網(wǎng)站 上使用信息查詢(xún)或交易查詢(xún)。
　　14.SpyFu
　　價(jià)格：基本 39 美元/月，專(zhuān)業(yè) 69 美元/月，無(wú)限 129 美元/月
　　使用說(shuō)明：SpyFu 是一個(gè)關(guān)鍵詞 研究工具。除了 關(guān)鍵詞research，此工具還可以幫助您增加 Google Ads 和 網(wǎng)站 的流量，監控 Google、Bing 和 Yahoo 上的付費和自然排名，并獲得可靠和準確的潛在客戶(hù)信息。 Kenny，我個(gè)人認為這個(gè)軟件更適合推廣 Google Ads 的人。這個(gè)軟件的有機關(guān)鍵詞不是很準確。
　　功能：1）下載競爭對手PPC 關(guān)鍵詞;2）下載競爭對手SEO關(guān)鍵詞;3）查看排名趨勢：某個(gè)頁(yè)面或網(wǎng)站@ >隨著(zhù)時(shí)間的推移一定的關(guān)鍵詞排名； 4）為您的 Google Ads 提供 關(guān)鍵詞 建議以增加轉化機會(huì )。
　　15.Seomater
　　價(jià)格：立即付款 5 美元起，小型企業(yè) 19 美元/月，專(zhuān)業(yè)版 49 美元/月，無(wú)限制 179 美元/月
　　使用說(shuō)明：Seomater 是一款 SEO 審核和網(wǎng)站爬取工具。該工具抓取您的 網(wǎng)站 后，您將收到一份收錄各種 SEO 相關(guān)元素的 SEO 報告，包括內部和外部鏈接、反向鏈接、頁(yè)面質(zhì)量和速度、社交媒體等。
　　特點(diǎn)：1）SEO監控提醒功能：您的網(wǎng)站會(huì )被自動(dòng)抓取，如果SEO出現問(wèn)題，會(huì )第一時(shí)間通知您； 2）獲取詳細報告：查找有關(guān)您的頁(yè)內和頁(yè)外 SEO 的見(jiàn)解； 3）比較您的競爭對手的網(wǎng)站，以確定他們的 SEO 優(yōu)勢和劣勢。
　　16.內容王
　　價(jià)格：基本 139 美元/月，標準 319 美元/月，專(zhuān)業(yè) 449 美元/月，企業(yè) 1,279 美元
　　使用說(shuō)明：ContentKing 是一款實(shí)時(shí) SEO 審核和內容跟蹤工具，因此任何與 SEO 相關(guān)的問(wèn)題都會(huì )立即被發(fā)現。該工具基于云，這意味著(zhù)無(wú)需安裝，您的數據和報告始終可用。
　　特點(diǎn)：1）使用 ContentKing 的 24/7 網(wǎng)站審查（和算法）深入了解 SEO 并學(xué)習如何優(yōu)化網(wǎng)頁(yè)； 2）每當您網(wǎng)站 當您的 網(wǎng)站 上的某些內容關(guān)閉或不再優(yōu)化時(shí)接收通知； 3）跟蹤您的網(wǎng)站 上所有內容更改的歷史記錄（例如單個(gè)頁(yè)面的更改和 robots.txt 更改的更改）； 4）可視化數據：查看實(shí)時(shí)儀表板和報告。
　　17. 東南亞排名
　　價(jià)格：基本 39 美元/月，高級 89 美元/月，商務(wù) 189 美元/月
　　使用說(shuō)明：SE Ranking是一個(gè)綜合性的SEO平臺，分析網(wǎng)站健康、關(guān)鍵詞排名、流量等。它還可以深入了解您的競爭對手，讓您更好地了解 SEO 環(huán)境并調整您的營(yíng)銷(xiāo)策略。
　　特點(diǎn)：1）關(guān)鍵詞排名檢查：監控您和您的競爭對手的關(guān)鍵詞排名并提供準確的關(guān)鍵詞排名分析； 2） 網(wǎng)站健康評論：評估您的所有網(wǎng)站頁(yè)面，以創(chuàng )建一份關(guān)于網(wǎng)站技術(shù)和性能錯誤的深入報告并提供解決方案； 3）競爭對手分析：確定競爭對手的網(wǎng)站流量、關(guān)鍵詞排名以及其他自然搜索和付費搜索數據。
　　本文來(lái)自微信公眾號，作者：Kenny。 36氪獲授權發(fā)布。 查看全部

　　最新版:易淘站群管理系統使用手冊.doc
　　
　　易淘站群管理系統教程 易淘站群軟件是一套無(wú)限數量的站點(diǎn)，輔助各種大型cms文章系統實(shí)現自動(dòng)化@k11@ >，一個(gè)自動(dòng)更新的免費智能站群系統，其核心價(jià)值在于根據SEO優(yōu)化規則自動(dòng)建站，沒(méi)有任何技術(shù)門(mén)檻，為客戶(hù)創(chuàng )造網(wǎng)站價(jià)值。它是幾位資深互聯(lián)網(wǎng)開(kāi)發(fā)工程師多年互聯(lián)網(wǎng)開(kāi)發(fā)努力的成果。讓技術(shù)屬于我，網(wǎng)站利潤不再遙遠。如果您已經(jīng)有網(wǎng)站，它可以為您的網(wǎng)站導入更多流量，如果您沒(méi)有網(wǎng)站，它是您網(wǎng)站的最佳選擇！它使用cms+SEO技術(shù)+關(guān)鍵詞 分析+蜘蛛爬蟲(chóng)+網(wǎng)頁(yè)智能信息爬取技術(shù)，你只需要設置幾個(gè)關(guān)鍵詞和一些策略，系統會(huì )自動(dòng)幫你構建一個(gè)內容豐富的網(wǎng)站，更重要的是，甚至網(wǎng)站的更新是全自動(dòng)的，讓你從網(wǎng)站繁重的維護工作中解放出來(lái)，讓網(wǎng)站快速聚集流量和人氣，讓網(wǎng)站盈利變得非常簡(jiǎn)單。易淘站群管理系統說(shuō)明：所有版本，支持無(wú)限網(wǎng)站，智能操作，無(wú)需編寫(xiě)采集規則，無(wú)限采集新數據，一次設置永久使用，并且無(wú)限發(fā)布數據可以永久免費升級，可以在任何電腦（包括vps）上使用掛機采集發(fā)布，可同時(shí)開(kāi)多個(gè)賬戶(hù)使用，無(wú)需綁定機器硬件，無(wú)需購買(mǎi)加密狗，無(wú)空間提供商程序限制，基本不占用空間cpu和內存（適合國外空間較多），支持發(fā)布數據對各種流行的cms，也可以自定義獨立的網(wǎng)站程序的發(fā)布界面。只需下載軟件并購買(mǎi)對應的序列號升級即可（當然也有免費版）！一淘最新版站群管理系統下載：按住ctul點(diǎn)擊圖標下載基本流程：注冊-->登錄-->新建網(wǎng)站分類(lèi)-->新建網(wǎng)站@ >column-->采集@ >Keywords-->采集文章-->設置發(fā)布界面-->全部發(fā)布站群構建步驟：1、在“我的站群”中右鍵，選擇“添加(網(wǎng)站,Category)”，填寫(xiě)“節點(diǎn)名稱(chēng)”，選擇“節點(diǎn)類(lèi)型”。具體功能詳解如下： ①“節點(diǎn)名稱(chēng)”：為您的節點(diǎn)命名，例如：“一淘站”（注：下面我將使用“一淘站”這個(gè)名稱(chēng)作為解釋?zhuān)?；①“節點(diǎn)序號”：默認可不改，僅用于排序；
　　
　　正式發(fā)布:云優(yōu)CMS發(fā)布接口模塊—免登錄通用版
　　最新免費云游cms(yunucms)免登錄萬(wàn)能發(fā)布界面插件！ ！ ！
　　插件基于云游cms-v2.0.8版本開(kāi)發(fā)，可發(fā)布到文章模型欄目！ ！ ！
　　插件接口可以接收來(lái)自?xún)?yōu)采云、優(yōu)采云采集器、優(yōu)采云等大部分采集工具的數據！ ！ ！
　　下載地址：
　　云游cms發(fā)布接口模塊-免登錄通用版-CSDN下載云游cms發(fā)布接口模塊-免登錄通用版云游cms發(fā)布接口通用靈活，并且可以快速與任意采集器簡(jiǎn)單對接（如更多下載資源和學(xué)習資料，請訪(fǎng)問(wèn)CSDN下載頻道。
　　安裝說(shuō)明：
　　
　　1、請輸入 const postcon_password = "alterpassword3"; （大約 16 行）在 Postcon.php 中修改 alterpassword3 為新密碼，注意修改！ ！ ！發(fā)布目標時(shí)需要此密碼；
　　const postcon_password = "alterpassword3";
//大約在16行左右,把alterpassword3改為新密碼;
const postcon_password = "新密碼";
　　2、修改密碼后，將文件Postcon.php上傳到Yunu的/app/admin/controller目錄下cms網(wǎng)站。插件更新方法也一樣。
　　
　　插件界面各字段說(shuō)明：
　　1.
　　//網(wǎng)站發(fā)布網(wǎng)址，改用網(wǎng)站要發(fā)布的主頁(yè)
　　2、__post_password //發(fā)布密碼
　　3、cid//列ID，獲取方法：管理控制臺->列設置->獲取“文章model”對應的待發(fā)布列ID號
　　4、標題 //文章標題
　　5、內容 //文章內容 查看全部

　　京東聯(lián)盟商品數據采集工具，自動(dòng)采集編寫(xiě)代碼一鍵采集
　　自動(dòng)采集編寫(xiě)代碼一鍵自動(dòng)采集京東/天貓/淘寶聯(lián)盟上的商品，自動(dòng)上傳，自動(dòng)發(fā)貨。解決了手動(dòng)采集上傳人工發(fā)貨的工作量太大的問(wèn)題。在采集商品的時(shí)候對于商品要求有標簽，根據標簽來(lái)選擇，保證不會(huì )亂碼。下面是我做的京東聯(lián)盟商品數據采集工具，可以上傳阿里等數據，自動(dòng)采集上傳數據，轉換格式，可以適當替換。也可以自己填寫(xiě)格式上傳商品。主要功能：。
　　1、采集上傳商品，
　　2、模板配置，
　　3、商品發(fā)貨，
　　
　　4、自動(dòng)發(fā)貨，
　　5、清理不上傳商品的商家。
　　6、自動(dòng)取消商家的上傳！
　　7、自動(dòng)采集修改商品數據格式！
　　8、商品基礎屬性，
　　
　　9、本地搜索，
　　0、全自動(dòng)設置商品顏色，
　　adsjk501歡迎你，根據你的業(yè)務(wù)情況來(lái)找定制化方案，
　　謝邀。要說(shuō)方案的話(huà)當然可以，因為采集這種事情是很簡(jiǎn)單的，只要有相應的工具，各大平臺上都有相應的采集軟件，可以一鍵采集各大平臺，但是目前淘寶這類(lèi)的會(huì )比較多，因為他的商品會(huì )比較豐富。那么就介紹一下常用的兩種采集方式吧！一般商家要做的就是類(lèi)似于秒拍，抖音，小紅書(shū)等視頻分享平臺上自己的視頻，所以就要利用視頻爬蟲(chóng)工具來(lái)采集視頻。
　　接下來(lái)說(shuō)一下視頻的采集方法！第一步：視頻采集工具開(kāi)發(fā)了視頻采集工具，這個(gè)不是軟件，而是免費的，需要的自己去搜索。第二步：視頻地址中有好多端口，我們采集哪個(gè)平臺？主要我們要對那個(gè)平臺有信息，并且要確定這個(gè)端口能夠采集到，我們就可以開(kāi)始進(jìn)行下一步的工作了。步驟1：打開(kāi)秒拍、抖音這些分享平臺視頻分享界面。步驟2：搜索你要找的內容。
　　步驟3：點(diǎn)擊“開(kāi)始采集”步驟4：跳轉到視頻采集界面，分別對視頻列表，視頻分享界面，視頻實(shí)時(shí)地址進(jìn)行采集。步驟5：采集完成，直接發(fā)送至其他網(wǎng)站，會(huì )自動(dòng)對頁(yè)面進(jìn)行解析。好的視頻采集方案就是這樣，不管你要采集什么內容都可以用視頻采集軟件來(lái)采集，在我自己的視頻采集軟件里面你可以直接使用各種視頻采集工具，采集出來(lái)以后發(fā)布在個(gè)人網(wǎng)站上，別人通過(guò)視頻上面的地址就可以直接打開(kāi)你的網(wǎng)站來(lái)看，或者直接直接打開(kāi)某某平臺的某某淘寶商家主頁(yè)。 查看全部

　　Java自動(dòng)采集編寫(xiě)語(yǔ)言文本形式整理清楚項目主要依賴(lài)哪些標準標準文本轉義
　　自動(dòng)采集編寫(xiě)語(yǔ)言文本都是文本形式，為什么不能以采集的目標數據命名為文本文件。abbyy會(huì )針對各個(gè)主流編程語(yǔ)言做支持。建議用第三方開(kāi)發(fā)的文本形式處理工具。
　　題主，我前不久寫(xiě)過(guò)類(lèi)似方法。做了好幾次合并（排序）、拆分，對時(shí)間進(jìn)行時(shí)間序列處理。不過(guò)編程不熟練的，可能更容易頭大。過(guò)來(lái)人經(jīng)驗之談，首先你應該熟悉一下數據處理的流程，然后可以借助專(zhuān)業(yè)的處理工具。最好打個(gè)類(lèi)似的問(wèn)題補充再問(wèn)比較合適。
　　
　　好的工具比較多。（強答?。┛梢月?lián)系我。
　　可以嘗試去編寫(xiě)一些“基于標準opentype編程語(yǔ)言”的文本數據處理程序
　　
　　因為目標數據太大，abbyy是不支持的，只能用r（至少可以用rdeveloper）或者其他工具根據不同系統結構重定義file.format文件、opentype.binary等等，編程來(lái)處理，python寫(xiě)一寫(xiě)也許行。
　　java
　　把思路整理清楚，項目主要依賴(lài)哪些標準標準文本轉義解碼jdk直接可以驅動(dòng)工具變量直接在file。math。intval。c語(yǔ)言部分，在getfieldwordsorg。aszclj。djs。rtfm可以看到有哪些字符如果是python,查查如何從標準文本tagseg來(lái)獲取字符，然后從utf-8字符集來(lái)處理把需要的組件拿出來(lái)pipinstall就可以用了！不過(guò)估計找個(gè)開(kāi)源的可以驅動(dòng)的工具變量可能不熟悉而且在生成xml的時(shí)候也許file_to_window會(huì )比較費勁。 查看全部

　　java和python混合編程的各種方法，你知道嗎？
　　自動(dòng)采集編寫(xiě)采集腳本，采集的內容直接寫(xiě)到excel里面。java的話(huà)是直接寫(xiě)入word，python的話(huà)可以直接寫(xiě)入excel，pyecharts這種庫寫(xiě)入excel也蠻方便的。一些數據庫數據寫(xiě)入數據庫也挺好，所以最好還是熟悉一下java的各種方法。
　　謝邀，我只能說(shuō)我也不是很清楚。但是可以寫(xiě)用戶(hù)留言的爬蟲(chóng)。有一個(gè)經(jīng)典爬蟲(chóng)，
　　寫(xiě)爬蟲(chóng)抓取標題和內容的excel表格也是可以的啊
　　通過(guò)寫(xiě)入excel等方式批量導入。要對業(yè)務(wù)有了解。
　　
　　肯定是寫(xiě)入csv啊，因為數據量很大，不用python熟悉excel都抓不住，寫(xiě)入csv都可以搞定的。
　　我知道有java和python混合編程的爬蟲(chóng)，就是抓取內容寫(xiě)入excel，我寫(xiě)過(guò)c/c++的，只是不常用。
　　會(huì )excel就python
　　寫(xiě)成csv格式拷貝然后一個(gè)一個(gè)去填空格...
　　只用java應該是可以的,用applet可以做到
　　
　　看你的需求，如果數據量不大，excel也有不少。推薦爬爬知乎問(wèn)題列表吧，知乎近期更新較快，經(jīng)常更新，內容豐富。
　　可以用java，多線(xiàn)程，抓取，壓縮，
　　python
　　寫(xiě)入excel
　　excel更容易控制工作量 查看全部

　　自動(dòng)采集編寫(xiě)一個(gè)自動(dòng)生成個(gè)人主頁(yè)優(yōu)化博客外鏈的腳本
　　自動(dòng)采集編寫(xiě)一個(gè)自動(dòng)生成個(gè)人主頁(yè)優(yōu)化博客外鏈的腳本，并且通過(guò)使用手動(dòng)自動(dòng)更新qq空間、頭條、百度百科等網(wǎng)站收錄網(wǎng)站排名關(guān)鍵詞。
　　1）在博客內找到一個(gè)自己需要的關(guān)鍵詞
　　2）打開(kāi)百度相關(guān)搜索，一般找到的相關(guān)信息都是灰色，
　　3)百度百科百度開(kāi)放平臺搜索-xxxx手機號5'www”
　　3）勾選上所需要的鏈接，
　　
　　4）點(diǎn)擊生成最后通過(guò)爬蟲(chóng)，
　　3）將爬取到的所有鏈接錄入到上述的各個(gè)步驟的主頁(yè)內，
　　4）手動(dòng)更新qq、頭條、百度百科等各個(gè)網(wǎng)站收錄，
　　做個(gè)wap版網(wǎng)站，
　　通過(guò)微信開(kāi)放平臺分享的網(wǎng)址，
　　
　　你看了這么多，什么第三方的，都有，無(wú)外乎名字和站點(diǎn)，多換幾個(gè)就換一種方式了。
　　都是算法生成的。
　　找到剛發(fā)布的文章查看鏈接即可
　　沒(méi)試過(guò)不知道
　　好像算命就算是推薦
　　根據以上方法基本上都有可能。 查看全部

　　擴展如何爬取cia145和hello和列表[9]
　　自動(dòng)采集編寫(xiě)wordpress博客程序[9]安裝vue。js和leancloud-server[3]在阿里云設置并發(fā)，每小時(shí)1000到2000筆訂單[12]程序抽取電子書(shū)項目的數據[12]實(shí)現單人登錄系統，用于工作流[5]使用ip自動(dòng)采集自動(dòng)登錄阿里云[5]可視化實(shí)現學(xué)生信息抽取[5]程序直接獲取aws的star數和hello和world列表[5]基于云端的大眾點(diǎn)評手機版[5]自動(dòng)獲取淘寶金幣_阿里錢(qián)盾[5]基于http服務(wù)器的秒殺系統[5]javascript擴展如何爬取cia145和不同國家的足球比賽數據基于http服務(wù)器的ip地址抽取學(xué)生所在學(xué)校列表[5]高校招聘數據爬取論壇數據爬取天貓數據爬取招聘網(wǎng)站數據。
　　
　　提問(wèn)者，q2剛畢業(yè)，學(xué)了兩年的網(wǎng)絡(luò )爬蟲(chóng)，真心需要提醒一下你，什么框架都不要用，直接用python來(lái)開(kāi)發(fā)，這個(gè)是一些不會(huì )python的人的誤區。
　　可以試試。
　　
　　爬蟲(chóng)這塊，反正我是建議學(xué)習google的工程師或產(chǎn)品。把握住他們的需求，把自己編程方面要求落實(shí)，確定自己的任務(wù)，
　　寫(xiě)個(gè)例子？你需要看看你需要干嘛1。做個(gè)網(wǎng)站？基本框架可以看看淘寶第三方爬蟲(chóng)吧2。去招聘網(wǎng)站找網(wǎng)站抓爬蟲(chóng)，搜一下，什么前端后端啦,爬蟲(chóng)運維啦,一大堆，真能抓就都抓過(guò)來(lái)吧3。去爬不好找公司？基本上，就算你投了10家公司，沒(méi)有一家給你面試機會(huì )，那么你再改改就這么著(zhù)咯4。像賣(mài)蘋(píng)果的似的這么來(lái)寫(xiě)爬蟲(chóng)吧基本框架就是類(lèi)似pythonscrapy。 查看全部

　　自動(dòng)采集編寫(xiě)代碼解決在api接口處有post請求或者get請求
　　自動(dòng)采集編寫(xiě)代碼解決在api接口處有post請求或者get請求的情況下如何轉換為響應http，請求處理程序需要實(shí)現returneasytoken，as是function的一個(gè)小類(lèi)，聲明在package下不在命名空間中，其聲明方式如下。packagecom.sougou.lib;publicclassas{publicstaticfloatreturnedkey{get;set;}publicstaticfloatreturnaddress{get;set;}publicstaticfloatreturnbytimestamp{get;set;}publicstaticfloatreturnedtimegbtext{get;set;}publicstaticvoidreturnkey(stringmd){returneasytoken;}}如果需要在api中請求接口，不同的接口類(lèi)型實(shí)現方式也不一樣，本文主要講一下各種接口的實(shí)現方式。
　　
　　getmanagementssecretmanagements專(zhuān)門(mén)實(shí)現了returningapi上下文局部變量的整合，并且加入了大量的規則控制可在同一個(gè)生成器中連續增刪修改，它們并行增刪，做到了地域轉移的目的。api返回的是一個(gè)符合json返回格式的http對象，當改變接口時(shí)，首先要檢查接口api，然后在httpstatus的default中調用api對應的state調用api對應的狀態(tài)碼時(shí)，并根據它的邏輯，轉換為http請求和響應。
　　getrequestsrequests專(zhuān)門(mén)用于用于響應連接類(lèi)型的請求和響應。需要轉換api請求，請求處理程序需要實(shí)現returnsyndoisecretmanagementsrequests接口。在實(shí)現該接口之前，需要傳入接口實(shí)現類(lèi)axi.axi-schema（）中的屬性信息（connectionstring,requesturi）。
　　
　　其中connectionstring傳入接口實(shí)現類(lèi)的類(lèi)型參數voidtypenametypenameheaderheader::connectionstring這樣就傳入了自定義的字符串，typenameheaderheader傳入接口實(shí)現類(lèi)的綁定的對象voidtypenametypenameheaderheader::defaultheader::requesturi這樣就傳入了來(lái)自接口實(shí)現類(lèi)的參數interfacefromid:animationjsontype這樣就傳入了顯示器位置的構造函數screenwherechange::animationtimestring這樣就傳入了整個(gè)屏幕動(dòng)畫(huà)的spritetoken。
　　顯示器位置和spritetoken需要傳入接口實(shí)現類(lèi)的可選屬性，接口實(shí)現類(lèi)的類(lèi)型參數，對應的http請求參數為locationtagchlue{accesskey:0,none}并且傳入的defaultheader就是顯示器位置，none代表沒(méi)有設置，spritetoken可以代表單個(gè)sprite對象，也可以代表多個(gè)sprite對象。
　　getpackageresponseresponse就是返回com.sougou.lib.as所綁定的目標類(lèi)型類(lèi)型c++中的系統signature方法。getrequests獲取不同目標類(lèi)型請求的操作命令包含addsnapshotgeneratedconnections以及addsnapshotopenanimationfromv2兩種方法。packagemainimport"unknown-types/net.htt。 查看全部

　　自動(dòng)采集編寫(xiě)爬蟲(chóng)，怎么寫(xiě)代碼數據庫？圖解
　　自動(dòng)采集編寫(xiě)爬蟲(chóng)，并加上html解析，然后把爬下來(lái)的包裝成一個(gè)json格式的js代碼數據庫?？梢栽谧约旱膚eb服務(wù)器上有線(xiàn)程池的支持，同步接收json數據并存儲，異步返回json數據。同步或者異步編寫(xiě)javascript代碼，配合iframe實(shí)現頁(yè)面跳轉，json并不復雜但是javascript代碼會(huì )比較多。
　　推薦一篇文章：圖解面向對象，快速寫(xiě)一款微信爬蟲(chóng)寫(xiě)爬蟲(chóng)也分為很多步驟，可以看一下爬蟲(chóng)是什么，怎么寫(xiě)，以及有哪些方法。
　　推薦這個(gè)菜鳥(niǎo)教程。
　　看看
　　我用的是scrapy，利用http請求，封裝成json格式。
　　曾經(jīng)見(jiàn)過(guò)一款爬蟲(chóng)，先用python解析json文件，然后通過(guò)scrapy封裝成你想要的模塊，如:xxshell,xxspider,xx.py這樣的。
　　可以不用python，用java或者c++，
　　請看我的博客，
　　曾經(jīng)有個(gè)最簡(jiǎn)單的實(shí)現，好像是go寫(xiě)的，
　　1）用matlab來(lái)讀取google網(wǎng)頁(yè)文件，寫(xiě)到相應的數據庫中然后export，
　　2）用c來(lái)讀取，然后傳給python，python讀取文件decode，然后python解析decode出來(lái)的，
　　3）用python，或者sqlite寫(xiě)個(gè)類(lèi)似的自己玩玩， 查看全部

　　紅隊信息收集到打點(diǎn)
　　最近想總結一下，在紅隊滲透拿到一個(gè)目標名或者刷src時(shí)候，怎么快速信息收集和批量檢測來(lái)打到一個(gè)點(diǎn)，往往在實(shí)際項目中就是拼手速。
　　信息收集到打點(diǎn)大致我就分為
　　企業(yè)信息結構收集
　　敏感信息收集
　　域名主動(dòng)被動(dòng)收集
　　整理域名ip資產(chǎn)
　　掃描檢測打點(diǎn)
　　其中每一步需要收集好幾個(gè)方面的信息，手動(dòng)很累也很慢
　　1.企業(yè)信息結構收集
　　企業(yè)信息結構收集包括對查詢(xún)目標企業(yè)的公司信息，涉及到哪些主站域名，有哪些控股很多的子公司，這些子公司涉及到哪些域名，然后再進(jìn)行備案反查，你又會(huì )得到一些新的公司，同理也能再次得到一些新的主站域名，將這些進(jìn)行整理---->得到一批待爆破的域名。
　　還有的就是除了這些查到的主站域名，往往企業(yè)會(huì )有app、公眾號、小程序這些資產(chǎn)，也要對這些資產(chǎn)進(jìn)行收集，然后你又拿到了一批域名。
　　手動(dòng)查詢(xún)的話(huà)從以下查詢(xún)
　　天眼查 查企業(yè)/子公司/域名/公眾號
　　愛(ài)企查
　　企查查詢(xún)
　　啟信寶
　　工具:
　　推薦cSubsidiary利用天眼查查詢(xún)企業(yè)子公司
　　還有pigat：
　　公眾號和app的收集：
　　go版本
　　2.敏感信息收集
　　利用搜索引擎、github等托管平臺配合一些dorks就可以搜到很多信息。
　　熟知的googlehack，gitdork，網(wǎng)盤(pán)泄露等等。
　　敏感信息一共要搜集這個(gè)幾個(gè)方面：
　　googlehack
　　github泄露
　　目標人員姓名/手機/郵箱
　　1.googlehack
　　但比如googlehack，你需要搜的好幾條語(yǔ)法加上域名
　　比如：
　　site:*.domain.com<br /> inurl:domain.com<br /> intitle:keyword<br /> keyword filetyle:doc|pdf
　　一個(gè)域名可以配合多個(gè)語(yǔ)法搜，那么多域名手動(dòng)輸入搜很慢，推薦工具:
　　在線(xiàn)Google Hacking 小工具
　　語(yǔ)法，自己可以腳本里批量搜
　　2.github泄露敏感信息：
　　一些常用github dorks,直接搜對應目標信息：
　　xxxxx.com "Authorization" #"Authorization: Bearer"<br />xxxxx.com "filename：vim_settings.xml"<br />xxxxx.com "language：PHP"<br />
　　也可以在github對各種信息搜索，比如文件類(lèi)型
　　filename:manifest.xml<br />filename:travis.yml<br />filename:vim_settings.xml<br />filename:database<br />filename:prod.exs NOT prod.secret.exs<br />filename:prod.secret.exs<br />filename:.npmrc _auth<br />filename:.dockercfg auth<br />filename:WebServers.xml<br />filename:.bash_history <br />filename:sftp-config.json<br />filename:sftp.json path:.vscode<br />filename:secrets.yml password<br />filename:.esmtprc password<br />filename:passwd path:etc<br />filename:dbeaver-data-sources.xml<br />path:sites databases password<br />filename:config.php dbpasswd<br />filename:prod.secret.exs<br />filename:configuration.php JConfig password<br />filename:.sh_history<br />
　　包含關(guān)鍵字的指定語(yǔ)言：
　　language:python username<br />language:php username<br />language:sql username<br />language:html password<br />language:perl password<br />language:shell username<br />language:java api<br />HOMEBREW_GITHUB_API_TOKEN language:shell<br />
　　搜API/KEYS/TOEKNS關(guān)鍵字：
　　api_key<br />“api keys”<br />authorization_bearer:<br />oauth<br />auth<br />authentication<br />client_secret<br />api_token:<br />“api token”<br />client_id<br />password<br />user_password<br />user_pass<br />passcode<br />client_secret<br />secret<br />password hash<br />OTP<br />user auth<br />
　　很多關(guān)鍵字可以搜，還是批量搜高效，工具：
　　這類(lèi)工具需要設置git令牌，附上gitrob過(guò)程，踩坑:不要下relase ，自己編譯最好：
　　git clone https://github.com/michenriksen/gitrob.git<br />go mod init #to use go mod 如果報錯 運行g(shù)o mod init github.com/michenriksen/gitrob<br />rm Gopkg* #remove the old stuff<br />go build #to build it<br /><br /><br />./build.sh<br />
　　設置git令牌
　　set GITROB_ACCESS_TOKEN=xxxxx
　　使用后可以查看圖形界面的結果：
　　
　　3. 目標人員姓名/手機/郵箱
　　通過(guò)開(kāi)源信息收集目標人員姓名/手機/郵箱，為后面打點(diǎn)做字典做準備。
　　通過(guò)搜索引擎、PGP服務(wù)器以及SHODAN數據庫收集用戶(hù)的email，子域名，主機，雇員名，開(kāi)放端口和banner信息。
　　使用：
　　-d 開(kāi)關(guān)用于定義域名，-l 用于限制結果數量
　　theHarvester -d kali.org -l 200 -b anubis,baidu,pentesttools,projectdiscovery,qwant,rapiddns,rocketreach,securityTrails,spyse,sublist3r,threatcrowd,threatminer,trello,twitter,urlscan,virustotal,yahoo,zoomeye,bing,binaryedge,bingapi,bufferoverun,censys,certspotter,crtsh,dnsdumpster,duckduckgo,fullhunt,github-code,google,hackertarget,hunter,intelx,linkedin,linkedin_links,n45ht,omnisint,otx<br />
　　按github跑就是了，但是有點(diǎn)坑點(diǎn)：
　　配置api-keys在/etc/theHarvester 目錄下api-keys.yaml填入對應的api key即可
　　
　　有個(gè)坑點(diǎn)是key:后要加個(gè)空格在放key字符串，不然跑不起來(lái)
　　人員郵箱字典的構造：
　　
　　還可以使用一些社工信息來(lái)做字典，這樣的工具很多了，用一個(gè)就夠了沒(méi)必要用全部：
　　Cupp/Cewl
　　python3 bopscrk.py -i
　　3. 域名主動(dòng)被動(dòng)收集
　　域名主動(dòng)信息收集內容就有點(diǎn)雜了。
　　通過(guò)1、2點(diǎn)我們拿到了一批等待爆破的域名和人員的信息，以及泄露的一些敏感信息(運氣好的話(huà)用泄露的信息已經(jīng)打到點(diǎn)了。)
　　現在需要對域名進(jìn)行whois信息查詢(xún)、dns域名正反查詢(xún)、子域名探測爆破三個(gè)方面收集。
　　1.whois信息查詢(xún)
　　whois需要查詢(xún)域名的whois，然后根據whois信息來(lái)查詢(xún)歷史和反查，這樣你就得到了一些郵箱和可疑域名。
　　查域名信息沒(méi)什么說(shuō)的，主要看網(wǎng)址注冊人、到期記錄、創(chuàng )建域的時(shí)間、名稱(chēng)服務(wù)器和聯(lián)系信息等，查最新的一般都是托管的信息，而查看歷史信息就有可能查到真實(shí)聯(lián)系人郵箱電話(huà)等:
　　一些常見(jiàn)whois查詢(xún)，手動(dòng)的時(shí)候可以查詢(xún):
　　除了正向查詢(xún)whois，還要查詢(xún)whois歷史信息:
　　以下幾個(gè)網(wǎng)站允許用戶(hù)訪(fǎng)問(wèn)連接的 WHOIS 數據庫以進(jìn)行調查。這些記錄是十多年來(lái)對有關(guān)域注冊的有用數據進(jìn)行網(wǎng)絡(luò )爬取的結果:
　　whois歷史信息查詢(xún)不能錯過(guò)，明顯可以在whois歷史信息中看真實(shí)郵箱并反查而不是目前托管的郵箱，以及非托管的dns服務(wù)器:
　　whois 信息反查
　　通過(guò)歷史whois信息找到真實(shí)郵箱or組織名，再反查域名，又可以得到一批資產(chǎn)：
　　other:
　　整理一下whois分了三步，先whois查詢(xún)一個(gè)域名，然后對查詢(xún)的信息進(jìn)行歷史whois查詢(xún)和反查
　　，最后得到一批郵箱和域名。
　　手動(dòng)知道過(guò)程就行，實(shí)際做項目用工具批量查了整理：
　　批量whois查詢(xún)
　　2.dns域名正向反向查詢(xún)
　　dns域名查詢(xún)分兩個(gè)部分，歷史記錄和ip反查：
　　DNS歷史記錄(doamin2ips)
　　Dnsdumpster 是一個(gè)在線(xiàn)實(shí)用程序，我們使用它來(lái)查找子域、目標的 DNS 記錄。
　　
　　VT也是可以看dns數據信息的:
　　ip反查(ip2domains)
　　同ip查詢(xún)多個(gè)解析到這個(gè)ip的域名，尋找更多web資產(chǎn)
　　
　　ip反查也可以使用dig、nslookup、host命令完成：
　　
　　工具推薦：
　　批量ip反查 查看全部

　　紅隊信息收集，超干貨！
　　掃碼領(lǐng)資料
　　獲黑客教程
　　免費&進(jìn)群
　　
　　隨著(zhù)WAF產(chǎn)品
　　前段時(shí)間一直在做java，滲透工具都要生銹了。項目又來(lái)了，趕緊磨一磨我的武士刀?？偨Y一下打點(diǎn)的思路，以及對一些自動(dòng)化工具做一下總結。
　　當我們拿到一個(gè)目標的時(shí)候，有時(shí)候做安服滲透項目，大多數時(shí)候都是直接給了一個(gè)具體的網(wǎng)站或者APP。
　　但是當我們作為紅隊的時(shí)候，更多的時(shí)候可能是給你一個(gè)公司的名字等。這種時(shí)候信息收集就不進(jìn)進(jìn)局限于網(wǎng)站了?？赡芤獜念^開(kāi)始收集。下面說(shuō)一下信息收集的方式方法。
　　企業(yè)信息收集
　　拿到一個(gè)目標，不考慮釣魚(yú)的情況下。如果正常從web入手，至少需要收集以下的信息。
　　一：公司級別
　?。?）公司的域名
　?。?）公司的子域名
　?。?）全資子公司（可能從下級單位打上去，但是光打了下級算不算分得看裁判和規則怎么評估）
　?。?）公司的ip信息（大公司可以直接跑C段）
　　一般經(jīng)過(guò)上面的收集以后，我們能夠獲取到一系列的ip，域名信息。此時(shí)需要針對這些進(jìn)行排除（比如說(shuō)云上的資產(chǎn)等或者存在cdn的資產(chǎn)，cdn需要尋找真實(shí)ip繞過(guò)云waf，云上很可能觸發(fā)告警要小心一點(diǎn)）。
　　二：ip級別
　　當我們拿到了一系列的ip和域名以后，對于已經(jīng)確定的ip，需要進(jìn)行至少一下的信息收集
　?。?）ip是否為真實(shí)ip
　?。?）ip開(kāi)啟了哪些端口，可能存在哪些漏洞（外網(wǎng)redis有時(shí)候看到的多，但是真實(shí)情況下碰到的確實(shí)不多，很多時(shí)候其實(shí)都是web和釣魚(yú)撕開(kāi)口子的）
　?。?）對于web，至少需要收集框架，路徑，登錄接口，js中的敏感信息，網(wǎng)站中間件，服務(wù)器操作系統等。大多數時(shí)候其實(shí)都是文件上傳，直接rce或者尋找到了敏感信息等拿下來(lái)的，對于之前碰到過(guò)一次有個(gè)隊伍打供應鏈下載源碼審計的這種屬于非常態(tài)暫不討論。
　　三：用戶(hù)級別
　?。?）用戶(hù)級別主要是涉及拿到一些用戶(hù)的用戶(hù)名等。便于進(jìn)行暴力破解。這種說(shuō)的少點(diǎn)因為太多了，github，google語(yǔ)法，官網(wǎng)，看官網(wǎng)郵箱格式，根據公司名字猜，還有公告里泄露人名，以及一些通用的如公司首字母+數字等。
　　下面對一些收集的方法進(jìn)行具體的說(shuō)明。
　　
　　公司級別
　　獲取目標域名
　?。?）直接百度公司，看看有無(wú)官網(wǎng)，官網(wǎng)一般是主域名
　?。?）查看天眼查，企查查，域名備案等獲取主域名
　?。?）利用whois查詢(xún)，whois反查獲取域名相關(guān)信息
　?。?）利用app查詢(xún)公司的域名。
　?。?）利用股權穿刺圖查看公司的子公司域名
　　//whois查詢(xún)
　　// 域名備案查詢(xún)
　　//企查查
　　//啟信寶
　　//站長(cháng)工具
　　//天眼查
　　//愛(ài)企查
　　說(shuō)一個(gè)小的tips，這里沒(méi)有提到搜索引擎，可以再fofa或者zoomeye shodan上面查一下公司名字
　　因為更新的原因可能有些時(shí)候域名等無(wú)法訪(fǎng)問(wèn)以及更換了，但是ip段還在，如果找到了ip，也能跑一下C段，說(shuō)不定可以拿到主域名，拿到主域名的原因是在于跑一下子域名。
　　
　　當我們拿到域名以后。先不要急著(zhù)跑子域名?？梢钥匆幌耰p的信息。
　　這個(gè)其實(shí)很好說(shuō)，全球ping一下看看有無(wú)cdn，搜索一下ip看看是否屬于某某云。
　　//全球ping
　　//全球ping
　　
　　
　　獲取目標子域名
　　拿到了主域名，子域名肯定是必不可少要跑的。
　　上面叫先拿ip，是因為我們可以結合真實(shí)ip的C段，更精確的判斷出域名的相關(guān)信息，盡可能少的漏掉。
　　這里我比較喜歡用下面的幾個(gè)工具
　　//比較自動(dòng)化，收集的比較全，使用方便
　　//自動(dòng)化，收集比較全
　　//使用方便，自動(dòng)化，集成工具
　　有機會(huì )的話(huà)對于app等也抓一下域名信息。
　　對于一些自定義字典爆破的特殊情況就不說(shuō)了，這里只說(shuō)常用的。
　　
　　
　　
　　獲取目標ip
　　收集到現在，不出意外我們手上應該是有一堆域名信息了。
　　一個(gè)個(gè)判斷略顯麻煩，這里已經(jīng)有師傅為我們做好了域名轉化為ip的工具，同時(shí)能夠將C段整理出來(lái)。
　　都到了這里了，可以嘗試掃描一下c段，因為有ehole能夠直接整理出重點(diǎn)資產(chǎn)，比較方便。推薦的掃描工具
　　//內網(wǎng)可用，外網(wǎng)也可以用
　　這里可能會(huì )存在一些cdn，需要真實(shí)ip的可能。
　　一般我比較常用的是找子域名和icon，以及ssl證書(shū)等，歷史記錄感覺(jué)碰到的不多，還不如fofa大法去搜搜。
　　或者是直接子域名再掃個(gè)C段等等。這個(gè)方法很多我就不獻丑了。
　　
　　
　　
　　獲取目標web信息
　　上兩步，我們基本是拿到了目標的ip段，域名，現在就要嘗試對網(wǎng)站進(jìn)行判斷了。
　　推薦先用ehole走一下識別出重點(diǎn)資產(chǎn)。然后再判斷。
　　//web存活判斷
　?。?）收集web的框架信息，一般我采用下面幾種手法
　　《一》識別網(wǎng)址框架:
　　https://scan.dyboy.cn/web/http ... /%23/火狐插件wappalyzer其他
　　利用web的js里面可能會(huì )泄露web框架的相關(guān)信息，或者根據網(wǎng)站的圖標，錯誤頁(yè)面，下方的開(kāi)發(fā)公司等去確定網(wǎng)站可能采用了什么框架。
　　《二》路徑收集
　　//dirsearch
　　dirbuster //kali自帶
　　burp爆破自定義的字典 //需要平時(shí)收集或者再github上找字典（主要還是可能有些網(wǎng)站他有自己的路徑格式，工具不一定能跑出來(lái)）
　　《三》敏感信息收集
　　js中的敏感文件
　　JSfinder：
　　查看開(kāi)發(fā)者工具中js，然后對于一些js文件搜索password username等關(guān)鍵字（這需要直接，有可能會(huì )js泄露一些用戶(hù)名，這是工具跑不出來(lái)的）
　　網(wǎng)站內容的敏感數據
　　這種對有些ZF很有用。經(jīng)常會(huì )碰到郵箱賬號密碼都寫(xiě)在主頁(yè)里的。所以對于一些文章啊，可以瀏覽一些。
　　說(shuō)不定也能看到一些收購計劃之類(lèi)的，擴大我們的攻擊面。路多了總有一條能走通。這里沒(méi)用吧端口說(shuō)出來(lái)，因為我們前面已經(jīng)收集了。
　　一些中間件一類(lèi)的是順帶就可以看的，操作系統類(lèi)的也是能拿了shell才考慮的事情。當然一些shiro等還是要熟悉，這是HW的大殺器。
　　《四》后臺收集
　　這里專(zhuān)門(mén)把后臺收集提出來(lái)，是因為后臺并不是說(shuō)路徑掃完了沒(méi)了就沒(méi)有了。有可能字典不包含。碰到這種情況，可以嘗試以下方法。
　?。?）可以去搜一下有沒(méi)有相同的框架說(shuō)明文檔看看后臺地址。
　?。?）根據他網(wǎng)站文件的命名格式去看一下有沒(méi)有可能重名。
　?。?）在網(wǎng)頁(yè)上看看有沒(méi)有暴露出后臺的接口
　?。?）在js中搜一下admin,system等關(guān)鍵字看看能不能拼接處后臺地址。
　?。?）根據url地址，直接把user改為admin等等。
　　
　　
　　當到了這一步的時(shí)候，我們基本上對于我們的目標打點(diǎn)以及資產(chǎn)還是不少了。對了還有APP的沒(méi)說(shuō)，APP滲透我做的不多，所以這里就找了幾個(gè)搜索APP信息的工具
　　app敏感信息收集
　　百度一下網(wǎng)盤(pán)查詢(xún)，找幾個(gè)進(jìn)去看看（可以看看是否泄露了源碼，但是實(shí)際沒(méi)碰到過(guò)這種情況，適用于想直接getshell,失敗的情況下。)
　　對于可能需要爆破的，用戶(hù)名的收集，這一塊我一般都是字典直接爆破的。要收集的話(huà)我的思路是以下，如果有補充和修正歡迎指點(diǎn)一下：
　?。?）再網(wǎng)頁(yè)上直接找用戶(hù)名（因為一般都有郵箱之類(lèi)的，這里你能拿到用戶(hù)名，根據公司名稱(chēng)或者數字生成相應的字典）
　?。?）利用google語(yǔ)法，搜索xlsx等，或者直接搜這個(gè)公司相關(guān)的，可能會(huì )出現用戶(hù)名
　?。?）github上找一下這個(gè)公司看看有沒(méi)有啥泄露的
　?。?）招聘網(wǎng)站上看看，面試官之類(lèi)的可能會(huì )泄露電話(huà)號碼，用戶(hù)名，根據電話(huà)號碼查用戶(hù)名
　?。?）搜索公司的架構圖，如果有領(lǐng)導的記下來(lái)
　?。?）利用公眾號，微博等社交軟件搜索公司的信息。
　?。?）百度圖片（這個(gè)看運氣了，有時(shí)候網(wǎng)頁(yè)搜出來(lái)太多了，直接看看百度圖片，有可能出現用戶(hù)名 篩選起來(lái)也很快，是我在之前某次攻防中需要找到一個(gè)編號的時(shí)候想到了，但是編號打碼太模糊了看不清楚）
　?。?）找一下常用用戶(hù)名的字典進(jìn)行收集。
　　大概就想到這么多吧，其他的再實(shí)戰中碰到了再說(shuō)。
　　常規的思路其實(shí)已經(jīng)夠用了，比較騷的思路都是走投無(wú)路的時(shí)候抓破頭顱整出來(lái)的，所以不管碰到什么情況，多動(dòng)動(dòng)小腦筋。信息收集多做一點(diǎn)，實(shí)在不行曲線(xiàn)救國打打供應鏈能脫下來(lái)源碼也不錯（但是這種比較適用于地方ZF用的小供應商的代碼，比較大的要你那么短時(shí)間審計出來(lái)難度也太大了。）
　　聲明：本公眾號所分享內容僅用于網(wǎng)安愛(ài)好者之間的技術(shù)討論，禁止用于違法途徑，所有滲透都需獲取授權！否則需自行承擔，本公眾號及原作者不承擔相應的后果.
　　@學(xué)習更多滲透技能！體驗靶場(chǎng)實(shí)戰練習
　　<p style="outline: 0px;letter-spacing: 0.544px;">（hack視頻資料及工具）<br style="outline: 0px;" />
　　</p>
　?。ú糠终故荆?br /> 　　往期推薦
　　看到這里了，點(diǎn)個(gè)“贊”、“再看” 查看全部

　　如何制作自動(dòng)工具？自動(dòng)采集編寫(xiě)教程，寫(xiě)的很短
　　自動(dòng)采集編寫(xiě)教程，寫(xiě)的很短，最大的用處就是我們不需要關(guān)注采集到的數據怎么處理，統計，畫(huà)圖，編程，問(wèn)題就是如何制作自動(dòng)工具。
　　1、前期準備需要準備什么工具？安裝jdk安裝python2.7,python3.5,1.7,2.6webserver瀏覽器1.獲取登錄碼。在chrome上搜索國內域名訪(fǎng)問(wèn)正確域名，對應地址搜索“ssw”,即可找到正確的ssw域名。國內域名訪(fǎng)問(wèn)正確域名，對應地址搜索“ssw”，即可找到正確的ssw域名。
　　2、搭建訪(fǎng)問(wèn)谷歌谷歌，搜索關(guān)鍵詞“谷歌訪(fǎng)問(wèn)”。java編寫(xiě)訪(fǎng)問(wèn)網(wǎng)頁(yè)教程搭建登錄。步驟一直接訪(fǎng)問(wèn)/，按照一步步操作即可。步驟二用模擬登錄，登錄剛剛下載的ssw域名。
　　3、安裝java1.6，webserver步驟一直接訪(fǎng)問(wèn)/，按照一步步操作即可。步驟二用模擬登錄，登錄剛剛下載的ssw域名。
　　4、確認按照步驟二訪(fǎng)問(wèn)，可以看到國內域名已經(jīng)成功訪(fǎng)問(wèn)成功。步驟三手動(dòng)輸入登錄密碼，再次訪(fǎng)問(wèn)ssw域名，則會(huì )顯示證書(shū)是由多人共享的。
　　5、安裝ssw（假設我們需要執行一次操作，切換java）1.首先打開(kāi)，找到我們需要安裝的庫2.我們打開(kāi)pipinstallssw模塊包，這時(shí)會(huì )跳轉到一個(gè)搜索頁(yè)面，然后搜索ssw，里面按照常規一步步執行即可?？赡苓@時(shí)候會(huì )報錯（ssw需要python2.7,java3.5,1.7,2.6+），但是還要注意的是ssw需要三個(gè)庫（包括數據庫驅動(dòng)），那么我們就不用再繼續install數據庫驅動(dòng)庫，繼續安裝ssw模塊就可以了。步驟三手動(dòng)輸入登錄密碼，再次訪(fǎng)問(wèn)ssw域名，則會(huì )顯示證書(shū)是由多人共享的。
　　6、完成上述幾步后，我們啟動(dòng)瀏覽器，輸入訪(fǎng)問(wèn)ssw（即使是國內）。接下來(lái)請注意：1.從/#/global/打開(kāi)下面鏈接，訪(fǎng)問(wèn)我們下載好的ssw，這里是我們新的網(wǎng)址，我們要訪(fǎng)問(wèn)的是另一個(gè)賬號所在網(wǎng)址2.瀏覽器會(huì )跳轉到以下頁(yè)面，目的是獲取我們的登錄碼我們輸入登錄碼，登錄到需要ssw登錄的賬號，輸入下面這個(gè)網(wǎng)址，安裝成功！**。 查看全部

　　用python編寫(xiě)自動(dòng)信息收集腳本(三) -ip收集
　　
　　本人只是python初學(xué)者，本文只適合初學(xué)者觀(guān)看學(xué)習。大佬請繞過(guò)(或者指出需要改進(jìn)的地方)！在日常滲透測試過(guò)程中我們都知道，在對目標進(jìn)行滲透之前都是先要信息收集一波。收集到越多的信息往往滲透過(guò)程中越順利，所以信息收集格外重要。而信息收集往往費時(shí)間比較多，所以我們想寫(xiě)一個(gè)自動(dòng)信息收集的腳本，但是代碼量太大。本文就先從whois信息開(kāi)始，代碼不好的地方。希望大家提出意見(jiàn)！
　　本次模塊配合之前的用python編寫(xiě)自動(dòng)信息收集腳本一，二使用
　　import threading#多線(xiàn)程
　　import requests
　　import time
　　from lxml import etree
　　import re #正則表達式
　　import csv
　　import telnetlib #建立tcp鏈接 實(shí)現端口掃描
　　class xxsj(object):
　　def __init__(self):
　　global dk #創(chuàng )建全局變量，后面端口掃描用
　　self.wz = input("請輸入您想查詢(xún)的網(wǎng)站") #接收網(wǎng)站地址
　　dk = self.wz
　　self.a = re.sub(r"www.","",self.wz) #正則表達式，匹配然后刪除
　　self.header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
　　def ip(self): 查看全部

　　自動(dòng)采集編寫(xiě)代碼，前端通過(guò)nodejs支持httppostputpatchbackbone的實(shí)現通過(guò)命令行
　　自動(dòng)采集編寫(xiě)代碼，前端通過(guò)nodejs支持httppostputpatchbackbone的實(shí)現通過(guò)命令行，全局設置一下，自動(dòng)生成目錄也支持這樣那樣的保護措施畢竟網(wǎng)站也是對公開(kāi)的可以對網(wǎng)站保密，對服務(wù)器這種保護力度不夠，csdn幾個(gè)月前服務(wù)器就出問(wèn)題了，不過(guò)node.js的要求低一些，應該可以后端全程看不見(jiàn)前端什么的。
　　我現在用的是用python的模塊化，如果是進(jìn)銷(xiāo)存系統的話(huà)，可以用bawisadmin，配置文件放在你的admin.js文件夾里，應該對讀寫(xiě)沒(méi)什么要求。
　　可以實(shí)現，我剛出了一篇文章，
　　可以自動(dòng)采集，但一定要有響應的告警機制。使用前端如果要可靠，請避免高并發(fā)請求。
　　我大膽猜測，是不是你們的php發(fā)生變化，而且更新量很大，或者是曾經(jīng)有幾次用戶(hù)的登錄或者注冊，導致你們的網(wǎng)站用戶(hù)體驗不佳，老用戶(hù)流失，所以你們想要做自動(dòng)化，或者專(zhuān)門(mén)的控制臺來(lái)管理你們的后臺的更新，或者是自動(dòng)化一些東西。
　　額，這不是php主動(dòng)去跟網(wǎng)站后臺建立“長(cháng)期”關(guān)系么，后臺實(shí)現自動(dòng)更新就好了。
　　php不是有autofix做這件事情嘛？
　　用php寫(xiě)autofix自動(dòng)化
　　可以參考下我們最近寫(xiě)的一個(gè)cms,看能不能找到點(diǎn)靈感
　　首先回答你的問(wèn)題?？梢宰詣?dòng)化，不同的應用有不同的方式。拿前端的舉例，你拿出php和python的源碼，用v8編譯調到http協(xié)議上就可以了。再一個(gè)就是把實(shí)現之后都作為cookie保存起來(lái)，以前只需要每隔若干時(shí)間把數據刷過(guò)去就可以了。沒(méi)必要做得越周到，就越靈活。還有就是響應后臺的問(wèn)題，現在流行的響應式應用只需要在后臺數據庫維護就可以了，實(shí)現自動(dòng)化也簡(jiǎn)單。 查看全部

　　數字化轉型之道 | 利用python語(yǔ)言編寫(xiě)爬蟲(chóng)采集網(wǎng)站數據
　　點(diǎn)擊上方“藍字” 關(guān)注更多精彩
　　什么是爬蟲(chóng)
　　我們可以把互聯(lián)網(wǎng)比作一張大網(wǎng)，而爬蟲(chóng)（網(wǎng)絡(luò )爬蟲(chóng)）便是網(wǎng)上爬行的蜘蛛。把網(wǎng)的節點(diǎn)比作一個(gè)個(gè)網(wǎng)頁(yè)，爬蟲(chóng)爬到這里就相當于訪(fǎng)問(wèn)了該頁(yè)面，獲取了其信息。簡(jiǎn)單來(lái)說(shuō)，爬蟲(chóng)就是獲取網(wǎng)頁(yè)并提取和保存信息的自動(dòng)化程序。
　　
　　Python語(yǔ)言的優(yōu)勢
　　Python 是一個(gè)高層次的結合了解釋性、編譯性、互動(dòng)性和面向對象的腳本語(yǔ)言。
　　Python對于初學(xué)者非常友好,易于理解和學(xué)習；Python開(kāi)源免費；Python標準庫和第三方庫眾多，功能強大。
　　
　　利用Python語(yǔ)言編寫(xiě)爬蟲(chóng)的實(shí)際應用
　　目前主要采用了兩種方式來(lái)編寫(xiě)爬蟲(chóng)：
　　1. 通過(guò)Requests庫，構造一個(gè)請求并發(fā)送給網(wǎng)站服務(wù)器，然后接收到響應數據并將其解析出來(lái)存入數據庫。
　　2. 對于JS加密，登錄驗證比較復雜的網(wǎng)站，方式1實(shí)現起來(lái)就變得很難。這時(shí)通過(guò)Selenium框架直接調用瀏覽器，就像真正的用戶(hù)在打開(kāi)瀏覽器操作一樣，所見(jiàn)即所爬。
　　通過(guò)以上兩種方式，幾乎可以爬取世界上任何網(wǎng)站上的任何數據。
　　在船舶行業(yè)的實(shí)際應用中，我們爬取了幾大備忘錄的PSC檢查數據，船舶的AIS船位數據等，將互聯(lián)網(wǎng)上有價(jià)值的數據采集起來(lái)作為我們自己的數據資產(chǎn)，并進(jìn)行相應的數據分析。
　　
　　總結
　　大數據時(shí)代，如何進(jìn)行高效，精準的數據采集是至關(guān)重要的，也是構建數據平臺的第一步。而數據從何而來(lái)，光靠自己生產(chǎn)過(guò)程中生成的數據是遠遠不夠的，很多數據可以從網(wǎng)絡(luò )中獲取，因此學(xué)習爬蟲(chóng)的目的就是為了從網(wǎng)絡(luò )中批量獲取數據，進(jìn)而通過(guò)多種手段來(lái)對數據進(jìn)行分析，為業(yè)務(wù)和管理工作提供決策支持。
　　END
　　投稿部門(mén) | 軟件業(yè)務(wù)部文稿作者 | 劉彥文
　　 查看全部

　　用python編寫(xiě)自動(dòng)信息收集腳本(五) -寫(xiě)入表中
　　
　　本人只是python初學(xué)者，本文只適合初學(xué)者觀(guān)看學(xué)習。大佬請繞過(guò)(或者指出需要改進(jìn)的地方)！在日常滲透測試過(guò)程中我們都知道，在對目標進(jìn)行滲透之前都是先要信息收集一波。收集到越多的信息往往滲透過(guò)程中越順利，所以信息收集格外重要。而信息收集往往費時(shí)間比較多，所以我們想寫(xiě)一個(gè)自動(dòng)信息收集的腳本，但是代碼量太大。本文就先從whois信息開(kāi)始，代碼不好的地方。希望大家提出意見(jiàn)！
　　本次模塊配合之前的用python編寫(xiě)自動(dòng)信息收集腳本一，二,三,四使用
　　def write(self,lis):
　　global name#定義全局變量name為后面端口掃描用
　　name = self.wz#文件名為輸入的網(wǎng)址的名字
　　with open(name '.csv', 'a', newline="") as f:
　　csw = csv.writer(f)
　　csw.writerow(lis)
　　 查看全部

　　寫(xiě)個(gè)bash采集CPU信息
　　有個(gè)bash命令我不會(huì )，向大家請教個(gè)一下零、背景
　　最近在做性能優(yōu)化。
　　性能優(yōu)化技術(shù)上暫不談，結果上也有一套科學(xué)方法的。
　　比如最基本的是對照試驗，即除了一個(gè)因素不同外，其他因素都需要保持不變。
　　對照試驗做完之后，就是數據采集了。
　　壓測數據階段數據一般比較穩定，我都是人工采集的（下圖是第一輪壓測優(yōu)化效果）。
　　
　　而線(xiàn)上服務(wù)進(jìn)行對照試驗時(shí)，數據有一定的波動(dòng)，人工采集就會(huì )產(chǎn)生較大的誤差。
　　所以我寫(xiě)了一個(gè) BASH 函數來(lái)采集各個(gè)對照系統的數據，最終生成數據結果。
　　是的。這篇文章是介紹這個(gè) BASH 函數的，如何性能優(yōu)化以后再分享。
　　一、采集需求
　　性能優(yōu)化，訪(fǎng)問(wèn)量相同的情況下往往是采集優(yōu)化前與優(yōu)化后的 CPU 數據了。
　　而我的服務(wù)是多進(jìn)程模式，即一個(gè) 8 核的機器，跑了 8 個(gè)進(jìn)程，而且CPU 沒(méi)有那么均勻。
　　另外每一秒的請求量也是有波動(dòng)的，雖然相同連續兩秒波動(dòng)不大，但是時(shí)間拉長(cháng)到十幾秒，最大值與最小值相差還是蠻大的。
　　面對這兩個(gè)問(wèn)題，我得出兩個(gè)結論。
　　1、需要采集所有 CPU 的數據。
　　2、需要連續采集一段時(shí)間的數據。
　　這兩個(gè)結論分別為了解決上面的兩種波動(dòng)與不均勻。
　　那總結下就是，需要采集所有 CPU 在連續若干時(shí)間內的數據，并計算出一個(gè) CPU 核的平均值。
　　二、相關(guān)技術(shù)
　　第一步是獲取所有進(jìn)程。
　　原先我是手動(dòng) TOP 或 PS 上 copy 出來(lái)的， 后來(lái)重復了幾次，怒了，就寫(xiě)了一個(gè)命令自動(dòng)獲取進(jìn)程列表。
　　思路是ps出所有進(jìn)程，然后grep出目標進(jìn)程， 最后awk計算出進(jìn)程列表。
　　大概命令如下：
　　<p>pidlist=$(
　　ps -aef |
　　grep "name" |
　　grep -v "name" |
　　awk 'BEGIN{ iplist=""; }
　　 {
　　 if(iplist=="") iplist=$2;
　　 else iplist=iplist","$2;
　　 }
　　 END{ print iplist }')</p>
　　grep -v參數是為了過(guò)濾grep自身這個(gè)命令。
　　awk是為了提取出對應的進(jìn)程號，然后使用逗號鏈接起來(lái)。
　　$()代表運行一個(gè)命令，結果返回給前面的變量。
　　第二步是統計與計算各進(jìn)程的CPU信息。
　　思路是先使用top收集所有時(shí)間這些進(jìn)程的CPU信息，然后使用sed和awk來(lái)處理文本，得到CPU值，最后重定向到文件里。
　　大概命令如下：
　　<p>top -b -n 60 -p $pidlist
　　| grep "name"
　　| sed "s/ \+/ /g"
　　| awk '{print $9 }'
　　> cpu_base.log</p>
　　top -b -n 60 -p $pidlist是為了使用命令行模式采集 60 次這些進(jìn)程的信息。
　　sed是為了進(jìn)程正則替換。
　　awk是提取信息。
　　>重定向到文件。
　　當然我的實(shí)際情況是不同機器輸出的TOP不一樣，我對數據進(jìn)行了歸一化，寫(xiě)的非常復雜的sed正在表達式，這里簡(jiǎn)化只為了演示。
　　那么問(wèn)題來(lái)了：大家知道怎么用TOP命令行式來(lái)輸出指定的字段嗎？
　　比如只輸出進(jìn)程和CPU，那就不需要那么多sed和awk了。
　　第三步是對數據加工去燥。
　　思路是排序，去掉最大的 8 個(gè)數據和最小的 8 個(gè)數據，然后保存起來(lái)。
　　<p>cat cpu_base.log
　　| sort -n
　　| head --lines=-8
　　| tail --lines=+9
　　> cpu_sort.log</p>
　　sort -n是按數字進(jìn)行排序。
　　head --lines=-8過(guò)濾最后8行。
　　tail --lines=+9過(guò)濾前8行。
　　第四步是數據整理。
　　思路是對所有數據求和，求平均值。
　　<p>sum=0
　　num=0
　　for v in $(cat cpu_sort.log);
　　do
　　 num=$((num+1))
　　 sum=$(echo "$sum + $v" | bc)
　　done
　　avg=$(echo "$sum / $num" | bc)
　　echo "SUM[$sum] num[$num] avg[$avg]"</p>
　　for in ; do done是 bash 的循環(huán)語(yǔ)法。
　　$(())是進(jìn)行整數運算。
　　bc是進(jìn)程浮點(diǎn)數運算。
　　這樣，我就采集完數據了，下圖是最終數據，性能提升 43%，這種進(jìn)行第二輪優(yōu)化，應該還可以提升 30% 。
　　
　　三、最后
　　上面我提到了，有個(gè)bash命令我不會(huì )，向大家請教個(gè)一下。
　　問(wèn)題：大家知道怎么用TOP命令行式直接輸出指定的字段嗎？
　　如果你知道的話(huà)可以告訴我，有紅包獎勵。
　　-EOF-
　　題圖：來(lái)源自朋友圈。
　　 查看全部