亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　ET手動(dòng)采集器 V3.2.2 安全版
　　ET手動(dòng)采集器(ET網(wǎng)站自動(dòng)采集器)是一款網(wǎng)站內容手動(dòng)更新神器獨立的紅色軟件。想知道這樣能夠使網(wǎng)站自動(dòng)采集呢？ 那就快試試紅色先鋒小編推薦的ET手動(dòng)采集器吧！ 穩定易用，信息采集必備之選。有須要的用戶(hù)快來(lái)綠色先鋒下載吧。
　　【全手動(dòng)無(wú)人值守】
　　無(wú)需人工值守，24小時(shí)手動(dòng)實(shí)時(shí)監控目標，實(shí)時(shí)高效采集，晝夜不停為您提供內容更新。滿(mǎn)足常年運行需求，將您從繁雜工作中解脫
　　【適用廣泛】
　　最全能的采集軟件，支持任意類(lèi)型網(wǎng)站采集，適用率高達99.9%，支持發(fā)布到所有類(lèi)型網(wǎng)站程序，更可以采集本地文件，免插口發(fā)布。
　　【信息隨心所欲】
　　支持信息自由組合，通過(guò)強悍的數據整理功能對信息深度加工，創(chuàng )造全新內容
　　【任意格式文件下載】
　　不論靜態(tài)或動(dòng)態(tài)，不論是圖片、音樂(lè )、電影、軟件，又或則是PDF文檔、WORD文檔，甚至種子文件，只要你想
　　【偽原創(chuàng )】
　　高速同反義詞替換、多詞隨機替換、段落隨機排序，助力內容SEO
　　【無(wú)限多級頁(yè)面采集】
　　無(wú)論垂直方向多層頁(yè)面，還是平行方向復數分頁(yè)，抑或AJAX調用頁(yè)面，為你輕松采集
　　【自由擴充】
　　開(kāi)放的插口模式，可以自由二次開(kāi)發(fā)，自定義任何功能，實(shí)現所有需求
　　軟件外置了包括discuzX，phpwind，dedecms，wordpress，phpcms，帝國cms，動(dòng)易，joomla，pbdigg，php168，bbsxp，phpbb，dvbbs，typecho,emblog等大量常用系統的范例。
　　
　　更新日志
　　1、新增：自動(dòng)動(dòng)詞模塊，可用于手動(dòng)提取關(guān)鍵詞/TAG。
　　2、新增；數據項可以選擇指定內容模式，支持引用其他數據項、隨機字符串等預設內容。
　　3、優(yōu)化：采集配置根據列表頁(yè)、采集頁(yè)、數據項的從屬關(guān)系優(yōu)化了界面。
　　4、優(yōu)化：數據項如今可以選擇是否使用翻譯了，以便捷對翻譯內容進(jìn)行整理。
　　5、優(yōu)化：數據項如今可以獨立選擇是否修正網(wǎng)址了。
　　6、新增：采集頁(yè)和數據分頁(yè)的網(wǎng)址合成如今可以引用數據項，適應更復雜的網(wǎng)址合成。
　　7、優(yōu)化：方案間隔時(shí)間從系統設置窗口移到制定方案窗口，可以為每位方案單獨設置間隔時(shí)間了。 查看全部

　　優(yōu)采云采集器官方版 v6.0.1
　　優(yōu)采云采集器官方版是一款強悍的網(wǎng)站采集器，優(yōu)采云采集器軟件才能24小時(shí)不間斷的運行，一直采集，不死機，不停頓，也不需要人員看守，提高采集的效率，該軟件適用于各類(lèi)平臺，無(wú)論是網(wǎng)頁(yè)還是淘寶等，都能采集，而且采集的資源齊全，能夠詳盡的進(jìn)行分類(lèi)，用戶(hù)也可以自己設置自己要采集的類(lèi)型早已采集的時(shí)間。
　　優(yōu)采云采集器官方版簡(jiǎn)介
　　優(yōu)采云采集器是一款采集網(wǎng)頁(yè)數據的智能軟件，優(yōu)采云數據采集系統以完全自主研制的分布式云計算平臺為核心，可以在太短的時(shí)間內，輕松從各類(lèi)不同的網(wǎng)站或者網(wǎng)頁(yè)獲取大量的規范化數據，幫助任何須要從網(wǎng)頁(yè)獲取信息的顧客實(shí)現數據自動(dòng)化采集，編輯，規范化，擺脫對人工搜索及搜集數據的依賴(lài)，降低獲取信息的成本，提高效率。
　　優(yōu)采云采集器官方版特色
　　簡(jiǎn)易采集
　　簡(jiǎn)易采集模式外置上百種主流網(wǎng)站數據源，如易迅、天貓、大眾點(diǎn)評等熱門(mén)采集網(wǎng)站，只需參照模板簡(jiǎn)單設置參數，就可以快速獲取網(wǎng)站公開(kāi)數據。
　　智能采集
　　優(yōu)采云采集可依照不同網(wǎng)站，提供多種網(wǎng)頁(yè)采集策略與配套資源，可自定義配置，組合運用，自動(dòng)化處理。從而幫助整個(gè)采集過(guò)程實(shí)現數據的完整性與穩定性。
　　云采集
　　由5000多臺云服務(wù)器支撐的云采集，7*24小時(shí)不間斷運行，可實(shí)現定時(shí)采集，無(wú)需人員值守，靈活契合業(yè)務(wù)場(chǎng)景，幫你提高采集效率，保障數據時(shí)效性。
　　API接口
　　通過(guò)優(yōu)采云API，可以輕松獲取優(yōu)采云任務(wù)信息和采集到的數據，靈活調度任務(wù)，比如遠程控制任務(wù)啟動(dòng)與停止，高效實(shí)現數據采集與歸檔?；趶姾返腁PI體系，還可以無(wú)縫對接公司內部各種管理平臺，實(shí)現各種業(yè)務(wù)自動(dòng)化。
　　自定義采集
　　針對不同用戶(hù)的采集需求，優(yōu)采云可提供手動(dòng)生成爬蟲(chóng)的自定義模式，可確切批量辨識各類(lèi)網(wǎng)頁(yè)元素，還有翻頁(yè)、下拉、ajax、頁(yè)面滾動(dòng)、條件判定等多種功能，支持不同網(wǎng)頁(yè)結構的復雜網(wǎng)站采集，滿(mǎn)足多種采集應用場(chǎng)景。
　　便捷定時(shí)功能
　　簡(jiǎn)單幾步點(diǎn)擊設置，即可實(shí)現采集任務(wù)的定時(shí)控制，不論是單次采集的定時(shí)設置，還是預設某三天或是每周每月的定時(shí)采集，都可以同時(shí)對多個(gè)任務(wù)自由進(jìn)行設置，根據須要對選擇時(shí)間進(jìn)行多重組合，靈活調配自己的采集任務(wù)。
　　全手動(dòng)數據低格
　　優(yōu)采云內置了強悍的數據低格引擎，支持字符串替換、正則表達式替換或匹配、去除空格、添加前綴或后綴、日期時(shí)間低格、HTML轉碼等多項功能，采集過(guò)程中全手動(dòng)處理，無(wú)需人工干預，即可得到所需格式數據。
　　多層級采集
　　很多主流新聞、電商類(lèi)的網(wǎng)站，里面收錄一級商品列表頁(yè)，也收錄二級商品詳情頁(yè)，還有五級評論詳情頁(yè)面;不論網(wǎng)站有多少層級，優(yōu)采云都可以不限制層級的采集數據，滿(mǎn)足各種業(yè)務(wù)采集需求。
　　支持網(wǎng)站登錄后采集
　　優(yōu)采云內置了采集登錄模塊，只需配置目標網(wǎng)站的帳號密碼，即可用該模塊采集到登陸后的數據;同時(shí)優(yōu)采云還具備采集Cookie自定義功能，首次登陸之后，可以手動(dòng)記住cookie，免去多次輸入密碼的冗長(cháng)，支持更多網(wǎng)站的采集。
　　
　　優(yōu)采云采集器官方版功能
　　1. 金融數據，如年報，年報，財務(wù)報告, 包括每日最新凈值手動(dòng)采集;
　　2. 各大新聞門(mén)戶(hù)網(wǎng)站實(shí)時(shí)監控，自動(dòng)更新及上傳最新發(fā)布的新聞;
　　3. 監控競爭對手最新信息，包括商品價(jià)錢(qián)及庫存; 查看全部

　　優(yōu)采云瀏覽器(數據庫采集器)
　　優(yōu)采云瀏覽器(數據庫采集器)是一款可視化的自動(dòng)化腳本工具，我們可以通過(guò)設置腳本，達到手動(dòng)登入，識別驗證碼，自動(dòng)抓取數據，自動(dòng)遞交數據，點(diǎn)擊網(wǎng)頁(yè)，下載文件，操作數據庫，收發(fā)短信等操作。
　　編程語(yǔ)言
　　優(yōu)采云瀏覽器的編程語(yǔ)言是 C#，C#綜合了 VB 簡(jiǎn)單的可視化操作和 C++的高運行效率，增強開(kāi)發(fā)效率的同時(shí)也致力于清除編程中可能造成嚴重結果的錯誤，以其強悍的操作能力、優(yōu)雅的句型風(fēng)格、創(chuàng )新的語(yǔ)言特點(diǎn)和方便的面向組件編程的支持成為軟件開(kāi)發(fā)的首選語(yǔ)言。
　　需要安裝.net 4.5：
　　軟件特色
　　優(yōu)采云瀏覽器是一款可視化的自動(dòng)化腳本工具，我們可以通過(guò)設置腳本，達到手動(dòng)登入，識別驗證碼，自動(dòng)抓取數據，自動(dòng)遞交數據，點(diǎn)擊網(wǎng)頁(yè)，下載文件，操作數據庫，收發(fā)短信等操作。還可以使用邏輯操作，完成判別，循環(huán)，跳轉等操作。所有的功能完全是自由組合，可以寫(xiě)出功能強悍又獨一無(wú)二的腿原本輔助我們的工作,還可以生成單獨的EXE程序進(jìn)行銷(xiāo)售
　　瀏覽器可以讀取寫(xiě)入mysql,sqlserver,sqlite,access四種數據庫。你可以在將任務(wù)數據放到數據庫，通過(guò)瀏覽器讀取并運行，運行完成后，再使用瀏覽器標記為已使用過(guò)。你可以在瀏覽器的使用過(guò)程中隨時(shí)使用數據庫，十分便捷。
　　優(yōu)采云瀏覽器是可以幫助你們實(shí)現自動(dòng)化的網(wǎng)頁(yè)操作。也能使你們做的腳本生成程序去銷(xiāo)售，生成的程序可以自定義軟件名子
　　
　　產(chǎn)品特性
　　可視化操作
　　操作簡(jiǎn)單，完全可視化圖形操作，無(wú)需專(zhuān)業(yè)IT人員。操作的內容是瀏覽器處理過(guò)的內容，jax,瀑布流之類(lèi)的采集非常簡(jiǎn)單，一些js加密的數據也能輕易得到，不需要抓取數據包剖析。
　　自定義流程
　　完全自定義采集流程。打開(kāi)網(wǎng)頁(yè)，輸入數據，提取數據，點(diǎn)擊網(wǎng)頁(yè)上的元素，操作數據庫，驗證碼識別，抓取循環(huán)記錄，處理列表，條件判定，完全自定義流程，采集就像是搭積木，功能自由組合。
　　自動(dòng)打碼
　　采集速度快，程序重視采集效率，頁(yè)面解析速率飛快，不需要訪(fǎng)問(wèn)的頁(yè)面或廣告之類(lèi)可以直接屏蔽，加快訪(fǎng)問(wèn)速率。
　　生成EXE
　　不只是個(gè)采集器，更是營(yíng)銷(xiāo)神器。不光能采集數據保存到數據庫或其它地方，還可以群發(fā)現有的數據到各個(gè)網(wǎng)站?？梢宰龅绞謩?dòng)登入，自動(dòng)辨識驗證碼，是萬(wàn)能的瀏覽器。
　　項目管理
　　利用解決方案可以直接生成單個(gè)應用程序。單個(gè)程序可以脫離優(yōu)采云瀏覽器并運行，官方提供了一個(gè)軟件管理平臺，用戶(hù)可以進(jìn)行授權等管理。每個(gè)用戶(hù)都是開(kāi)發(fā)者，每個(gè)人都能從平臺中獲利。 查看全部

　　數據規整化：清理、轉換、合并、重塑
　　數據剖析和建模方面的大量編程工作都是用在數據打算上的：加載、清理、轉換以及塑造。有時(shí)候，存放在文件或數據庫中的數據并不能滿(mǎn)足你的數據處理應用的要求。許多人都選擇使用通用編程語(yǔ)言(如python、perl、R或java)或UNIX文本處理工具(sed或awk)對數據格式進(jìn)行專(zhuān)門(mén)處理。幸運的是，pandas和python標準庫提供了一組中級的、靈活的、高效的核心函數和算法，它們讓你就能輕松地將數據規整化為正確的方式。
　　1. 合并數據集
　　pandas對象中的數據可以通過(guò)一些外置的方法進(jìn)行合并：pandas.merge、pandas.concat、combine_first。我們分別對它們進(jìn)行講解，并給出一些事例。
　　1.1 數據庫風(fēng)格的DataFrame合并
　　數據集的合并(merge)或聯(lián)接(join)運算是通過(guò)一個(gè)或多個(gè)鍵將行鏈接上去的。要注意區別的是：多對一的合并和多對多的合并(多對多聯(lián)接形成的是行的笛卡爾積。由于左側的DataFrame有3個(gè)”b”行，右邊的有2個(gè)，所以最終結果中就有6個(gè)”b”行)
　　你須要注意的是，默認情況下，merge做的是”inner”連接；結果中的鍵是交集。其他方法還有”left”、”right”、以及”outer”。外聯(lián)接求取的是鍵的并集，組合了左聯(lián)接和右聯(lián)接的療效：
　　要依據多個(gè)鍵進(jìn)行合并，傳入一個(gè)由列名組成的列表即可：
　　1.2 軸向聯(lián)接
　　1.另一種數據合并運算也被叫做聯(lián)接、綁定或堆疊。Numpy有一個(gè)用于合并原創(chuàng )Numpy鏈表的concatenation函數。調用concat可以將值和索引黏合在一起，默認情況下，concat是在axis=0(對應的是行)上工作的，最終形成一個(gè)新的series。如果傳入axis=1，則結果都會(huì )弄成一個(gè)DataFrame(axis=1是對應列)。
　　2.傳入join=’inner’即可得到它們的交集；你也可以通過(guò)join_axes指定要在其他軸上使用的索引
　　2. 重塑和軸向旋轉
　　2.1 重塑層次化索引
　　層次化索引為DataFrame數據的重排任務(wù)提供了一種具有良好一致性的形式。主要功能有二：
　　1. stack：將數據的列”旋轉”為行。
　　2. unstack：將數據的行”旋轉”為列。
　　(未完待續……..) 查看全部

　　SKYCC組合營(yíng)銷(xiāo)軟件新藍圖：多樣化采集
　　
　　SKYCC組合營(yíng)銷(xiāo)軟件新藍圖：多樣化采集自從2012年2月SKYCC組合營(yíng)銷(xiāo)軟件的推出，SKYCC組合營(yíng)銷(xiāo)軟件的相關(guān)報導也是緊跟不斷，SKYCC各大特點(diǎn)一一被披露下來(lái)。隨著(zhù)組合營(yíng)銷(xiāo)軟件的誕生，大家肯定是想在了解它各大特點(diǎn)之余，更想關(guān)注它細小的亮點(diǎn)。下面解析SKYCC組合營(yíng)銷(xiāo)軟件上面的多元化采集。我們你們都曉得，無(wú)論是企業(yè)推廣人員還是做SEO優(yōu)化的人員，一篇好的文章對于網(wǎng)站關(guān)鍵詞的優(yōu)化有著(zhù)重要的作用。但當我們沒(méi)有時(shí)間去寫(xiě)文章，會(huì )是因為所需的文章太多的時(shí)侯我們怎樣辦呢？SKYCC多元化的采集就可以解決那些問(wèn)題。SKYCC組合營(yíng)銷(xiāo)軟件的文章添加
　　
　　分為3種模式（全手動(dòng)采集，半自動(dòng)采集，手動(dòng)添加）。下面介紹一下全手動(dòng)采集和半自動(dòng)采集。SKYCC組合營(yíng)銷(xiāo)軟件采集功能上面分為兩種：第一種采集功能（全手動(dòng)采集）采集文章功能很簡(jiǎn)單，只需輸入自定義關(guān)鍵詞。點(diǎn)擊“開(kāi)始搜索”，就可以全手動(dòng)快速的采集到收錄您關(guān)鍵詞的大量文章，讓您不用再為寫(xiě)文章發(fā)愁。第二種采集功能（半自動(dòng)采集），需要一點(diǎn)的程序基礎，軟件會(huì )根據您填寫(xiě)的采集規則在特定頁(yè)面批量采集文章，采集成功的文章會(huì )手動(dòng)添加到“文章管理”列表。采集或者添加完文章后，還可以使用SKYCC組合營(yíng)銷(xiāo)軟件外置的偽原創(chuàng )功能，來(lái)降低文章的原創(chuàng )性。收錄療效大大提高。直線(xiàn)提高營(yíng)銷(xiāo)療效。 查看全部

　　KDD 2019 | 自動(dòng)探求特點(diǎn)組合，第四范式提出新方式AutoCross
　　機器之心專(zhuān)欄
　　作者：羅遠飛、王夢(mèng)碩、周浩、姚權銘
　　涂威威、陳雨強、楊強、戴文淵
　　特征組合是提升模型療效的重要手段，但借助專(zhuān)家自動(dòng)探求和試錯成本過(guò)低且過(guò)分冗長(cháng)。于是，第四范式提出了一種新型特點(diǎn)組合方式 AutoCross，該方式可在實(shí)際應用中手動(dòng)實(shí)現表數據的特點(diǎn)組合，提高機器學(xué)習算法的預測能力，并提高效率和有效性。目前，該論文已被數據挖掘領(lǐng)域頂會(huì ) KDD 2019 接收。
　　論文簡(jiǎn)介
　　論文：AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications
　　
　　論文鏈接：
　　本文提出了一種在實(shí)際應用中手動(dòng)實(shí)現表數據特點(diǎn)組合的方式 AutoCross。該方式可以獲得特點(diǎn)之間有用的相互作用，并提升機器學(xué)習算法的預測能力。該方式借助集束搜索策略（beam search strategy）構建有效的組合特點(diǎn)，其中收錄仍未被現有工作覆蓋的高階（兩個(gè)以上）特征組合，彌補了此前工作的不足。
　　此外，該研究提出了連續小批量梯度增長(cháng)和多細度離散化，以進(jìn)一步提升效率和有效性，同時(shí)確保簡(jiǎn)單，無(wú)需機器學(xué)習專(zhuān)業(yè)知識或繁瑣的超參數調整。這些算法致力增加分布式估算中涉及的估算、傳輸和儲存成本。在基準數據集和真實(shí)業(yè)務(wù)數據集上的實(shí)驗結果表明，AutoCross 可以明顯提升線(xiàn)性模型和深度模型對表數據的學(xué)習能力和性能，優(yōu)于其他基于搜索和深度學(xué)習的特點(diǎn)生成方式，進(jìn)一步證明了其有效性和效率。
　　背景介紹
　　近年來(lái)，機器學(xué)習似乎已在推薦系統、在線(xiàn)廣告、金融市場(chǎng)剖析等眾多領(lǐng)域取得了好多成功，但在這種成功的應用中，人類(lèi)專(zhuān)家參與了機器學(xué)習的所有階段，包括：定義問(wèn)題、采集數據、特征工程、調整模型超參數，模型評估等。
　　而這種任務(wù)的復雜性常常超出了非機器學(xué)習專(zhuān)家的能力范圍。機器學(xué)習技術(shù)使用門(mén)檻高、專(zhuān)家成本昂貴等問(wèn)題成為了阻礙 AI 普及的關(guān)鍵誘因。因此，AutoML 的出現被視為提升機器學(xué)習易用性的一種最有效方式，通過(guò)技術(shù)手段減低對人類(lèi)專(zhuān)家的依賴(lài)，讓更多的人應用 AI，獲得更大的社會(huì )和商業(yè)效益。
　　眾所周知，機器學(xué)習的性能很大程度上取決于特點(diǎn)的質(zhì)量。由于原創(chuàng )特點(diǎn)極少形成令人滿(mǎn)意的結果，因此一般要對特點(diǎn)進(jìn)行組合，以更好地表示數據并提升學(xué)習性能。例如在新聞推薦中，若只有新聞類(lèi)型、用戶(hù) ID 兩類(lèi)特點(diǎn)，模型只能分別預測不同新聞類(lèi)型或不同用戶(hù) ID 對點(diǎn)擊率的影響。通過(guò)加入新聞類(lèi)型 x 用戶(hù) ID 組合特點(diǎn)，模型就可學(xué)習到一個(gè)用戶(hù)對不同新聞的偏好。再加入時(shí)間等特點(diǎn)進(jìn)行高階組合，模型就可對一個(gè)用戶(hù)在不同時(shí)間對不同新聞的偏好進(jìn)行預測，提升模型的個(gè)性化預測能力。
　　特征組合作為提升模型療效的重要手段，以往大多須要建立龐大的數據科學(xué)家團隊，依靠她們的經(jīng)驗進(jìn)行探求和試錯，但冗長(cháng)、低效的過(guò)程令科學(xué)家非?？鄲?，且并非所有企業(yè)都能承受昂貴的成本。
　　第四范式從很早便開(kāi)始關(guān)注并精耕 AutoML 領(lǐng)域，從解決顧客業(yè)務(wù)核心下降的角度出發(fā)，構建了反欺詐、個(gè)性化推薦等業(yè)務(wù)場(chǎng)景下的 AutoML，并將其賦能給企業(yè)的普通開(kāi)發(fā)人員，取得了接近甚至超過(guò)數據科學(xué)家的業(yè)務(wù)療效。其中，AutoCross 發(fā)揮了重要的作用。
　　痛點(diǎn)
　　特征組合是對從數據中提取的海量原創(chuàng )特點(diǎn)進(jìn)行組合的過(guò)程，采用稀疏特點(diǎn)叉乘得出組合特點(diǎn)。在線(xiàn)性模型如 LR 只能描畫(huà)特點(diǎn)間的線(xiàn)性關(guān)系、表達能力受限，而非線(xiàn)性模型如 GBDT 不能應用于大規模離散特點(diǎn)場(chǎng)景的情況下，特征組合就能降低數據的非線(xiàn)性，從而提升性能。
　　但枚舉所有組合特點(diǎn)，理論上很難做到，因為可能的組合特點(diǎn)數是指數級的，同時(shí)暴力添加特點(diǎn)可能會(huì )造成學(xué)習性能增長(cháng)，因為它們可能是無(wú)關(guān)的或冗余的特點(diǎn)，從而降低學(xué)習難度。
　　雖然深度神經(jīng)網(wǎng)絡(luò )可手動(dòng)建立高階特點(diǎn) (generate high-order features)，但面對大多數以表方式呈現的業(yè)務(wù)數據，最先進(jìn)的基于深度學(xué)習的方式難以有效囊括所有高階組合特點(diǎn)，且存在可解釋性差、計算成本高等惡果。該論文投稿時(shí)，最先進(jìn)的深度學(xué)習方法是 xDeepFM [1]。這篇論文證明了 xDeepFM 可生成的特點(diǎn)是 AutoCross 可生成特點(diǎn)嵌入（embedding）的子集。
　　AutoCross 的優(yōu)勢
　　實(shí)現過(guò)程
　　給定訓練數據 ，并將其界定為訓練集 和驗證集 。我們可以用一個(gè)特點(diǎn)集合 S 來(lái)表示 ，并用學(xué)習算法 L 訓練一個(gè)模型 。之后，用驗證集和同一個(gè)特點(diǎn)集合 S 計算一個(gè)須要被最大化的指標 。特征組合搜索問(wèn)題可以定義為搜索一個(gè)最優(yōu)子特點(diǎn)集的問(wèn)題：
　　其中 F 是 的原創(chuàng )特點(diǎn)集合，收錄 F 所有原創(chuàng )特點(diǎn)以及基于 F 可生成的所有組合特點(diǎn)。
　　但是，假設原創(chuàng )特點(diǎn)數為 d，則上述問(wèn)題中所有可能解的數目是 ，搜索空間巨大。為了提升搜索效率，AutoCross 將搜索最優(yōu)子特點(diǎn)集的問(wèn)題轉換為用貪婪策略逐漸建立較優(yōu)解的問(wèn)題。首先，AutoCross 考慮一個(gè)樹(shù)結構的搜索空間 （圖 3），其中每一個(gè)節點(diǎn)表示一個(gè)子特點(diǎn)集。之后，用集束搜索策略在 上搜索較優(yōu)解。通過(guò)這些方式，AutoCross 只須要訪(fǎng)問(wèn) 個(gè)候選解，極大地提升了搜索效率。AutoCross 的整體算法如算法 1 所示。
　　
　　
　　算法 1 中的一個(gè)關(guān)鍵步驟是評估候選特征集。最直接的方式是用每位候選特征集訓練模型并評估其性能，但是這些方式估算代價(jià)巨大，難以在搜索過(guò)程中反復執行。為了提升特征集評估的效率，AutoCross 提出了逐域對數概率回歸（field-wise logistic regression）和連續批訓練梯度增長(cháng)（successive mini-batch gradient descent）方法。
　　為了提升特征集評估效率，逐域對數概率回歸做出兩種近似。首先，用特點(diǎn)集在對數概率回歸模型上的表現近似最終將使用這個(gè)特點(diǎn)集的模型上的表現；其次，在考慮 中一個(gè)節點(diǎn)的子節點(diǎn)時(shí)，不改變該節點(diǎn)收錄特點(diǎn)對應的權重（weight），僅訓練子節點(diǎn)新增特點(diǎn)的權重。
　　圖 4 說(shuō)明了怎樣將逐域對數概率回歸布署在參數服務(wù)器構架上。逐域對數概率回歸與參數服務(wù)器的結合可以提升特征集評估的儲存效率、傳輸效率和估算效率。在逐域對數概率回歸訓練結束后，AutoCross 計算訓練得模型的指標，并借此方式來(lái)評估每一個(gè)候選特征集。
　　
　　AutoCross 采用連續批訓練梯度增長(cháng)方式進(jìn)一步提升特征集評估的效率。該方式借鑒 successive halving 算法 [2]，認為每一個(gè)候選特征集是 multi-arm bandit 問(wèn)題中的一個(gè) arm，對一個(gè)特點(diǎn)集用一個(gè)數據塊進(jìn)行權重更新相當于拉了一次對應的 arm，其回報為該次訓練后的驗證集 AUC。
　　具體算法見(jiàn)算法 2，算法 2 中惟一的參數是數據塊的數目 N。N 可以按照數據的大小和估算環(huán)境自適應地確定。在使用連續批訓練梯度增長(cháng)時(shí)，用戶(hù)不需要象使用傳統的 subsampling 方法一樣調整 mini-batch 的規格和采樣率。
　　
　　為了支持數值特點(diǎn)與離散特點(diǎn)的組合，AutoCross 在預處理時(shí)將數值特點(diǎn)離散化為離散特點(diǎn)。AutoCross 提出了多細度離散化（multi-granularity discretization）方法，使得用戶(hù)不需要反復調整離散化的細度。多細度離散化思想簡(jiǎn)單：將每一個(gè)數值特點(diǎn)，根據不同細度界定為多個(gè)離散特點(diǎn)。然后采用逐域對數概率回歸選購出最優(yōu)的離散特點(diǎn)。多個(gè)界定細度既可以由用戶(hù)指定，也可以由 AutoCross 根據數據大小和估算環(huán)境來(lái)自適應地選擇，從而增加了用戶(hù)的使用難度。
　　實(shí)驗結果
　　該論文在十個(gè)數據集（五個(gè)公開(kāi)、五個(gè)實(shí)際業(yè)務(wù)）上進(jìn)行了實(shí)驗。比較的方式包括：
　　效果比較：如下表 3 所示，AC+LR 和 AC+W&D 在大部分數據集上的排行都在前兩位。這彰顯了 AutoCross 產(chǎn)生的特點(diǎn)除了可以提高 LR 模型，也可以用于增強深度學(xué)習模型的性能，并且 AC+LR 和 AC+W&D 的療效都優(yōu)于 xDeepFM。如之前所說(shuō)，xDeepFM 所生成的特點(diǎn)不能完全收錄 AutoCross 生成的特點(diǎn)。這些結果彰顯出顯式生成高階組合特點(diǎn)的療效優(yōu)勢。
　　
　　高階特點(diǎn)的作用：見(jiàn)表 5 和圖 6。從中可以得出，高階組合特點(diǎn)可以有效提升模型性能。
　　
　　時(shí)間消耗：見(jiàn)表 6、圖 7（主要做展示用）。
　　
　　
　　推斷延后：見(jiàn)表 7。從中可以得出：AC+LR 的推測速率比 AC+W&D、Deep、xDeepFM 快幾個(gè)數量級。這說(shuō)明 AutoCross 不僅可以提升模型表現，同時(shí)保證了太低的推論延后。
　　參考文獻
　　[1] J. Lian, X. Zhou, F. Zhang, Z. Chen, X. Xie, and G. Sun. 2018. xDeepFM: Com- bining Explicit and Implicit Feature Interactions for Recommender Systems. In International Conference on Knowledge Discovery & Data Mining.
　　[2] K. Jamieson and A. Talwalkar. 2016. Non-stochastic best arm identification and hyperparameter optimization. In Artificial Intelligence and Statistics. 240–248.
　　[3] O. Chapelle, E. Manavoglu, and R. Rosales. 2015. Simple and scalable response prediction for display advertising. ACM Transactions on Intelligent Systems and Technology (TIST) 5, 4 (2015), 61.
　　------------------------------------------------
　　加入機器之心（全職記者 / 實(shí)習生）：
　　投稿或尋求報導： 查看全部

　　Apache 的開(kāi)源項目 hadoop， 作為一個(gè)分布式存儲和估算系統，已經(jīng)被業(yè)界廣泛應用。很多小型企業(yè)都有了各自基于 hadoop 的應用和相關(guān)擴充。當 1000+ 以上個(gè)節點(diǎn)的 hadoop 集群顯得常見(jiàn)時(shí)，集群自身的相關(guān)信息怎樣搜集和剖析呢？針對這個(gè)問(wèn)題， Apache 同樣提出了相應的解決方案，那就是 chukwa。
　　概述
　　chukwa 的官方網(wǎng)站是這樣描述自己的： chukwa 是一個(gè)開(kāi)源的用于監控小型分布式系統的數據搜集系統。這是建立在 hadoop 的 hdfs 和 map/reduce 框架之上的，繼承了 hadoop 的可伸縮性和魯棒性。Chukwa 還收錄了一個(gè)強悍和靈活的工具集，可用于展示、監控和剖析已搜集的數據。
　　在一些網(wǎng)站上，甚至揚言 chukwa 是一個(gè)“日志處理/分析的full stack solution”。
　　說(shuō)了這么多，你心動(dòng)了嗎？
　　Chukwa 是哪些？
　　在泰國神話(huà)中Chukwa是一只最古老的龜。它支撐著(zhù)世界。在它的背上還支撐著(zhù)一種稱(chēng)作Maha-Pudma的小象，在小象的背上頂著(zhù)這個(gè)月球。呵呵，大象？Hadoop？不難理解為何在Hadoop中的這個(gè)子項目稱(chēng)作Chukwa了，或許Chukwa的其中一位開(kāi)發(fā)者是美國人？呵呵，我胡扯的，神話(huà)中的Chukwa的，貌似是這樣的，如圖所示：
　　
　　Chukwa是由Yahoo貢獻，基于Hadoop的大集群監控系統，可以用他來(lái)剖析和搜集系統中的數據(日志)。Chukwa運行HDFS中儲存數據的采集器和MapReduce框架之上，并承繼了Hadoop的可擴展性和魯棒性， Chukwa使用MapReduce來(lái)生成報告，他還包括一個(gè)用于檢測和剖析結果顯示的web-portal工具，通過(guò)web-portal工具讓這個(gè)搜集數據的更佳具有靈活性，這點(diǎn)有點(diǎn)像是類(lèi)似 linux工具，例如：awk 。這幾乎是一個(gè)日志處理/分析的full stack solution，國內用hadoop做日志剖析的，或者即將做日志剖析的可以關(guān)注下。
　　Chukwa 由哪幾個(gè)組件組成的？
　　Chukwa是Yahoo開(kāi)發(fā)的Hadoop之上的數據采集/分析框架，主要用于日志采集/分析。該框架提供了采集數據的Agent，由Agent采集數據通過(guò)HTTP發(fā)送數據給Cluster的Collector，collector把數據sink進(jìn)Hadoop，然后通過(guò)定期運行Map reducer來(lái)剖析數據，將結果呈現給用戶(hù)。
　　Chukwa 有以下4個(gè)主要的組成部分:
　　Agent搜集各服務(wù)器的數據
　　Collectors接收agent的數據;并寫(xiě)進(jìn)儲存
　　MapReduce jobs歸檔數據
　　HICC就是 Hadoop Infrastructure Care Center的四個(gè)英語(yǔ)詞組的簡(jiǎn)寫(xiě)，簡(jiǎn)單來(lái)說(shuō)是個(gè)Web工程用于ChukWa的內容展示。
　　幾個(gè)部件大致的處理流程如下：
　　
　　在這個(gè)Blog中后續會(huì )對ChukWa有進(jìn)一步的描述，再次感謝你的閱讀。
　　–end–
　　轉自：
　　chukwa 不能做哪些
　　1.chukwa 不是一個(gè)單機系統. 在單個(gè)節點(diǎn)布署一個(gè) chukwa 系統,基本沒(méi)有哪些好處. chukwa 是一個(gè)建立在 hadoop 基礎上的分布式日志處理系統.換言之,在搭建 chukwa 環(huán)境之前,你須要先建立一個(gè) hadoop 環(huán)境,然后在 hadoop 的基礎上建立 chukwa 環(huán)境,這個(gè)關(guān)系也可以從稍后的 chukwa 架構圖上看下來(lái).這也是由于 chukwa 的假定是要處理的數據量是在 T 級別的.
　　2.chukwa 不是一個(gè)實(shí)時(shí)錯誤監控系統.在解決這個(gè)問(wèn)題方面, ganglia,nagios 等等系統早已做得挺好了,這些系統對數據的敏感性都可以達到秒級. chukwa 分析的是數據是分鐘級別的,它覺(jué)得象集群的整體 cpu 使用率這樣的數據,延遲幾分鐘領(lǐng)到,不是哪些問(wèn)題.
　　3.chukwa 不是一個(gè)封閉的系統.雖然 chukwa 自帶了許多針對 hadoop 集群的剖析項,但是這并不是說(shuō)它只能監控和剖析 hadoop.chukwa 提供了一個(gè)對大數據量日志類(lèi)數據采集、存儲、分析和展示的全套解決方案和框架,在這類(lèi)數據生命周期的各個(gè)階段, chukwa 都提供了近乎完美的解決方案,這一點(diǎn)也可以從它的構架中看下來(lái).
　　chukwa 能做哪些
　　上一節說(shuō)了好多 chukwa 不是哪些,下面來(lái)看下 chukwa 具體是干哪些的一個(gè)系統呢?
　　具體而言, chukwa 致力于以下幾個(gè)方面的工作:
　　1.總體而言, chukwa 可以用于監控大規模(2000+ 以上的節點(diǎn), 每天形成數據量在T級別) hadoop 集群的整體運行情況并對它們的日志進(jìn)行剖析
　　2.對于集群的用戶(hù)而言: chukwa 展示她們的作業(yè)早已運行了多久,占用了多少資源,還有多少資源可用,一個(gè)作業(yè)是為何失敗了,一個(gè)讀寫(xiě)操作在那個(gè)節點(diǎn)出了問(wèn)題.
　　3.對于集群的運維工程師而言: chukwa 展示了集群中的硬件錯誤,集群的性能變化,集群的資源困局在那里.
　　4.對于集群的管理者而言: chukwa 展示了集群的資源消耗情況,集群的整體作業(yè)執行情況,可以用以輔助預算和集群資源協(xié)調.
　　5.對于集群的開(kāi)發(fā)者而言: chukwa 展示了集群中主要的性能困局,經(jīng)常出現的錯誤,從而可以著(zhù)重重點(diǎn)解決重要問(wèn)題.
　　Chukwa的系統構架
　　搭建、運行Chukwa要在Linux環(huán)境下，要安裝MySQL數據庫，在Chukwa/conf目錄 中有2個(gè)SQL腳本 aggregator.sql、database_create_tables.sq l 導入MySQL數據庫，此外還要有Hadoo的HDSF運行環(huán)境，Chukwa的整個(gè)系統構架如圖所示：
　　
　　其中主要的部件為:
　　1.agents : 負責采集最原創(chuàng )的數據,并發(fā)送給 collectors
　　2.adaptor : 直接采集數據的插口和工具,一個(gè) agent 可以管理多個(gè) adaptor 的數據采集
　　3.collectors 負責搜集 agents 收送來(lái)的數據,并定時(shí)寫(xiě)入集群中
　　4.map/reduce jobs 定時(shí)啟動(dòng),負責把集群中的數據分類(lèi)、排序、去重和合并
　　5.HICC 負責數據的展示
　　相關(guān)設計
　　adaptors 和 agents
　　在 每個(gè)數據的產(chǎn)生端(基本上是集群中每一個(gè)節點(diǎn)上), chukwa 使用一個(gè) agent 來(lái)采集它感興趣的數據,每一類(lèi)數據通過(guò)一個(gè) adaptor 來(lái)實(shí)現, 數據的類(lèi)型(DataType?)在相應的配置中指定. 默認地, chukwa 對以下常見(jiàn)的數據來(lái)源早已提供了相應的 adaptor ： 命令行輸出、log 文件和 httpSender等等. 這些 adaptor 會(huì )定期運行(比如每分鐘讀一次 df 的結果)或風(fēng)波驅動(dòng)地執行(比如 kernel 打了一條錯誤日志). 如果這種 adaptor 還不夠用，用戶(hù)也可以便捷地自己實(shí)現一個(gè) adaptor 來(lái)滿(mǎn)足需求。
　　為避免數據采集端的 agent 出現故障，chukwa 的 agent 采用了所謂的 ‘watchdog’ 機制，會(huì )手動(dòng)重啟中止的數據采集進(jìn)程，防止原創(chuàng )數據的遺失。
　　另一方面, 對于重復采集的數據, 在 chukwa 的數據處理過(guò)程中,會(huì )手動(dòng)對它們進(jìn)行去重. 這樣,就可以對于關(guān)鍵的數據在多臺機器上布署相同的 agent,從而實(shí)現容錯的功能.
　　collectors
　　agents 采集到的數據,是儲存到 hadoop 集群上的. hadoop 集群擅長(cháng)于處理少量大文件，而對于大量小文件的處理則不是它的強項，針對這一點(diǎn)，chukwa 設計了 collector 這個(gè)角色，用于把數據先進(jìn)行部份合并，再寫(xiě)入集群，防止大量小文件的寫(xiě)入。
　　另 一方面,為避免 collector 成為性能困局或成為單點(diǎn),產(chǎn)生故障, chukwa 允許和鼓勵設置多個(gè) collector, agents 隨機地從 collectors 列表中選擇一個(gè) collector 傳輸數據,如果一個(gè) collector 失敗或忙碌,就換下一個(gè) collector. 從而可以實(shí)現負載的均衡,實(shí)踐證明,多個(gè) collector 的負載幾乎是平均的.
　　demux 和 archive
　　放在集群上的數據,是通過(guò) map/reduce 作業(yè)來(lái)實(shí)現數據剖析的. 在 map/reduce 階段， chukwa 提供了 demux 和 archive 任務(wù)兩種外置的作業(yè)類(lèi)型.
　　demux 作業(yè)負責對數據的分類(lèi)、排序和去重. 在 agent 一節中,我們談到了數據類(lèi)型(DataType?)的概念.由 collector 寫(xiě)入集群中的數據,都有自己的類(lèi)型. demux 作業(yè)在執行過(guò)程中,通過(guò)數據類(lèi)型和配置文件中指定的數據處理類(lèi),執行相應的數據剖析工作,一般是把非結構化的數據結構化,抽取中其中的數據屬性.由于 demux 的本質(zhì)是一個(gè) map/reduce 作業(yè),所以我們可以按照自己的需求制訂自己的 demux 作業(yè),進(jìn)行各類(lèi)復雜的邏輯剖析. chukwa 提供的 demux interface 可以用 java 語(yǔ)言來(lái)便捷地擴充.
　　而 archive 作業(yè)則負責把同類(lèi)型的數據文件合并，一方面保證了同一類(lèi)的數據都在一起，便于進(jìn)一步剖析, 另一方面減輕文件數目, 減輕 hadoop 集群的儲存壓力。
　　dbadmin
　　放在集群上的數據,雖然可以滿(mǎn)足數據的常年儲存和大數據量估算需求,但是不易于展示.為此, chukwa 做了兩方面的努力:
　　1.使用 mdl 語(yǔ)言,把集群上的數據抽取到 mysql 數據庫中,對近一周的數據,完整保存,超過(guò)一周的數據,按數據距現今的時(shí)間長(cháng)短作稀釋,離如今越久的數據,所保存的數據時(shí)間間隔越長(cháng).通過(guò) mysql 來(lái)作數據源,展示數據.
　　2.使用 hbase 或類(lèi)似的技術(shù),直接把索引化的數據在儲存在集群上
　　到 chukwa 0.4.0 版本為止, chukwa 都是用的第一種方式,但是第二種方式更高貴也更方便一些.
　　hicc
　　hicc 是 chukwa 的數據展示端的名子.在展示端， chukwa 提供了一些默認的數據展示 widget，可以使用“列表”、“曲線(xiàn)圖”、“多曲線(xiàn)圖”、“柱狀圖”、“面積隱喻展示一類(lèi)或多類(lèi)數據，給用戶(hù)直觀(guān)的數據趨勢展示。而且，在 hicc 展示端，對不斷生成的新數據和歷史數據，采用 robin 策略，防止數據的不斷下降減小服務(wù)器壓力，并對數據在時(shí)間軸上“稀釋”，可以提供長(cháng)時(shí)間段的數據展示
　　從 本質(zhì)上, hicc 是用 jetty 來(lái)實(shí)現的一個(gè) web 服務(wù)端,內部用的是 jsp 技術(shù)和 javascript 技術(shù).各種須要展示的數據類(lèi)型和頁(yè)面的局都可以通過(guò)簡(jiǎn)直地拖放方法來(lái)實(shí)現,更復雜的數據展示方法,可以使用 sql 語(yǔ)言組合出各類(lèi)須要的數據.如果這樣還不能滿(mǎn)足需求,不用怕,動(dòng)手更改它的 jsp 代碼就可以了.
　　其它數據插口
　　如果對原創(chuàng )數據還有新的須要，用戶(hù)還可以通過(guò) map/reduce 作業(yè)或 pig 語(yǔ)言直接訪(fǎng)問(wèn)集群上的原創(chuàng )數據，以生成所須要的結果。chukwa 還提供了命令行的插口，可以直接訪(fǎng)問(wèn)到集群上數據。
　　默認數據支持
　　對 于集群各節點(diǎn)的cpu使用率、內存使用率、硬盤(pán)使用率、集群整體的 cpu 平均使用率、集群整體的顯存使用率、集群整體的儲存使用率、集群文件數變化、作業(yè)數變化等等 hadoop 相關(guān)數據,從采集到展示的一整套流程, chukwa 都提供了內建的支持,只須要配置一下就可以使用.可以說(shuō)是相當便捷的.
　　可以看出，chukwa 從數據的形成、采集、存儲、分析到展示的整個(gè)生命周期都提供了全面的支持。 查看全部

　　注意：如果動(dòng)作執行前后的網(wǎng)頁(yè)結構沒(méi)有變化，可以用一個(gè)規則來(lái)完成；網(wǎng)頁(yè)結構前后變化的話(huà)，必須用兩個(gè)或以上的規則來(lái)完成；另外涉及翻頁(yè)的話(huà)，也要拆成兩個(gè)或以上的規則。關(guān)于連續動(dòng)作要做多少個(gè)規則請查閱文章《規劃采集流程》。
　　一、建立第一級主題抓取目標信息
　　建立第一級主題的規則，把想要的信息映射到整理箱中，建議做完內容映射后，也做上定位標志映射，可以提升定位準確性和規則適應性。
　　注意：設置了連續動(dòng)作的規則可以不建整理箱，例如方案2的第一級主題可以不建整理箱，但是用整理箱抓一點(diǎn)數據（選擇網(wǎng)頁(yè)上一定會(huì )顯示下來(lái)的信息），是為了給爬蟲(chóng)判定是否執行采集，否則可能漏采網(wǎng)頁(yè)。
　　二、設置連續動(dòng)作點(diǎn)擊新建按鍵構建一個(gè)新動(dòng)作，每個(gè)動(dòng)作的設置方式都是一樣，基本操作如下：
　　2.1 輸入目標主題名
　　連續動(dòng)作指向的是同一個(gè)目標主題。如果有多個(gè)動(dòng)作，并且要指向不同的主題，請拆成多個(gè)規則分別設置連續動(dòng)作。
　　2.2 選擇動(dòng)作類(lèi)型
　　本案例是點(diǎn)擊動(dòng)作，不同動(dòng)作的適用范圍是不同的，請按照實(shí)際的操作情況來(lái)選擇動(dòng)作類(lèi)型。
　　2.3 把定位到動(dòng)作對象的xpath填入到定位表達式中
　　2.4 輸入動(dòng)作名稱(chēng)
　　告訴自己這一步動(dòng)作是拿來(lái)干嘛的，方便之后更改。
　　2.5 高級設置
　　最初可以不設置，后面調試連續動(dòng)作時(shí)會(huì )用到，可以擴大動(dòng)作的適用范圍。如需把動(dòng)作對象的信息也抓出來(lái)，就在中級設置的內容表達式中用xpath定位到動(dòng)作對象的信息來(lái)實(shí)現，請依照須要再來(lái)設置。
　　注意：動(dòng)作類(lèi)型是否選對以及xpath是否定位確切，決定了連續動(dòng)作能夠執行成功。Xpath是標準的用于定位html節點(diǎn)的語(yǔ)言，請自行把握xpath后再來(lái)使用連續動(dòng)作的功能。
　　按照人的操作步驟，還要選擇版本、購買(mǎi)方法1、購買(mǎi)方法2，所以，我們還要繼續新建3個(gè)動(dòng)作，重復以上步驟。
　　三、調試規則
　　完成以上步驟后，點(diǎn)擊保存規則，再點(diǎn)擊爬數據按鍵進(jìn)行試抓。發(fā)現采集時(shí)報錯：無(wú)法定位到節點(diǎn)***，觀(guān)察瀏覽器窗口，看到執行完第一步點(diǎn)擊時(shí)，其他信息都沒(méi)加載上來(lái)，等到信息都加載上來(lái)，又發(fā)覺(jué)點(diǎn)擊了訂購方法2后，就難以回挪到執行4步點(diǎn)擊的頁(yè)面，這就造成連續動(dòng)作沒(méi)法連貫執行。
　　針對里面的情況，我們的解決方式是刪除第4步動(dòng)作。因為無(wú)論是否點(diǎn)擊訂購方法2，都不影響商品價(jià)錢(qián)。所以，可以刪除沒(méi)必要且引起干擾的動(dòng)作步驟。
　　修改后再度試抓，把提取到的xml轉為excel后，看到價(jià)錢(qián)和累計評價(jià)的數據抓漏或抓錯了。這是因為網(wǎng)頁(yè)很大，加載比較慢，點(diǎn)擊后的數據要等待一定時(shí)間才會(huì )加載完成。
　　為了抓全數據，需要延長(cháng)等待時(shí)間，給每位動(dòng)作單獨設置延時(shí)，點(diǎn)擊動(dòng)作步驟->高級設置->額外延時(shí)，輸入正整數，單位是秒。輸入的時(shí)間請按照實(shí)際調試。
　　另外，如果不是置頂窗口，采集時(shí)會(huì )循環(huán)點(diǎn)擊。這是因為易迅網(wǎng)頁(yè)上有反爬舉措，必須為當前窗口的操作才能生效。所以，要在中級設置上勾上窗口可見(jiàn)，采集時(shí)窗口會(huì )置頂。請按照實(shí)際情況進(jìn)行設置。
　　四、如何把抓到的信息與動(dòng)作步驟一一對應？
　　如果希望把抓到的信息與動(dòng)作步驟一一對應上去，這樣就得把動(dòng)作對象的信息也提取出來(lái)，有以下兩種方式：
　　4.1 在連續動(dòng)作的中級設置的內容表達式中用xpath定位到動(dòng)作對象的信息節點(diǎn)。
　　在定位表達式早已定位到動(dòng)作對象的整個(gè)操作范圍，也包括其本身的信息，所以，內容表達式只需從定位到的動(dòng)作對象為起點(diǎn)，繼續定位到其信息就行。采集時(shí)都會(huì )把該步動(dòng)作的信息記錄在actionvalue中，與之對應的是actionno，記錄的是該步動(dòng)作執行的次數。
　　4.2 在整理箱中抓取動(dòng)作對象的信息，這里同樣要用xpath來(lái)定位。
　　動(dòng)作對象被執行時(shí)，其dom結構是有變化的，找到網(wǎng)頁(yè)變化的結構特點(diǎn)，用xpath確切定位到節點(diǎn)，通過(guò)校準后，就可以設置自定義xpath。 查看全部

　　優(yōu)采云采集工具想必蘇州網(wǎng)絡(luò )公司的同學(xué)都曉得，而且優(yōu)采云采集器如今也衍生出企業(yè)版的優(yōu)采云瀏覽器，功能強悍無(wú)比，但是其價(jià)位也使無(wú)錫網(wǎng)站優(yōu)化站長(cháng)無(wú)法接受。
　　優(yōu)采云的使用似乎還是比較復雜的，甚至對于菜鳥(niǎo)來(lái)說(shuō)學(xué)習還是有些費力的，本文上海網(wǎng)站建設編輯就V7版本的便條組合聊聊自己的想法，希望能對需求的同學(xué)提供些許幫助。
　　v7版本降低了一個(gè)標簽組合的功能，許多同學(xué)在使用中發(fā)覺(jué)組合的結果和自己想要的結果不一致，下面我來(lái)說(shuō)明一下該功能的使用。
　　1.標簽組合組合的是文件下載前的內容
　　有的同學(xué)發(fā)覺(jué)，a標簽中下載了某個(gè)文件，原創(chuàng )地址是aaa,下載后或是偵測的地址為bbb,那么，如果您在b標簽中組合使用a標簽，a標簽的值是aaa.為何使用這些處理方式，是因為文件下載是在標簽組合以后進(jìn)行的。如何達到標簽內容是文件下載完后的結果呢？可以新建一個(gè)標簽，選“自定義固定格式數據”，將您標簽組合的內容放進(jìn)去。這里的替換會(huì )在文件下載后執行。
　　2.內容頁(yè)標簽循環(huán)采集并添加為新記錄
　　如果組合的兩個(gè)標簽都是內容頁(yè)標簽，這兩個(gè)標簽在組合時(shí)，會(huì )按循環(huán)數最大的記錄形成新的同樣數量的循環(huán)記錄。如果某個(gè)標簽的循環(huán)數較少，則新形成的標簽中該標簽的值為空。例如標簽a,b組合生成標簽c。a的循環(huán)數是5,b的循環(huán)數是3，則會(huì )生成5個(gè)c,其中，前3個(gè)標簽的值分別是a,b一一對應的。最后兩個(gè)值中，b的值為空。假設a的值是11,22,33,44,55,b的值為aa,bb,cc.c是由組合， 則形成的c的值為11aa,22bb,33cc,44,55.
　　3.列表頁(yè)標簽和內容頁(yè)標簽組合
　　如果兩個(gè)標簽中一個(gè)是內容頁(yè)，一個(gè)是列表頁(yè)，則內容頁(yè)是會(huì )出席第2條中的循環(huán)處理，在這個(gè)過(guò)程中列表頁(yè)當成一個(gè)字符串處理。合并完成后，程序會(huì )再進(jìn)行數據處理操作。最后，組合標簽中的列表頁(yè)標簽內容將被替換成實(shí)際的值。組合后的結果中，可以再提取下載。比如內容頁(yè)a和列表頁(yè)b組合生成c,其中a的值為11,22,22,b的值為bb,那么，c第一次組合結果是 11,22,33,然后進(jìn)行數據處理。如果b的值是bb,那么最后的結果就可能是11bb,22bb,33bb.
　　有的上海網(wǎng)頁(yè)制做的同學(xué)可能會(huì )說(shuō)，干嘛將這個(gè)功能搞那么復雜的。其實(shí)，這個(gè)功能主要是為第一條的功能使用的，其它的組合形式可能會(huì )形成和原看法不一樣的結果。建議你們不要濫用這個(gè)功能，不要將它想象成萬(wàn)能的。 查看全部

　　Linux Shell 提供兩個(gè)十分實(shí)用的命令來(lái)爬取網(wǎng)頁(yè)，它們分別是 curl 和 wget
　　米撲代理，作為大數據剖析研究的基礎服務(wù)，對其做了深入的研究和總結。
　　curl 和 wget 使用代理
　　curl 支持 http、https、socks4、socks5
　　wget 支持 http、https
　　Shell curl wget 示例
　　#!/bin/bash
#
# curl 支持 http、https、socks4、socks5
# wget 支持 http、https
#
# 米撲代理示例：
# https://proxy.mimvp.com/demo2.php
#
# 米撲代理購買(mǎi)：
# https://proxy.mimvp.com
#
# mimvp.com
# 2015-11-09
#【米撲代理】：本示例，在CentOS、Ubuntu、MacOS等服務(wù)器上，均測試通過(guò)
#
# http代理格式 http_proxy=http://IP:Port
# https代理格式 https_proxy=http://IP:Port
## proxy no auth
# curl和wget，爬取http網(wǎng)頁(yè)
{'http': 'http://120.77.176.179:8888'}
curl -m 30 --retry 3 -x http://120.77.176.179:8888 http://proxy.mimvp.com/test_proxy2.php # http_proxy
wget -T 30 --tries 3 -e "http_proxy=http://120.77.176.179:8888" http://proxy.mimvp.com/test_proxy2.php # http_proxy
# curl和wget，爬取https網(wǎng)頁(yè)（注意：添加參數，不經(jīng)過(guò)SSL安全驗證）
{'https': 'http://46.105.214.133:3128'}
curl -m 30 --retry 3 -x http://46.105.214.133:3128 -k https://proxy.mimvp.com/test_proxy2.php # https_proxy
wget -T 30 --tries 3 -e "https_proxy=http://46.105.214.133:3128" --no-check-certificate https://proxy.mimvp.com/test_proxy2.php # https_proxy

# curl 支持socks
# 其中，socks4和socks5兩種協(xié)議的代理，都可以同時(shí)爬取http和https網(wǎng)頁(yè)
{'socks4': '101.255.17.145:1080'}
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 http://proxy.mimvp.com/test_proxy2.php
curl -m 30 --retry 3 --socks4 101.255.17.145:1080 https://proxy.mimvp.com/test_proxy2.php

{'socks5': '82.164.233.227:45454'}
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 http://proxy.mimvp.com/test_proxy2.php
curl -m 30 --retry 3 --socks5 82.164.233.227:45454 https://proxy.mimvp.com/test_proxy2.php
# wget 不支持socks
## proxy auth（代理需要用戶(hù)名和密碼驗證）
# curl和wget，爬取http網(wǎng)頁(yè)
curl -m 30 --retry 3 -x http://username:password@210.159.166.225:5718 http://proxy.mimvp.com/test_proxy2.php # http
curl -m 30 --retry 3 -x http://username:password@210.159.166.225:5718 https://proxy.mimvp.com/test_proxy2.php # https
curl -m 30 --retry 3 -U username:password -x http://210.159.166.225:5718 http://proxy.mimvp.com/test_proxy2.php # http
curl -m 30 --retry 3 -U username:password -x http://210.159.166.225:5718 https://proxy.mimvp.com/test_proxy2.php # https
curl -m 30 --retry 3 --proxy-user username:password -x http://210.159.166.225:5718 http://proxy.mimvp.com/test_proxy2.php # http
curl -m 30 --retry 3 --proxy-user username:password -x http://210.159.166.225:5718 https://proxy.mimvp.com/test_proxy2.php # https
wget -T 30 --tries 3 -e "http_proxy=http://username:password@2.19.16.5:5718" http://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 -e "https_proxy=http://username:password@2.19.16.5:5718" https://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 --proxy-user=username --proxy-password=password -e "http_proxy=http://2.19.16.5:5718" http://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 --proxy-user=username --proxy-password=password -e "https_proxy=http://2.19.16.5:5718" https://proxy.mimvp.com/test_proxy2.php
# curl 支持socks
curl -m 30 --retry 3 -U username:password --socks5 21.59.126.22:57216 http://proxy.mimvp.com/test_proxy2.php # http
curl -m 30 --retry 3 -U username:password --socks5 21.59.126.22:57216 https://proxy.mimvp.com/test_proxy2.php # https
curl -m 30 --retry 3 --proxy-user username:password --socks5 21.59.126.22:57216 http://proxy.mimvp.com/test_proxy2.php # http
curl -m 30 --retry 3 --proxy-user username:password --socks5 21.59.126.22:57216 https://proxy.mimvp.com/test_proxy2.php # https
# wget 不支持socks
　　wget 配置文件設置代理
　　vim ~/.wgetrc
http_proxy=http://120.77.176.179:8888:8080
https_proxy=http://12.7.17.17:8888:8080
use_proxy = on
wait = 30
# 配置文件設置后，立即生效，直接執行wget爬取命令即可
wget -T 30 --tries 3 http://proxy.mimvp.com/test_proxy2.php
wget -T 30 --tries 3 https://proxy.mimvp.com/test_proxy2.php
　　Shell設置臨時(shí)局部代理
　　# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
# proxy auth（代理需要用戶(hù)名和密碼驗證）
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
# 直接爬取網(wǎng)頁(yè)
curl -m 30 --retry 3 http://proxy.mimvp.com/test_proxy2.php # http_proxy
curl -m 30 --retry 3 https://proxy.mimvp.com/test_proxy2.php # https_proxy
wget -T 30 --tries 3 http://proxy.mimvp.com/test_proxy2.php # http_proxy
wget -T 30 --tries 3 https://proxy.mimvp.com/test_proxy2.php # https_proxy
# 取消設置
unset http_proxy
unset https_proxy
　　Shell設置系統全局代理
　　# 修改 /etc/profile，保存并重啟服務(wù)器
sudo vim /etc/profile # 所有人有效
或
sudo vim ~/.bashrc # 所有人有效
或
vim ~/.bash_profile # 個(gè)人有效


## 在文件末尾，添加如下內容
# proxy no auth
export http_proxy=http://120.77.176.179:8888:8080
export https_proxy=http://12.7.17.17:8888:8080
# proxy auth（代理需要用戶(hù)名和密碼驗證）
export http_proxy=http://username:password@120.77.176.179:8888:8080
export https_proxy=http://username:password@12.7.17.17:8888:8080
## 執行source命令，使配置文件生效（臨時(shí)生效）
source /etc/profile
或
source ~/.bashrc
或
source ~/.bash_profile
## 若需要機器永久生效，則需要重啟服務(wù)器
sudo reboot
　　米撲代理示例
　　米撲代理，專(zhuān)注為企業(yè)提供國外大數據研究服務(wù)，技術(shù)團隊來(lái)自百度、小米、阿里、創(chuàng )新工場(chǎng)等，為國外企業(yè)提供大數據采集、數據建模剖析、結果導入展示等服務(wù)。
　　米撲代理示例，收錄Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi、易語(yǔ)言等十多種編程語(yǔ)言或腳本，通過(guò)大量的可運行實(shí)例，詳細講解了使用代理IP的正確方式，方便網(wǎng)頁(yè)爬取、數據采集、自動(dòng)化測試等領(lǐng)域。
　　
　　米撲代理示例官網(wǎng)： 查看全部

　　如何編撰標題，如何寫(xiě)出黃金標題，是好多商家們關(guān)注的問(wèn)題。要知道電商界的標題黨能收獲的不只是點(diǎn)擊率這么簡(jiǎn)單，它而且直接關(guān)系到使顧客精準的找到你，突出您產(chǎn)品的特性，促使交易的形成。一個(gè)好的標題越發(fā)的重要，同時(shí)也影響著(zhù)我們的權重。
　　然而許多店家上新30分鐘，想標題2小時(shí)，利用層層工具選詞、優(yōu)化，不僅花費精力，也消耗時(shí)間，小編明天告訴你一鍵手動(dòng)生成標題的秘密！
　　
　　在此之前先來(lái)瞧瞧往年寫(xiě)標題主要從何入手：
　　1、用足標題給的30個(gè)字的空間。
　　盡量控制在26個(gè)字以上，30個(gè)字以?xún)?，把產(chǎn)品名，產(chǎn)品特點(diǎn)，促銷(xiāo)方法等都寫(xiě)進(jìn)來(lái)，吸引賣(mài)家點(diǎn)擊，一個(gè)好的標題可以把曝光量轉化為點(diǎn)擊量，促使訂單成交的可能性。
　　2、選詞。
　　選詞的方式有很多，常見(jiàn)的選詞方式有阿里指數選詞、1688搜索下拉框選詞、生意參謀等等，通過(guò)比對選擇與自己的產(chǎn)品關(guān)聯(lián)性強，且競爭力較小的關(guān)鍵詞進(jìn)行組合，放到自己的產(chǎn)品標題里，可以使產(chǎn)品被搜索的概率大大降低。
　　(1)阿里指數：
　　相信諸位店家對阿里指數都比較熟悉，登錄1688買(mǎi)家工作臺，點(diǎn)擊服務(wù)再搜索阿里指數，就可以直接步入應用。在阿里指數最上方的查找類(lèi)目欄里找到與自己產(chǎn)品相關(guān)的類(lèi)目，左側的屬性細分會(huì )給我們推薦一些與產(chǎn)品相關(guān)的熱門(mén)屬性，也可以按照搜索排行榜里上升榜和熱搜榜里的詞，進(jìn)行組合標題。
　　
　　(2)1688搜索下拉框選詞：
　　在1688首頁(yè)搜索框輸入您要找的產(chǎn)品關(guān)鍵詞，下拉框會(huì )給我們推薦一個(gè)相關(guān)的關(guān)鍵詞，這些詞都可以作為我們布關(guān)鍵詞的一個(gè)參考，這些詞都是一定時(shí)間內賣(mài)家常常搜索的詞，參考的比重也是比較大的。
　　
　　(3)生意參謀：
　　1688買(mǎi)家中心查找服務(wù)[生意參謀]，選擇打開(kāi)商品列，左側點(diǎn)擊“搜索排名”通過(guò)查找關(guān)鍵詞獲得相關(guān)搜索詞、搜索次數等信息，只是生意參謀搜索關(guān)鍵詞的功能須要購買(mǎi)豪華版的生意參謀能夠使用。
　　3、增加產(chǎn)品特點(diǎn)描述詞。
　　在標題中，加入產(chǎn)品特點(diǎn)描述的詞句。比如：規格、材質(zhì)、功能、認證等等，這類(lèi)詞的出現會(huì )吸引有類(lèi)似相關(guān)須要的顧客去點(diǎn)擊我們的產(chǎn)品，把曝光量轉化為點(diǎn)擊。
　　4、常用的標題組合。
　　營(yíng)銷(xiāo)詞+核心關(guān)鍵詞（產(chǎn)品主名稱(chēng))+修飾詞+屬性+近義/二級詞
　　營(yíng)銷(xiāo)詞+核心關(guān)鍵詞+屬性尺寸+服務(wù)賣(mài)點(diǎn)或產(chǎn)品賣(mài)點(diǎn)+品牌產(chǎn)地+經(jīng)營(yíng)模式
　　制作標題時(shí)注意：主關(guān)鍵詞越靠前排行權重越高以及關(guān)鍵詞的連貫性。
　　5、黃金標題的“2-4-2法則”
　　2個(gè)核心：
　　盡量只寫(xiě)核心詞（馬鈴薯/土豆、番茄/西紅柿）主關(guān)鍵詞其實(shí)多了但搜索也概率大了，實(shí)際上排行增加了，內容過(guò)多會(huì )分散產(chǎn)品的權重，造成的后果是上架一周后基本無(wú)突顯。
　　4個(gè)標準：
　　不能產(chǎn)生拼湊、不能使用符號、字數滿(mǎn)足30個(gè)、修飾詞4-5個(gè)為宜。
　　2個(gè)關(guān)鍵：
　　類(lèi)目匹配度、類(lèi)目的相關(guān)性、檢查標題是否符合要求、生意參謀檢測、櫥窗有無(wú)推薦、類(lèi)目是否正確、屬性是否填寫(xiě)完整、有無(wú)低質(zhì)量交易。
　　以上介紹了五個(gè)標題選詞、優(yōu)化的方式，不知諸位店家有沒(méi)有又溫故而新知了一遍呢，不過(guò)在這過(guò)程中會(huì )消耗我們的好多時(shí)間和精力，一個(gè)10年營(yíng)運前輩說(shuō)他寫(xiě)一個(gè)好的標題要花一個(gè)小時(shí)的時(shí)間，然而對于大部分店家來(lái)說(shuō)，一整個(gè)過(guò)程出來(lái)起碼也須要2個(gè)小時(shí)左右，這時(shí)候難免感觸——
　　有沒(méi)有一鍵手動(dòng)優(yōu)化標題生成這些好事情呢？
　　有！
　　
　　免費開(kāi)通慧眼識貨你能夠做到一鍵手動(dòng)生成標題??！
　　【點(diǎn)擊即可免費發(fā)放大澤慧眼識貨】
　　免費發(fā)放慧眼識貨，并授權登陸后，進(jìn)入【大澤慧眼識貨】界面。
　　選擇基礎信息：
　　選擇版本，選擇您的所屬類(lèi)目，選擇模板，上傳識貨圖片，即開(kāi)始識貨。
　　
　　一鍵手動(dòng)生成標題：
　　已通過(guò)上傳的圖片手動(dòng)生成標題，點(diǎn)擊按鍵可以一鍵更換更多標題。
　　
　　大澤慧眼識貨——自動(dòng)生成標題并經(jīng)過(guò)搜索優(yōu)化、標題相關(guān)性貼切、標題核心關(guān)鍵詞確切、標題字數符合26個(gè)字以上，滿(mǎn)足30字完整豐富，排列組合次序會(huì )推動(dòng)系統收錄關(guān)鍵詞。
　　1、自動(dòng)生成標題并經(jīng)過(guò)搜索優(yōu)化：
　　慧眼識貨通過(guò)AI智能文案生成技術(shù)，通過(guò)識貨的圖片結果手動(dòng)生成標題，且標題經(jīng)過(guò)搜索優(yōu)化，利于凸顯。
　　2、標題相關(guān)性貼切：
　　通過(guò)慧眼識貨生成的標題，關(guān)鍵詞來(lái)源與產(chǎn)品屬性，與產(chǎn)品貼切吻合。滿(mǎn)足搜索排名第一要素——相關(guān)性。
　　3、標題核心關(guān)鍵詞確切：
　　核心詞就是跟產(chǎn)品相關(guān)度最高同時(shí)搜索量又較大的詞?；垩圩R貨一鍵生成的標題能同時(shí)兼具相關(guān)性和搜索量?jì)蓚€(gè)指標，核心關(guān)鍵詞確切。
　　4、標題符合字數要求、完整豐富：
　　標題寬度為30個(gè)字（60個(gè)字符，一個(gè)漢字相當于2個(gè)字符），慧眼識貨一鍵生成的標題都符合26個(gè)字到30個(gè)字的字數要求，標題完整豐富，符合商品質(zhì)量信息要求。
　　5、緊密排列組合推動(dòng)系統收錄：
　　慧眼識貨一鍵生成的標題，利用緊密排列的原理進(jìn)行了排列組合，權重同等情況下，緊密排列的關(guān)鍵詞會(huì )優(yōu)先展示，自動(dòng)匹配產(chǎn)品標題，把作用發(fā)揮到最大，助力系統收錄關(guān)鍵詞。
　　慧眼識貨核心功能一鍵手動(dòng)生成標題，方便廣大店家的標題優(yōu)化需求，讓你們在選詞、組合、優(yōu)化等方面才能獲得方便的流程，提升效率，簡(jiǎn)化過(guò)程，直接獲得黃金標題。
　　大澤慧眼識貨目前支持六大類(lèi)目，女裝、男裝、童裝、箱包、內衣、鞋鞋行業(yè)的店家可以行動(dòng)上去了，用慧眼識貨手動(dòng)生成標題，快速上新，節省冗長(cháng)重復的時(shí)間。各位商家們趕快開(kāi)通/使用慧眼識貨體驗一下吧！
　　更多信息：
　　1、大澤慧眼識貨免費發(fā)放地址： 查看全部

　　一個(gè). 原理
　　手動(dòng)填寫(xiě)鏈接地址規則的原理是編寫(xiě)一個(gè)腳本規則以匹配源代碼中的內容并獲取您自己設置的參數.
　　使用常規解釋
　　[參數]
　　用于匹配準備提取信息的標簽. 例如，您想在以下代碼中提取并合并某種格式. 采取代碼“ mClk（this，'108484'，'134217'，'168475'，'1'）;”以提取并合并新的地址格式為例.
　　“ mClk（this，'[parameter]'，'[parameter]'，'[parameter]'，'1'）;”，按順序，108484參數是參數1，依此類(lèi)推. 所需的實(shí)際地址是以下地址格式: bbs / read.php？id = [parameter 1]＆sort = [parameter 3]＆action = [parameter 2]，上面代碼中的3個(gè)參數和下面地址中的id， soft和action參數應對應于相應的值，并且順序不應顛倒. 這會(huì )合并為新的地址格式.
　?。?）
　?。?）是通配符，可以表示優(yōu)采云采集器中起始地址的頁(yè)數，并且可以匹配標簽規則，模塊或其他設置中的任何字符串，例如（*）可以匹配xxx字符字符串也可以與yy字符串匹配.
　　二，使用場(chǎng)合和使用方法
　　1. 通常，可以手動(dòng)獲取可以自動(dòng)獲取URL鏈接的網(wǎng)頁(yè). 手動(dòng)填寫(xiě)鏈接地址的靈活性較高！
　　2. 如果網(wǎng)頁(yè)源代碼中的內容頁(yè)面鏈接未標準化，或者URL中沒(méi)有鏈接，則可以使用手動(dòng)填寫(xiě)鏈接地址規則.
　　插圖:
　　示例1，例如ajax鏈接
　　通過(guò)查看源代碼，我們可以看到URL鏈接不是標準化的，因此鏈接地址不能直接用于獲取URL.
　　
　　解決方案:
　　
　　腳本規則:
　　實(shí)際鏈接: [參數1] / [參數2] / [參數3] /
　　示例2: 例如，列表頁(yè)面中內容頁(yè)面只有一個(gè)ID，而沒(méi)有其他URL信息，因此也可以通過(guò)手動(dòng)填寫(xiě)鏈接地址規則來(lái)獲取.
　　列表頁(yè)面網(wǎng)址:
　　內容頁(yè)面網(wǎng)址:
　　檢查源代碼表明URL鏈接也不規則.
　　
　　解決方案:
　　
　　腳本規則: |（*），[參數]，
　　實(shí)際鏈接: [參數1] 查看全部

　　最近，許多首次聯(lián)系優(yōu)采云采集器的用戶(hù)都反饋說(shuō)，優(yōu)采云采集器 V9具有免費版本，基本版本，最終機器代碼版本，最終版本的自動(dòng)授權版本，獨占版本. 企業(yè)版，以及企業(yè)版如何在豪華版等多個(gè)版本之間進(jìn)行選擇？
　　小蔡為您準備了以下指南，相信它將幫助您選擇版本.
　　首先，讓我們看一下免費版本. 優(yōu)采云采集器的免費版本也可以終身使用，并且不限制使用時(shí)間. 它與付費版本僅在功能上有所不同. 偉大的神靈可能暫時(shí)沒(méi)有考慮免費版本的所有功能是否滿(mǎn)足您的需求，那么我們將看看免費版本暫時(shí)不支持哪些功能，如果您需要使用它，只需選擇對應的商業(yè)版本?</p
p1. 無(wú)標簽組合功能/p
p當需要從兩個(gè)標簽采集的內容中合成一個(gè)內容時(shí)，需要使用此功能./p
p例如: [標簽C] = [標簽A] + [標簽B]，請參見(jiàn)下圖:/p
pimg src='https://pic2.zhimg.com/v2-dc6bed9a281e0c62faac43fca663724f_b.jpg' alt=''//p
p2. 無(wú)限列表網(wǎng)址集合（支持兩個(gè)以上級別）/p
p我們在采集網(wǎng)頁(yè)時(shí)經(jīng)常遇到多級列表. 例如，對于Dianping.com的分類(lèi)（單擊此處以查看共享的相關(guān)規則），您需要使用優(yōu)采云采集器的多級列表功能. 有關(guān)功能用法，請參見(jiàn)下圖:/p
pimg src='https://pic3.zhimg.com/v2-4ab849de9251f95154f8cccd98856740_b.jpg' alt=''//p
p3. 以任何格式下載文件/p
p在采集過(guò)程中，我們會(huì )遇到一些要下載的附件文件，例如word文檔，壓縮文件，PDF和其他格式文件，而免費版本不支持下載圖片以外的其他格式文件./p
p4. 使用FTP自動(dòng)將文件上傳到網(wǎng)站/p
p如上所述，提到了任何格式的文件下載. 由于存在下載，因此當我們需要在網(wǎng)站上發(fā)布功能時(shí)，我們需要上載該功能. 優(yōu)采云采集器提供了使用FTP自動(dòng)上傳文件的功能，包括圖片的自動(dòng)上傳. 您無(wú)法在免費版本中使用此功能，只能手動(dòng)上傳文件，也無(wú)法同步和自動(dòng)上傳文件. 有關(guān)FTP功能，請參見(jiàn)下圖:/p
pimg src='https://picb.zhimg.com/v2-e111c284d6cbdbbce4be81dac8be81ab_b.jpg' alt=''//p
p5. 將數據導出為Word，Excel，CSV格式/p
p將采集的數據發(fā)布到本地計算機，并將其另存為文件格式. 免費版本不支持Word，Excel，CSV格式，而僅支持TXT和html格式./p
p6，MySql和SqlServer數據庫保存數據/p
p免費版本的默認版本是Sqlite數據庫. 當數據量很大時(shí)，默認數據庫將導致軟件運行緩慢. 此時(shí)，您需要使用MySql或SqlServer數據庫./p
p7. 多頁(yè)采集功能/p
p當我們采集內容時(shí)，有時(shí)會(huì )遇到內容不在同一頁(yè)面上的情況. 進(jìn)入內容頁(yè)面后，我們需要進(jìn)入另一個(gè)頁(yè)面，稱(chēng)為多頁(yè)面集合. 點(diǎn)擊此處以查看攜程的多頁(yè)采集案例/p
p8. 列表頁(yè)面標簽采集功能/p
p經(jīng)常遇到要采集的內容在列表頁(yè)面上，內容頁(yè)面不可用或內容頁(yè)面采集不便的情況，因此需要列表頁(yè)面采集功能./p
p采集內容URL時(shí)，將采集列表頁(yè)面上所需的內容./p
p點(diǎn)擊此處查看昭聯(lián)招募案/p
p9. 計劃任務(wù)功能/p
p當我們采集一些新聞網(wǎng)站時(shí)，我們需要在固定的時(shí)間采集它們并自動(dòng)發(fā)布它們，以便計劃的任務(wù)可以在24小時(shí)內自動(dòng)更新和發(fā)布. 單擊此處以參考教程/p
p10. 其他一些功能/p
p自動(dòng)提取第一張圖片，自動(dòng)摘要，將數據發(fā)布到MySql \ SqlServer和其他功能始終可以在需要時(shí)為您提供幫助. 我不會(huì )在這里詳細介紹. 以上9個(gè)是更常用的功能./p
p如果上述功能已經(jīng)可以滿(mǎn)足大神的需求，那么您可以選擇基本版本（商業(yè)授權也可以終身使用，沒(méi)有過(guò)期版本可以免費使用）/p
p但是對于一個(gè)更專(zhuān)業(yè)的上帝來(lái)說(shuō)，上述功能遠遠不夠，所以接下來(lái)我將向您介紹更高版本./p
p旗艦版及更高版本的功能/p
p與基本版本相比，旗艦版本及更高版本還具有一些高級功能，可以滿(mǎn)足諸神的操作. 讓我列出一些更常用的功能./p
p1，二級代理商/p
p采集IP時(shí)，您需要使用輔助代理功能. 當然，您需要擁有IP代理資源. 目前，官方機構不提供代理資源/p
p2. 圖片會(huì )自動(dòng)加水印/p
p自動(dòng)為采集的圖片添加水印/p
p3. 支持標簽處理C#和C#外部插件功能/p
p4. 挖掘時(shí)發(fā)布功能/p
p例如，需要采集100,000條信息. 基本版本只能在完成所有采集后才能發(fā)布，而旗艦版及更高版本則支持同時(shí)采集和分發(fā)./p
p5，Json提取功能/p
p支持Json格式的數據采集和提取/p
p6. 支持python插件，采集和警告配置，支持SSH（SFTP文件）上傳/p
p旗艦版及更高版本需要支持以上功能. 如果您需要使用上述功能的基本版本，那還不夠./p
p旗艦版和更高版本之間的區別/p
p那么旗艦版和更高版本之間有什么區別？除了企業(yè)版（該企業(yè)版還支持向Oracle和Http接口管理采集器發(fā)布數據）之外，主要區別在于計算機授權./p
p基本版本和旗艦機器代碼版本: 綁定1臺授權計算機，您可以免費更改一次授權./p
p旗艦自動(dòng)許可版本: 綁定一臺授權計算機，您可以無(wú)限次更改計算機./p
p企業(yè)專(zhuān)用版: 綁定了5臺授權計算機（2個(gè)加密狗版本+ 3個(gè)機器代碼版本），并且3個(gè)授權可以免費更換. 加密狗版本可以在任何計算機上使用./p
p企業(yè)豪華版: 綁定10臺授權計算機（4臺加密狗版本+ 6臺自動(dòng)授權版本），您可以無(wú)限次隨意更改計算機./p
p注意: 捆綁的授權計算機表示該軟件只能在綁定到授權計算機的計算機上運行商業(yè)版本. 自授權版本和加密狗版本可以在不同的計算機上使用，即可以在不同的計算機上使用，但同時(shí)只能在計算機上使用./p
p現在讓我們看看哪個(gè)版本最適合您?/p
p（1）如果您的軟件長(cháng)時(shí)間固定在計算機上，則無(wú)需經(jīng)常更換，基本版本的功能已經(jīng)可以滿(mǎn)足您的需求?????選擇基本版本/p
p（2）如果您的軟件長(cháng)時(shí)間安裝在計算機上，則不需要經(jīng)常更換，但是您需要旗艦版?????的高級功能選擇旗艦機器代碼版本/p
p（3）如果您的軟件未固定在計算機上，則通常需要更改計算機以運行?????選擇旗艦自動(dòng)許可版本/p
p（4）如果需要大規模采集數據，請使用多臺計算機同時(shí)運行該軟件，或者需要多人同時(shí)在不同的計算機上進(jìn)行操作（5套）?????選擇企業(yè)版高級版/p
p（5）如果需要大規模采集數據，請使用多臺計算機同時(shí)運行該軟件，或者需要多人同時(shí)在不同的計算機上進(jìn)行操作（10套）?????選擇企業(yè)版豪華版/p
p當然，如果您仍然有無(wú)法滿(mǎn)足的需求，請聯(lián)系我們的客戶(hù)服務(wù)經(jīng)理MM（企業(yè)QQ: 800019423），優(yōu)采云采集器視客戶(hù)為上帝，并將為您量身定制./p
p回顧以前的教程/p
p?【教程步驟1】，開(kāi)始使用優(yōu)采云采集器/p
p?[教程步驟2]優(yōu)采云采集器的URL采集/p
p?[教程步驟3] 優(yōu)采云采集器的內容采集/p
p?[教程步驟4]優(yōu)采云采集器在線(xiàn)發(fā)布/p
p?[教程步驟5]理解POST以獲得URL和捕獲數據包的時(shí)間/p
p?[Tutorial step.6]閱讀本文后，[Parameter N]不會(huì )讓您暈眩/p
p?[教程步驟7]如何按頁(yè)面采集內容？/p
p?[教程步驟8]，如果您遇到這樣的反爬網(wǎng)網(wǎng)站怎么辦？/p
p?[教程步驟9]. 如果您不懂常規，只需寫(xiě)下這些表達式/p
p?[教程步驟10]優(yōu)采云采集器數據處理的神奇效果/p
p?[教程步驟11]，看不到嗎？嘗試多頁(yè)??[教程步驟12]優(yōu)采云采集器V9計劃任務(wù)設置/p
p>>必要提示
　　優(yōu)采云采集器用戶(hù)手冊| 優(yōu)采云 Browser用戶(hù)手冊
　　>>>>軟件咨詢(xún)
　　官方網(wǎng)站|價(jià)格特色|常見(jiàn)問(wèn)題 查看全部

　　VG瀏覽器中收錄三合一的集合瀏覽器，營(yíng)銷(xiāo)工件和可視腳本驅動(dòng)的Web工具. 使用此軟件，就等于同時(shí)擁有三個(gè)軟件. 用戶(hù)可以設置腳本來(lái)實(shí)現自動(dòng)登錄，識別驗證碼，自動(dòng)抓取數據，單擊網(wǎng)頁(yè)，下載文件，操縱數據庫，發(fā)送和接收電子郵件以及其他操作. 軟件中的所有功能均可自由組合. 您還可以使用該軟件編寫(xiě)獨特的腳本來(lái)協(xié)助您的工作，也可以生成單獨的EXE程序進(jìn)行出售.
　　
　　基本介紹
　　VG瀏覽器是由可視腳本驅動(dòng)的網(wǎng)頁(yè)自動(dòng)操作工具. 只需設置一個(gè)腳本即可創(chuàng )建自動(dòng)登錄，識別驗證碼，自動(dòng)捕獲數據，自動(dòng)提交數據，單擊網(wǎng)頁(yè)并下載文件. 個(gè)性化和實(shí)用的腳本項目，例如操作數據庫，發(fā)送和接收電子郵件. 您還可以使用邏輯運算來(lái)完成判斷，循環(huán)，跳轉和其他功能. 腳本靈活且易于自由組合. 沒(méi)有任何編程基礎，您可以輕松，快速地編寫(xiě)功能強大且獨特的腳本來(lái)協(xié)助我們的工作. 生成待售的獨立EXE程序.
　　
　　軟件功能
　　視覺(jué)操作
　　操作簡(jiǎn)單，圖形化操作完全可視化，不需要專(zhuān)業(yè)的IT人員.
　　自定義流程
　　采集就像構建塊一樣，功能可以自由組合.
　　自動(dòng)編碼
　　程序注重采集效率，頁(yè)面分析速度非?？?
　　生成EXE
　　自動(dòng)登錄，自動(dòng)識別驗證碼是一種通用瀏覽器.
　　使用方法
　　通過(guò)CSS路徑定位網(wǎng)頁(yè)元素的路徑是VG瀏覽器的一項非常有用的功能. 選擇需要填寫(xiě)CSS Path規則的任何步驟，然后單擊內置瀏覽器的按鈕
　　
　　單擊網(wǎng)頁(yè)元素以自動(dòng)生成該元素的CSS路徑. 很少有復雜框架的網(wǎng)頁(yè)可能無(wú)法通過(guò)內置瀏覽器生成路徑. 您也可以在其他瀏覽器上復制CSS路徑. 當前，各種多核瀏覽器都支持復制CSS Path. 例如，可以通過(guò)按F12鍵或右鍵單擊頁(yè)面以選擇審閱元素來(lái)檢查所有Chrome內核瀏覽器，例如Google Chrome，360安全瀏覽器，360 Speed瀏覽器，UC瀏覽器等.
　　
　　右鍵單擊目標部分，然后選擇“復制CSS路徑”以將CSS路徑復制到剪貼板，
　　
　　在Firefox中，您也可以按F12鍵或右鍵單擊以查看元素. 顯示開(kāi)發(fā)人員工具后，右鍵單擊底部節點(diǎn)，然后選擇“僅復制選擇器”以復制CSS路徑.
　　
　　
　　CSS路徑規則與JQuery選擇器規則完全兼容. 如果您知道如何編寫(xiě)JQuery選擇器，也可以自己編寫(xiě)CSS路徑 查看全部

　　1. 網(wǎng)站定位使用核心詞來(lái)采集和組織長(cháng)尾關(guān)鍵詞
　　確定網(wǎng)站的主題和方向，例如核心關(guān)鍵字: 二手車(chē). 以下是重點(diǎn). 長(cháng)尾關(guān)鍵詞是怎么來(lái)的？在這里您需要了解該程序，只需使用php字段即可采集: 百度相關(guān)搜索. 對于初學(xué)者來(lái)說(shuō)可能比較困難. 使用php字段方法（常規是可以的，該字段很簡(jiǎn)單）來(lái)采集所有收錄“二手車(chē)”的關(guān)鍵字，并且自動(dòng)無(wú)限制地采集的關(guān)鍵字數量非常大（不采集重復的關(guān)鍵字，并且長(cháng)度超過(guò)限制. 不采集關(guān)鍵字. ）
　　2. 長(cháng)尾關(guān)鍵詞進(jìn)行分類(lèi)
　　包括“二手車(chē)”在內的所有關(guān)鍵字將被采集和處理，大致分為三個(gè)類(lèi)別: 1.導航類(lèi)別； 2.交易類(lèi)別； 3.信息類(lèi)別；進(jìn)行此分類(lèi)的原因是不分隔列. 在下面組合長(cháng)尾關(guān)鍵字很方便.
　　3. 組合長(cháng)尾關(guān)鍵詞
　　上面分隔的三種類(lèi)型的關(guān)鍵字，每篇文章隨機提取一個(gè)導航，交易和信息關(guān)鍵字，并將它們組合為標題. 目的是使標題更加多樣化和可搜索. 它更易于搜索，而且長(cháng)尾關(guān)鍵字易于排名，您可以輕松訪(fǎng)問(wèn)主頁(yè). 如果人數很多，您獲得的流量將非常直觀(guān).
　　4. 根據由長(cháng)尾關(guān)鍵詞組成的標題制作內容
　　從分類(lèi)中提取關(guān)鍵字組合作為標題. 由于所有關(guān)鍵字都收錄“二手車(chē)”，因此您不必擔心它們之間的關(guān)系. 如果使用館藏，可以考慮采集一些相關(guān)內容進(jìn)行組合，或者采集別人的文章到百度翻譯，再翻譯成中文，這些方法不好，可讀性差，不利于長(cháng)遠發(fā)展該網(wǎng)站，而百度垃圾郵件識別也在不斷完善.
　　5. 原理分析
　　長(cháng)尾關(guān)鍵詞具有快速排名的能力，并且是增加有效流量的最佳途徑. 花在核心關(guān)鍵字上的時(shí)間可能是成千上萬(wàn)的長(cháng)尾關(guān)鍵字. 在這里我采集了百度上的相關(guān)搜索，并確認這些關(guān)鍵詞是人們搜索過(guò)的關(guān)鍵詞，并且“二手車(chē)”一詞的相關(guān)性是確定的，加上分類(lèi)，然后組合成標題，三種標題類(lèi)別被集成到其中，使用戶(hù)更容易搜索. 該方法簡(jiǎn)單，直接，有效. 如果您精通該程序，那么這樣做實(shí)在太容易了. 如果您使用大量的長(cháng)尾關(guān)鍵字制作內容，則始終會(huì )有很多關(guān)鍵字在首頁(yè)上排名，訪(fǎng)問(wèn)量將會(huì )增加十倍. 根本不是問(wèn)題. 查看全部

　　[摘要]: LTE（長(cháng)期演進(jìn)）是一種廣泛用于4G的通信技術(shù). 它以帶寬，頻譜利用率，網(wǎng)絡(luò )吞吐量等優(yōu)勢進(jìn)入市場(chǎng)，受到越來(lái)越多用戶(hù)的喜愛(ài)，引起了研究者的廣泛關(guān)注. 但是，隨著(zhù)LTE技術(shù)的普及，利用LTE技術(shù)構建的移動(dòng)通信網(wǎng)絡(luò )（稱(chēng)為“ LTE網(wǎng)絡(luò )”）中的安全性問(wèn)題也不容忽視. 在過(guò)去的幾年中，對LTE網(wǎng)絡(luò )安全性的研究主要集中在提出有效的安全認證方案或安全訪(fǎng)問(wèn)控制策略的領(lǐng)域. 但是，隨著(zhù)數據分析方法的興起，出現了基于LTE網(wǎng)絡(luò )數據的研究. 由于數據是數據分析方法中知識發(fā)現和決策過(guò)程的基礎，因此人們將通過(guò)處理和分析相關(guān)數據來(lái)獲得有價(jià)值的結論，例如處理和分析LTE網(wǎng)絡(luò )數據以識別網(wǎng)絡(luò )中是否存在某種攻擊. . 數據分析的關(guān)鍵是機器學(xué)習算法. 它可以通過(guò)學(xué)習訓練數據集來(lái)發(fā)現數據中存在的規律，然后根據先前學(xué)習的經(jīng)驗和知識來(lái)預測未知數據，以獲得相應的結論. 考慮到LTE網(wǎng)絡(luò )安全研究的重要性，數據分析的重要性以及機器學(xué)習算法在數據處理過(guò)程中的作用，本文研究了如何使用機器學(xué)習方法快速，準確和自適應地采集LTE網(wǎng)絡(luò )安全性數據，并結合，處理和分析采集的數據. 在現有工作中，已經(jīng)進(jìn)行了很多有關(guān)LTE網(wǎng)絡(luò )入侵檢測的研究.
　　首先采集一些指定的LTE網(wǎng)絡(luò )安全數據，然后使用機器學(xué)習算法來(lái)預測網(wǎng)絡(luò )中是否存在某種攻擊. 但是，據我們所知，在大規模的LTE網(wǎng)絡(luò )數據環(huán)境中，幾乎沒(méi)有文獻專(zhuān)門(mén)討論如何采集LTE網(wǎng)絡(luò )安全數據，以避免由于重復采集或造成重復采集而浪費資源和時(shí)間. 采集不完整. 數據中收錄的信息不夠完整，無(wú)法獲得準確的結果. 很少有文檔討論如何將采集的LTE網(wǎng)絡(luò )安全數據組合在一起以分析整個(gè)LTE網(wǎng)絡(luò )的安全狀態(tài). 為了彌補LTE網(wǎng)絡(luò )安全研究中數據采集與組合方法中存在的上述問(wèn)題，在LTE網(wǎng)絡(luò )安全數據采集與組合設計的基礎上，提出了一種自適應LTE網(wǎng)絡(luò )安全數據采集算法和LTE網(wǎng)絡(luò )安全數據. 框架. 組合算法. 我們的工作與傳統方法之間的區別在于獲取策略的反饋過(guò)程和串并結構的數據處理過(guò)程. 提出的兩種算法與機器學(xué)習算法相結合. 機器學(xué)習中使用的主要核心算法是特征選擇算法和分類(lèi)算法. 基于這兩個(gè)核心算法，我們設計了基于LTE網(wǎng)絡(luò )安全數據的設計. 基于串行-并行結構的局部互信息增益特征選擇算法和支持向量機算法. 其中，特征選擇算法用于計算LTE網(wǎng)絡(luò )安全數據對分類(lèi)結果的影響程度，然后根據特征選擇結果制定相應的采集策略，并反饋給網(wǎng)絡(luò )采集器以指導將來(lái)的數據. 采集;分類(lèi)算法用于串行和并行在網(wǎng)絡(luò )數據處理的結構中，有必要識別并預測不同安全類(lèi)別的組合數據所反映的安全問(wèn)題，然后評估LTE網(wǎng)絡(luò )中的安全問(wèn)題.
　　為了驗證設計框架和算法的性能，我們使用NS3網(wǎng)絡(luò )仿真工具來(lái)仿真正常LTE網(wǎng)絡(luò )環(huán)境和異常LTE網(wǎng)絡(luò )環(huán)境，并在物理層模擬信號干擾攻擊，帶寬竊取攻擊在多媒體訪(fǎng)問(wèn)層和應用程序層進(jìn)行拒絕服務(wù)攻擊，并在模擬LTE網(wǎng)絡(luò )的不同層中部署網(wǎng)絡(luò )安全數據采集器以采集網(wǎng)絡(luò )數據. 然后，本文提出的數據采集和組合算法是用Python語(yǔ)言編程實(shí)現的. 最后，設計了一個(gè)測試實(shí)驗來(lái)測試本文提出的數據采集和組合算法的性能. 測試結果證明了該方法在LTE網(wǎng)絡(luò )安全分析中的優(yōu)勢. 查看全部