亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

文章采集接口

文章采集接口

小浣熊動(dòng)漫cms3.0版本最新采集規則和發(fā)布模塊加插口加插件

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 606 次瀏覽 ? 2020-08-09 12:45 ? 來(lái)自相關(guān)話(huà)題

  2.根據網(wǎng)站版本選擇對應的發(fā)布模塊和插口,并配置即可
  3.規則里有具體的使用視頻教學(xué)
  4.必須使用優(yōu)采云v9.8內部版(自己在網(wǎng)上找)
  5.使用簡(jiǎn)易教程:
  首先保證你手里有三個(gè)文件或則更多,例如Write.php(發(fā)布插口) xxxx.ljobx(采集規則) xxx.wpm(發(fā)布模塊) xxx.cs(采集插件)
  1.選擇對應版本優(yōu)采云導入 采集規則 和 發(fā)布模塊 去網(wǎng)站對應位置替換 Write.php(發(fā)布插口)
  優(yōu)采云安裝目錄/Module 這是放發(fā)布模塊的
  優(yōu)采云安裝目錄/Plugins 這是放插件的
  網(wǎng)站安裝目錄/application/api/controller 這是放發(fā)布插口的
  2.修改規則中的 cookie 發(fā)布規則配置 插件配置 一些關(guān)鍵標簽的替換值(不同的規則可能不需要修改)
  cookie的作用是為了采集一些須要會(huì )員登錄就能采集的東西
  發(fā)布配置,就是編輯任務(wù)中 第三步 ,添加發(fā)布配置,選擇發(fā)布模塊,并填寫(xiě)自己的url即可
  插件配置 部分規則使用插件輔助采集,所以須要在第四步中選擇對應的采集插件
  一些標簽的值, 如api秘鑰,單章價(jià)錢(qián),甚至是圖片轉本地后的對應新域名都須要自行修改
  3.完成上述,在第一步頁(yè)面測試網(wǎng)址獲取并點(diǎn)擊任意內容頁(yè)進(jìn)行測試采集
  4.右下角測試還有個(gè)測試發(fā)布,配置完發(fā)布配置的可以測試下,這里的測試發(fā)布可以有效查看發(fā)布狀態(tài)和錯誤 查看全部

  2.根據網(wǎng)站版本選擇對應的發(fā)布模塊和插口,并配置即可
  3.規則里有具體的使用視頻教學(xué)
  4.必須使用優(yōu)采云v9.8內部版(自己在網(wǎng)上找)
  5.使用簡(jiǎn)易教程:
  首先保證你手里有三個(gè)文件或則更多,例如Write.php(發(fā)布插口) xxxx.ljobx(采集規則) xxx.wpm(發(fā)布模塊) xxx.cs(采集插件)
  1.選擇對應版本優(yōu)采云導入 采集規則 和 發(fā)布模塊 去網(wǎng)站對應位置替換 Write.php(發(fā)布插口)
  優(yōu)采云安裝目錄/Module 這是放發(fā)布模塊的
  優(yōu)采云安裝目錄/Plugins 這是放插件的
  網(wǎng)站安裝目錄/application/api/controller 這是放發(fā)布插口的
  2.修改規則中的 cookie 發(fā)布規則配置 插件配置 一些關(guān)鍵標簽的替換值(不同的規則可能不需要修改)
  cookie的作用是為了采集一些須要會(huì )員登錄就能采集的東西
  發(fā)布配置,就是編輯任務(wù)中 第三步 ,添加發(fā)布配置,選擇發(fā)布模塊,并填寫(xiě)自己的url即可
  插件配置 部分規則使用插件輔助采集,所以須要在第四步中選擇對應的采集插件
  一些標簽的值, 如api秘鑰,單章價(jià)錢(qián),甚至是圖片轉本地后的對應新域名都須要自行修改
  3.完成上述,在第一步頁(yè)面測試網(wǎng)址獲取并點(diǎn)擊任意內容頁(yè)進(jìn)行測試采集
  4.右下角測試還有個(gè)測試發(fā)布,配置完發(fā)布配置的可以測試下,這里的測試發(fā)布可以有效查看發(fā)布狀態(tài)和錯誤

WordPress4.X-5.3優(yōu)采云免登錄發(fā)布插口+模塊(增強版)下載

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 159 次瀏覽 ? 2020-08-09 12:26 ? 來(lái)自相關(guān)話(huà)題

  自古文章天下一大抄,看你會(huì )抄不會(huì )秒。對于好多站長(cháng),因為人的極限性,網(wǎng)站沒(méi)有采集文章只靠自己百分百純原創(chuàng )是極少的也是廢精力的,好的內容采集一下也是不錯的。最近接觸了優(yōu)采云采集器,自己這個(gè)站也是wordpress搭的站點(diǎn),用到了一款免登錄發(fā)布文章接口的模塊,感覺(jué)很好用。因為網(wǎng)上的大多教程都是用的優(yōu)采云V7.6在作演示,對于一些新接觸優(yōu)采云采集V9版本的新用戶(hù)是有點(diǎn)難懂。我明天就在這分享一下用優(yōu)采云V9版本的教程。我在wordpress4.4、4.5、4.6、4.7、4.9至現今最新版5.3.2測試都可以用。
  下載地址:
  鏈接: 提取碼:z6kf
  WordPress4.X-5.3優(yōu)采云免登錄發(fā)布插口+模塊(增強版)功能適用于優(yōu)采云采集器7.6-V9.12(目前最新版)優(yōu)化了驗證標題重復優(yōu)化了附件、圖片、縮略圖的上傳和生成降低了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)修補BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2修補BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)優(yōu)化strtoarray函數更新說(shuō)明
  T3: 2017.11.03
  1、優(yōu)化了驗證標題重復
  2、優(yōu)化了附件、圖片、縮略圖的上傳和生成
  T2: 2017.10.23
  1、增加了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)
  2、修復BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤
  T1:2017.10.12
  1、舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2
  2、修復BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)
  3、優(yōu)化strtoarray函數
  功能特點(diǎn)解讀1.分類(lèi)(category)2.標簽3.作者4.圖片和縮略圖:5.時(shí)間和預約發(fā)布:6.評論:7.其它:WordPress優(yōu)采云免登錄插口使用教程
  將locoy.php放在wordpress站點(diǎn)根目錄,將” WordPress免登錄發(fā)布插口.wpm”放到優(yōu)采云采集器下的“Module”文件夾, 然后在優(yōu)采云采集器編輯任務(wù),選擇 第三步: 發(fā)布內容規則 頁(yè)面下的 Web在線(xiàn)發(fā)布。如下圖。(當前用的是優(yōu)采云V9.12),第4登錄操作-網(wǎng)站那里填寫(xiě)你自己的網(wǎng)站域名。
  
  返回第三步內容發(fā)布規則那,選擇剛剛保存的配置文件。
  
  完成以上的步驟早已可以發(fā)布正常的數據啦, 可以發(fā)布得內容有:
  標題,內容(此標簽可以上傳圖片和文件),分類(lèi),作者,時(shí)間,摘要,縮略圖(系統會(huì )默認調用內容的第一張圖片為縮略圖,此標簽可選)”。如果你不需要個(gè)別標簽,可以按照上圖,編輯發(fā)布模塊,在“內容發(fā)布參數”中刪掉對不想要的表單名和表單值。
  WordPress優(yōu)采云免登錄插口進(jìn)階教程
  關(guān)于安全配置、多個(gè)分類(lèi),多個(gè)標簽,自定義數組(post_meta), 自定義分類(lèi)(category), 自定義文章類(lèi)型(post_type), 自定義文章形式(post_format), 自定義分類(lèi)方法(taxonomy), 自定義分類(lèi)信息(add_term_meta)請往下看。
  模塊參數列表:
  //以下為代碼正文…
post_title 必選 標題
post_content 必選 內容
tag 可選 標簽
post_category 可選 分類(lèi)
post_date 可選 時(shí)間
post_excerpt 可選 摘要
post_author 可選 作者
category_description 可選 分類(lèi)信息
post_cate_meta[name] 可選 自定義分類(lèi)信息
post_meta[name] 可選 自定義字段
post_type 可選 文章類(lèi)型 默認為'post'
post_taxonomy 可選 自定義分類(lèi)方式
post_format 可選 文章形式
  參考功能說(shuō)明:
  如何發(fā)布文章同時(shí)屬于多個(gè)分類(lèi),多個(gè)標簽?
  多分類(lèi)和多標簽必須用冒號隔開(kāi),支持name和 id 兩種形式, 模塊手動(dòng)判定。 例如 name: 科幻,動(dòng)作,動(dòng)漫 id: 1,3,6,2
  如何發(fā)布自定義數組?
  
  在web發(fā)布配置,進(jìn)入發(fā)布插口的編輯模式,然后在內容發(fā)布參數新增post_meta[]表單, []中間為自定義數組的名稱(chēng),表單值為[標簽:SEO標題],比如我這兒設置為SEO標題,在優(yōu)采云采集器第二步內容采集那里對應的標簽名就是SEO標題。
  如何進(jìn)行安全配置?
  文件會(huì )對數據進(jìn)行過(guò)濾, 但是為了數據的安全, 所以建議:
  1.更改通信秘鑰,更改locoy.php文件的61行”$secretWord = ‘123456’;” (注意!這個(gè)秘鑰必須要Web發(fā)布配置中的全局變量保持一致)。
  2.將文件重命名為愈加復雜的名子. 重命名后須要更改發(fā)布模塊的以下幾個(gè)參數,保持一致性。
  
  關(guān)于文件上傳
  1.在Web發(fā)布模塊/高級功能/添加標簽名
  
  2.在優(yōu)采云采集器任務(wù)的第二步,內容采集規則,內容-文件下載,設置參照如圖設置:
  
  關(guān)于其它自定義的使用方式和自定義數組大同小異,僅是更換了表單名,某些自定義屬性支持字段。 查看全部

  自古文章天下一大抄,看你會(huì )抄不會(huì )秒。對于好多站長(cháng),因為人的極限性,網(wǎng)站沒(méi)有采集文章只靠自己百分百純原創(chuàng )是極少的也是廢精力的,好的內容采集一下也是不錯的。最近接觸了優(yōu)采云采集器,自己這個(gè)站也是wordpress搭的站點(diǎn),用到了一款免登錄發(fā)布文章接口的模塊,感覺(jué)很好用。因為網(wǎng)上的大多教程都是用的優(yōu)采云V7.6在作演示,對于一些新接觸優(yōu)采云采集V9版本的新用戶(hù)是有點(diǎn)難懂。我明天就在這分享一下用優(yōu)采云V9版本的教程。我在wordpress4.4、4.5、4.6、4.7、4.9至現今最新版5.3.2測試都可以用。
  下載地址:
  鏈接: 提取碼:z6kf
  WordPress4.X-5.3優(yōu)采云免登錄發(fā)布插口+模塊(增強版)功能適用于優(yōu)采云采集器7.6-V9.12(目前最新版)優(yōu)化了驗證標題重復優(yōu)化了附件、圖片、縮略圖的上傳和生成降低了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)修補BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2修補BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)優(yōu)化strtoarray函數更新說(shuō)明
  T3: 2017.11.03
  1、優(yōu)化了驗證標題重復
  2、優(yōu)化了附件、圖片、縮略圖的上傳和生成
  T2: 2017.10.23
  1、增加了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)
  2、修復BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤
  T1:2017.10.12
  1、舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2
  2、修復BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)
  3、優(yōu)化strtoarray函數
  功能特點(diǎn)解讀1.分類(lèi)(category)2.標簽3.作者4.圖片和縮略圖:5.時(shí)間和預約發(fā)布:6.評論:7.其它:WordPress優(yōu)采云免登錄插口使用教程
  將locoy.php放在wordpress站點(diǎn)根目錄,將” WordPress免登錄發(fā)布插口.wpm”放到優(yōu)采云采集器下的“Module”文件夾, 然后在優(yōu)采云采集器編輯任務(wù),選擇 第三步: 發(fā)布內容規則 頁(yè)面下的 Web在線(xiàn)發(fā)布。如下圖。(當前用的是優(yōu)采云V9.12),第4登錄操作-網(wǎng)站那里填寫(xiě)你自己的網(wǎng)站域名。
  
  返回第三步內容發(fā)布規則那,選擇剛剛保存的配置文件。
  
  完成以上的步驟早已可以發(fā)布正常的數據啦, 可以發(fā)布得內容有:
  標題,內容(此標簽可以上傳圖片和文件),分類(lèi),作者,時(shí)間,摘要,縮略圖(系統會(huì )默認調用內容的第一張圖片為縮略圖,此標簽可選)”。如果你不需要個(gè)別標簽,可以按照上圖,編輯發(fā)布模塊,在“內容發(fā)布參數”中刪掉對不想要的表單名和表單值。
  WordPress優(yōu)采云免登錄插口進(jìn)階教程
  關(guān)于安全配置、多個(gè)分類(lèi),多個(gè)標簽,自定義數組(post_meta), 自定義分類(lèi)(category), 自定義文章類(lèi)型(post_type), 自定義文章形式(post_format), 自定義分類(lèi)方法(taxonomy), 自定義分類(lèi)信息(add_term_meta)請往下看。
  模塊參數列表:
  //以下為代碼正文…
post_title 必選 標題
post_content 必選 內容
tag 可選 標簽
post_category 可選 分類(lèi)
post_date 可選 時(shí)間
post_excerpt 可選 摘要
post_author 可選 作者
category_description 可選 分類(lèi)信息
post_cate_meta[name] 可選 自定義分類(lèi)信息
post_meta[name] 可選 自定義字段
post_type 可選 文章類(lèi)型 默認為'post'
post_taxonomy 可選 自定義分類(lèi)方式
post_format 可選 文章形式
  參考功能說(shuō)明:
  如何發(fā)布文章同時(shí)屬于多個(gè)分類(lèi),多個(gè)標簽?
  多分類(lèi)和多標簽必須用冒號隔開(kāi),支持name和 id 兩種形式, 模塊手動(dòng)判定。 例如 name: 科幻,動(dòng)作,動(dòng)漫 id: 1,3,6,2
  如何發(fā)布自定義數組?
  
  在web發(fā)布配置,進(jìn)入發(fā)布插口的編輯模式,然后在內容發(fā)布參數新增post_meta[]表單, []中間為自定義數組的名稱(chēng),表單值為[標簽:SEO標題],比如我這兒設置為SEO標題,在優(yōu)采云采集器第二步內容采集那里對應的標簽名就是SEO標題。
  如何進(jìn)行安全配置?
  文件會(huì )對數據進(jìn)行過(guò)濾, 但是為了數據的安全, 所以建議:
  1.更改通信秘鑰,更改locoy.php文件的61行”$secretWord = ‘123456’;” (注意!這個(gè)秘鑰必須要Web發(fā)布配置中的全局變量保持一致)。
  2.將文件重命名為愈加復雜的名子. 重命名后須要更改發(fā)布模塊的以下幾個(gè)參數,保持一致性。
  
  關(guān)于文件上傳
  1.在Web發(fā)布模塊/高級功能/添加標簽名
  
  2.在優(yōu)采云采集器任務(wù)的第二步,內容采集規則,內容-文件下載,設置參照如圖設置:
  
  關(guān)于其它自定義的使用方式和自定義數組大同小異,僅是更換了表單名,某些自定義屬性支持字段。

監控Tomcat解決方案(監控應用服務(wù)器系列文章)

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 603 次瀏覽 ? 2020-08-09 10:47 ? 來(lái)自相關(guān)話(huà)題

  前言:做了一個(gè)監控應用服務(wù)器的項目(支持Tocmat、WebSphere、WebLogic各版本),過(guò)程也算是磕磕絆絆,由于網(wǎng)上缺乏相關(guān)資料,或者身陷于知識的海洋未能尋找到有效的資料,因而走過(guò)不少彎路,遇過(guò)不少困難。為了留下點(diǎn)印記,給后來(lái)人留下點(diǎn)經(jīng)驗之談,助之少走彎路,故將這種經(jīng)驗整理下來(lái),與你們分享。水平有限,難免偏頗,還望見(jiàn)諒。如有疑問(wèn),歡迎留言,或者加入Q群參與討論:35526521。
  監控Tomcat常見(jiàn)的兩種方案的比較
  使用Tomcat提供的manager應用進(jìn)行數據采集
  ◆ 可以使用現有的成熟代碼,減少工作量
  ◆ 支持各不同版本時(shí)無(wú)差異
  ◆ 可能存在特殊需求而manager不能滿(mǎn)足的情況
  ◆ 最重要的一個(gè)優(yōu)點(diǎn)是,配置比較簡(jiǎn)單
  使用JMX插口開(kāi)發(fā)監控程序
  ◆ 全部代碼須要從零開(kāi)始,代碼量較大
  ◆ 支持各不同版本比較麻煩,每個(gè)版本可能有差別
  ◆ 可支配性強
  ◆ 最重要的一個(gè)缺點(diǎn)是,配置比較麻煩
  方案一、使用 Tomcat提供的manager應用進(jìn)行數據采集
  Applications Manager(又稱(chēng)opManager)就是通過(guò)這些方法實(shí)現的。
  使用這些方法,所監控Tomcat必須運行manager應用,缺省情況下,該應用總是運行在服務(wù)器中的。
  增加manager角色用戶(hù)
  訪(fǎng)問(wèn)manager應用的用戶(hù)的角色權限必須是 manager.
  修改/conf目錄下的tomcat-users.xml文件,在節點(diǎn)下添加一個(gè)user節點(diǎn),即可創(chuàng )建一個(gè)用戶(hù)。
  Tomcat版本不同配置也有差別,5.x和6.x創(chuàng )建的用戶(hù)角色應為manager,7.x創(chuàng )建的用戶(hù)角色為manager-jmx,舉例如下:
  1、在5.x和6.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  2、在7.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  admin" password="chenfeng" roles="manager-jmx,manager-script,manager-status"/>
  修改配置后,需要重新啟動(dòng) Tomcat 服務(wù)器。
  連接manager時(shí)將用戶(hù)名/密碼指定為admin/chenfeng
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet
  詳見(jiàn)官方說(shuō)明文檔:
  What is JMX Proxy Servlet
  The JMX Proxy Servlet is a lightweight proxy to get and set the tomcat internals. (Or any class that has been exposed via an MBean) Its usage is not very user friendly but the UI is extremely help for integrating command line scripts for monitoring and changing the internals of tomcat. You can do two things with the proxy: get information and set information. For you to really understand the JMX Proxy Servlet, you should have a general understanding of JMX. If you don't know what JMX is, then prepare to be confused.
  JMX Query command
  This takes the form:
http://webserver/manager/jmxproxy/?qry=STUFF
Where STUFF is the JMX query you wish to perform. For example, here are some queries you might wish to run:
◆ qry=*%3Atype%3DRequestProcessor%2C* --> type=RequestProcessorwhich will locate all workers which can process requests and report their state.
◆ qry=*%3Aj2eeType=Servlet%2c* --> j2eeType=Servletwhich return all loaded servlets.
◆ qry=Catalina%3Atype%3DEnvironment%2Cresourcetype%3DGlobal%2Cname%3DsimpleValue --> Catalina:type=Environment,resourcetype=Global,name=simpleValuewhich look for a specific MBean by the given name.
You'll need to experiment with this to really understand its capabilites. If you provide no qry parameter, then all of the MBeans will be displayed. We really recommend looking at the tomcat source code and understand the JMX spec to get a better understanding of all the queries you may run.
  通過(guò)瀏覽器訪(fǎng)問(wèn):8080/manager/jmxproxy ,輸入用戶(hù)名密碼,然后就可以看見(jiàn)返回了所有的監控信息
  添加查詢(xún)參數,返回特定的監控信息:
  例如:
  :8080/manager/jmxproxy?qry=*%3Atype%3DRequestProcessor%2C*
  其中 *%3Atype%3DRequestProcessor%2C* 其實(shí)就是 *:type=RequestProcessor,*
  又如:
  :8080/manager/jmxproxy?qry=*%3Aj2eeType%3DWebModule%2Cname%3D//localhost/ajaxrpc%2C*
  在代碼中訪(fǎng)問(wèn)JMX Proxy Servlet
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet須要輸入用戶(hù)名密碼,所以通過(guò)Java訪(fǎng)問(wèn)JMX Proxy Servlet的URL也須要授權訪(fǎng)問(wèn): URL url = new URL(":8080/manager/jmxproxy?qry=*%3Atype%3DManager%2C*");
  URLConnection conn = (URLConnection) url.openConnection();
// URL授權訪(fǎng)問(wèn) -- Begin
String password = "admin:chenfeng"; // manager角色的用戶(hù)
String encodedPassword = new BASE64Encoder().encode(password.getBytes());
conn.setRequestProperty("Authorization", "Basic " + encodedPassword);
// URL授權訪(fǎng)問(wèn) -- End
InputStream is = conn.getInputStream();
BufferedReader bufreader = new BufferedReader(new InputStreamReader(is));
String line = null;
while ((line = bufreader.readLine()) != null) {
System.out.println(line);
}
  幾個(gè)具體的事例
  下面展示兩個(gè)事例,一個(gè)是采集服務(wù)器基本信息,一個(gè)是采集Web應用列表信息,注意Tomcat 7.x和Tomcat 5.x、6.x之間存在很大的區別。
  ◆ 采集服務(wù)器基本信息
  通過(guò)serverinfo命令查看服務(wù)器基本信息
  :8080/manager/serverinfo
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/serverinfo
  返回信息:
  OK - Server info
Tomcat Version: Apache Tomcat/7.0.11
OS Name: Windows Vista
OS Version: 6.1
OS Architecture: x86
JVM Version: 1.6.0_13-b03
JVM Vendor: Sun Microsystems Inc.
  ◆ 采集Web應用列表信息
  通過(guò)list命令查看Web應用列表和會(huì )話(huà)數信息
  :8080/manager/list
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/list
  返回信息:
  OK - Listed applications for virtual host localhost
/:running:0:ROOT
/manager:running:1:manager
/docs:running:0:docs
/examples:running:0:examples
/host-manager:running:0:host-manager
  方案二、使用JMX 接口開(kāi)發(fā)監控程序Tomcat激活JMX遠程配置
 ?、?先更改Tomcat的啟動(dòng)腳本,window下tomcat的bin/catalina.bat(linux為catalina.sh),添加以下內 容,8999是jmxremote使用的端口號,第二個(gè)false表示不需要信令:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  可以加在if "%OS%" == "Windows_NT" setlocal 一句后的大段的注釋旁邊。
  參考官方說(shuō)明:
 ?、?上面的配置是不需要信令的,如果須要信令則添加的內容為:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.password.file=../conf/jmxremote.password -Dcom.sun.management.jmxremote.access.file=../conf/jmxremote.access
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  然后復制并更改授權文件,$JAVA_HOME/jre/lib/management下有 jmxremote.access和jmxremote.password的模板文件,將兩個(gè)文件復制到$CATALINA_BASE/conf目錄下
  ● 修改$CATALINA_BASE/conf/jmxremote.access 添加內容:
  monitorRole readonly
  controlRole readwrite
  ● 修改$CATALINA_BASE/conf/jmxremote.password 添加內容:
  monitorRole tomcat
  controlRole tomcat
  注意:如果只做第一步?jīng)]有問(wèn)題,進(jìn)行了第二步Tomcat就啟動(dòng)不了,那么太可能是密碼文件的權限問(wèn)題!
  需要更改jmxremote.password文件的權限,只有運行Tomcat的用戶(hù)有訪(fǎng)問(wèn)權限:
  Windows的NTFS文件系統下,選中文件,點(diǎn)右鍵 -->“屬性”-->“安全”--> 點(diǎn)“高級”--> 點(diǎn)“更改權限”--> 去掉“從父項繼承....”--> 彈出窗口中選“刪除”,這樣就刪掉了所有訪(fǎng)問(wèn)權限。再選“添加”--> “高級”--> “立即查找”,選中你的用戶(hù),例administrator,點(diǎn)“確定",“確定"。來(lái)到權限項目窗口,勾選“完全控制”,點(diǎn)“確定”,OK了。
  官方的提示
  The password file should be read-only and only accessible by the operating system user Tomcat is running as.
 ?、?重新啟動(dòng)Tomcat,在Windows命令行輸入“netstat -a”查看配置的端口號是否已打開(kāi),如果打開(kāi),說(shuō)明里面的配置成功了。
 ?、?使用jconsole測試JMX。
  運行$JAVA_HOME/bin目錄下的jconsole.exe,打開(kāi)J2SE監視和管理控制臺,然后構建聯(lián)接,如 果是本地的Tomcat則直接選擇之后點(diǎn)擊聯(lián)接,如果是遠程的,則步入遠程選項卡,填寫(xiě)地址、端口號、用戶(hù)名、口令即可聯(lián)接。Mbean屬性頁(yè)中給出了相 應的數據,Catalina中是tomcat的,java.lang是jvm的。對于加粗的宋體屬性值,需雙擊一下才可看內容。
  使用JMX監控Tomcat示例代碼:
  String jmxURL = "service:jmx:rmi:///jndi/rmi://192.168.10.93:8999/jmxrmi";
JMXServiceURL serviceURL = new JMXServiceURL(jmxURL);
Map map = new HashMap();
// 用戶(hù)名密碼,在jmxremote.password文件中查看
String[] credentials = new String[] { "monitorRole", "tomcat" };
map.put("jmx.remote.credentials", credentials);
JMXConnector connector = JMXConnectorFactory.connect(serviceURL, map);
MBeanServerConnection mbsc = connector.getMBeanServerConnection();
// 端口最好是動(dòng)態(tài)取得
ObjectName threadObjName = new ObjectName("Catalina:type=ThreadPool,name=http-8080");
MBeanInfo mbInfo = mbsc.getMBeanInfo(threadObjName);
// tomcat的線(xiàn)程數對應的屬性值
String attrName = "currentThreadCount";
MBeanAttributeInfo[] mbAttributes = mbInfo.getAttributes();
System.out.println("currentThreadCount:" + mbsc.getAttribute(threadObjName, attrName));
  完整的示例代碼文件: 查看全部

  前言:做了一個(gè)監控應用服務(wù)器的項目(支持Tocmat、WebSphere、WebLogic各版本),過(guò)程也算是磕磕絆絆,由于網(wǎng)上缺乏相關(guān)資料,或者身陷于知識的海洋未能尋找到有效的資料,因而走過(guò)不少彎路,遇過(guò)不少困難。為了留下點(diǎn)印記,給后來(lái)人留下點(diǎn)經(jīng)驗之談,助之少走彎路,故將這種經(jīng)驗整理下來(lái),與你們分享。水平有限,難免偏頗,還望見(jiàn)諒。如有疑問(wèn),歡迎留言,或者加入Q群參與討論:35526521。
  監控Tomcat常見(jiàn)的兩種方案的比較
  使用Tomcat提供的manager應用進(jìn)行數據采集
  ◆ 可以使用現有的成熟代碼,減少工作量
  ◆ 支持各不同版本時(shí)無(wú)差異
  ◆ 可能存在特殊需求而manager不能滿(mǎn)足的情況
  ◆ 最重要的一個(gè)優(yōu)點(diǎn)是,配置比較簡(jiǎn)單
  使用JMX插口開(kāi)發(fā)監控程序
  ◆ 全部代碼須要從零開(kāi)始,代碼量較大
  ◆ 支持各不同版本比較麻煩,每個(gè)版本可能有差別
  ◆ 可支配性強
  ◆ 最重要的一個(gè)缺點(diǎn)是,配置比較麻煩
  方案一、使用 Tomcat提供的manager應用進(jìn)行數據采集
  Applications Manager(又稱(chēng)opManager)就是通過(guò)這些方法實(shí)現的。
  使用這些方法,所監控Tomcat必須運行manager應用,缺省情況下,該應用總是運行在服務(wù)器中的。
  增加manager角色用戶(hù)
  訪(fǎng)問(wèn)manager應用的用戶(hù)的角色權限必須是 manager.
  修改/conf目錄下的tomcat-users.xml文件,在節點(diǎn)下添加一個(gè)user節點(diǎn),即可創(chuàng )建一個(gè)用戶(hù)。
  Tomcat版本不同配置也有差別,5.x和6.x創(chuàng )建的用戶(hù)角色應為manager,7.x創(chuàng )建的用戶(hù)角色為manager-jmx,舉例如下:
  1、在5.x和6.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  2、在7.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  admin" password="chenfeng" roles="manager-jmx,manager-script,manager-status"/>
  修改配置后,需要重新啟動(dòng) Tomcat 服務(wù)器。
  連接manager時(shí)將用戶(hù)名/密碼指定為admin/chenfeng
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet
  詳見(jiàn)官方說(shuō)明文檔:
  What is JMX Proxy Servlet
  The JMX Proxy Servlet is a lightweight proxy to get and set the tomcat internals. (Or any class that has been exposed via an MBean) Its usage is not very user friendly but the UI is extremely help for integrating command line scripts for monitoring and changing the internals of tomcat. You can do two things with the proxy: get information and set information. For you to really understand the JMX Proxy Servlet, you should have a general understanding of JMX. If you don't know what JMX is, then prepare to be confused.
  JMX Query command
  This takes the form:
http://webserver/manager/jmxproxy/?qry=STUFF
Where STUFF is the JMX query you wish to perform. For example, here are some queries you might wish to run:
◆ qry=*%3Atype%3DRequestProcessor%2C* --> type=RequestProcessorwhich will locate all workers which can process requests and report their state.
◆ qry=*%3Aj2eeType=Servlet%2c* --> j2eeType=Servletwhich return all loaded servlets.
◆ qry=Catalina%3Atype%3DEnvironment%2Cresourcetype%3DGlobal%2Cname%3DsimpleValue --> Catalina:type=Environment,resourcetype=Global,name=simpleValuewhich look for a specific MBean by the given name.
You'll need to experiment with this to really understand its capabilites. If you provide no qry parameter, then all of the MBeans will be displayed. We really recommend looking at the tomcat source code and understand the JMX spec to get a better understanding of all the queries you may run.
  通過(guò)瀏覽器訪(fǎng)問(wèn):8080/manager/jmxproxy ,輸入用戶(hù)名密碼,然后就可以看見(jiàn)返回了所有的監控信息
  添加查詢(xún)參數,返回特定的監控信息:
  例如:
  :8080/manager/jmxproxy?qry=*%3Atype%3DRequestProcessor%2C*
  其中 *%3Atype%3DRequestProcessor%2C* 其實(shí)就是 *:type=RequestProcessor,*
  又如:
  :8080/manager/jmxproxy?qry=*%3Aj2eeType%3DWebModule%2Cname%3D//localhost/ajaxrpc%2C*
  在代碼中訪(fǎng)問(wèn)JMX Proxy Servlet
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet須要輸入用戶(hù)名密碼,所以通過(guò)Java訪(fǎng)問(wèn)JMX Proxy Servlet的URL也須要授權訪(fǎng)問(wèn): URL url = new URL(":8080/manager/jmxproxy?qry=*%3Atype%3DManager%2C*");
  URLConnection conn = (URLConnection) url.openConnection();
// URL授權訪(fǎng)問(wèn) -- Begin
String password = "admin:chenfeng"; // manager角色的用戶(hù)
String encodedPassword = new BASE64Encoder().encode(password.getBytes());
conn.setRequestProperty("Authorization", "Basic " + encodedPassword);
// URL授權訪(fǎng)問(wèn) -- End
InputStream is = conn.getInputStream();
BufferedReader bufreader = new BufferedReader(new InputStreamReader(is));
String line = null;
while ((line = bufreader.readLine()) != null) {
System.out.println(line);
}
  幾個(gè)具體的事例
  下面展示兩個(gè)事例,一個(gè)是采集服務(wù)器基本信息,一個(gè)是采集Web應用列表信息,注意Tomcat 7.x和Tomcat 5.x、6.x之間存在很大的區別。
  ◆ 采集服務(wù)器基本信息
  通過(guò)serverinfo命令查看服務(wù)器基本信息
  :8080/manager/serverinfo
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/serverinfo
  返回信息:
  OK - Server info
Tomcat Version: Apache Tomcat/7.0.11
OS Name: Windows Vista
OS Version: 6.1
OS Architecture: x86
JVM Version: 1.6.0_13-b03
JVM Vendor: Sun Microsystems Inc.
  ◆ 采集Web應用列表信息
  通過(guò)list命令查看Web應用列表和會(huì )話(huà)數信息
  :8080/manager/list
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/list
  返回信息:
  OK - Listed applications for virtual host localhost
/:running:0:ROOT
/manager:running:1:manager
/docs:running:0:docs
/examples:running:0:examples
/host-manager:running:0:host-manager
  方案二、使用JMX 接口開(kāi)發(fā)監控程序Tomcat激活JMX遠程配置
 ?、?先更改Tomcat的啟動(dòng)腳本,window下tomcat的bin/catalina.bat(linux為catalina.sh),添加以下內 容,8999是jmxremote使用的端口號,第二個(gè)false表示不需要信令:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  可以加在if "%OS%" == "Windows_NT" setlocal 一句后的大段的注釋旁邊。
  參考官方說(shuō)明:
 ?、?上面的配置是不需要信令的,如果須要信令則添加的內容為:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.password.file=../conf/jmxremote.password -Dcom.sun.management.jmxremote.access.file=../conf/jmxremote.access
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  然后復制并更改授權文件,$JAVA_HOME/jre/lib/management下有 jmxremote.access和jmxremote.password的模板文件,將兩個(gè)文件復制到$CATALINA_BASE/conf目錄下
  ● 修改$CATALINA_BASE/conf/jmxremote.access 添加內容:
  monitorRole readonly
  controlRole readwrite
  ● 修改$CATALINA_BASE/conf/jmxremote.password 添加內容:
  monitorRole tomcat
  controlRole tomcat
  注意:如果只做第一步?jīng)]有問(wèn)題,進(jìn)行了第二步Tomcat就啟動(dòng)不了,那么太可能是密碼文件的權限問(wèn)題!
  需要更改jmxremote.password文件的權限,只有運行Tomcat的用戶(hù)有訪(fǎng)問(wèn)權限:
  Windows的NTFS文件系統下,選中文件,點(diǎn)右鍵 -->“屬性”-->“安全”--> 點(diǎn)“高級”--> 點(diǎn)“更改權限”--> 去掉“從父項繼承....”--> 彈出窗口中選“刪除”,這樣就刪掉了所有訪(fǎng)問(wèn)權限。再選“添加”--> “高級”--> “立即查找”,選中你的用戶(hù),例administrator,點(diǎn)“確定",“確定"。來(lái)到權限項目窗口,勾選“完全控制”,點(diǎn)“確定”,OK了。
  官方的提示
  The password file should be read-only and only accessible by the operating system user Tomcat is running as.
 ?、?重新啟動(dòng)Tomcat,在Windows命令行輸入“netstat -a”查看配置的端口號是否已打開(kāi),如果打開(kāi),說(shuō)明里面的配置成功了。
 ?、?使用jconsole測試JMX。
  運行$JAVA_HOME/bin目錄下的jconsole.exe,打開(kāi)J2SE監視和管理控制臺,然后構建聯(lián)接,如 果是本地的Tomcat則直接選擇之后點(diǎn)擊聯(lián)接,如果是遠程的,則步入遠程選項卡,填寫(xiě)地址、端口號、用戶(hù)名、口令即可聯(lián)接。Mbean屬性頁(yè)中給出了相 應的數據,Catalina中是tomcat的,java.lang是jvm的。對于加粗的宋體屬性值,需雙擊一下才可看內容。
  使用JMX監控Tomcat示例代碼:
  String jmxURL = "service:jmx:rmi:///jndi/rmi://192.168.10.93:8999/jmxrmi";
JMXServiceURL serviceURL = new JMXServiceURL(jmxURL);
Map map = new HashMap();
// 用戶(hù)名密碼,在jmxremote.password文件中查看
String[] credentials = new String[] { "monitorRole", "tomcat" };
map.put("jmx.remote.credentials", credentials);
JMXConnector connector = JMXConnectorFactory.connect(serviceURL, map);
MBeanServerConnection mbsc = connector.getMBeanServerConnection();
// 端口最好是動(dòng)態(tài)取得
ObjectName threadObjName = new ObjectName("Catalina:type=ThreadPool,name=http-8080");
MBeanInfo mbInfo = mbsc.getMBeanInfo(threadObjName);
// tomcat的線(xiàn)程數對應的屬性值
String attrName = "currentThreadCount";
MBeanAttributeInfo[] mbAttributes = mbInfo.getAttributes();
System.out.println("currentThreadCount:" + mbsc.getAttribute(threadObjName, attrName));
  完整的示例代碼文件:

新浪股票插口獲取歷史數據

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 223 次瀏覽 ? 2020-08-09 10:30 ? 來(lái)自相關(guān)話(huà)題

  這三天做了一個(gè)調用新浪股票插口獲取實(shí)時(shí)以及歷史股票數據的應用,因為新浪沒(méi)有公開(kāi)關(guān)于其插口的官方文檔,所以通過(guò)各類(lèi)百度差了好多關(guān)于新浪股票插口的使用,不過(guò)你們基本都是轉載或則直接復制,對于實(shí)時(shí)數據的獲取講的太詳盡,但是缺乏獲取歷史數據的方式。
  關(guān)于實(shí)時(shí)數據的獲取你們可以看這篇博客:實(shí)時(shí)股票數據插口
  經(jīng)過(guò)不懈的努力總算再這篇博文中找到了關(guān)于新浪股票歷史數據的獲取方法騰訊股票插口、和訊網(wǎng)股票插口、新浪股票插口、雪球股票數據、網(wǎng)易股票數據
  最近二十天左右的每5分鐘數據
 ?。▍担汗善本幪?、分鐘間隔(5、15、30、60)、均值(5、10、15、20、25)、查詢(xún)個(gè)數點(diǎn)(最大值242))
  獲取的數據是類(lèi)似下邊的json字段:日期、開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、收盤(pán)價(jià)、成交量:
  
  獲取的數據會(huì )有很多,然后按照自己須要進(jìn)行解析,我需要的是每晚的收盤(pán)價(jià),股市是每個(gè)工作日下午3點(diǎn)午盤(pán),所以我只須要找到每晚的下午三點(diǎn)時(shí)刻的數據進(jìn)行過(guò)濾即可:
  1、新建一個(gè)歷史數據對象類(lèi):
  public class HistoryModel {
public String day;
public String close;
public HistoryModel(String day, String close) {
this.day = day;
this.close = close;
}
}
  2、新建一個(gè)股票多次歷史數據類(lèi):和上一個(gè)區別就是,這里收錄的是所有的歷史數據:參數包括股票名子、代碼、現在的價(jià)錢(qián)、歷史數據:
  public class HistoryModels {
public String name;
public String code;
public String now;
public List list;
public HistoryModels(String name, String code, String now, List list) {
this.name = name;
this.code = code;
this.now = now;
this.list = list;
}
}
  3、將須要查詢(xún)的股票的代碼帶進(jìn)url里通過(guò)HTTP懇求json數據,我這兒用的Volley懇求的:
  其中將時(shí)間點(diǎn)未15:00:00的數據過(guò)濾下來(lái),組合乘List以后在全部形參組合成一個(gè)HistoryModels儲存股票信息以及股票的所有歷史數據。
  // Instantiate the RequestQueue.
RequestQueue queue = Volley.newRequestQueue(Home.context);
String url1 = "http://money.finance.sina.com. ... ot%3B + Home.myChoiceModelList.get(ii).code + "&scale=60&ma=no&datalen=1023";
// Request a string response from the provided URL.
StringRequest stringRequest1 = new StringRequest(Request.Method.GET, url1,
new Response.Listener() {
@Override
public void onResponse(String response) {
List historyList = Convert(response,new TypeToken() {
}.getType());
List historyList2 = new ArrayList();
if(historyList!=null) {
for (int j = 0; j < historyList.size(); j++) {
if (historyList.get(j).day.split(" ")[1].equals("15:00:00")) {
historyList2.add(historyList.get(j));
}
}
}
HistoryModels model = new HistoryModels(Home.myChoiceModelList.get(ii).name, Home.myChoiceModelList.get(ii).code, Home.myChoiceModelList.get(ii).now, historyList2);
cllList.add(model);
Message msg = new Message();
msg.what = 0x002;
handler.sendMessage(msg);
}
},
new Response.ErrorListener() {
@Override
public void onErrorResponse(VolleyError error) {
}
});
queue.add(stringRequest1);
  4、其中對json數據的處理,即從json轉化成數據對象的方式如下:
  /*
* Json轉換泛型
*/
public static T Convert(String jsonString, Type cls) {
T t = null;
try {
if (jsonString != null && !jsonString.equals("")) {
Gson gson = new Gson();
t = gson.fromJson(jsonString, cls);
}
} catch (Exception e) {
e.printStackTrace();
}
return t;
}
  關(guān)于股票的實(shí)時(shí)數據這兒沒(méi)有描述,通過(guò)文章開(kāi)頭聯(lián)接的博客可以了解到,寫(xiě)的太詳盡。 查看全部

  這三天做了一個(gè)調用新浪股票插口獲取實(shí)時(shí)以及歷史股票數據的應用,因為新浪沒(méi)有公開(kāi)關(guān)于其插口的官方文檔,所以通過(guò)各類(lèi)百度差了好多關(guān)于新浪股票插口的使用,不過(guò)你們基本都是轉載或則直接復制,對于實(shí)時(shí)數據的獲取講的太詳盡,但是缺乏獲取歷史數據的方式。
  關(guān)于實(shí)時(shí)數據的獲取你們可以看這篇博客:實(shí)時(shí)股票數據插口
  經(jīng)過(guò)不懈的努力總算再這篇博文中找到了關(guān)于新浪股票歷史數據的獲取方法騰訊股票插口、和訊網(wǎng)股票插口、新浪股票插口、雪球股票數據、網(wǎng)易股票數據
  最近二十天左右的每5分鐘數據
 ?。▍担汗善本幪?、分鐘間隔(5、15、30、60)、均值(5、10、15、20、25)、查詢(xún)個(gè)數點(diǎn)(最大值242))
  獲取的數據是類(lèi)似下邊的json字段:日期、開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、收盤(pán)價(jià)、成交量:
  
  獲取的數據會(huì )有很多,然后按照自己須要進(jìn)行解析,我需要的是每晚的收盤(pán)價(jià),股市是每個(gè)工作日下午3點(diǎn)午盤(pán),所以我只須要找到每晚的下午三點(diǎn)時(shí)刻的數據進(jìn)行過(guò)濾即可:
  1、新建一個(gè)歷史數據對象類(lèi):
  public class HistoryModel {
public String day;
public String close;
public HistoryModel(String day, String close) {
this.day = day;
this.close = close;
}
}
  2、新建一個(gè)股票多次歷史數據類(lèi):和上一個(gè)區別就是,這里收錄的是所有的歷史數據:參數包括股票名子、代碼、現在的價(jià)錢(qián)、歷史數據:
  public class HistoryModels {
public String name;
public String code;
public String now;
public List list;
public HistoryModels(String name, String code, String now, List list) {
this.name = name;
this.code = code;
this.now = now;
this.list = list;
}
}
  3、將須要查詢(xún)的股票的代碼帶進(jìn)url里通過(guò)HTTP懇求json數據,我這兒用的Volley懇求的:
  其中將時(shí)間點(diǎn)未15:00:00的數據過(guò)濾下來(lái),組合乘List以后在全部形參組合成一個(gè)HistoryModels儲存股票信息以及股票的所有歷史數據。
  // Instantiate the RequestQueue.
RequestQueue queue = Volley.newRequestQueue(Home.context);
String url1 = "http://money.finance.sina.com. ... ot%3B + Home.myChoiceModelList.get(ii).code + "&scale=60&ma=no&datalen=1023";
// Request a string response from the provided URL.
StringRequest stringRequest1 = new StringRequest(Request.Method.GET, url1,
new Response.Listener() {
@Override
public void onResponse(String response) {
List historyList = Convert(response,new TypeToken() {
}.getType());
List historyList2 = new ArrayList();
if(historyList!=null) {
for (int j = 0; j < historyList.size(); j++) {
if (historyList.get(j).day.split(" ")[1].equals("15:00:00")) {
historyList2.add(historyList.get(j));
}
}
}
HistoryModels model = new HistoryModels(Home.myChoiceModelList.get(ii).name, Home.myChoiceModelList.get(ii).code, Home.myChoiceModelList.get(ii).now, historyList2);
cllList.add(model);
Message msg = new Message();
msg.what = 0x002;
handler.sendMessage(msg);
}
},
new Response.ErrorListener() {
@Override
public void onErrorResponse(VolleyError error) {
}
});
queue.add(stringRequest1);
  4、其中對json數據的處理,即從json轉化成數據對象的方式如下:
  /*
* Json轉換泛型
*/
public static T Convert(String jsonString, Type cls) {
T t = null;
try {
if (jsonString != null && !jsonString.equals("")) {
Gson gson = new Gson();
t = gson.fromJson(jsonString, cls);
}
} catch (Exception e) {
e.printStackTrace();
}
return t;
}
  關(guān)于股票的實(shí)時(shí)數據這兒沒(méi)有描述,通過(guò)文章開(kāi)頭聯(lián)接的博客可以了解到,寫(xiě)的太詳盡。

destoon7

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 225 次瀏覽 ? 2020-08-09 09:21 ? 來(lái)自相關(guān)話(huà)題

  destoon7.0正式版已與2018年4月3日發(fā)布,destoon采集專(zhuān)家已與第一時(shí)間發(fā)布destoon優(yōu)采云免登入免費版采集接口,并且一如既往的免費下去。
  destoon7.0優(yōu)采云采集接口說(shuō)簡(jiǎn)單點(diǎn)就是一個(gè)網(wǎng)站內容入庫插口,傳統獲取數據形式是須要通過(guò)人工復制粘貼到我們自己的網(wǎng)站,用時(shí)較長(cháng)較慢。而destoon采集接口就是取代人工復制粘貼,速度及效率是人工的千百倍以上。
  destoon采集接口是借助優(yōu)采云采集器完成采集任務(wù),程序自帶優(yōu)采云8.0及模塊規則,用戶(hù)下載即可使用,無(wú)需再單獨安裝優(yōu)采云。
  接口完全免費沒(méi)有任何域名限制及側門(mén),用戶(hù)只要會(huì )寫(xiě)規則就可以完全免費采集任何網(wǎng)站。
  接口完全是用的destoon官方程序預留的api接口2次開(kāi)發(fā),毋須修改任何系統文件,綠色環(huán)保!
  只要把握好采集速度可以實(shí)現完全模擬人工發(fā)布,百度蜘蛛是看不下來(lái)采集的。
  接口可以支持destoon官方程序4.0-7.0程序使用,(做過(guò)2次開(kāi)發(fā)的請自測)。
  我們的插口及規則完全永久免費在我們的官方峰會(huì )提供更新及技術(shù)支持,并且不定期的分享免費規則。
  程序自帶24個(gè)全行業(yè)通用參考規則給你們使用,會(huì )寫(xiě)規則的可以參考默認規則標簽格式來(lái)自己制做規則。
  軟件特征:
  一、SEO
  (1)、destoon7.0采集器采用優(yōu)采云V8版 經(jīng)過(guò)采集優(yōu)化后能使搜索引擎收錄更多,哪怕是您一個(gè)外鏈都沒(méi)有發(fā)布,您一點(diǎn)SEO都不懂,只要在訂購我們采集軟件前你的網(wǎng)站沒(méi)有被搜索引擎K、網(wǎng)站本身正常,都能有不錯的收錄,收錄詳情請看演示
  (2)、支持自動(dòng)分類(lèi)會(huì )員組,如果目標站是企業(yè)會(huì )員就入庫到企業(yè)會(huì )員組,如果是個(gè)人就入庫到個(gè)人會(huì )員組(需要通過(guò)代碼自行判定用戶(hù)組)
  (3)、會(huì )員名、公司名、內容信息,前后都支持添加自定義文字內容,方便辨別采集內容及SEO。
  (4)、以采集到的公司名的拼音作為會(huì )員賬號,對SEO更有利。
  二、模擬人工智能化處理數據:
  接口與傳統的API接口不同,常用API接口是直接插入數據到數據庫不利于SEO。
  收費版插口能模擬人工發(fā)布內容,比如:自動(dòng)下載圖片、自動(dòng)水印、自動(dòng)生成靜態(tài)頁(yè)。
  詳情如下:
  (1)、支持采集內容后手動(dòng)生成靜態(tài)頁(yè)面(動(dòng)態(tài)或偽靜態(tài)下須要這個(gè)功能)。
  (2)、所有模塊分類(lèi)都支持手動(dòng)下載標題圖片、內容圖片,并且手動(dòng)加水印之后全手動(dòng)下載上傳圖片到服務(wù)器。(需要在后臺每位對應模塊的模塊設置里開(kāi)啟“下載內容遠程圖片”功能)。
  (3)、檢測到模塊內容有圖片的采集內容,并且手動(dòng)設置第一張為標題圖片。
  (4)、因網(wǎng)路或則其他誘因未正常生成成功的圖片,自動(dòng)記錄出來(lái),支持一鍵重下載那些沒(méi)下載成功的圖片。
  (5)、自由設置每位頻道的圖片是否下載、下載目錄、盜鏈、水印模式等。
  (6)、自由設置供應、求購、招商等這類(lèi)頻道,是否啟用三張標題圖的功能(無(wú)需要再在規則里設置,全由插口控制)。
  (7)、采集內容可以自由設置采集目標站上的時(shí)間,還是用當前時(shí)間。
  三、發(fā)布內容形式:
  (1)、優(yōu)化了信息關(guān)聯(lián)到公司的設置,可以設置每位頻道是否可以旅客發(fā)布、是否關(guān)聯(lián)到公司,采自不同站的供應 或者 其他頻道信息 ,只要是同一公司的信息,就發(fā)布到這個(gè)公司下邊,不會(huì )重復注冊公司,或者只要是公司早已在你的站上注冊過(guò)了,就不會(huì )出現旅客名義發(fā)布的此公司信息。
  (2)、各個(gè)分類(lèi)均支持自動(dòng)分類(lèi)入庫 對應分類(lèi)上采用手動(dòng)對應分類(lèi)優(yōu)先,指定分類(lèi)次之的次序,拋棄了原先在規則第二步設置分類(lèi)ID的情況,啟用在第三步里選擇或則直接寫(xiě)分類(lèi)ID,這樣就免去了因弄錯了分類(lèi)ID而導致多次重復采集,節省了采集時(shí)間,可以發(fā)到多個(gè)分類(lèi),以及多個(gè)站(前提是授權多個(gè)域名),支持第三步里的站群形式發(fā)布。 查看全部

  destoon7.0正式版已與2018年4月3日發(fā)布,destoon采集專(zhuān)家已與第一時(shí)間發(fā)布destoon優(yōu)采云免登入免費版采集接口,并且一如既往的免費下去。
  destoon7.0優(yōu)采云采集接口說(shuō)簡(jiǎn)單點(diǎn)就是一個(gè)網(wǎng)站內容入庫插口,傳統獲取數據形式是須要通過(guò)人工復制粘貼到我們自己的網(wǎng)站,用時(shí)較長(cháng)較慢。而destoon采集接口就是取代人工復制粘貼,速度及效率是人工的千百倍以上。
  destoon采集接口是借助優(yōu)采云采集器完成采集任務(wù),程序自帶優(yōu)采云8.0及模塊規則,用戶(hù)下載即可使用,無(wú)需再單獨安裝優(yōu)采云。
  接口完全免費沒(méi)有任何域名限制及側門(mén),用戶(hù)只要會(huì )寫(xiě)規則就可以完全免費采集任何網(wǎng)站。
  接口完全是用的destoon官方程序預留的api接口2次開(kāi)發(fā),毋須修改任何系統文件,綠色環(huán)保!
  只要把握好采集速度可以實(shí)現完全模擬人工發(fā)布,百度蜘蛛是看不下來(lái)采集的。
  接口可以支持destoon官方程序4.0-7.0程序使用,(做過(guò)2次開(kāi)發(fā)的請自測)。
  我們的插口及規則完全永久免費在我們的官方峰會(huì )提供更新及技術(shù)支持,并且不定期的分享免費規則。
  程序自帶24個(gè)全行業(yè)通用參考規則給你們使用,會(huì )寫(xiě)規則的可以參考默認規則標簽格式來(lái)自己制做規則。
  軟件特征:
  一、SEO
  (1)、destoon7.0采集器采用優(yōu)采云V8版 經(jīng)過(guò)采集優(yōu)化后能使搜索引擎收錄更多,哪怕是您一個(gè)外鏈都沒(méi)有發(fā)布,您一點(diǎn)SEO都不懂,只要在訂購我們采集軟件前你的網(wǎng)站沒(méi)有被搜索引擎K、網(wǎng)站本身正常,都能有不錯的收錄,收錄詳情請看演示
  (2)、支持自動(dòng)分類(lèi)會(huì )員組,如果目標站是企業(yè)會(huì )員就入庫到企業(yè)會(huì )員組,如果是個(gè)人就入庫到個(gè)人會(huì )員組(需要通過(guò)代碼自行判定用戶(hù)組)
  (3)、會(huì )員名、公司名、內容信息,前后都支持添加自定義文字內容,方便辨別采集內容及SEO。
  (4)、以采集到的公司名的拼音作為會(huì )員賬號,對SEO更有利。
  二、模擬人工智能化處理數據:
  接口與傳統的API接口不同,常用API接口是直接插入數據到數據庫不利于SEO。
  收費版插口能模擬人工發(fā)布內容,比如:自動(dòng)下載圖片、自動(dòng)水印、自動(dòng)生成靜態(tài)頁(yè)。
  詳情如下:
  (1)、支持采集內容后手動(dòng)生成靜態(tài)頁(yè)面(動(dòng)態(tài)或偽靜態(tài)下須要這個(gè)功能)。
  (2)、所有模塊分類(lèi)都支持手動(dòng)下載標題圖片、內容圖片,并且手動(dòng)加水印之后全手動(dòng)下載上傳圖片到服務(wù)器。(需要在后臺每位對應模塊的模塊設置里開(kāi)啟“下載內容遠程圖片”功能)。
  (3)、檢測到模塊內容有圖片的采集內容,并且手動(dòng)設置第一張為標題圖片。
  (4)、因網(wǎng)路或則其他誘因未正常生成成功的圖片,自動(dòng)記錄出來(lái),支持一鍵重下載那些沒(méi)下載成功的圖片。
  (5)、自由設置每位頻道的圖片是否下載、下載目錄、盜鏈、水印模式等。
  (6)、自由設置供應、求購、招商等這類(lèi)頻道,是否啟用三張標題圖的功能(無(wú)需要再在規則里設置,全由插口控制)。
  (7)、采集內容可以自由設置采集目標站上的時(shí)間,還是用當前時(shí)間。
  三、發(fā)布內容形式:
  (1)、優(yōu)化了信息關(guān)聯(lián)到公司的設置,可以設置每位頻道是否可以旅客發(fā)布、是否關(guān)聯(lián)到公司,采自不同站的供應 或者 其他頻道信息 ,只要是同一公司的信息,就發(fā)布到這個(gè)公司下邊,不會(huì )重復注冊公司,或者只要是公司早已在你的站上注冊過(guò)了,就不會(huì )出現旅客名義發(fā)布的此公司信息。
  (2)、各個(gè)分類(lèi)均支持自動(dòng)分類(lèi)入庫 對應分類(lèi)上采用手動(dòng)對應分類(lèi)優(yōu)先,指定分類(lèi)次之的次序,拋棄了原先在規則第二步設置分類(lèi)ID的情況,啟用在第三步里選擇或則直接寫(xiě)分類(lèi)ID,這樣就免去了因弄錯了分類(lèi)ID而導致多次重復采集,節省了采集時(shí)間,可以發(fā)到多個(gè)分類(lèi),以及多個(gè)站(前提是授權多個(gè)域名),支持第三步里的站群形式發(fā)布。

PHP + fiddler捕獲數據包并采集微信文章的想法的詳細說(shuō)明.

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 397 次瀏覽 ? 2020-08-09 06:25 ? 來(lái)自相關(guān)話(huà)題

  簡(jiǎn)介:
  分析界面知道,要獲得閱讀的文章數和喜歡的數目,必須有兩個(gè)關(guān)鍵參數,即key和uin. 不同的官方帳戶(hù)的密鑰不同(據說(shuō)有一個(gè)通用的微信密鑰,但我不知道如何獲得),并且同一官方帳戶(hù)的密鑰將在大約半小時(shí)內失效
  提交鏈接以獲取閱讀API的文章
  思考:
  1. 攔截并將客戶(hù)端請求讀取接口的請求轉發(fā)到您自己的服務(wù)器,以便您可以獲取密鑰,并使用__biz關(guān)聯(lián)緩存半小時(shí)
  2. 提交商品鏈接進(jìn)行查詢(xún)時(shí),服務(wù)器從商品鏈接獲取__biz,并查詢(xún)是否緩存了當前官方賬號對應的密鑰. 如果是,請繼續執行步驟3,而不是步驟4.
  3.curl請求?界面獲取數據
  4. 當密鑰不存在時(shí),通知客戶(hù)端重定向到url(使用websocket通知或客戶(hù)端ajax輪詢(xún)進(jìn)行通知,您需要使用數據包捕獲工具來(lái)修改文章詳細信息頁(yè)面代碼,以跳至中間頁(yè)面以等待,打開(kāi)在文章頁(yè)面之后,它每隔幾秒鐘跳回到中間頁(yè)面),并將程序暫停幾秒鐘,以等待客戶(hù)端更新密鑰. 此時(shí),客戶(hù)端提交新密鑰并使用它進(jìn)行查詢(xún)
  實(shí)現
  1. 封包捕獲
  該界面是獲取閱讀量的界面,參數如下
  
  
  2. 攔截此接口并將其轉發(fā)到您自己的服務(wù)器,單擊“規則”-“自定義規則”并將其添加到onbeforerequest(在正式請求之前執行的功能)
  
if (osession.fullurl.contains("mp.weixin.qq.com/mp/getappmsgext"))
{
osession.orequest["host"]= 'ccc.aaa.com' ;
}
  
  效果不錯,您可以看到該界面已轉發(fā)
  
  3. 服務(wù)器端緩存密鑰,代碼以php為例
  
public function savekey(request $request)
{
$__biz = $request->param('__biz',0);
$data['uin'] = $request->param('uin',0);
$data['key'] = $request->param('key',0);
cache::set($__biz,$data,30 * 60);
return 'ok';
}
  4. 提交文章鏈接查詢(xún)api代碼
  
public function getreadnum(request $request)
{
$url = $request->param('url');
parse_str(parse_url($url)['query'], $param);
$__biz = $param['__biz'];
$key_data = cache::get($__biz);
if (empty($key_data))
return 'no key';
$uin = $key_data['uin'];
$key = $key_data['key'];
$param['uin'] = $uin;
$param['key'] = $key;
$param['wxtoken'] = "777";
$wechat_url = "https://mp.weixin.qq.com/mp/getappmsgext?" . http_build_query($param);
//dump($wechat_url);
$data = array(
'is_only_read' => 1,
'is_temp_url' => 0,
'appmsg_type' => 9,
);
$res = $this->get_url($wechat_url,$data);
return $res;
}
function get_url($url,$data)
{
$ifpost = 1;//是否post請求
$datafields = $data;//post數據
$cookiefile = '';//cookie文件
$cookie = '';//cookie變量
$v = false;

//模擬http請求header頭
$header = array("connection: keep-alive","accept: text/html, application/xhtml+xml, */*", "pragma: no-cache", "accept-language: zh-hans-cn,zh-hans;q=0.8,en-us;q=0.5,en;q=0.3","user-agent: mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36 qbcore/4.0.1278.400 qqbrowser/9.0.2524.400 mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2875.116 safari/537.36 nettype/wifi micromessenger/7.0.5 windowswechat");
$ch = curl_init();
curl_setopt($ch, curlopt_url, $url);
curl_setopt($ch, curlopt_header, $v);
curl_setopt($ch, curlopt_httpheader, $header);
$ifpost && curl_setopt($ch, curlopt_post, $ifpost);
$ifpost && curl_setopt($ch, curlopt_postfields, $datafields);
curl_setopt($ch, curlopt_returntransfer, true);
curl_setopt($ch, curlopt_followlocation, true);
$cookie && curl_setopt($ch, curlopt_cookie, $cookie);//發(fā)送cookie變量
$cookiefile && curl_setopt($ch, curlopt_cookiefile, $cookiefile);//發(fā)送cookie文件
$cookiefile && curl_setopt($ch, curlopt_cookiejar, $cookiefile);//寫(xiě)入cookie到文件
curl_setopt($ch,curlopt_timeout,60); //允許執行的最長(cháng)秒數
curl_setopt($ch, curlopt_ssl_verifypeer, false);
curl_setopt($ch, curlopt_ssl_verifyhost, false);
$ok = curl_exec($ch);
curl_close($ch);
unset($ch);
return $ok;
}
  5. 通知客戶(hù)端重定向頁(yè)面(此部分未編寫(xiě),請參見(jiàn)我有關(guān)文本套接字的其他文章)
  6. 使用提琴手來(lái)修改微信文章和jsj腳本,
  在onbeforeresponse(返回客戶(hù)端之前執行的方法)中,添加代碼以跳轉到中間頁(yè)
  效果
  
  摘要 查看全部

  簡(jiǎn)介:
  分析界面知道,要獲得閱讀的文章數和喜歡的數目,必須有兩個(gè)關(guān)鍵參數,即key和uin. 不同的官方帳戶(hù)的密鑰不同(據說(shuō)有一個(gè)通用的微信密鑰,但我不知道如何獲得),并且同一官方帳戶(hù)的密鑰將在大約半小時(shí)內失效
  提交鏈接以獲取閱讀API的文章
  思考:
  1. 攔截并將客戶(hù)端請求讀取接口的請求轉發(fā)到您自己的服務(wù)器,以便您可以獲取密鑰,并使用__biz關(guān)聯(lián)緩存半小時(shí)
  2. 提交商品鏈接進(jìn)行查詢(xún)時(shí),服務(wù)器從商品鏈接獲取__biz,并查詢(xún)是否緩存了當前官方賬號對應的密鑰. 如果是,請繼續執行步驟3,而不是步驟4.
  3.curl請求?界面獲取數據
  4. 當密鑰不存在時(shí),通知客戶(hù)端重定向到url(使用websocket通知或客戶(hù)端ajax輪詢(xún)進(jìn)行通知,您需要使用數據包捕獲工具來(lái)修改文章詳細信息頁(yè)面代碼,以跳至中間頁(yè)面以等待,打開(kāi)在文章頁(yè)面之后,它每隔幾秒鐘跳回到中間頁(yè)面),并將程序暫停幾秒鐘,以等待客戶(hù)端更新密鑰. 此時(shí),客戶(hù)端提交新密鑰并使用它進(jìn)行查詢(xún)
  實(shí)現
  1. 封包捕獲
  該界面是獲取閱讀量的界面,參數如下
  
  
  2. 攔截此接口并將其轉發(fā)到您自己的服務(wù)器,單擊“規則”-“自定義規則”并將其添加到onbeforerequest(在正式請求之前執行的功能)
  
if (osession.fullurl.contains("mp.weixin.qq.com/mp/getappmsgext"))
{
osession.orequest["host"]= 'ccc.aaa.com' ;
}
  
  效果不錯,您可以看到該界面已轉發(fā)
  
  3. 服務(wù)器端緩存密鑰,代碼以php為例
  
public function savekey(request $request)
{
$__biz = $request->param('__biz',0);
$data['uin'] = $request->param('uin',0);
$data['key'] = $request->param('key',0);
cache::set($__biz,$data,30 * 60);
return 'ok';
}
  4. 提交文章鏈接查詢(xún)api代碼
  
public function getreadnum(request $request)
{
$url = $request->param('url');
parse_str(parse_url($url)['query'], $param);
$__biz = $param['__biz'];
$key_data = cache::get($__biz);
if (empty($key_data))
return 'no key';
$uin = $key_data['uin'];
$key = $key_data['key'];
$param['uin'] = $uin;
$param['key'] = $key;
$param['wxtoken'] = "777";
$wechat_url = "https://mp.weixin.qq.com/mp/getappmsgext?" . http_build_query($param);
//dump($wechat_url);
$data = array(
'is_only_read' => 1,
'is_temp_url' => 0,
'appmsg_type' => 9,
);
$res = $this->get_url($wechat_url,$data);
return $res;
}
function get_url($url,$data)
{
$ifpost = 1;//是否post請求
$datafields = $data;//post數據
$cookiefile = '';//cookie文件
$cookie = '';//cookie變量
$v = false;

//模擬http請求header頭
$header = array("connection: keep-alive","accept: text/html, application/xhtml+xml, */*", "pragma: no-cache", "accept-language: zh-hans-cn,zh-hans;q=0.8,en-us;q=0.5,en;q=0.3","user-agent: mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36 qbcore/4.0.1278.400 qqbrowser/9.0.2524.400 mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2875.116 safari/537.36 nettype/wifi micromessenger/7.0.5 windowswechat");
$ch = curl_init();
curl_setopt($ch, curlopt_url, $url);
curl_setopt($ch, curlopt_header, $v);
curl_setopt($ch, curlopt_httpheader, $header);
$ifpost && curl_setopt($ch, curlopt_post, $ifpost);
$ifpost && curl_setopt($ch, curlopt_postfields, $datafields);
curl_setopt($ch, curlopt_returntransfer, true);
curl_setopt($ch, curlopt_followlocation, true);
$cookie && curl_setopt($ch, curlopt_cookie, $cookie);//發(fā)送cookie變量
$cookiefile && curl_setopt($ch, curlopt_cookiefile, $cookiefile);//發(fā)送cookie文件
$cookiefile && curl_setopt($ch, curlopt_cookiejar, $cookiefile);//寫(xiě)入cookie到文件
curl_setopt($ch,curlopt_timeout,60); //允許執行的最長(cháng)秒數
curl_setopt($ch, curlopt_ssl_verifypeer, false);
curl_setopt($ch, curlopt_ssl_verifyhost, false);
$ok = curl_exec($ch);
curl_close($ch);
unset($ch);
return $ok;
}
  5. 通知客戶(hù)端重定向頁(yè)面(此部分未編寫(xiě),請參見(jiàn)我有關(guān)文本套接字的其他文章)
  6. 使用提琴手來(lái)修改微信文章和jsj腳本,
  在onbeforeresponse(返回客戶(hù)端之前執行的方法)中,添加代碼以跳轉到中間頁(yè)
  效果
  
  摘要

Python爬蟲(chóng)的實(shí)用解釋: 分析某些東部產(chǎn)品評論信息的采集過(guò)程

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 654 次瀏覽 ? 2020-08-08 15:12 ? 來(lái)自相關(guān)話(huà)題

  如果要提取其他字段信息,可以在代碼中自己添加.
  搜索界面
  一個(gè),界面搜索
  搜索以食物為例,輸入食物并點(diǎn)擊搜索
  繼續向下滾動(dòng)以查看產(chǎn)品的返回頁(yè)數,這是最大返回100頁(yè)信息
  打開(kāi)調試,清除請求內容,然后根據上面發(fā)現的查找注釋界面的方法直接單擊第二頁(yè)以觀(guān)察新請求.
  當我單擊紅色框中的s_new界面時(shí),我發(fā)現響應信息是html,并且響應的內容恰好是我們在頁(yè)面上所需的產(chǎn)品信息.
  第二,參數搜索
  類(lèi)似地,根據向下滑動(dòng),翻頁(yè)以查看參數的更改
  單擊頁(yè)面的第二頁(yè),參數如下
  頁(yè)面上有很多產(chǎn)品顯示信息,并且可能會(huì )臨時(shí)加載請求. 如果繼續向下滾動(dòng),則可以看到已添加了新請求. 請求參數如下,并增加了參數. (注意: 新參數可以忽略)
  然后單擊第三頁(yè)
  如果找不到規則,則可以繼續單擊頁(yè)面以查看更改規則.
  接口參數的構造邏輯有以下幾點(diǎn):
  三,html頁(yè)面分析
  直接在頁(yè)面上找到產(chǎn)品位置,您可以看到所有產(chǎn)品信息都在ul標簽下的li標簽中
  單擊li標簽,您可以看到div / div下的標簽收錄產(chǎn)品標題信息,產(chǎn)品鏈接信息,并且該鏈接收錄我們需要提取的product_id信息. 右鍵單擊以復制并復制xpath以直接提取位置信息.
  四個(gè)代碼測試
  代碼如下. 請注意,在標頭中,referer參數需要進(jìn)行url編碼.
  執行結果如下:
  這里僅提取了兩個(gè)字段title和product_id,并且可以根據需要添加它們.
  本文中的文字和圖片來(lái)自Internet,僅用于學(xué)習和交流目的. 它們沒(méi)有任何商業(yè)用途. 版權屬于原創(chuàng )作者. 如有任何疑問(wèn),請及時(shí)與我們聯(lián)系進(jìn)行處理.
  作者: 習慣u 查看全部

  如果要提取其他字段信息,可以在代碼中自己添加.
  搜索界面
  一個(gè),界面搜索
  搜索以食物為例,輸入食物并點(diǎn)擊搜索
  繼續向下滾動(dòng)以查看產(chǎn)品的返回頁(yè)數,這是最大返回100頁(yè)信息
  打開(kāi)調試,清除請求內容,然后根據上面發(fā)現的查找注釋界面的方法直接單擊第二頁(yè)以觀(guān)察新請求.
  當我單擊紅色框中的s_new界面時(shí),我發(fā)現響應信息是html,并且響應的內容恰好是我們在頁(yè)面上所需的產(chǎn)品信息.
  第二,參數搜索
  類(lèi)似地,根據向下滑動(dòng),翻頁(yè)以查看參數的更改
  單擊頁(yè)面的第二頁(yè),參數如下
  頁(yè)面上有很多產(chǎn)品顯示信息,并且可能會(huì )臨時(shí)加載請求. 如果繼續向下滾動(dòng),則可以看到已添加了新請求. 請求參數如下,并增加了參數. (注意: 新參數可以忽略)
  然后單擊第三頁(yè)
  如果找不到規則,則可以繼續單擊頁(yè)面以查看更改規則.
  接口參數的構造邏輯有以下幾點(diǎn):
  三,html頁(yè)面分析
  直接在頁(yè)面上找到產(chǎn)品位置,您可以看到所有產(chǎn)品信息都在ul標簽下的li標簽中
  單擊li標簽,您可以看到div / div下的標簽收錄產(chǎn)品標題信息,產(chǎn)品鏈接信息,并且該鏈接收錄我們需要提取的product_id信息. 右鍵單擊以復制并復制xpath以直接提取位置信息.
  四個(gè)代碼測試
  代碼如下. 請注意,在標頭中,referer參數需要進(jìn)行url編碼.
  執行結果如下:
  這里僅提取了兩個(gè)字段title和product_id,并且可以根據需要添加它們.
  本文中的文字和圖片來(lái)自Internet,僅用于學(xué)習和交流目的. 它們沒(méi)有任何商業(yè)用途. 版權屬于原創(chuàng )作者. 如有任何疑問(wèn),請及時(shí)與我們聯(lián)系進(jìn)行處理.
  作者: 習慣u

第一個(gè)界面

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 171 次瀏覽 ? 2020-08-07 23:53 ? 來(lái)自相關(guān)話(huà)題

  自動(dòng)采集墻紙網(wǎng)站界面
  2019-12-31十三本資源網(wǎng)絡(luò )技術(shù)課程
  [摘要]簡(jiǎn)介該程序具有多種類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流,全站點(diǎn)ajax!界面一獲得墻紙分類(lèi)
  簡(jiǎn)介
  程序中有許多類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流加載,站點(diǎn)范圍內的ajax!
  
  第一個(gè)界面
  獲取壁紙分類(lèi)
  http://cdn.apc.#/index.ph ... hrome
  這個(gè)界面很簡(jiǎn)單,直接請求上面的URL,就可以獲取json數據. 返回的數據中有一個(gè)數據數組,其中“名稱(chēng)”是獲取的墻紙類(lèi)別的名稱(chēng),“ id”是與該類(lèi)別對應的ID值.
  接口2:
  根據墻紙類(lèi)別ID獲取該類(lèi)別下的墻紙圖片
  http://wallpaper.apc.#/index.php?
c=WallPaper&a=getAppsByCategory
&cid=【剛才獲取到的分類(lèi)ID】
&start=【從第幾幅圖開(kāi)始(用于分頁(yè))】
&count=【每次加載的數量】&from=360chrome
  通過(guò)此接口獲得的數據有點(diǎn)多,但主要只使用了少數幾個(gè). 一個(gè)是數據數組中的url值,這是我們想要獲取的圖像鏈接. 其格式類(lèi)似于:
  http://p15.qhimg.com/bdr/__85/ ... 8.jpg
  我們可以使用它來(lái)獲得該圖片的指定分辨率和指定質(zhì)量. 上圖是一個(gè)示例. 如果要獲取分辨率為1024 * 768且質(zhì)量為80(最高100)的圖片,只需將上述鏈接中的“ bdr / __ 85”替換為“ bdm / 1024_768_80”. 替換后的圖片鏈接如下
  http://p19.qhimg.com/bdm/1024_ ... 8.jpg
 ?。ㄗ⒁? 如果原創(chuàng )圖片本身很小,某些圖片將不會(huì )被拉伸) 查看全部

  自動(dòng)采集墻紙網(wǎng)站界面
  2019-12-31十三本資源網(wǎng)絡(luò )技術(shù)課程
  [摘要]簡(jiǎn)介該程序具有多種類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流,全站點(diǎn)ajax!界面一獲得墻紙分類(lèi)
  簡(jiǎn)介
  程序中有許多類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流加載,站點(diǎn)范圍內的ajax!
  
  第一個(gè)界面
  獲取壁紙分類(lèi)
  http://cdn.apc.#/index.ph ... hrome
  這個(gè)界面很簡(jiǎn)單,直接請求上面的URL,就可以獲取json數據. 返回的數據中有一個(gè)數據數組,其中“名稱(chēng)”是獲取的墻紙類(lèi)別的名稱(chēng),“ id”是與該類(lèi)別對應的ID值.
  接口2:
  根據墻紙類(lèi)別ID獲取該類(lèi)別下的墻紙圖片
  http://wallpaper.apc.#/index.php?
c=WallPaper&a=getAppsByCategory
&cid=【剛才獲取到的分類(lèi)ID】
&start=【從第幾幅圖開(kāi)始(用于分頁(yè))】
&count=【每次加載的數量】&from=360chrome
  通過(guò)此接口獲得的數據有點(diǎn)多,但主要只使用了少數幾個(gè). 一個(gè)是數據數組中的url值,這是我們想要獲取的圖像鏈接. 其格式類(lèi)似于:
  http://p15.qhimg.com/bdr/__85/ ... 8.jpg
  我們可以使用它來(lái)獲得該圖片的指定分辨率和指定質(zhì)量. 上圖是一個(gè)示例. 如果要獲取分辨率為1024 * 768且質(zhì)量為80(最高100)的圖片,只需將上述鏈接中的“ bdr / __ 85”替換為“ bdm / 1024_768_80”. 替換后的圖片鏈接如下
  http://p19.qhimg.com/bdm/1024_ ... 8.jpg
 ?。ㄗ⒁? 如果原創(chuàng )圖片本身很小,某些圖片將不會(huì )被拉伸)

本地旅游網(wǎng)站源代碼,PHP開(kāi)源,PC + WAP +微信三合一,免費共享

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 168 次瀏覽 ? 2020-08-07 21:02 ? 來(lái)自相關(guān)話(huà)題

  [示例介紹]
  現場(chǎng)旅游網(wǎng)站源代碼系統已成功啟動(dòng)了基礎旅游網(wǎng)站建設和門(mén)戶(hù)旅游網(wǎng)站建設系統. 其系統包括新聞管理功能,酒店預訂功能,酒店預訂功能,路線(xiàn)預訂功能,景點(diǎn)預訂功能,簽證服務(wù)功能,留言問(wèn)題功能,會(huì )員注冊功能,短信群發(fā)功能,網(wǎng)上支付功能等十大功能, SEO優(yōu)化功能等. 它在功能上具有獨特的功能. 實(shí)現不同的旅游營(yíng)銷(xiāo)型車(chē)站建設系統. 讓您的旅游網(wǎng)站獲得高轉化率,高曝光率,獨特的計劃,完整的技術(shù)市場(chǎng)化并增加品牌和銷(xiāo)量.
  Situ CMS功能介紹
  Situ CMS6.0具有豐富的功能,強大的針對性,強大的可伸縮性,易于操作和使用以及清晰的系統結構. 它分為九個(gè)主要部分:
  1. 產(chǎn)品系統: 路線(xiàn),酒店,門(mén)票,汽車(chē)租賃,機票,簽證,簽證,團購,活動(dòng),同伴,郵輪,保險,個(gè)性化定制(可擴展功能,如導游,特色產(chǎn)品等);
  2. 文章系統: 目的地指南,旅行指南,景點(diǎn),相冊,問(wèn)答,評論,幫助系統;
  3. 用戶(hù)系統: 在線(xiàn)訂單,在線(xiàn)支付,訂單生成短信/電子郵件通知,評論,問(wèn)答,短信電子郵件批量發(fā)送;成員管理,供應商管理;
  4. 營(yíng)銷(xiāo)策略: SEO界面,社交共享界面,積分,返現策略;來(lái)源,目的地營(yíng)銷(xiāo)結構,泛分析輔助域名結構支持,特殊營(yíng)銷(xiāo),廣告管理;
  5. 支付系統: 財付通,宜寶,環(huán)迅;集成: 支持支付寶,快錢(qián),銀聯(lián),匯超等;
  6. 擴展界面: 文章采集界面,Dz論壇,UCenter,Google電子地圖;集成: 第三方登錄界面,SMS平臺界面等;
  7. 設置中心: 目的地4級分類(lèi),屬性2級自定義,內容分類(lèi)自定義,出發(fā)設置,站點(diǎn)設置,系統參數管理,數據備份,操作日志.
  8. 市場(chǎng)助理: 關(guān)鍵字統計,關(guān)鍵字智能鏈接,標簽詞設置,訪(fǎng)問(wèn)源統計,熱門(mén)搜索詞統計,智能站點(diǎn)地圖,無(wú)效鏈接自檢
  9. 增值應用程序: 系統升級,模板替換,營(yíng)銷(xiāo)指南,問(wèn)題反饋,擴展應用程序等.
  [示例屏幕截圖]
  
  [核心代碼]有關(guān)詳細信息,請參見(jiàn)文檔 查看全部

  [示例介紹]
  現場(chǎng)旅游網(wǎng)站源代碼系統已成功啟動(dòng)了基礎旅游網(wǎng)站建設和門(mén)戶(hù)旅游網(wǎng)站建設系統. 其系統包括新聞管理功能,酒店預訂功能,酒店預訂功能,路線(xiàn)預訂功能,景點(diǎn)預訂功能,簽證服務(wù)功能,留言問(wèn)題功能,會(huì )員注冊功能,短信群發(fā)功能,網(wǎng)上支付功能等十大功能, SEO優(yōu)化功能等. 它在功能上具有獨特的功能. 實(shí)現不同的旅游營(yíng)銷(xiāo)型車(chē)站建設系統. 讓您的旅游網(wǎng)站獲得高轉化率,高曝光率,獨特的計劃,完整的技術(shù)市場(chǎng)化并增加品牌和銷(xiāo)量.
  Situ CMS功能介紹
  Situ CMS6.0具有豐富的功能,強大的針對性,強大的可伸縮性,易于操作和使用以及清晰的系統結構. 它分為九個(gè)主要部分:
  1. 產(chǎn)品系統: 路線(xiàn),酒店,門(mén)票,汽車(chē)租賃,機票,簽證,簽證,團購,活動(dòng),同伴,郵輪,保險,個(gè)性化定制(可擴展功能,如導游,特色產(chǎn)品等);
  2. 文章系統: 目的地指南,旅行指南,景點(diǎn),相冊,問(wèn)答,評論,幫助系統;
  3. 用戶(hù)系統: 在線(xiàn)訂單,在線(xiàn)支付,訂單生成短信/電子郵件通知,評論,問(wèn)答,短信電子郵件批量發(fā)送;成員管理,供應商管理;
  4. 營(yíng)銷(xiāo)策略: SEO界面,社交共享界面,積分,返現策略;來(lái)源,目的地營(yíng)銷(xiāo)結構,泛分析輔助域名結構支持,特殊營(yíng)銷(xiāo),廣告管理;
  5. 支付系統: 財付通,宜寶,環(huán)迅;集成: 支持支付寶,快錢(qián),銀聯(lián),匯超等;
  6. 擴展界面: 文章采集界面,Dz論壇,UCenter,Google電子地圖;集成: 第三方登錄界面,SMS平臺界面等;
  7. 設置中心: 目的地4級分類(lèi),屬性2級自定義,內容分類(lèi)自定義,出發(fā)設置,站點(diǎn)設置,系統參數管理,數據備份,操作日志.
  8. 市場(chǎng)助理: 關(guān)鍵字統計,關(guān)鍵字智能鏈接,標簽詞設置,訪(fǎng)問(wèn)源統計,熱門(mén)搜索詞統計,智能站點(diǎn)地圖,無(wú)效鏈接自檢
  9. 增值應用程序: 系統升級,模板替換,營(yíng)銷(xiāo)指南,問(wèn)題反饋,擴展應用程序等.
  [示例屏幕截圖]
  
  [核心代碼]有關(guān)詳細信息,請參見(jiàn)文檔

什么是數據采集方法?它們的特點(diǎn)是什么?

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 699 次瀏覽 ? 2020-08-07 13:34 ? 來(lái)自相關(guān)話(huà)題

  隨著(zhù)信息時(shí)代的到來(lái),大數據受到越來(lái)越多的關(guān)注,數據采集的挑戰變得尤為突出.
  許多大型企業(yè)和政府機構在信息化過(guò)程中結合自己的業(yè)務(wù)構建了各種軟件系統,這些軟件系統積累了大量的行業(yè)和客戶(hù)數據. 他們迫切需要聚合這些數據以形成自己的大型數據平臺,進(jìn)行數據挖掘和分析,并準確地為其客戶(hù)提供服務(wù).
  當前的數據采集挑戰如下:
  1. 各種數據源
  2. 數據量大,更新快
  3. 如何確保數據采集的可靠性和性能
  4. 如何避免重復數據
  5. 如何確保數據質(zhì)量.
  那么,如何快速,準確地采集這么多軟件系統中的各種數據呢?今天,我將討論各種軟件系統的幾種數據采集方法. 著(zhù)眼于它們的實(shí)現過(guò)程以及它們各自的優(yōu)缺點(diǎn).
  1. 軟件界面對接方法
  2. 打開(kāi)數據庫方法
  3. 基于底層數據交換的直接數據采集方法
  
  1. 軟件界面對接方法
  各種軟件供應商提供數據接口以實(shí)現數據采集并為客戶(hù)構建自己的業(yè)務(wù)大數據平臺;
  實(shí)現過(guò)程如下:
  1)與來(lái)自多個(gè)軟件供應商的工程師進(jìn)行協(xié)調,以了解另一方系統的業(yè)務(wù)流程以及與數據庫相關(guān)的表結構的設計等,并討論如何實(shí)現正確的數據采集并在其中可行. 商業(yè). 仔細考慮所有細節,最后確定雙方都同意的計劃. 在雙方工程師的合作下,完成了兩個(gè)系統之間的接口. 可以在系統A或系統B中執行某些處理. 在這種情況下,做出決策的基礎是考慮將來(lái)可能會(huì )發(fā)生功能更改,這將不可避免地影響現有系統. 選擇受更改影響較小的解決方案.
  2)確定計劃和代碼
  3)編碼后,進(jìn)入測試和調試階段
  4)交付使用
  接口對接方法的數據可靠性很高. 通常,沒(méi)有數據重復,它們都是客戶(hù)業(yè)務(wù)大數據平臺所需的有價(jià)值數據;同時(shí),數據通過(guò)接口實(shí)時(shí)傳輸,完全滿(mǎn)足了大數據平臺的實(shí)時(shí)性要求.
  但是,接口對接方法需要大量的人力和時(shí)間來(lái)協(xié)調各種軟件供應商進(jìn)行數據接口對接;同時(shí),它的可擴展性不高. 例如,由于業(yè)務(wù)需求,各種軟件系統開(kāi)發(fā)了新的業(yè)務(wù)模塊,這些模塊與大數據平臺兼容. 需要對兩者之間的數據接口進(jìn)行相應的修改和更改,甚至要顛覆所有以前的數據接口代碼,這是很費時(shí)費力的.
  
  2. 打開(kāi)數據庫方法
  通常來(lái)說(shuō),來(lái)自不同公司的系統不太可能打開(kāi)自己的數據庫來(lái)相互連接,因為這會(huì )引起安全問(wèn)題. 為了實(shí)現數據采集和匯總,開(kāi)放數據庫是最直接的方法.
  兩個(gè)系統都有自己的數據庫,對于相同類(lèi)型的數據庫,它更方便:
  1)如果兩個(gè)數據庫位于同一服務(wù)器上,則只要用戶(hù)名設置沒(méi)有問(wèn)題,它們就可以直接相互訪(fǎng)問(wèn). 您需要在from之后攜帶數據庫名稱(chēng)和表模式所有者. 選擇* from DATABASE1.dbo.table1 2)如果兩個(gè)系統的數據庫不在同一服務(wù)器上,建議使用鏈接服務(wù)器進(jìn)行處理,或者使用openset和opendatasource. 這需要外圍服務(wù)器配置才能訪(fǎng)問(wèn)數據庫.
  不同類(lèi)型的數據庫之間的連接比較麻煩,需要大量設置才能生效. 我不會(huì )在這里詳細說(shuō)明.
  開(kāi)放數據庫方法可以直接,準確地從目標數據庫獲取所需數據,這是最直接,最方便的方法;同時(shí)保證實(shí)時(shí)性能;
  開(kāi)放數據庫方法要求協(xié)調各種軟件供應商的開(kāi)放數據庫,這非常困難;如果平臺必須同時(shí)連接到許多軟件供應商的數據庫并實(shí)時(shí)獲取數據,那么這對于平臺本身的性能也是一個(gè)巨大的挑戰.
  
  3. 基于底層數據交換的直接數據采集方法
  通過(guò)獲取軟件系統的基礎數據交換,軟件客戶(hù)端和數據庫之間的網(wǎng)絡(luò )流量數據包,執行數據包流分析以采集應用程序數據. 同時(shí),可以使用仿真技術(shù)來(lái)仿真客戶(hù)請求以實(shí)現自動(dòng)數據寫(xiě)入.
  實(shí)現過(guò)程如下: 使用數據采集引擎偵聽(tīng)目標軟件的內部數據交換(網(wǎng)絡(luò )流量,內存),然后分析所需的數據,并經(jīng)過(guò)一系列處理和封裝以實(shí)現確保數據的唯一性和準確性,并輸出結構化數據. 經(jīng)過(guò)相應的配置,實(shí)現了數據采集的自動(dòng)化.
  基于基礎數據交換的直接數據采集方法的技術(shù)特點(diǎn)如下:
  1)在沒(méi)有軟件制造商合作的情況下進(jìn)行獨立爬網(wǎng);
  2)實(shí)時(shí)數據采集;
  端到端數據延遲在幾秒鐘之內;
  3)幾乎所有與Windows平臺兼容的軟件(C / S,B / S);
  作為數據挖掘和大數據分析的基礎;
  4)自動(dòng)建立數據之間的關(guān)聯(lián);
  5)配置簡(jiǎn)單,實(shí)施周期短;
  6)支持歷史數據的自動(dòng)導入.
  目前,由于缺乏數據采集和融合技術(shù),通常通過(guò)原創(chuàng )軟件制造商開(kāi)發(fā)數據接口來(lái)實(shí)現數據互操作性. 這不僅需要大量時(shí)間,精力和金錢(qián),而且還因為系統開(kāi)發(fā)團隊的解體,源代碼丟失等原因. 死胡同的原因使實(shí)現數據采集和融合變得極為困難. 在這樣的緊急需求環(huán)境中,出現了基于基礎數據交換的直接數據采集方法. 從各種軟件系統中提取數據,并連續獲取所需的準確和實(shí)時(shí)數據,并自動(dòng)建立并輸出數據關(guān)聯(lián). 具有極高利用率的結構化數據允許數據以有序,安全和可控的方式流向需要它的企業(yè)和用戶(hù),從而可以鏈接和分發(fā)不同系統的數據源,從而為客戶(hù)提供決策支持,提高運營(yíng)效率并產(chǎn)生經(jīng)濟價(jià)值.
   查看全部

  隨著(zhù)信息時(shí)代的到來(lái),大數據受到越來(lái)越多的關(guān)注,數據采集的挑戰變得尤為突出.
  許多大型企業(yè)和政府機構在信息化過(guò)程中結合自己的業(yè)務(wù)構建了各種軟件系統,這些軟件系統積累了大量的行業(yè)和客戶(hù)數據. 他們迫切需要聚合這些數據以形成自己的大型數據平臺,進(jìn)行數據挖掘和分析,并準確地為其客戶(hù)提供服務(wù).
  當前的數據采集挑戰如下:
  1. 各種數據源
  2. 數據量大,更新快
  3. 如何確保數據采集的可靠性和性能
  4. 如何避免重復數據
  5. 如何確保數據質(zhì)量.
  那么,如何快速,準確地采集這么多軟件系統中的各種數據呢?今天,我將討論各種軟件系統的幾種數據采集方法. 著(zhù)眼于它們的實(shí)現過(guò)程以及它們各自的優(yōu)缺點(diǎn).
  1. 軟件界面對接方法
  2. 打開(kāi)數據庫方法
  3. 基于底層數據交換的直接數據采集方法
  
  1. 軟件界面對接方法
  各種軟件供應商提供數據接口以實(shí)現數據采集并為客戶(hù)構建自己的業(yè)務(wù)大數據平臺;
  實(shí)現過(guò)程如下:
  1)與來(lái)自多個(gè)軟件供應商的工程師進(jìn)行協(xié)調,以了解另一方系統的業(yè)務(wù)流程以及與數據庫相關(guān)的表結構的設計等,并討論如何實(shí)現正確的數據采集并在其中可行. 商業(yè). 仔細考慮所有細節,最后確定雙方都同意的計劃. 在雙方工程師的合作下,完成了兩個(gè)系統之間的接口. 可以在系統A或系統B中執行某些處理. 在這種情況下,做出決策的基礎是考慮將來(lái)可能會(huì )發(fā)生功能更改,這將不可避免地影響現有系統. 選擇受更改影響較小的解決方案.
  2)確定計劃和代碼
  3)編碼后,進(jìn)入測試和調試階段
  4)交付使用
  接口對接方法的數據可靠性很高. 通常,沒(méi)有數據重復,它們都是客戶(hù)業(yè)務(wù)大數據平臺所需的有價(jià)值數據;同時(shí),數據通過(guò)接口實(shí)時(shí)傳輸,完全滿(mǎn)足了大數據平臺的實(shí)時(shí)性要求.
  但是,接口對接方法需要大量的人力和時(shí)間來(lái)協(xié)調各種軟件供應商進(jìn)行數據接口對接;同時(shí),它的可擴展性不高. 例如,由于業(yè)務(wù)需求,各種軟件系統開(kāi)發(fā)了新的業(yè)務(wù)模塊,這些模塊與大數據平臺兼容. 需要對兩者之間的數據接口進(jìn)行相應的修改和更改,甚至要顛覆所有以前的數據接口代碼,這是很費時(shí)費力的.
  
  2. 打開(kāi)數據庫方法
  通常來(lái)說(shuō),來(lái)自不同公司的系統不太可能打開(kāi)自己的數據庫來(lái)相互連接,因為這會(huì )引起安全問(wèn)題. 為了實(shí)現數據采集和匯總,開(kāi)放數據庫是最直接的方法.
  兩個(gè)系統都有自己的數據庫,對于相同類(lèi)型的數據庫,它更方便:
  1)如果兩個(gè)數據庫位于同一服務(wù)器上,則只要用戶(hù)名設置沒(méi)有問(wèn)題,它們就可以直接相互訪(fǎng)問(wèn). 您需要在from之后攜帶數據庫名稱(chēng)和表模式所有者. 選擇* from DATABASE1.dbo.table1 2)如果兩個(gè)系統的數據庫不在同一服務(wù)器上,建議使用鏈接服務(wù)器進(jìn)行處理,或者使用openset和opendatasource. 這需要外圍服務(wù)器配置才能訪(fǎng)問(wèn)數據庫.
  不同類(lèi)型的數據庫之間的連接比較麻煩,需要大量設置才能生效. 我不會(huì )在這里詳細說(shuō)明.
  開(kāi)放數據庫方法可以直接,準確地從目標數據庫獲取所需數據,這是最直接,最方便的方法;同時(shí)保證實(shí)時(shí)性能;
  開(kāi)放數據庫方法要求協(xié)調各種軟件供應商的開(kāi)放數據庫,這非常困難;如果平臺必須同時(shí)連接到許多軟件供應商的數據庫并實(shí)時(shí)獲取數據,那么這對于平臺本身的性能也是一個(gè)巨大的挑戰.
  
  3. 基于底層數據交換的直接數據采集方法
  通過(guò)獲取軟件系統的基礎數據交換,軟件客戶(hù)端和數據庫之間的網(wǎng)絡(luò )流量數據包,執行數據包流分析以采集應用程序數據. 同時(shí),可以使用仿真技術(shù)來(lái)仿真客戶(hù)請求以實(shí)現自動(dòng)數據寫(xiě)入.
  實(shí)現過(guò)程如下: 使用數據采集引擎偵聽(tīng)目標軟件的內部數據交換(網(wǎng)絡(luò )流量,內存),然后分析所需的數據,并經(jīng)過(guò)一系列處理和封裝以實(shí)現確保數據的唯一性和準確性,并輸出結構化數據. 經(jīng)過(guò)相應的配置,實(shí)現了數據采集的自動(dòng)化.
  基于基礎數據交換的直接數據采集方法的技術(shù)特點(diǎn)如下:
  1)在沒(méi)有軟件制造商合作的情況下進(jìn)行獨立爬網(wǎng);
  2)實(shí)時(shí)數據采集;
  端到端數據延遲在幾秒鐘之內;
  3)幾乎所有與Windows平臺兼容的軟件(C / S,B / S);
  作為數據挖掘和大數據分析的基礎;
  4)自動(dòng)建立數據之間的關(guān)聯(lián);
  5)配置簡(jiǎn)單,實(shí)施周期短;
  6)支持歷史數據的自動(dòng)導入.
  目前,由于缺乏數據采集和融合技術(shù),通常通過(guò)原創(chuàng )軟件制造商開(kāi)發(fā)數據接口來(lái)實(shí)現數據互操作性. 這不僅需要大量時(shí)間,精力和金錢(qián),而且還因為系統開(kāi)發(fā)團隊的解體,源代碼丟失等原因. 死胡同的原因使實(shí)現數據采集和融合變得極為困難. 在這樣的緊急需求環(huán)境中,出現了基于基礎數據交換的直接數據采集方法. 從各種軟件系統中提取數據,并連續獲取所需的準確和實(shí)時(shí)數據,并自動(dòng)建立并輸出數據關(guān)聯(lián). 具有極高利用率的結構化數據允許數據以有序,安全和可控的方式流向需要它的企業(yè)和用戶(hù),從而可以鏈接和分發(fā)不同系統的數據源,從而為客戶(hù)提供決策支持,提高運營(yíng)效率并產(chǎn)生經(jīng)濟價(jià)值.
  

[數據] 讓Halcon支持HikVision攝像機的采集界面

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 507 次瀏覽 ? 2020-08-07 00:05 ? 來(lái)自相關(guān)話(huà)題

  我最近安裝了??低昅VS視覺(jué)軟件的最新版本3.0.0. 第一印象是界面已發(fā)生了很大變化,但黑色深度和涼爽度有所提高. 看一下這個(gè)界面:
  
  當然,我今天不是要教您如何使用該軟件,因為菜單的操作和2.3版本沒(méi)有太大變化,但是可以在其中顯示很多單獨的項,例如十字中心. 圖片的中心.
  在研究二次開(kāi)發(fā)時(shí),我偶然發(fā)現Haikang提供了第三方支持包,其中包括Halcon的HDevelop采集接口,該接口隱藏得很深,無(wú)法確定您是否不參與開(kāi)發(fā)!
  默認情況下,我們將其安裝在D: \ Program Files(x86)\ MVS \目錄中,并找到了第三方D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter
  
  找到了HDevelop目錄嗎? ,這是什么?好奇地打開(kāi)它
  
  從Halcon10到13有四個(gè)目錄,只需打開(kāi)它,看看里面有什么. 我發(fā)現有兩個(gè)目錄Win32和Win64. 繼續打開(kāi)并查看它,發(fā)現了這樣的東西?
  hAcqMVision.dll
  復制代碼
  看hAcq,突然想起,這是Haikang提供的適用于Haikang攝像機的Halcon的獲取接口,因為命名規則是Halcon標準獲取接口的命名:
  hAcq +接口顯示name.dll
  例如: hAcqGigeVision.dll
  復制代碼
  Halcon12已安裝在我們的計算機中,因此請嘗試將此接口文件復制到Halcon12進(jìn)行查看!
  D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter \ HalconHDevelop \ Halcon12 \ win32
  復制代碼
  將上述目錄中的hAcqMVision.dll復制到Halcon執行目錄(該目錄實(shí)際上是RunTime目錄)
  D: \ Program Files \ MVTec \ HALCON-12.0 \ bin \ x86sse2-win32
  復制代碼
  您可以看到下面圖片中的所有圖像都是采集界面. 然后我們打開(kāi)HDevelop看看是否可以通過(guò)此界面操作相機?
  
  打開(kāi)采集助手Image Acquisition,然后自動(dòng)檢測界面,出現結果:
  
  您可以找到此接口并替換原創(chuàng )的GigeVision接口,然后接口文件的全名是hAcqMVision.dll,請嘗試打開(kāi)它:
  
  根本沒(méi)有問(wèn)題,并且工作效率比普通的GigeVision協(xié)議開(kāi)放更高效,更快捷. 感謝??甸_(kāi)發(fā)人員的辛勤工作,非常感謝!
  如果您可以提供xl的采集接口,它將是全面的,哈哈哈,要求太高了!
  如果您認為本文對您有所幫助,請記得回復并喜歡支持我. 我們的目標是每天取得一點(diǎn)進(jìn)步,并進(jìn)一步加深! 查看全部

  我最近安裝了??低昅VS視覺(jué)軟件的最新版本3.0.0. 第一印象是界面已發(fā)生了很大變化,但黑色深度和涼爽度有所提高. 看一下這個(gè)界面:
  
  當然,我今天不是要教您如何使用該軟件,因為菜單的操作和2.3版本沒(méi)有太大變化,但是可以在其中顯示很多單獨的項,例如十字中心. 圖片的中心.
  在研究二次開(kāi)發(fā)時(shí),我偶然發(fā)現Haikang提供了第三方支持包,其中包括Halcon的HDevelop采集接口,該接口隱藏得很深,無(wú)法確定您是否不參與開(kāi)發(fā)!
  默認情況下,我們將其安裝在D: \ Program Files(x86)\ MVS \目錄中,并找到了第三方D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter
  
  找到了HDevelop目錄嗎? ,這是什么?好奇地打開(kāi)它
  
  從Halcon10到13有四個(gè)目錄,只需打開(kāi)它,看看里面有什么. 我發(fā)現有兩個(gè)目錄Win32和Win64. 繼續打開(kāi)并查看它,發(fā)現了這樣的東西?
  hAcqMVision.dll
  復制代碼
  看hAcq,突然想起,這是Haikang提供的適用于Haikang攝像機的Halcon的獲取接口,因為命名規則是Halcon標準獲取接口的命名:
  hAcq +接口顯示name.dll
  例如: hAcqGigeVision.dll
  復制代碼
  Halcon12已安裝在我們的計算機中,因此請嘗試將此接口文件復制到Halcon12進(jìn)行查看!
  D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter \ HalconHDevelop \ Halcon12 \ win32
  復制代碼
  將上述目錄中的hAcqMVision.dll復制到Halcon執行目錄(該目錄實(shí)際上是RunTime目錄)
  D: \ Program Files \ MVTec \ HALCON-12.0 \ bin \ x86sse2-win32
  復制代碼
  您可以看到下面圖片中的所有圖像都是采集界面. 然后我們打開(kāi)HDevelop看看是否可以通過(guò)此界面操作相機?
  
  打開(kāi)采集助手Image Acquisition,然后自動(dòng)檢測界面,出現結果:
  
  您可以找到此接口并替換原創(chuàng )的GigeVision接口,然后接口文件的全名是hAcqMVision.dll,請嘗試打開(kāi)它:
  
  根本沒(méi)有問(wèn)題,并且工作效率比普通的GigeVision協(xié)議開(kāi)放更高效,更快捷. 感謝??甸_(kāi)發(fā)人員的辛勤工作,非常感謝!
  如果您可以提供xl的采集接口,它將是全面的,哈哈哈,要求太高了!
  如果您認為本文對您有所幫助,請記得回復并喜歡支持我. 我們的目標是每天取得一點(diǎn)進(jìn)步,并進(jìn)一步加深!

Immerial cms7.5優(yōu)采云采集器Web登錄界面發(fā)布模塊

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 442 次瀏覽 ? 2020-08-06 20:22 ? 來(lái)自相關(guān)話(huà)題

  
  是否有適用于Empire cms7.5的優(yōu)采云采集器的發(fā)布模塊?我在網(wǎng)上搜索了很長(cháng)時(shí)間后才找到它. 今天,我找到了一個(gè)7.0模塊并將其修改為在Empire cms7.5中使用. 讓我與您分享. 該插件為登錄方式,在優(yōu)采云發(fā)布模塊的WEB配置管理中添加域名地址,然后選擇數據包登錄方式.
  提醒: 在使用前,請輸入背景以關(guān)閉驗證碼并打開(kāi)背景源驗證碼. 關(guān)閉后即可使用.
  
  百度網(wǎng)盤(pán): 提取代碼: mzuf
  我在該項目中與優(yōu)采云采集器取得了聯(lián)系. 當我第一次使用它時(shí),感覺(jué)真的很棒. 數據采集真的很棒. 可以采集Internet上80%以上的數據. 碰巧的是,我最近通過(guò)Empire cms建立了一個(gè)信息門(mén)戶(hù)網(wǎng)站. 每個(gè)人都知道,信息門(mén)戶(hù)網(wǎng)站最麻煩的是數據. 碰巧我從優(yōu)采云采集了數據,而這個(gè)數據只用一個(gè)詞就很酷.
  當我開(kāi)心了一會(huì )兒時(shí),一個(gè)現實(shí)的問(wèn)題出現了. 如何將所有采集的數據批量導入Empire的數據庫中?我把問(wèn)題告訴了我的朋友,朋友說(shuō)你可以編寫(xiě)優(yōu)采云的帝國發(fā)布模塊. 當他這么說(shuō)的時(shí)候,我去了優(yōu)采云采集器親自看它,它確實(shí)具有發(fā)布模塊功能. 優(yōu)采云提供三種數據發(fā)布模式.
  第一種類(lèi)型: 直接在網(wǎng)絡(luò )上發(fā)布模塊.
  第二種類(lèi)型: 將發(fā)布的數據另存為文件.
  第三種類(lèi)型: 直接發(fā)布到數據庫.
  按照自己的想法,我在Internet上搜索了“彩彩云”發(fā)行模塊,并發(fā)現了很多結果,但是大多數教程只是品嘗,而在一天中的大部分時(shí)間里這些詞都是胡說(shuō)八道. 我仍然不知道該怎么做. 無(wú)奈之下,我向我的朋友索取了一份副本,并學(xué)習了如何操作,修改等. 接下來(lái),我將分享這種使用優(yōu)采云發(fā)行模塊的方法.
  我希望不要像我一樣來(lái)回走動(dòng)
  首先,我們將使用三個(gè)文件:
  ECMSLogin.php創(chuàng )建自己的
  hinfofun.php隨系統一起提供
  Empire CMS 7.2免費登錄新聞發(fā)布模塊. wpm
  第一步: 將所需的文件放在指定的文件夾中
  將文件1復制到e / admin /,并將文件2復制到e / class /文件夾.
  文件2.它需要被開(kāi)發(fā)兩次,并且其功能是能夠遠程保存圖片. 代碼顯示如下.
  //二次開(kāi)發(fā)代碼
  if($ add [‘diy’] == 1){
  //遠程保存標題圖片
  if($ add ['titlepic']){
  $ tranr = DoTranURL($ add ['titlepic'],$ add ['classid']);
  if($ tranr [tran])
  {
  $ tranr [文件大小] =(int)$ tranr [文件大小];
  $ tranr [type] =(int)$ tranr [type];
  //記錄數據庫
  eInsertFileTable($ tranr [文件名],$ tranr [文件大小],$ tranr [文件路徑],$用戶(hù)名,$ add ['classid'],
  '[s] [URL]'. $ tranr [文件名],$ tranr [類(lèi)型],0,$ add ['filepass'],$ public_r [fpath],0,0,$ public_r ['filedeftb' ]);
  // $ add ['titlepic'] = $ tranr [url];
  $ addtitlepic =”,titlepic ='”. addslashes($ tranr [url]). ”’,ispic = 1'';
  }
  }
  }
  第2步: 編寫(xiě)優(yōu)采云的發(fā)布模塊.
  
  第3步: 直接在線(xiàn)測試. 發(fā)布內容時(shí),選擇網(wǎng)站以在線(xiàn)發(fā)布到網(wǎng)站.
  
  通過(guò)上述步驟,可以完成優(yōu)采云的Empire發(fā)行模塊. 如果您仍然不明白,請給我留言. 查看全部

  
  是否有適用于Empire cms7.5的優(yōu)采云采集器的發(fā)布模塊?我在網(wǎng)上搜索了很長(cháng)時(shí)間后才找到它. 今天,我找到了一個(gè)7.0模塊并將其修改為在Empire cms7.5中使用. 讓我與您分享. 該插件為登錄方式,在優(yōu)采云發(fā)布模塊的WEB配置管理中添加域名地址,然后選擇數據包登錄方式.
  提醒: 在使用前,請輸入背景以關(guān)閉驗證碼并打開(kāi)背景源驗證碼. 關(guān)閉后即可使用.
  
  百度網(wǎng)盤(pán): 提取代碼: mzuf
  我在該項目中與優(yōu)采云采集器取得了聯(lián)系. 當我第一次使用它時(shí),感覺(jué)真的很棒. 數據采集真的很棒. 可以采集Internet上80%以上的數據. 碰巧的是,我最近通過(guò)Empire cms建立了一個(gè)信息門(mén)戶(hù)網(wǎng)站. 每個(gè)人都知道,信息門(mén)戶(hù)網(wǎng)站最麻煩的是數據. 碰巧我從優(yōu)采云采集了數據,而這個(gè)數據只用一個(gè)詞就很酷.
  當我開(kāi)心了一會(huì )兒時(shí),一個(gè)現實(shí)的問(wèn)題出現了. 如何將所有采集的數據批量導入Empire的數據庫中?我把問(wèn)題告訴了我的朋友,朋友說(shuō)你可以編寫(xiě)優(yōu)采云的帝國發(fā)布模塊. 當他這么說(shuō)的時(shí)候,我去了優(yōu)采云采集器親自看它,它確實(shí)具有發(fā)布模塊功能. 優(yōu)采云提供三種數據發(fā)布模式.
  第一種類(lèi)型: 直接在網(wǎng)絡(luò )上發(fā)布模塊.
  第二種類(lèi)型: 將發(fā)布的數據另存為文件.
  第三種類(lèi)型: 直接發(fā)布到數據庫.
  按照自己的想法,我在Internet上搜索了“彩彩云”發(fā)行模塊,并發(fā)現了很多結果,但是大多數教程只是品嘗,而在一天中的大部分時(shí)間里這些詞都是胡說(shuō)八道. 我仍然不知道該怎么做. 無(wú)奈之下,我向我的朋友索取了一份副本,并學(xué)習了如何操作,修改等. 接下來(lái),我將分享這種使用優(yōu)采云發(fā)行模塊的方法.
  我希望不要像我一樣來(lái)回走動(dòng)
  首先,我們將使用三個(gè)文件:
  ECMSLogin.php創(chuàng )建自己的
  hinfofun.php隨系統一起提供
  Empire CMS 7.2免費登錄新聞發(fā)布模塊. wpm
  第一步: 將所需的文件放在指定的文件夾中
  將文件1復制到e / admin /,并將文件2復制到e / class /文件夾.
  文件2.它需要被開(kāi)發(fā)兩次,并且其功能是能夠遠程保存圖片. 代碼顯示如下.
  //二次開(kāi)發(fā)代碼
  if($ add [‘diy’] == 1){
  //遠程保存標題圖片
  if($ add ['titlepic']){
  $ tranr = DoTranURL($ add ['titlepic'],$ add ['classid']);
  if($ tranr [tran])
  {
  $ tranr [文件大小] =(int)$ tranr [文件大小];
  $ tranr [type] =(int)$ tranr [type];
  //記錄數據庫
  eInsertFileTable($ tranr [文件名],$ tranr [文件大小],$ tranr [文件路徑],$用戶(hù)名,$ add ['classid'],
  '[s] [URL]'. $ tranr [文件名],$ tranr [類(lèi)型],0,$ add ['filepass'],$ public_r [fpath],0,0,$ public_r ['filedeftb' ]);
  // $ add ['titlepic'] = $ tranr [url];
  $ addtitlepic =”,titlepic ='”. addslashes($ tranr [url]). ”’,ispic = 1'';
  }
  }
  }
  第2步: 編寫(xiě)優(yōu)采云的發(fā)布模塊.
  
  第3步: 直接在線(xiàn)測試. 發(fā)布內容時(shí),選擇網(wǎng)站以在線(xiàn)發(fā)布到網(wǎng)站.
  
  通過(guò)上述步驟,可以完成優(yōu)采云的Empire發(fā)行模塊. 如果您仍然不明白,請給我留言.

微信公眾號文章檢索方法安排

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 250 次瀏覽 ? 2020-08-06 13:06 ? 來(lái)自相關(guān)話(huà)題

  1. 使用python爬行/ d1240673769 / article / details / 75907152
  實(shí)現方法: 通過(guò)微信提供的官方賬號文章調用界面,實(shí)現抓取官方賬號文章的功能
  步驟:
  1. 您需要安裝python selenium模塊軟件包,并使用selenium中的webdriver來(lái)驅動(dòng)瀏覽器獲取cookie以實(shí)現登錄效果;
  2. 要使用webdriver功能,需要安裝與瀏覽器相對應的驅動(dòng)程序插件. 我在這里使用Google Chrome進(jìn)行測試: Google Chrome版本為52.0.2743.6; Chromedriver版本: V2.23注意: 需要Google Chrome版本和chromedriver對應,否則在啟動(dòng)過(guò)程中將報告錯誤. [附: Selenium的chromedriver和chrome版本映射表(更新至v2.30)/ huilan_same / article / details / 51896672)]
  3. 微信官方賬號登錄地址: /
  4. 可以在微信公眾號的后臺創(chuàng )建微信公眾號文章界面地址,以創(chuàng )建新的圖形消息,并通過(guò)超鏈接功能獲取該消息:
  5. 搜索官方帳戶(hù)名
  6. 獲取要抓取的官方帳戶(hù)的偽造物
  7. 選擇要抓取的官方帳戶(hù)并獲取文章界面地址
  8. 文章列表翻頁(yè)和內容獲取
  2.AnyProxy代理批次采集/ p / 24302048
  如何實(shí)現: anyproxy + js
  /luojiangwen/p/7943696.html
  如何實(shí)現: anyproxy + java + webmagic
  / t / 181857
  實(shí)現方法: 數據包捕獲工具Fiddler4
  通過(guò)捕獲和分析多個(gè)帳戶(hù),我們可以確定:
  _biz: 這個(gè)14位數字的字符串是每個(gè)官方帳戶(hù)的“ id”,可在搜狗的微信平臺上獲得
  uin: 與訪(fǎng)客有關(guān),微信ID
  密鑰: 與所訪(fǎng)問(wèn)的官方帳戶(hù)有關(guān)
  步驟:
  1. 編寫(xiě)按鈕向導腳本,并自動(dòng)單擊電話(huà)上的公共文章列表頁(yè)面,即“查看歷史新聞”; 2.使用小提琴手代理劫持電話(huà)的訪(fǎng)問(wèn)權限,并將URL轉發(fā)到以php編寫(xiě)的本地網(wǎng)頁(yè); 3.將php網(wǎng)頁(yè)上收到的URL備份到數據庫中; 4.使用python從數據庫中檢索URL,然后執行正常的爬網(wǎng).
  我在抓取過(guò)程中發(fā)現了一個(gè)問(wèn)題: 如果您只想抓取文章的內容,似乎沒(méi)有訪(fǎng)問(wèn)頻率限制,但是如果要在閱讀之后捕獲閱讀次數和喜歡的次數,一定的頻率,返回值將為空,我設置的時(shí)間間隔為10秒,可以正常爬網(wǎng). 以這種頻率,一個(gè)小時(shí)內只能抓取360個(gè)項目,這沒(méi)有任何實(shí)際意義.
  4. 青波新榜
  如果您只想查看數據,請直接查看每日列表,而無(wú)需花錢(qián). 如果您需要訪(fǎng)問(wèn)自己的系統,它們還提供api接口 查看全部

  1. 使用python爬行/ d1240673769 / article / details / 75907152
  實(shí)現方法: 通過(guò)微信提供的官方賬號文章調用界面,實(shí)現抓取官方賬號文章的功能
  步驟:
  1. 您需要安裝python selenium模塊軟件包,并使用selenium中的webdriver來(lái)驅動(dòng)瀏覽器獲取cookie以實(shí)現登錄效果;
  2. 要使用webdriver功能,需要安裝與瀏覽器相對應的驅動(dòng)程序插件. 我在這里使用Google Chrome進(jìn)行測試: Google Chrome版本為52.0.2743.6; Chromedriver版本: V2.23注意: 需要Google Chrome版本和chromedriver對應,否則在啟動(dòng)過(guò)程中將報告錯誤. [附: Selenium的chromedriver和chrome版本映射表(更新至v2.30)/ huilan_same / article / details / 51896672)]
  3. 微信官方賬號登錄地址: /
  4. 可以在微信公眾號的后臺創(chuàng )建微信公眾號文章界面地址,以創(chuàng )建新的圖形消息,并通過(guò)超鏈接功能獲取該消息:
  5. 搜索官方帳戶(hù)名
  6. 獲取要抓取的官方帳戶(hù)的偽造物
  7. 選擇要抓取的官方帳戶(hù)并獲取文章界面地址
  8. 文章列表翻頁(yè)和內容獲取
  2.AnyProxy代理批次采集/ p / 24302048
  如何實(shí)現: anyproxy + js
  /luojiangwen/p/7943696.html
  如何實(shí)現: anyproxy + java + webmagic
  / t / 181857
  實(shí)現方法: 數據包捕獲工具Fiddler4
  通過(guò)捕獲和分析多個(gè)帳戶(hù),我們可以確定:
  _biz: 這個(gè)14位數字的字符串是每個(gè)官方帳戶(hù)的“ id”,可在搜狗的微信平臺上獲得
  uin: 與訪(fǎng)客有關(guān),微信ID
  密鑰: 與所訪(fǎng)問(wèn)的官方帳戶(hù)有關(guān)
  步驟:
  1. 編寫(xiě)按鈕向導腳本,并自動(dòng)單擊電話(huà)上的公共文章列表頁(yè)面,即“查看歷史新聞”; 2.使用小提琴手代理劫持電話(huà)的訪(fǎng)問(wèn)權限,并將URL轉發(fā)到以php編寫(xiě)的本地網(wǎng)頁(yè); 3.將php網(wǎng)頁(yè)上收到的URL備份到數據庫中; 4.使用python從數據庫中檢索URL,然后執行正常的爬網(wǎng).
  我在抓取過(guò)程中發(fā)現了一個(gè)問(wèn)題: 如果您只想抓取文章的內容,似乎沒(méi)有訪(fǎng)問(wèn)頻率限制,但是如果要在閱讀之后捕獲閱讀次數和喜歡的次數,一定的頻率,返回值將為空,我設置的時(shí)間間隔為10秒,可以正常爬網(wǎng). 以這種頻率,一個(gè)小時(shí)內只能抓取360個(gè)項目,這沒(méi)有任何實(shí)際意義.
  4. 青波新榜
  如果您只想查看數據,請直接查看每日列表,而無(wú)需花錢(qián). 如果您需要訪(fǎng)問(wèn)自己的系統,它們還提供api接口

WordPress 優(yōu)采云采集器文章免費登錄發(fā)布模塊和安裝說(shuō)明

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 526 次瀏覽 ? 2020-08-06 11:15 ? 來(lái)自相關(guān)話(huà)題

  當然,如果我們使用WordPress來(lái)做大數據采集網(wǎng)站,那絕對不合適,因為當WP數據很大時(shí),它將占用大量服務(wù)器資源,并且打開(kāi)速度非常慢. 當然,由于老江在這里進(jìn)行了排序,他仍然必須整理一個(gè)常用的WordPress程序優(yōu)采云采集器發(fā)布模塊,當然,它也無(wú)需登錄. 我當然不使用它,因為仍然需要技術(shù)安排.
  一開(kāi)始,我們必須已經(jīng)在互聯(lián)網(wǎng)上找到了熱情的網(wǎng)民共享的優(yōu)采云發(fā)布模塊. 基于WorPress,我當前正在使用5.2.2版本,該版本也受支持. 我可以在服務(wù)器上測試它. 我認為這是一個(gè)采集網(wǎng)站. 這沒(méi)有多大意義,所以我還沒(méi)有練習過(guò). 我剛剛測試了發(fā)布模塊可以在測試服務(wù)器的WEB環(huán)境中運行.
  
  在這里我們安裝并導入WordPress 優(yōu)采云采集器發(fā)布模塊,不用擔心配置文件,我們需要先修改參數.
  
  在這里,我們需要檢查內容發(fā)布參數中的“ /locoy.php?action=save&secret=“,一個(gè)在文件名之后,另一個(gè)是設置的免登錄密碼.
  
  在這里,我們需要檢查尚未上傳的接口文件. secretWord密碼必須與我們在發(fā)布模塊中設置的密碼相同. 然后,將“ hm-locowp”文件夾上載到WordPress根目錄,以確保根目錄中的locoy.php文件與配置文件中的文件名相同. 您也可以自己修改它,但總之,它必須保持一致.
  
  通過(guò)這種方式,如果我們得到列表并可以看到WordPress類(lèi)表目錄,則可以確定沒(méi)有問(wèn)題. 這里應該注意,設置免登錄密碼需要稍微復雜一些,并且可以自定義文件名以確保根目錄文件的安全性.
  本文的出處: 老江部落?WordPress優(yōu)采云采集器文章免費登錄發(fā)布模塊和安裝說(shuō)明|歡迎分享(公眾號: QQ69377078) 查看全部

  當然,如果我們使用WordPress來(lái)做大數據采集網(wǎng)站,那絕對不合適,因為當WP數據很大時(shí),它將占用大量服務(wù)器資源,并且打開(kāi)速度非常慢. 當然,由于老江在這里進(jìn)行了排序,他仍然必須整理一個(gè)常用的WordPress程序優(yōu)采云采集器發(fā)布模塊,當然,它也無(wú)需登錄. 我當然不使用它,因為仍然需要技術(shù)安排.
  一開(kāi)始,我們必須已經(jīng)在互聯(lián)網(wǎng)上找到了熱情的網(wǎng)民共享的優(yōu)采云發(fā)布模塊. 基于WorPress,我當前正在使用5.2.2版本,該版本也受支持. 我可以在服務(wù)器上測試它. 我認為這是一個(gè)采集網(wǎng)站. 這沒(méi)有多大意義,所以我還沒(méi)有練習過(guò). 我剛剛測試了發(fā)布模塊可以在測試服務(wù)器的WEB環(huán)境中運行.
  
  在這里我們安裝并導入WordPress 優(yōu)采云采集器發(fā)布模塊,不用擔心配置文件,我們需要先修改參數.
  
  在這里,我們需要檢查內容發(fā)布參數中的“ /locoy.php?action=save&secret=“,一個(gè)在文件名之后,另一個(gè)是設置的免登錄密碼.
  
  在這里,我們需要檢查尚未上傳的接口文件. secretWord密碼必須與我們在發(fā)布模塊中設置的密碼相同. 然后,將“ hm-locowp”文件夾上載到WordPress根目錄,以確保根目錄中的locoy.php文件與配置文件中的文件名相同. 您也可以自己修改它,但總之,它必須保持一致.
  
  通過(guò)這種方式,如果我們得到列表并可以看到WordPress類(lèi)表目錄,則可以確定沒(méi)有問(wèn)題. 這里應該注意,設置免登錄密碼需要稍微復雜一些,并且可以自定義文件名以確保根目錄文件的安全性.
  本文的出處: 老江部落?WordPress優(yōu)采云采集器文章免費登錄發(fā)布模塊和安裝說(shuō)明|歡迎分享(公眾號: QQ69377078)

如何使用和下載優(yōu)采云采集器的免登錄發(fā)布界面

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 330 次瀏覽 ? 2020-08-06 01:00 ? 來(lái)自相關(guān)話(huà)題

  接口(軟件類(lèi)接口)是指定義合同的引用類(lèi)型. 其他類(lèi)型則實(shí)現接口以確保它們支持某些操作.
  
  接口指定了類(lèi)或實(shí)現它的其他接口所必須提供的成員. 與類(lèi)相似,接口可以收錄方法,屬性,索引器和事件作為成員.
  
  一個(gè)精心編寫(xiě)的界面有時(shí)可以節省無(wú)數麻煩,并使工作效率提高一倍.
  Youcai Cloud Collector具有三種登錄方法. 免登錄發(fā)布界面是最方便的方法,但是它要求程序員根據發(fā)布URL進(jìn)行自定義,并且需要一定的代碼基礎.
  釋放免登錄界面時(shí),具有易用,無(wú)需手動(dòng)登錄,發(fā)布穩定等優(yōu)點(diǎn),余豆將介紹免登錄界面的實(shí)際使用:
  初步準備:
 ?。?)要檢查您的網(wǎng)站屬于什么代碼,可以右鍵單擊以查看源代碼,找到代碼,然后選擇與代碼匹配的界面.
  
 ?。?)打開(kāi)界面php文件. 界面有密碼. 默認值為123456. 您也可以自己修改密碼. 請注意,更改密碼后,需要相應更改發(fā)布模塊的密碼.
 ?。?)將界面文件上傳到網(wǎng)站/ e / admin /的管理目錄下(取決于特定的網(wǎng)站背景)
  正式運營(yíng):
 ?。?)將發(fā)布模塊導入發(fā)布配置,修改發(fā)布模塊,并根據上傳的接口名稱(chēng)和設置的密碼進(jìn)行保存:
  
 ?。?)根據網(wǎng)站地址進(jìn)行配置.
  
 ?。?)然后,您可以測試發(fā)布,以查看發(fā)布模塊是否正常.
  
 ?。?)測試成功發(fā)布后,可以將其應用于采集規則. 請注意,采集規則必須與發(fā)布模塊的標簽相對應!更好的方法是在設置發(fā)布模塊中的標簽之后,將發(fā)布模塊中的標簽直接導入到優(yōu)采云采集器中:
  
  接口下載鏈接
  因此,為了方便客戶(hù),余豆組織了幾個(gè)常用的網(wǎng)站,并為該網(wǎng)站編譯了發(fā)布界面. 下載地址附在下面,壓縮包中收錄使用說(shuō)明. 請參考具體用法說(shuō)明. : 查看全部

  接口(軟件類(lèi)接口)是指定義合同的引用類(lèi)型. 其他類(lèi)型則實(shí)現接口以確保它們支持某些操作.
  
  接口指定了類(lèi)或實(shí)現它的其他接口所必須提供的成員. 與類(lèi)相似,接口可以收錄方法,屬性,索引器和事件作為成員.
  
  一個(gè)精心編寫(xiě)的界面有時(shí)可以節省無(wú)數麻煩,并使工作效率提高一倍.
  Youcai Cloud Collector具有三種登錄方法. 免登錄發(fā)布界面是最方便的方法,但是它要求程序員根據發(fā)布URL進(jìn)行自定義,并且需要一定的代碼基礎.
  釋放免登錄界面時(shí),具有易用,無(wú)需手動(dòng)登錄,發(fā)布穩定等優(yōu)點(diǎn),余豆將介紹免登錄界面的實(shí)際使用:
  初步準備:
 ?。?)要檢查您的網(wǎng)站屬于什么代碼,可以右鍵單擊以查看源代碼,找到代碼,然后選擇與代碼匹配的界面.
  
 ?。?)打開(kāi)界面php文件. 界面有密碼. 默認值為123456. 您也可以自己修改密碼. 請注意,更改密碼后,需要相應更改發(fā)布模塊的密碼.
 ?。?)將界面文件上傳到網(wǎng)站/ e / admin /的管理目錄下(取決于特定的網(wǎng)站背景)
  正式運營(yíng):
 ?。?)將發(fā)布模塊導入發(fā)布配置,修改發(fā)布模塊,并根據上傳的接口名稱(chēng)和設置的密碼進(jìn)行保存:
  
 ?。?)根據網(wǎng)站地址進(jìn)行配置.
  
 ?。?)然后,您可以測試發(fā)布,以查看發(fā)布模塊是否正常.
  
 ?。?)測試成功發(fā)布后,可以將其應用于采集規則. 請注意,采集規則必須與發(fā)布模塊的標簽相對應!更好的方法是在設置發(fā)布模塊中的標簽之后,將發(fā)布模塊中的標簽直接導入到優(yōu)采云采集器中:
  
  接口下載鏈接
  因此,為了方便客戶(hù),余豆組織了幾個(gè)常用的網(wǎng)站,并為該網(wǎng)站編譯了發(fā)布界面. 下載地址附在下面,壓縮包中收錄使用說(shuō)明. 請參考具體用法說(shuō)明. :

利用新插口抓取微信公眾號的所有文章

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 227 次瀏覽 ? 2020-08-04 02:03 ? 來(lái)自相關(guān)話(huà)題

  哎喲尼瑪,靜覓博客博主崔慶才同事。
  崔慶才文章采集接口文章采集接口,Python技術(shù)控,爬蟲(chóng)博文訪(fǎng)問(wèn)量已過(guò)百萬(wàn)。喜歡鉆研,熱愛(ài)生活,樂(lè )于分享。個(gè)人博客:靜覓 |
  注意:今天的文字格式可能顯示有點(diǎn)問(wèn)題,相信你可以腦補~
  各位男子兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公共號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP、還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前天晚上陌陌官方發(fā)布了一個(gè)文章:
  大致意思是說(shuō)之后發(fā)布文章的時(shí)侯可以直接插入其它公眾號的文章了。
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、和企業(yè)號是否可行我不清楚。因為我木有·····2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式、來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token、和公眾號的微信號(就是數字+字符那個(gè))、獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:5、點(diǎn)擊我們搜索到的公眾號以后、又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步、獲取所有文章需要處理一下翻頁(yè)、翻頁(yè)懇求如下:
  
  我大約看了一下、極客學(xué)院每一頁(yè)大約起碼有5條信息、也就是總文章數/5 就是有多少頁(yè)。但是有小數、我們取整,然后加1就是總頁(yè)數了。代碼如下: 查看全部

  哎喲尼瑪,靜覓博客博主崔慶才同事。
  崔慶才文章采集接口文章采集接口,Python技術(shù)控,爬蟲(chóng)博文訪(fǎng)問(wèn)量已過(guò)百萬(wàn)。喜歡鉆研,熱愛(ài)生活,樂(lè )于分享。個(gè)人博客:靜覓 |
  注意:今天的文字格式可能顯示有點(diǎn)問(wèn)題,相信你可以腦補~
  各位男子兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公共號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP、還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前天晚上陌陌官方發(fā)布了一個(gè)文章:
  大致意思是說(shuō)之后發(fā)布文章的時(shí)侯可以直接插入其它公眾號的文章了。
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、和企業(yè)號是否可行我不清楚。因為我木有·····2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式、來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token、和公眾號的微信號(就是數字+字符那個(gè))、獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:5、點(diǎn)擊我們搜索到的公眾號以后、又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步、獲取所有文章需要處理一下翻頁(yè)、翻頁(yè)懇求如下:
  
  我大約看了一下、極客學(xué)院每一頁(yè)大約起碼有5條信息、也就是總文章數/5 就是有多少頁(yè)。但是有小數、我們取整,然后加1就是總頁(yè)數了。代碼如下:

太棒了!利用新插口抓取微信公眾號的所有文章

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 185 次瀏覽 ? 2020-08-04 02:02 ? 來(lái)自相關(guān)話(huà)題

  
  各位老漢兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公眾號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP,還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前段時(shí)間早上陌陌官方發(fā)布了一個(gè)文章:
  
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、企業(yè)號是否可行我不清楚。因為我木有·····
  2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式,來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token,和公眾號的微信號(就是數字+字符那個(gè)),獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:
  5、點(diǎn)擊我們搜索到的公眾號以后,又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步,獲取所有文章需要處理一下翻頁(yè)。翻頁(yè)懇求如下:
  
  我大約看了一下,極客學(xué)院每一頁(yè)大約起碼有5條信息文章采集接口,也就是總文章數/5 就是有多少頁(yè)。但是有小數,我們取整文章采集接口,然后加1就是總頁(yè)數了。
  代碼如下:
  
  item.get(‘link’)就是我們須要的公眾號文章連接啦!繼續懇求這個(gè)URL提取上面的內容就是啦!
  End. 查看全部

  
  各位老漢兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公眾號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP,還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前段時(shí)間早上陌陌官方發(fā)布了一個(gè)文章:
  
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、企業(yè)號是否可行我不清楚。因為我木有·····
  2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式,來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token,和公眾號的微信號(就是數字+字符那個(gè)),獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:
  5、點(diǎn)擊我們搜索到的公眾號以后,又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步,獲取所有文章需要處理一下翻頁(yè)。翻頁(yè)懇求如下:
  
  我大約看了一下,極客學(xué)院每一頁(yè)大約起碼有5條信息文章采集接口,也就是總文章數/5 就是有多少頁(yè)。但是有小數,我們取整文章采集接口,然后加1就是總頁(yè)數了。
  代碼如下:
  
  item.get(‘link’)就是我們須要的公眾號文章連接啦!繼續懇求這個(gè)URL提取上面的內容就是啦!
  End.

小浣熊動(dòng)漫cms3.0版本最新采集規則和發(fā)布模塊加插口加插件

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 606 次瀏覽 ? 2020-08-09 12:45 ? 來(lái)自相關(guān)話(huà)題

  2.根據網(wǎng)站版本選擇對應的發(fā)布模塊和插口,并配置即可
  3.規則里有具體的使用視頻教學(xué)
  4.必須使用優(yōu)采云v9.8內部版(自己在網(wǎng)上找)
  5.使用簡(jiǎn)易教程:
  首先保證你手里有三個(gè)文件或則更多,例如Write.php(發(fā)布插口) xxxx.ljobx(采集規則) xxx.wpm(發(fā)布模塊) xxx.cs(采集插件)
  1.選擇對應版本優(yōu)采云導入 采集規則 和 發(fā)布模塊 去網(wǎng)站對應位置替換 Write.php(發(fā)布插口)
  優(yōu)采云安裝目錄/Module 這是放發(fā)布模塊的
  優(yōu)采云安裝目錄/Plugins 這是放插件的
  網(wǎng)站安裝目錄/application/api/controller 這是放發(fā)布插口的
  2.修改規則中的 cookie 發(fā)布規則配置 插件配置 一些關(guān)鍵標簽的替換值(不同的規則可能不需要修改)
  cookie的作用是為了采集一些須要會(huì )員登錄就能采集的東西
  發(fā)布配置,就是編輯任務(wù)中 第三步 ,添加發(fā)布配置,選擇發(fā)布模塊,并填寫(xiě)自己的url即可
  插件配置 部分規則使用插件輔助采集,所以須要在第四步中選擇對應的采集插件
  一些標簽的值, 如api秘鑰,單章價(jià)錢(qián),甚至是圖片轉本地后的對應新域名都須要自行修改
  3.完成上述,在第一步頁(yè)面測試網(wǎng)址獲取并點(diǎn)擊任意內容頁(yè)進(jìn)行測試采集
  4.右下角測試還有個(gè)測試發(fā)布,配置完發(fā)布配置的可以測試下,這里的測試發(fā)布可以有效查看發(fā)布狀態(tài)和錯誤 查看全部

  2.根據網(wǎng)站版本選擇對應的發(fā)布模塊和插口,并配置即可
  3.規則里有具體的使用視頻教學(xué)
  4.必須使用優(yōu)采云v9.8內部版(自己在網(wǎng)上找)
  5.使用簡(jiǎn)易教程:
  首先保證你手里有三個(gè)文件或則更多,例如Write.php(發(fā)布插口) xxxx.ljobx(采集規則) xxx.wpm(發(fā)布模塊) xxx.cs(采集插件)
  1.選擇對應版本優(yōu)采云導入 采集規則 和 發(fā)布模塊 去網(wǎng)站對應位置替換 Write.php(發(fā)布插口)
  優(yōu)采云安裝目錄/Module 這是放發(fā)布模塊的
  優(yōu)采云安裝目錄/Plugins 這是放插件的
  網(wǎng)站安裝目錄/application/api/controller 這是放發(fā)布插口的
  2.修改規則中的 cookie 發(fā)布規則配置 插件配置 一些關(guān)鍵標簽的替換值(不同的規則可能不需要修改)
  cookie的作用是為了采集一些須要會(huì )員登錄就能采集的東西
  發(fā)布配置,就是編輯任務(wù)中 第三步 ,添加發(fā)布配置,選擇發(fā)布模塊,并填寫(xiě)自己的url即可
  插件配置 部分規則使用插件輔助采集,所以須要在第四步中選擇對應的采集插件
  一些標簽的值, 如api秘鑰,單章價(jià)錢(qián),甚至是圖片轉本地后的對應新域名都須要自行修改
  3.完成上述,在第一步頁(yè)面測試網(wǎng)址獲取并點(diǎn)擊任意內容頁(yè)進(jìn)行測試采集
  4.右下角測試還有個(gè)測試發(fā)布,配置完發(fā)布配置的可以測試下,這里的測試發(fā)布可以有效查看發(fā)布狀態(tài)和錯誤

WordPress4.X-5.3優(yōu)采云免登錄發(fā)布插口+模塊(增強版)下載

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 159 次瀏覽 ? 2020-08-09 12:26 ? 來(lái)自相關(guān)話(huà)題

  自古文章天下一大抄,看你會(huì )抄不會(huì )秒。對于好多站長(cháng),因為人的極限性,網(wǎng)站沒(méi)有采集文章只靠自己百分百純原創(chuàng )是極少的也是廢精力的,好的內容采集一下也是不錯的。最近接觸了優(yōu)采云采集器,自己這個(gè)站也是wordpress搭的站點(diǎn),用到了一款免登錄發(fā)布文章接口的模塊,感覺(jué)很好用。因為網(wǎng)上的大多教程都是用的優(yōu)采云V7.6在作演示,對于一些新接觸優(yōu)采云采集V9版本的新用戶(hù)是有點(diǎn)難懂。我明天就在這分享一下用優(yōu)采云V9版本的教程。我在wordpress4.4、4.5、4.6、4.7、4.9至現今最新版5.3.2測試都可以用。
  下載地址:
  鏈接: 提取碼:z6kf
  WordPress4.X-5.3優(yōu)采云免登錄發(fā)布插口+模塊(增強版)功能適用于優(yōu)采云采集器7.6-V9.12(目前最新版)優(yōu)化了驗證標題重復優(yōu)化了附件、圖片、縮略圖的上傳和生成降低了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)修補BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2修補BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)優(yōu)化strtoarray函數更新說(shuō)明
  T3: 2017.11.03
  1、優(yōu)化了驗證標題重復
  2、優(yōu)化了附件、圖片、縮略圖的上傳和生成
  T2: 2017.10.23
  1、增加了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)
  2、修復BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤
  T1:2017.10.12
  1、舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2
  2、修復BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)
  3、優(yōu)化strtoarray函數
  功能特點(diǎn)解讀1.分類(lèi)(category)2.標簽3.作者4.圖片和縮略圖:5.時(shí)間和預約發(fā)布:6.評論:7.其它:WordPress優(yōu)采云免登錄插口使用教程
  將locoy.php放在wordpress站點(diǎn)根目錄,將” WordPress免登錄發(fā)布插口.wpm”放到優(yōu)采云采集器下的“Module”文件夾, 然后在優(yōu)采云采集器編輯任務(wù),選擇 第三步: 發(fā)布內容規則 頁(yè)面下的 Web在線(xiàn)發(fā)布。如下圖。(當前用的是優(yōu)采云V9.12),第4登錄操作-網(wǎng)站那里填寫(xiě)你自己的網(wǎng)站域名。
  
  返回第三步內容發(fā)布規則那,選擇剛剛保存的配置文件。
  
  完成以上的步驟早已可以發(fā)布正常的數據啦, 可以發(fā)布得內容有:
  標題,內容(此標簽可以上傳圖片和文件),分類(lèi),作者,時(shí)間,摘要,縮略圖(系統會(huì )默認調用內容的第一張圖片為縮略圖,此標簽可選)”。如果你不需要個(gè)別標簽,可以按照上圖,編輯發(fā)布模塊,在“內容發(fā)布參數”中刪掉對不想要的表單名和表單值。
  WordPress優(yōu)采云免登錄插口進(jìn)階教程
  關(guān)于安全配置、多個(gè)分類(lèi),多個(gè)標簽,自定義數組(post_meta), 自定義分類(lèi)(category), 自定義文章類(lèi)型(post_type), 自定義文章形式(post_format), 自定義分類(lèi)方法(taxonomy), 自定義分類(lèi)信息(add_term_meta)請往下看。
  模塊參數列表:
  //以下為代碼正文…
post_title 必選 標題
post_content 必選 內容
tag 可選 標簽
post_category 可選 分類(lèi)
post_date 可選 時(shí)間
post_excerpt 可選 摘要
post_author 可選 作者
category_description 可選 分類(lèi)信息
post_cate_meta[name] 可選 自定義分類(lèi)信息
post_meta[name] 可選 自定義字段
post_type 可選 文章類(lèi)型 默認為'post'
post_taxonomy 可選 自定義分類(lèi)方式
post_format 可選 文章形式
  參考功能說(shuō)明:
  如何發(fā)布文章同時(shí)屬于多個(gè)分類(lèi),多個(gè)標簽?
  多分類(lèi)和多標簽必須用冒號隔開(kāi),支持name和 id 兩種形式, 模塊手動(dòng)判定。 例如 name: 科幻,動(dòng)作,動(dòng)漫 id: 1,3,6,2
  如何發(fā)布自定義數組?
  
  在web發(fā)布配置,進(jìn)入發(fā)布插口的編輯模式,然后在內容發(fā)布參數新增post_meta[]表單, []中間為自定義數組的名稱(chēng),表單值為[標簽:SEO標題],比如我這兒設置為SEO標題,在優(yōu)采云采集器第二步內容采集那里對應的標簽名就是SEO標題。
  如何進(jìn)行安全配置?
  文件會(huì )對數據進(jìn)行過(guò)濾, 但是為了數據的安全, 所以建議:
  1.更改通信秘鑰,更改locoy.php文件的61行”$secretWord = ‘123456’;” (注意!這個(gè)秘鑰必須要Web發(fā)布配置中的全局變量保持一致)。
  2.將文件重命名為愈加復雜的名子. 重命名后須要更改發(fā)布模塊的以下幾個(gè)參數,保持一致性。
  
  關(guān)于文件上傳
  1.在Web發(fā)布模塊/高級功能/添加標簽名
  
  2.在優(yōu)采云采集器任務(wù)的第二步,內容采集規則,內容-文件下載,設置參照如圖設置:
  
  關(guān)于其它自定義的使用方式和自定義數組大同小異,僅是更換了表單名,某些自定義屬性支持字段。 查看全部

  自古文章天下一大抄,看你會(huì )抄不會(huì )秒。對于好多站長(cháng),因為人的極限性,網(wǎng)站沒(méi)有采集文章只靠自己百分百純原創(chuàng )是極少的也是廢精力的,好的內容采集一下也是不錯的。最近接觸了優(yōu)采云采集器,自己這個(gè)站也是wordpress搭的站點(diǎn),用到了一款免登錄發(fā)布文章接口的模塊,感覺(jué)很好用。因為網(wǎng)上的大多教程都是用的優(yōu)采云V7.6在作演示,對于一些新接觸優(yōu)采云采集V9版本的新用戶(hù)是有點(diǎn)難懂。我明天就在這分享一下用優(yōu)采云V9版本的教程。我在wordpress4.4、4.5、4.6、4.7、4.9至現今最新版5.3.2測試都可以用。
  下載地址:
  鏈接: 提取碼:z6kf
  WordPress4.X-5.3優(yōu)采云免登錄發(fā)布插口+模塊(增強版)功能適用于優(yōu)采云采集器7.6-V9.12(目前最新版)優(yōu)化了驗證標題重復優(yōu)化了附件、圖片、縮略圖的上傳和生成降低了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)修補BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2修補BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)優(yōu)化strtoarray函數更新說(shuō)明
  T3: 2017.11.03
  1、優(yōu)化了驗證標題重復
  2、優(yōu)化了附件、圖片、縮略圖的上傳和生成
  T2: 2017.10.23
  1、增加了對多個(gè)分類(lèi)方法的發(fā)布參數(post_taxonomy_list),使用方式請參考功能特點(diǎn)
  2、修復BUG: 分類(lèi)名稱(chēng)假如富含數字會(huì )導致分類(lèi)錯誤
  T1:2017.10.12
  1、舊版發(fā)布插口重新設計,新版本號為T(mén)1,以后不再對舊版升級維護.舊版本支持3.X-4.8.2
  2、修復BUG:當規則中沒(méi)有發(fā)布模塊中某個(gè)參數時(shí)會(huì )導致發(fā)布數據異常(會(huì )顯示db:標簽名)
  3、優(yōu)化strtoarray函數
  功能特點(diǎn)解讀1.分類(lèi)(category)2.標簽3.作者4.圖片和縮略圖:5.時(shí)間和預約發(fā)布:6.評論:7.其它:WordPress優(yōu)采云免登錄插口使用教程
  將locoy.php放在wordpress站點(diǎn)根目錄,將” WordPress免登錄發(fā)布插口.wpm”放到優(yōu)采云采集器下的“Module”文件夾, 然后在優(yōu)采云采集器編輯任務(wù),選擇 第三步: 發(fā)布內容規則 頁(yè)面下的 Web在線(xiàn)發(fā)布。如下圖。(當前用的是優(yōu)采云V9.12),第4登錄操作-網(wǎng)站那里填寫(xiě)你自己的網(wǎng)站域名。
  
  返回第三步內容發(fā)布規則那,選擇剛剛保存的配置文件。
  
  完成以上的步驟早已可以發(fā)布正常的數據啦, 可以發(fā)布得內容有:
  標題,內容(此標簽可以上傳圖片和文件),分類(lèi),作者,時(shí)間,摘要,縮略圖(系統會(huì )默認調用內容的第一張圖片為縮略圖,此標簽可選)”。如果你不需要個(gè)別標簽,可以按照上圖,編輯發(fā)布模塊,在“內容發(fā)布參數”中刪掉對不想要的表單名和表單值。
  WordPress優(yōu)采云免登錄插口進(jìn)階教程
  關(guān)于安全配置、多個(gè)分類(lèi),多個(gè)標簽,自定義數組(post_meta), 自定義分類(lèi)(category), 自定義文章類(lèi)型(post_type), 自定義文章形式(post_format), 自定義分類(lèi)方法(taxonomy), 自定義分類(lèi)信息(add_term_meta)請往下看。
  模塊參數列表:
  //以下為代碼正文…
post_title 必選 標題
post_content 必選 內容
tag 可選 標簽
post_category 可選 分類(lèi)
post_date 可選 時(shí)間
post_excerpt 可選 摘要
post_author 可選 作者
category_description 可選 分類(lèi)信息
post_cate_meta[name] 可選 自定義分類(lèi)信息
post_meta[name] 可選 自定義字段
post_type 可選 文章類(lèi)型 默認為'post'
post_taxonomy 可選 自定義分類(lèi)方式
post_format 可選 文章形式
  參考功能說(shuō)明:
  如何發(fā)布文章同時(shí)屬于多個(gè)分類(lèi),多個(gè)標簽?
  多分類(lèi)和多標簽必須用冒號隔開(kāi),支持name和 id 兩種形式, 模塊手動(dòng)判定。 例如 name: 科幻,動(dòng)作,動(dòng)漫 id: 1,3,6,2
  如何發(fā)布自定義數組?
  
  在web發(fā)布配置,進(jìn)入發(fā)布插口的編輯模式,然后在內容發(fā)布參數新增post_meta[]表單, []中間為自定義數組的名稱(chēng),表單值為[標簽:SEO標題],比如我這兒設置為SEO標題,在優(yōu)采云采集器第二步內容采集那里對應的標簽名就是SEO標題。
  如何進(jìn)行安全配置?
  文件會(huì )對數據進(jìn)行過(guò)濾, 但是為了數據的安全, 所以建議:
  1.更改通信秘鑰,更改locoy.php文件的61行”$secretWord = ‘123456’;” (注意!這個(gè)秘鑰必須要Web發(fā)布配置中的全局變量保持一致)。
  2.將文件重命名為愈加復雜的名子. 重命名后須要更改發(fā)布模塊的以下幾個(gè)參數,保持一致性。
  
  關(guān)于文件上傳
  1.在Web發(fā)布模塊/高級功能/添加標簽名
  
  2.在優(yōu)采云采集器任務(wù)的第二步,內容采集規則,內容-文件下載,設置參照如圖設置:
  
  關(guān)于其它自定義的使用方式和自定義數組大同小異,僅是更換了表單名,某些自定義屬性支持字段。

監控Tomcat解決方案(監控應用服務(wù)器系列文章)

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 603 次瀏覽 ? 2020-08-09 10:47 ? 來(lái)自相關(guān)話(huà)題

  前言:做了一個(gè)監控應用服務(wù)器的項目(支持Tocmat、WebSphere、WebLogic各版本),過(guò)程也算是磕磕絆絆,由于網(wǎng)上缺乏相關(guān)資料,或者身陷于知識的海洋未能尋找到有效的資料,因而走過(guò)不少彎路,遇過(guò)不少困難。為了留下點(diǎn)印記,給后來(lái)人留下點(diǎn)經(jīng)驗之談,助之少走彎路,故將這種經(jīng)驗整理下來(lái),與你們分享。水平有限,難免偏頗,還望見(jiàn)諒。如有疑問(wèn),歡迎留言,或者加入Q群參與討論:35526521。
  監控Tomcat常見(jiàn)的兩種方案的比較
  使用Tomcat提供的manager應用進(jìn)行數據采集
  ◆ 可以使用現有的成熟代碼,減少工作量
  ◆ 支持各不同版本時(shí)無(wú)差異
  ◆ 可能存在特殊需求而manager不能滿(mǎn)足的情況
  ◆ 最重要的一個(gè)優(yōu)點(diǎn)是,配置比較簡(jiǎn)單
  使用JMX插口開(kāi)發(fā)監控程序
  ◆ 全部代碼須要從零開(kāi)始,代碼量較大
  ◆ 支持各不同版本比較麻煩,每個(gè)版本可能有差別
  ◆ 可支配性強
  ◆ 最重要的一個(gè)缺點(diǎn)是,配置比較麻煩
  方案一、使用 Tomcat提供的manager應用進(jìn)行數據采集
  Applications Manager(又稱(chēng)opManager)就是通過(guò)這些方法實(shí)現的。
  使用這些方法,所監控Tomcat必須運行manager應用,缺省情況下,該應用總是運行在服務(wù)器中的。
  增加manager角色用戶(hù)
  訪(fǎng)問(wèn)manager應用的用戶(hù)的角色權限必須是 manager.
  修改/conf目錄下的tomcat-users.xml文件,在節點(diǎn)下添加一個(gè)user節點(diǎn),即可創(chuàng )建一個(gè)用戶(hù)。
  Tomcat版本不同配置也有差別,5.x和6.x創(chuàng )建的用戶(hù)角色應為manager,7.x創(chuàng )建的用戶(hù)角色為manager-jmx,舉例如下:
  1、在5.x和6.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  2、在7.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  admin" password="chenfeng" roles="manager-jmx,manager-script,manager-status"/&gt;
  修改配置后,需要重新啟動(dòng) Tomcat 服務(wù)器。
  連接manager時(shí)將用戶(hù)名/密碼指定為admin/chenfeng
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet
  詳見(jiàn)官方說(shuō)明文檔:
  What is JMX Proxy Servlet
  The JMX Proxy Servlet is a lightweight proxy to get and set the tomcat internals. (Or any class that has been exposed via an MBean) Its usage is not very user friendly but the UI is extremely help for integrating command line scripts for monitoring and changing the internals of tomcat. You can do two things with the proxy: get information and set information. For you to really understand the JMX Proxy Servlet, you should have a general understanding of JMX. If you don't know what JMX is, then prepare to be confused.
  JMX Query command
  This takes the form:
http://webserver/manager/jmxproxy/?qry=STUFF
Where STUFF is the JMX query you wish to perform. For example, here are some queries you might wish to run:
◆ qry=*%3Atype%3DRequestProcessor%2C* --> type=RequestProcessorwhich will locate all workers which can process requests and report their state.
◆ qry=*%3Aj2eeType=Servlet%2c* --> j2eeType=Servletwhich return all loaded servlets.
◆ qry=Catalina%3Atype%3DEnvironment%2Cresourcetype%3DGlobal%2Cname%3DsimpleValue --> Catalina:type=Environment,resourcetype=Global,name=simpleValuewhich look for a specific MBean by the given name.
You'll need to experiment with this to really understand its capabilites. If you provide no qry parameter, then all of the MBeans will be displayed. We really recommend looking at the tomcat source code and understand the JMX spec to get a better understanding of all the queries you may run.
  通過(guò)瀏覽器訪(fǎng)問(wèn):8080/manager/jmxproxy ,輸入用戶(hù)名密碼,然后就可以看見(jiàn)返回了所有的監控信息
  添加查詢(xún)參數,返回特定的監控信息:
  例如:
  :8080/manager/jmxproxy?qry=*%3Atype%3DRequestProcessor%2C*
  其中 *%3Atype%3DRequestProcessor%2C* 其實(shí)就是 *:type=RequestProcessor,*
  又如:
  :8080/manager/jmxproxy?qry=*%3Aj2eeType%3DWebModule%2Cname%3D//localhost/ajaxrpc%2C*
  在代碼中訪(fǎng)問(wèn)JMX Proxy Servlet
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet須要輸入用戶(hù)名密碼,所以通過(guò)Java訪(fǎng)問(wèn)JMX Proxy Servlet的URL也須要授權訪(fǎng)問(wèn): URL url = new URL(":8080/manager/jmxproxy?qry=*%3Atype%3DManager%2C*");
  URLConnection conn = (URLConnection) url.openConnection();
// URL授權訪(fǎng)問(wèn) -- Begin
String password = "admin:chenfeng"; // manager角色的用戶(hù)
String encodedPassword = new BASE64Encoder().encode(password.getBytes());
conn.setRequestProperty("Authorization", "Basic " + encodedPassword);
// URL授權訪(fǎng)問(wèn) -- End
InputStream is = conn.getInputStream();
BufferedReader bufreader = new BufferedReader(new InputStreamReader(is));
String line = null;
while ((line = bufreader.readLine()) != null) {
System.out.println(line);
}
  幾個(gè)具體的事例
  下面展示兩個(gè)事例,一個(gè)是采集服務(wù)器基本信息,一個(gè)是采集Web應用列表信息,注意Tomcat 7.x和Tomcat 5.x、6.x之間存在很大的區別。
  ◆ 采集服務(wù)器基本信息
  通過(guò)serverinfo命令查看服務(wù)器基本信息
  :8080/manager/serverinfo
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/serverinfo
  返回信息:
  OK - Server info
Tomcat Version: Apache Tomcat/7.0.11
OS Name: Windows Vista
OS Version: 6.1
OS Architecture: x86
JVM Version: 1.6.0_13-b03
JVM Vendor: Sun Microsystems Inc.
  ◆ 采集Web應用列表信息
  通過(guò)list命令查看Web應用列表和會(huì )話(huà)數信息
  :8080/manager/list
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/list
  返回信息:
  OK - Listed applications for virtual host localhost
/:running:0:ROOT
/manager:running:1:manager
/docs:running:0:docs
/examples:running:0:examples
/host-manager:running:0:host-manager
  方案二、使用JMX 接口開(kāi)發(fā)監控程序Tomcat激活JMX遠程配置
 ?、?先更改Tomcat的啟動(dòng)腳本,window下tomcat的bin/catalina.bat(linux為catalina.sh),添加以下內 容,8999是jmxremote使用的端口號,第二個(gè)false表示不需要信令:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  可以加在if "%OS%" == "Windows_NT" setlocal 一句后的大段的注釋旁邊。
  參考官方說(shuō)明:
 ?、?上面的配置是不需要信令的,如果須要信令則添加的內容為:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.password.file=../conf/jmxremote.password -Dcom.sun.management.jmxremote.access.file=../conf/jmxremote.access
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  然后復制并更改授權文件,$JAVA_HOME/jre/lib/management下有 jmxremote.access和jmxremote.password的模板文件,將兩個(gè)文件復制到$CATALINA_BASE/conf目錄下
  ● 修改$CATALINA_BASE/conf/jmxremote.access 添加內容:
  monitorRole readonly
  controlRole readwrite
  ● 修改$CATALINA_BASE/conf/jmxremote.password 添加內容:
  monitorRole tomcat
  controlRole tomcat
  注意:如果只做第一步?jīng)]有問(wèn)題,進(jìn)行了第二步Tomcat就啟動(dòng)不了,那么太可能是密碼文件的權限問(wèn)題!
  需要更改jmxremote.password文件的權限,只有運行Tomcat的用戶(hù)有訪(fǎng)問(wèn)權限:
  Windows的NTFS文件系統下,選中文件,點(diǎn)右鍵 --&gt;“屬性”--&gt;“安全”--&gt; 點(diǎn)“高級”--&gt; 點(diǎn)“更改權限”--&gt; 去掉“從父項繼承....”--&gt; 彈出窗口中選“刪除”,這樣就刪掉了所有訪(fǎng)問(wèn)權限。再選“添加”--&gt; “高級”--&gt; “立即查找”,選中你的用戶(hù),例administrator,點(diǎn)“確定",“確定"。來(lái)到權限項目窗口,勾選“完全控制”,點(diǎn)“確定”,OK了。
  官方的提示
  The password file should be read-only and only accessible by the operating system user Tomcat is running as.
 ?、?重新啟動(dòng)Tomcat,在Windows命令行輸入“netstat -a”查看配置的端口號是否已打開(kāi),如果打開(kāi),說(shuō)明里面的配置成功了。
 ?、?使用jconsole測試JMX。
  運行$JAVA_HOME/bin目錄下的jconsole.exe,打開(kāi)J2SE監視和管理控制臺,然后構建聯(lián)接,如 果是本地的Tomcat則直接選擇之后點(diǎn)擊聯(lián)接,如果是遠程的,則步入遠程選項卡,填寫(xiě)地址、端口號、用戶(hù)名、口令即可聯(lián)接。Mbean屬性頁(yè)中給出了相 應的數據,Catalina中是tomcat的,java.lang是jvm的。對于加粗的宋體屬性值,需雙擊一下才可看內容。
  使用JMX監控Tomcat示例代碼:
  String jmxURL = "service:jmx:rmi:///jndi/rmi://192.168.10.93:8999/jmxrmi";
JMXServiceURL serviceURL = new JMXServiceURL(jmxURL);
Map map = new HashMap();
// 用戶(hù)名密碼,在jmxremote.password文件中查看
String[] credentials = new String[] { "monitorRole", "tomcat" };
map.put("jmx.remote.credentials", credentials);
JMXConnector connector = JMXConnectorFactory.connect(serviceURL, map);
MBeanServerConnection mbsc = connector.getMBeanServerConnection();
// 端口最好是動(dòng)態(tài)取得
ObjectName threadObjName = new ObjectName("Catalina:type=ThreadPool,name=http-8080");
MBeanInfo mbInfo = mbsc.getMBeanInfo(threadObjName);
// tomcat的線(xiàn)程數對應的屬性值
String attrName = "currentThreadCount";
MBeanAttributeInfo[] mbAttributes = mbInfo.getAttributes();
System.out.println("currentThreadCount:" + mbsc.getAttribute(threadObjName, attrName));
  完整的示例代碼文件: 查看全部

  前言:做了一個(gè)監控應用服務(wù)器的項目(支持Tocmat、WebSphere、WebLogic各版本),過(guò)程也算是磕磕絆絆,由于網(wǎng)上缺乏相關(guān)資料,或者身陷于知識的海洋未能尋找到有效的資料,因而走過(guò)不少彎路,遇過(guò)不少困難。為了留下點(diǎn)印記,給后來(lái)人留下點(diǎn)經(jīng)驗之談,助之少走彎路,故將這種經(jīng)驗整理下來(lái),與你們分享。水平有限,難免偏頗,還望見(jiàn)諒。如有疑問(wèn),歡迎留言,或者加入Q群參與討論:35526521。
  監控Tomcat常見(jiàn)的兩種方案的比較
  使用Tomcat提供的manager應用進(jìn)行數據采集
  ◆ 可以使用現有的成熟代碼,減少工作量
  ◆ 支持各不同版本時(shí)無(wú)差異
  ◆ 可能存在特殊需求而manager不能滿(mǎn)足的情況
  ◆ 最重要的一個(gè)優(yōu)點(diǎn)是,配置比較簡(jiǎn)單
  使用JMX插口開(kāi)發(fā)監控程序
  ◆ 全部代碼須要從零開(kāi)始,代碼量較大
  ◆ 支持各不同版本比較麻煩,每個(gè)版本可能有差別
  ◆ 可支配性強
  ◆ 最重要的一個(gè)缺點(diǎn)是,配置比較麻煩
  方案一、使用 Tomcat提供的manager應用進(jìn)行數據采集
  Applications Manager(又稱(chēng)opManager)就是通過(guò)這些方法實(shí)現的。
  使用這些方法,所監控Tomcat必須運行manager應用,缺省情況下,該應用總是運行在服務(wù)器中的。
  增加manager角色用戶(hù)
  訪(fǎng)問(wèn)manager應用的用戶(hù)的角色權限必須是 manager.
  修改/conf目錄下的tomcat-users.xml文件,在節點(diǎn)下添加一個(gè)user節點(diǎn),即可創(chuàng )建一個(gè)用戶(hù)。
  Tomcat版本不同配置也有差別,5.x和6.x創(chuàng )建的用戶(hù)角色應為manager,7.x創(chuàng )建的用戶(hù)角色為manager-jmx,舉例如下:
  1、在5.x和6.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  2、在7.x中創(chuàng )建一個(gè)manager角色的用戶(hù),用戶(hù)名為admin,密碼為chenfeng:
  admin" password="chenfeng" roles="manager-jmx,manager-script,manager-status"/&gt;
  修改配置后,需要重新啟動(dòng) Tomcat 服務(wù)器。
  連接manager時(shí)將用戶(hù)名/密碼指定為admin/chenfeng
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet
  詳見(jiàn)官方說(shuō)明文檔:
  What is JMX Proxy Servlet
  The JMX Proxy Servlet is a lightweight proxy to get and set the tomcat internals. (Or any class that has been exposed via an MBean) Its usage is not very user friendly but the UI is extremely help for integrating command line scripts for monitoring and changing the internals of tomcat. You can do two things with the proxy: get information and set information. For you to really understand the JMX Proxy Servlet, you should have a general understanding of JMX. If you don't know what JMX is, then prepare to be confused.
  JMX Query command
  This takes the form:
http://webserver/manager/jmxproxy/?qry=STUFF
Where STUFF is the JMX query you wish to perform. For example, here are some queries you might wish to run:
◆ qry=*%3Atype%3DRequestProcessor%2C* --> type=RequestProcessorwhich will locate all workers which can process requests and report their state.
◆ qry=*%3Aj2eeType=Servlet%2c* --> j2eeType=Servletwhich return all loaded servlets.
◆ qry=Catalina%3Atype%3DEnvironment%2Cresourcetype%3DGlobal%2Cname%3DsimpleValue --> Catalina:type=Environment,resourcetype=Global,name=simpleValuewhich look for a specific MBean by the given name.
You'll need to experiment with this to really understand its capabilites. If you provide no qry parameter, then all of the MBeans will be displayed. We really recommend looking at the tomcat source code and understand the JMX spec to get a better understanding of all the queries you may run.
  通過(guò)瀏覽器訪(fǎng)問(wèn):8080/manager/jmxproxy ,輸入用戶(hù)名密碼,然后就可以看見(jiàn)返回了所有的監控信息
  添加查詢(xún)參數,返回特定的監控信息:
  例如:
  :8080/manager/jmxproxy?qry=*%3Atype%3DRequestProcessor%2C*
  其中 *%3Atype%3DRequestProcessor%2C* 其實(shí)就是 *:type=RequestProcessor,*
  又如:
  :8080/manager/jmxproxy?qry=*%3Aj2eeType%3DWebModule%2Cname%3D//localhost/ajaxrpc%2C*
  在代碼中訪(fǎng)問(wèn)JMX Proxy Servlet
  通過(guò)瀏覽器訪(fǎng)問(wèn)JMX Proxy Servlet須要輸入用戶(hù)名密碼,所以通過(guò)Java訪(fǎng)問(wèn)JMX Proxy Servlet的URL也須要授權訪(fǎng)問(wèn): URL url = new URL(":8080/manager/jmxproxy?qry=*%3Atype%3DManager%2C*");
  URLConnection conn = (URLConnection) url.openConnection();
// URL授權訪(fǎng)問(wèn) -- Begin
String password = "admin:chenfeng"; // manager角色的用戶(hù)
String encodedPassword = new BASE64Encoder().encode(password.getBytes());
conn.setRequestProperty("Authorization", "Basic " + encodedPassword);
// URL授權訪(fǎng)問(wèn) -- End
InputStream is = conn.getInputStream();
BufferedReader bufreader = new BufferedReader(new InputStreamReader(is));
String line = null;
while ((line = bufreader.readLine()) != null) {
System.out.println(line);
}
  幾個(gè)具體的事例
  下面展示兩個(gè)事例,一個(gè)是采集服務(wù)器基本信息,一個(gè)是采集Web應用列表信息,注意Tomcat 7.x和Tomcat 5.x、6.x之間存在很大的區別。
  ◆ 采集服務(wù)器基本信息
  通過(guò)serverinfo命令查看服務(wù)器基本信息
  :8080/manager/serverinfo
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/serverinfo
  返回信息:
  OK - Server info
Tomcat Version: Apache Tomcat/7.0.11
OS Name: Windows Vista
OS Version: 6.1
OS Architecture: x86
JVM Version: 1.6.0_13-b03
JVM Vendor: Sun Microsystems Inc.
  ◆ 采集Web應用列表信息
  通過(guò)list命令查看Web應用列表和會(huì )話(huà)數信息
  :8080/manager/list
  Tomcat 7.x的查詢(xún)URL有變化:
  :8080/manager/text/list
  返回信息:
  OK - Listed applications for virtual host localhost
/:running:0:ROOT
/manager:running:1:manager
/docs:running:0:docs
/examples:running:0:examples
/host-manager:running:0:host-manager
  方案二、使用JMX 接口開(kāi)發(fā)監控程序Tomcat激活JMX遠程配置
 ?、?先更改Tomcat的啟動(dòng)腳本,window下tomcat的bin/catalina.bat(linux為catalina.sh),添加以下內 容,8999是jmxremote使用的端口號,第二個(gè)false表示不需要信令:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  可以加在if "%OS%" == "Windows_NT" setlocal 一句后的大段的注釋旁邊。
  參考官方說(shuō)明:
 ?、?上面的配置是不需要信令的,如果須要信令則添加的內容為:
  set JMX_REMOTE_CONFIG=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.password.file=../conf/jmxremote.password -Dcom.sun.management.jmxremote.access.file=../conf/jmxremote.access
set CATALINA_OPTS=%CATALINA_OPTS% %JMX_REMOTE_CONFIG%
  然后復制并更改授權文件,$JAVA_HOME/jre/lib/management下有 jmxremote.access和jmxremote.password的模板文件,將兩個(gè)文件復制到$CATALINA_BASE/conf目錄下
  ● 修改$CATALINA_BASE/conf/jmxremote.access 添加內容:
  monitorRole readonly
  controlRole readwrite
  ● 修改$CATALINA_BASE/conf/jmxremote.password 添加內容:
  monitorRole tomcat
  controlRole tomcat
  注意:如果只做第一步?jīng)]有問(wèn)題,進(jìn)行了第二步Tomcat就啟動(dòng)不了,那么太可能是密碼文件的權限問(wèn)題!
  需要更改jmxremote.password文件的權限,只有運行Tomcat的用戶(hù)有訪(fǎng)問(wèn)權限:
  Windows的NTFS文件系統下,選中文件,點(diǎn)右鍵 --&gt;“屬性”--&gt;“安全”--&gt; 點(diǎn)“高級”--&gt; 點(diǎn)“更改權限”--&gt; 去掉“從父項繼承....”--&gt; 彈出窗口中選“刪除”,這樣就刪掉了所有訪(fǎng)問(wèn)權限。再選“添加”--&gt; “高級”--&gt; “立即查找”,選中你的用戶(hù),例administrator,點(diǎn)“確定",“確定"。來(lái)到權限項目窗口,勾選“完全控制”,點(diǎn)“確定”,OK了。
  官方的提示
  The password file should be read-only and only accessible by the operating system user Tomcat is running as.
 ?、?重新啟動(dòng)Tomcat,在Windows命令行輸入“netstat -a”查看配置的端口號是否已打開(kāi),如果打開(kāi),說(shuō)明里面的配置成功了。
 ?、?使用jconsole測試JMX。
  運行$JAVA_HOME/bin目錄下的jconsole.exe,打開(kāi)J2SE監視和管理控制臺,然后構建聯(lián)接,如 果是本地的Tomcat則直接選擇之后點(diǎn)擊聯(lián)接,如果是遠程的,則步入遠程選項卡,填寫(xiě)地址、端口號、用戶(hù)名、口令即可聯(lián)接。Mbean屬性頁(yè)中給出了相 應的數據,Catalina中是tomcat的,java.lang是jvm的。對于加粗的宋體屬性值,需雙擊一下才可看內容。
  使用JMX監控Tomcat示例代碼:
  String jmxURL = "service:jmx:rmi:///jndi/rmi://192.168.10.93:8999/jmxrmi";
JMXServiceURL serviceURL = new JMXServiceURL(jmxURL);
Map map = new HashMap();
// 用戶(hù)名密碼,在jmxremote.password文件中查看
String[] credentials = new String[] { "monitorRole", "tomcat" };
map.put("jmx.remote.credentials", credentials);
JMXConnector connector = JMXConnectorFactory.connect(serviceURL, map);
MBeanServerConnection mbsc = connector.getMBeanServerConnection();
// 端口最好是動(dòng)態(tài)取得
ObjectName threadObjName = new ObjectName("Catalina:type=ThreadPool,name=http-8080");
MBeanInfo mbInfo = mbsc.getMBeanInfo(threadObjName);
// tomcat的線(xiàn)程數對應的屬性值
String attrName = "currentThreadCount";
MBeanAttributeInfo[] mbAttributes = mbInfo.getAttributes();
System.out.println("currentThreadCount:" + mbsc.getAttribute(threadObjName, attrName));
  完整的示例代碼文件:

新浪股票插口獲取歷史數據

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 223 次瀏覽 ? 2020-08-09 10:30 ? 來(lái)自相關(guān)話(huà)題

  這三天做了一個(gè)調用新浪股票插口獲取實(shí)時(shí)以及歷史股票數據的應用,因為新浪沒(méi)有公開(kāi)關(guān)于其插口的官方文檔,所以通過(guò)各類(lèi)百度差了好多關(guān)于新浪股票插口的使用,不過(guò)你們基本都是轉載或則直接復制,對于實(shí)時(shí)數據的獲取講的太詳盡,但是缺乏獲取歷史數據的方式。
  關(guān)于實(shí)時(shí)數據的獲取你們可以看這篇博客:實(shí)時(shí)股票數據插口
  經(jīng)過(guò)不懈的努力總算再這篇博文中找到了關(guān)于新浪股票歷史數據的獲取方法騰訊股票插口、和訊網(wǎng)股票插口、新浪股票插口、雪球股票數據、網(wǎng)易股票數據
  最近二十天左右的每5分鐘數據
 ?。▍担汗善本幪?、分鐘間隔(5、15、30、60)、均值(5、10、15、20、25)、查詢(xún)個(gè)數點(diǎn)(最大值242))
  獲取的數據是類(lèi)似下邊的json字段:日期、開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、收盤(pán)價(jià)、成交量:
  
  獲取的數據會(huì )有很多,然后按照自己須要進(jìn)行解析,我需要的是每晚的收盤(pán)價(jià),股市是每個(gè)工作日下午3點(diǎn)午盤(pán),所以我只須要找到每晚的下午三點(diǎn)時(shí)刻的數據進(jìn)行過(guò)濾即可:
  1、新建一個(gè)歷史數據對象類(lèi):
  public class HistoryModel {
public String day;
public String close;
public HistoryModel(String day, String close) {
this.day = day;
this.close = close;
}
}
  2、新建一個(gè)股票多次歷史數據類(lèi):和上一個(gè)區別就是,這里收錄的是所有的歷史數據:參數包括股票名子、代碼、現在的價(jià)錢(qián)、歷史數據:
  public class HistoryModels {
public String name;
public String code;
public String now;
public List list;
public HistoryModels(String name, String code, String now, List list) {
this.name = name;
this.code = code;
this.now = now;
this.list = list;
}
}
  3、將須要查詢(xún)的股票的代碼帶進(jìn)url里通過(guò)HTTP懇求json數據,我這兒用的Volley懇求的:
  其中將時(shí)間點(diǎn)未15:00:00的數據過(guò)濾下來(lái),組合乘List以后在全部形參組合成一個(gè)HistoryModels儲存股票信息以及股票的所有歷史數據。
  // Instantiate the RequestQueue.
RequestQueue queue = Volley.newRequestQueue(Home.context);
String url1 = "http://money.finance.sina.com. ... ot%3B + Home.myChoiceModelList.get(ii).code + "&scale=60&ma=no&datalen=1023";
// Request a string response from the provided URL.
StringRequest stringRequest1 = new StringRequest(Request.Method.GET, url1,
new Response.Listener() {
@Override
public void onResponse(String response) {
List historyList = Convert(response,new TypeToken() {
}.getType());
List historyList2 = new ArrayList();
if(historyList!=null) {
for (int j = 0; j < historyList.size(); j++) {
if (historyList.get(j).day.split(" ")[1].equals("15:00:00")) {
historyList2.add(historyList.get(j));
}
}
}
HistoryModels model = new HistoryModels(Home.myChoiceModelList.get(ii).name, Home.myChoiceModelList.get(ii).code, Home.myChoiceModelList.get(ii).now, historyList2);
cllList.add(model);
Message msg = new Message();
msg.what = 0x002;
handler.sendMessage(msg);
}
},
new Response.ErrorListener() {
@Override
public void onErrorResponse(VolleyError error) {
}
});
queue.add(stringRequest1);
  4、其中對json數據的處理,即從json轉化成數據對象的方式如下:
  /*
* Json轉換泛型
*/
public static T Convert(String jsonString, Type cls) {
T t = null;
try {
if (jsonString != null && !jsonString.equals("")) {
Gson gson = new Gson();
t = gson.fromJson(jsonString, cls);
}
} catch (Exception e) {
e.printStackTrace();
}
return t;
}
  關(guān)于股票的實(shí)時(shí)數據這兒沒(méi)有描述,通過(guò)文章開(kāi)頭聯(lián)接的博客可以了解到,寫(xiě)的太詳盡。 查看全部

  這三天做了一個(gè)調用新浪股票插口獲取實(shí)時(shí)以及歷史股票數據的應用,因為新浪沒(méi)有公開(kāi)關(guān)于其插口的官方文檔,所以通過(guò)各類(lèi)百度差了好多關(guān)于新浪股票插口的使用,不過(guò)你們基本都是轉載或則直接復制,對于實(shí)時(shí)數據的獲取講的太詳盡,但是缺乏獲取歷史數據的方式。
  關(guān)于實(shí)時(shí)數據的獲取你們可以看這篇博客:實(shí)時(shí)股票數據插口
  經(jīng)過(guò)不懈的努力總算再這篇博文中找到了關(guān)于新浪股票歷史數據的獲取方法騰訊股票插口、和訊網(wǎng)股票插口、新浪股票插口、雪球股票數據、網(wǎng)易股票數據
  最近二十天左右的每5分鐘數據
 ?。▍担汗善本幪?、分鐘間隔(5、15、30、60)、均值(5、10、15、20、25)、查詢(xún)個(gè)數點(diǎn)(最大值242))
  獲取的數據是類(lèi)似下邊的json字段:日期、開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、收盤(pán)價(jià)、成交量:
  
  獲取的數據會(huì )有很多,然后按照自己須要進(jìn)行解析,我需要的是每晚的收盤(pán)價(jià),股市是每個(gè)工作日下午3點(diǎn)午盤(pán),所以我只須要找到每晚的下午三點(diǎn)時(shí)刻的數據進(jìn)行過(guò)濾即可:
  1、新建一個(gè)歷史數據對象類(lèi):
  public class HistoryModel {
public String day;
public String close;
public HistoryModel(String day, String close) {
this.day = day;
this.close = close;
}
}
  2、新建一個(gè)股票多次歷史數據類(lèi):和上一個(gè)區別就是,這里收錄的是所有的歷史數據:參數包括股票名子、代碼、現在的價(jià)錢(qián)、歷史數據:
  public class HistoryModels {
public String name;
public String code;
public String now;
public List list;
public HistoryModels(String name, String code, String now, List list) {
this.name = name;
this.code = code;
this.now = now;
this.list = list;
}
}
  3、將須要查詢(xún)的股票的代碼帶進(jìn)url里通過(guò)HTTP懇求json數據,我這兒用的Volley懇求的:
  其中將時(shí)間點(diǎn)未15:00:00的數據過(guò)濾下來(lái),組合乘List以后在全部形參組合成一個(gè)HistoryModels儲存股票信息以及股票的所有歷史數據。
  // Instantiate the RequestQueue.
RequestQueue queue = Volley.newRequestQueue(Home.context);
String url1 = "http://money.finance.sina.com. ... ot%3B + Home.myChoiceModelList.get(ii).code + "&scale=60&ma=no&datalen=1023";
// Request a string response from the provided URL.
StringRequest stringRequest1 = new StringRequest(Request.Method.GET, url1,
new Response.Listener() {
@Override
public void onResponse(String response) {
List historyList = Convert(response,new TypeToken() {
}.getType());
List historyList2 = new ArrayList();
if(historyList!=null) {
for (int j = 0; j < historyList.size(); j++) {
if (historyList.get(j).day.split(" ")[1].equals("15:00:00")) {
historyList2.add(historyList.get(j));
}
}
}
HistoryModels model = new HistoryModels(Home.myChoiceModelList.get(ii).name, Home.myChoiceModelList.get(ii).code, Home.myChoiceModelList.get(ii).now, historyList2);
cllList.add(model);
Message msg = new Message();
msg.what = 0x002;
handler.sendMessage(msg);
}
},
new Response.ErrorListener() {
@Override
public void onErrorResponse(VolleyError error) {
}
});
queue.add(stringRequest1);
  4、其中對json數據的處理,即從json轉化成數據對象的方式如下:
  /*
* Json轉換泛型
*/
public static T Convert(String jsonString, Type cls) {
T t = null;
try {
if (jsonString != null && !jsonString.equals("")) {
Gson gson = new Gson();
t = gson.fromJson(jsonString, cls);
}
} catch (Exception e) {
e.printStackTrace();
}
return t;
}
  關(guān)于股票的實(shí)時(shí)數據這兒沒(méi)有描述,通過(guò)文章開(kāi)頭聯(lián)接的博客可以了解到,寫(xiě)的太詳盡。

destoon7

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 225 次瀏覽 ? 2020-08-09 09:21 ? 來(lái)自相關(guān)話(huà)題

  destoon7.0正式版已與2018年4月3日發(fā)布,destoon采集專(zhuān)家已與第一時(shí)間發(fā)布destoon優(yōu)采云免登入免費版采集接口,并且一如既往的免費下去。
  destoon7.0優(yōu)采云采集接口說(shuō)簡(jiǎn)單點(diǎn)就是一個(gè)網(wǎng)站內容入庫插口,傳統獲取數據形式是須要通過(guò)人工復制粘貼到我們自己的網(wǎng)站,用時(shí)較長(cháng)較慢。而destoon采集接口就是取代人工復制粘貼,速度及效率是人工的千百倍以上。
  destoon采集接口是借助優(yōu)采云采集器完成采集任務(wù),程序自帶優(yōu)采云8.0及模塊規則,用戶(hù)下載即可使用,無(wú)需再單獨安裝優(yōu)采云。
  接口完全免費沒(méi)有任何域名限制及側門(mén),用戶(hù)只要會(huì )寫(xiě)規則就可以完全免費采集任何網(wǎng)站。
  接口完全是用的destoon官方程序預留的api接口2次開(kāi)發(fā),毋須修改任何系統文件,綠色環(huán)保!
  只要把握好采集速度可以實(shí)現完全模擬人工發(fā)布,百度蜘蛛是看不下來(lái)采集的。
  接口可以支持destoon官方程序4.0-7.0程序使用,(做過(guò)2次開(kāi)發(fā)的請自測)。
  我們的插口及規則完全永久免費在我們的官方峰會(huì )提供更新及技術(shù)支持,并且不定期的分享免費規則。
  程序自帶24個(gè)全行業(yè)通用參考規則給你們使用,會(huì )寫(xiě)規則的可以參考默認規則標簽格式來(lái)自己制做規則。
  軟件特征:
  一、SEO
  (1)、destoon7.0采集器采用優(yōu)采云V8版 經(jīng)過(guò)采集優(yōu)化后能使搜索引擎收錄更多,哪怕是您一個(gè)外鏈都沒(méi)有發(fā)布,您一點(diǎn)SEO都不懂,只要在訂購我們采集軟件前你的網(wǎng)站沒(méi)有被搜索引擎K、網(wǎng)站本身正常,都能有不錯的收錄,收錄詳情請看演示
  (2)、支持自動(dòng)分類(lèi)會(huì )員組,如果目標站是企業(yè)會(huì )員就入庫到企業(yè)會(huì )員組,如果是個(gè)人就入庫到個(gè)人會(huì )員組(需要通過(guò)代碼自行判定用戶(hù)組)
  (3)、會(huì )員名、公司名、內容信息,前后都支持添加自定義文字內容,方便辨別采集內容及SEO。
  (4)、以采集到的公司名的拼音作為會(huì )員賬號,對SEO更有利。
  二、模擬人工智能化處理數據:
  接口與傳統的API接口不同,常用API接口是直接插入數據到數據庫不利于SEO。
  收費版插口能模擬人工發(fā)布內容,比如:自動(dòng)下載圖片、自動(dòng)水印、自動(dòng)生成靜態(tài)頁(yè)。
  詳情如下:
  (1)、支持采集內容后手動(dòng)生成靜態(tài)頁(yè)面(動(dòng)態(tài)或偽靜態(tài)下須要這個(gè)功能)。
  (2)、所有模塊分類(lèi)都支持手動(dòng)下載標題圖片、內容圖片,并且手動(dòng)加水印之后全手動(dòng)下載上傳圖片到服務(wù)器。(需要在后臺每位對應模塊的模塊設置里開(kāi)啟“下載內容遠程圖片”功能)。
  (3)、檢測到模塊內容有圖片的采集內容,并且手動(dòng)設置第一張為標題圖片。
  (4)、因網(wǎng)路或則其他誘因未正常生成成功的圖片,自動(dòng)記錄出來(lái),支持一鍵重下載那些沒(méi)下載成功的圖片。
  (5)、自由設置每位頻道的圖片是否下載、下載目錄、盜鏈、水印模式等。
  (6)、自由設置供應、求購、招商等這類(lèi)頻道,是否啟用三張標題圖的功能(無(wú)需要再在規則里設置,全由插口控制)。
  (7)、采集內容可以自由設置采集目標站上的時(shí)間,還是用當前時(shí)間。
  三、發(fā)布內容形式:
  (1)、優(yōu)化了信息關(guān)聯(lián)到公司的設置,可以設置每位頻道是否可以旅客發(fā)布、是否關(guān)聯(lián)到公司,采自不同站的供應 或者 其他頻道信息 ,只要是同一公司的信息,就發(fā)布到這個(gè)公司下邊,不會(huì )重復注冊公司,或者只要是公司早已在你的站上注冊過(guò)了,就不會(huì )出現旅客名義發(fā)布的此公司信息。
  (2)、各個(gè)分類(lèi)均支持自動(dòng)分類(lèi)入庫 對應分類(lèi)上采用手動(dòng)對應分類(lèi)優(yōu)先,指定分類(lèi)次之的次序,拋棄了原先在規則第二步設置分類(lèi)ID的情況,啟用在第三步里選擇或則直接寫(xiě)分類(lèi)ID,這樣就免去了因弄錯了分類(lèi)ID而導致多次重復采集,節省了采集時(shí)間,可以發(fā)到多個(gè)分類(lèi),以及多個(gè)站(前提是授權多個(gè)域名),支持第三步里的站群形式發(fā)布。 查看全部

  destoon7.0正式版已與2018年4月3日發(fā)布,destoon采集專(zhuān)家已與第一時(shí)間發(fā)布destoon優(yōu)采云免登入免費版采集接口,并且一如既往的免費下去。
  destoon7.0優(yōu)采云采集接口說(shuō)簡(jiǎn)單點(diǎn)就是一個(gè)網(wǎng)站內容入庫插口,傳統獲取數據形式是須要通過(guò)人工復制粘貼到我們自己的網(wǎng)站,用時(shí)較長(cháng)較慢。而destoon采集接口就是取代人工復制粘貼,速度及效率是人工的千百倍以上。
  destoon采集接口是借助優(yōu)采云采集器完成采集任務(wù),程序自帶優(yōu)采云8.0及模塊規則,用戶(hù)下載即可使用,無(wú)需再單獨安裝優(yōu)采云。
  接口完全免費沒(méi)有任何域名限制及側門(mén),用戶(hù)只要會(huì )寫(xiě)規則就可以完全免費采集任何網(wǎng)站。
  接口完全是用的destoon官方程序預留的api接口2次開(kāi)發(fā),毋須修改任何系統文件,綠色環(huán)保!
  只要把握好采集速度可以實(shí)現完全模擬人工發(fā)布,百度蜘蛛是看不下來(lái)采集的。
  接口可以支持destoon官方程序4.0-7.0程序使用,(做過(guò)2次開(kāi)發(fā)的請自測)。
  我們的插口及規則完全永久免費在我們的官方峰會(huì )提供更新及技術(shù)支持,并且不定期的分享免費規則。
  程序自帶24個(gè)全行業(yè)通用參考規則給你們使用,會(huì )寫(xiě)規則的可以參考默認規則標簽格式來(lái)自己制做規則。
  軟件特征:
  一、SEO
  (1)、destoon7.0采集器采用優(yōu)采云V8版 經(jīng)過(guò)采集優(yōu)化后能使搜索引擎收錄更多,哪怕是您一個(gè)外鏈都沒(méi)有發(fā)布,您一點(diǎn)SEO都不懂,只要在訂購我們采集軟件前你的網(wǎng)站沒(méi)有被搜索引擎K、網(wǎng)站本身正常,都能有不錯的收錄,收錄詳情請看演示
  (2)、支持自動(dòng)分類(lèi)會(huì )員組,如果目標站是企業(yè)會(huì )員就入庫到企業(yè)會(huì )員組,如果是個(gè)人就入庫到個(gè)人會(huì )員組(需要通過(guò)代碼自行判定用戶(hù)組)
  (3)、會(huì )員名、公司名、內容信息,前后都支持添加自定義文字內容,方便辨別采集內容及SEO。
  (4)、以采集到的公司名的拼音作為會(huì )員賬號,對SEO更有利。
  二、模擬人工智能化處理數據:
  接口與傳統的API接口不同,常用API接口是直接插入數據到數據庫不利于SEO。
  收費版插口能模擬人工發(fā)布內容,比如:自動(dòng)下載圖片、自動(dòng)水印、自動(dòng)生成靜態(tài)頁(yè)。
  詳情如下:
  (1)、支持采集內容后手動(dòng)生成靜態(tài)頁(yè)面(動(dòng)態(tài)或偽靜態(tài)下須要這個(gè)功能)。
  (2)、所有模塊分類(lèi)都支持手動(dòng)下載標題圖片、內容圖片,并且手動(dòng)加水印之后全手動(dòng)下載上傳圖片到服務(wù)器。(需要在后臺每位對應模塊的模塊設置里開(kāi)啟“下載內容遠程圖片”功能)。
  (3)、檢測到模塊內容有圖片的采集內容,并且手動(dòng)設置第一張為標題圖片。
  (4)、因網(wǎng)路或則其他誘因未正常生成成功的圖片,自動(dòng)記錄出來(lái),支持一鍵重下載那些沒(méi)下載成功的圖片。
  (5)、自由設置每位頻道的圖片是否下載、下載目錄、盜鏈、水印模式等。
  (6)、自由設置供應、求購、招商等這類(lèi)頻道,是否啟用三張標題圖的功能(無(wú)需要再在規則里設置,全由插口控制)。
  (7)、采集內容可以自由設置采集目標站上的時(shí)間,還是用當前時(shí)間。
  三、發(fā)布內容形式:
  (1)、優(yōu)化了信息關(guān)聯(lián)到公司的設置,可以設置每位頻道是否可以旅客發(fā)布、是否關(guān)聯(lián)到公司,采自不同站的供應 或者 其他頻道信息 ,只要是同一公司的信息,就發(fā)布到這個(gè)公司下邊,不會(huì )重復注冊公司,或者只要是公司早已在你的站上注冊過(guò)了,就不會(huì )出現旅客名義發(fā)布的此公司信息。
  (2)、各個(gè)分類(lèi)均支持自動(dòng)分類(lèi)入庫 對應分類(lèi)上采用手動(dòng)對應分類(lèi)優(yōu)先,指定分類(lèi)次之的次序,拋棄了原先在規則第二步設置分類(lèi)ID的情況,啟用在第三步里選擇或則直接寫(xiě)分類(lèi)ID,這樣就免去了因弄錯了分類(lèi)ID而導致多次重復采集,節省了采集時(shí)間,可以發(fā)到多個(gè)分類(lèi),以及多個(gè)站(前提是授權多個(gè)域名),支持第三步里的站群形式發(fā)布。

PHP + fiddler捕獲數據包并采集微信文章的想法的詳細說(shuō)明.

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 397 次瀏覽 ? 2020-08-09 06:25 ? 來(lái)自相關(guān)話(huà)題

  簡(jiǎn)介:
  分析界面知道,要獲得閱讀的文章數和喜歡的數目,必須有兩個(gè)關(guān)鍵參數,即key和uin. 不同的官方帳戶(hù)的密鑰不同(據說(shuō)有一個(gè)通用的微信密鑰,但我不知道如何獲得),并且同一官方帳戶(hù)的密鑰將在大約半小時(shí)內失效
  提交鏈接以獲取閱讀API的文章
  思考:
  1. 攔截并將客戶(hù)端請求讀取接口的請求轉發(fā)到您自己的服務(wù)器,以便您可以獲取密鑰,并使用__biz關(guān)聯(lián)緩存半小時(shí)
  2. 提交商品鏈接進(jìn)行查詢(xún)時(shí),服務(wù)器從商品鏈接獲取__biz,并查詢(xún)是否緩存了當前官方賬號對應的密鑰. 如果是,請繼續執行步驟3,而不是步驟4.
  3.curl請求?界面獲取數據
  4. 當密鑰不存在時(shí),通知客戶(hù)端重定向到url(使用websocket通知或客戶(hù)端ajax輪詢(xún)進(jìn)行通知,您需要使用數據包捕獲工具來(lái)修改文章詳細信息頁(yè)面代碼,以跳至中間頁(yè)面以等待,打開(kāi)在文章頁(yè)面之后,它每隔幾秒鐘跳回到中間頁(yè)面),并將程序暫停幾秒鐘,以等待客戶(hù)端更新密鑰. 此時(shí),客戶(hù)端提交新密鑰并使用它進(jìn)行查詢(xún)
  實(shí)現
  1. 封包捕獲
  該界面是獲取閱讀量的界面,參數如下
  
  
  2. 攔截此接口并將其轉發(fā)到您自己的服務(wù)器,單擊“規則”-“自定義規則”并將其添加到onbeforerequest(在正式請求之前執行的功能)
  
if (osession.fullurl.contains("mp.weixin.qq.com/mp/getappmsgext"))
{
osession.orequest["host"]= 'ccc.aaa.com' ;
}
  
  效果不錯,您可以看到該界面已轉發(fā)
  
  3. 服務(wù)器端緩存密鑰,代碼以php為例
  
public function savekey(request $request)
{
$__biz = $request->param('__biz',0);
$data['uin'] = $request->param('uin',0);
$data['key'] = $request->param('key',0);
cache::set($__biz,$data,30 * 60);
return 'ok';
}
  4. 提交文章鏈接查詢(xún)api代碼
  
public function getreadnum(request $request)
{
$url = $request->param('url');
parse_str(parse_url($url)['query'], $param);
$__biz = $param['__biz'];
$key_data = cache::get($__biz);
if (empty($key_data))
return 'no key';
$uin = $key_data['uin'];
$key = $key_data['key'];
$param['uin'] = $uin;
$param['key'] = $key;
$param['wxtoken'] = "777";
$wechat_url = "https://mp.weixin.qq.com/mp/getappmsgext?" . http_build_query($param);
//dump($wechat_url);
$data = array(
'is_only_read' => 1,
'is_temp_url' => 0,
'appmsg_type' => 9,
);
$res = $this->get_url($wechat_url,$data);
return $res;
}
function get_url($url,$data)
{
$ifpost = 1;//是否post請求
$datafields = $data;//post數據
$cookiefile = '';//cookie文件
$cookie = '';//cookie變量
$v = false;

//模擬http請求header頭
$header = array("connection: keep-alive","accept: text/html, application/xhtml+xml, */*", "pragma: no-cache", "accept-language: zh-hans-cn,zh-hans;q=0.8,en-us;q=0.5,en;q=0.3","user-agent: mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36 qbcore/4.0.1278.400 qqbrowser/9.0.2524.400 mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2875.116 safari/537.36 nettype/wifi micromessenger/7.0.5 windowswechat");
$ch = curl_init();
curl_setopt($ch, curlopt_url, $url);
curl_setopt($ch, curlopt_header, $v);
curl_setopt($ch, curlopt_httpheader, $header);
$ifpost && curl_setopt($ch, curlopt_post, $ifpost);
$ifpost && curl_setopt($ch, curlopt_postfields, $datafields);
curl_setopt($ch, curlopt_returntransfer, true);
curl_setopt($ch, curlopt_followlocation, true);
$cookie && curl_setopt($ch, curlopt_cookie, $cookie);//發(fā)送cookie變量
$cookiefile && curl_setopt($ch, curlopt_cookiefile, $cookiefile);//發(fā)送cookie文件
$cookiefile && curl_setopt($ch, curlopt_cookiejar, $cookiefile);//寫(xiě)入cookie到文件
curl_setopt($ch,curlopt_timeout,60); //允許執行的最長(cháng)秒數
curl_setopt($ch, curlopt_ssl_verifypeer, false);
curl_setopt($ch, curlopt_ssl_verifyhost, false);
$ok = curl_exec($ch);
curl_close($ch);
unset($ch);
return $ok;
}
  5. 通知客戶(hù)端重定向頁(yè)面(此部分未編寫(xiě),請參見(jiàn)我有關(guān)文本套接字的其他文章)
  6. 使用提琴手來(lái)修改微信文章和jsj腳本,
  在onbeforeresponse(返回客戶(hù)端之前執行的方法)中,添加代碼以跳轉到中間頁(yè)
  效果
  
  摘要 查看全部

  簡(jiǎn)介:
  分析界面知道,要獲得閱讀的文章數和喜歡的數目,必須有兩個(gè)關(guān)鍵參數,即key和uin. 不同的官方帳戶(hù)的密鑰不同(據說(shuō)有一個(gè)通用的微信密鑰,但我不知道如何獲得),并且同一官方帳戶(hù)的密鑰將在大約半小時(shí)內失效
  提交鏈接以獲取閱讀API的文章
  思考:
  1. 攔截并將客戶(hù)端請求讀取接口的請求轉發(fā)到您自己的服務(wù)器,以便您可以獲取密鑰,并使用__biz關(guān)聯(lián)緩存半小時(shí)
  2. 提交商品鏈接進(jìn)行查詢(xún)時(shí),服務(wù)器從商品鏈接獲取__biz,并查詢(xún)是否緩存了當前官方賬號對應的密鑰. 如果是,請繼續執行步驟3,而不是步驟4.
  3.curl請求?界面獲取數據
  4. 當密鑰不存在時(shí),通知客戶(hù)端重定向到url(使用websocket通知或客戶(hù)端ajax輪詢(xún)進(jìn)行通知,您需要使用數據包捕獲工具來(lái)修改文章詳細信息頁(yè)面代碼,以跳至中間頁(yè)面以等待,打開(kāi)在文章頁(yè)面之后,它每隔幾秒鐘跳回到中間頁(yè)面),并將程序暫停幾秒鐘,以等待客戶(hù)端更新密鑰. 此時(shí),客戶(hù)端提交新密鑰并使用它進(jìn)行查詢(xún)
  實(shí)現
  1. 封包捕獲
  該界面是獲取閱讀量的界面,參數如下
  
  
  2. 攔截此接口并將其轉發(fā)到您自己的服務(wù)器,單擊“規則”-“自定義規則”并將其添加到onbeforerequest(在正式請求之前執行的功能)
  
if (osession.fullurl.contains("mp.weixin.qq.com/mp/getappmsgext"))
{
osession.orequest["host"]= 'ccc.aaa.com' ;
}
  
  效果不錯,您可以看到該界面已轉發(fā)
  
  3. 服務(wù)器端緩存密鑰,代碼以php為例
  
public function savekey(request $request)
{
$__biz = $request->param('__biz',0);
$data['uin'] = $request->param('uin',0);
$data['key'] = $request->param('key',0);
cache::set($__biz,$data,30 * 60);
return 'ok';
}
  4. 提交文章鏈接查詢(xún)api代碼
  
public function getreadnum(request $request)
{
$url = $request->param('url');
parse_str(parse_url($url)['query'], $param);
$__biz = $param['__biz'];
$key_data = cache::get($__biz);
if (empty($key_data))
return 'no key';
$uin = $key_data['uin'];
$key = $key_data['key'];
$param['uin'] = $uin;
$param['key'] = $key;
$param['wxtoken'] = "777";
$wechat_url = "https://mp.weixin.qq.com/mp/getappmsgext?" . http_build_query($param);
//dump($wechat_url);
$data = array(
'is_only_read' => 1,
'is_temp_url' => 0,
'appmsg_type' => 9,
);
$res = $this->get_url($wechat_url,$data);
return $res;
}
function get_url($url,$data)
{
$ifpost = 1;//是否post請求
$datafields = $data;//post數據
$cookiefile = '';//cookie文件
$cookie = '';//cookie變量
$v = false;

//模擬http請求header頭
$header = array("connection: keep-alive","accept: text/html, application/xhtml+xml, */*", "pragma: no-cache", "accept-language: zh-hans-cn,zh-hans;q=0.8,en-us;q=0.5,en;q=0.3","user-agent: mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36 qbcore/4.0.1278.400 qqbrowser/9.0.2524.400 mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2875.116 safari/537.36 nettype/wifi micromessenger/7.0.5 windowswechat");
$ch = curl_init();
curl_setopt($ch, curlopt_url, $url);
curl_setopt($ch, curlopt_header, $v);
curl_setopt($ch, curlopt_httpheader, $header);
$ifpost && curl_setopt($ch, curlopt_post, $ifpost);
$ifpost && curl_setopt($ch, curlopt_postfields, $datafields);
curl_setopt($ch, curlopt_returntransfer, true);
curl_setopt($ch, curlopt_followlocation, true);
$cookie && curl_setopt($ch, curlopt_cookie, $cookie);//發(fā)送cookie變量
$cookiefile && curl_setopt($ch, curlopt_cookiefile, $cookiefile);//發(fā)送cookie文件
$cookiefile && curl_setopt($ch, curlopt_cookiejar, $cookiefile);//寫(xiě)入cookie到文件
curl_setopt($ch,curlopt_timeout,60); //允許執行的最長(cháng)秒數
curl_setopt($ch, curlopt_ssl_verifypeer, false);
curl_setopt($ch, curlopt_ssl_verifyhost, false);
$ok = curl_exec($ch);
curl_close($ch);
unset($ch);
return $ok;
}
  5. 通知客戶(hù)端重定向頁(yè)面(此部分未編寫(xiě),請參見(jiàn)我有關(guān)文本套接字的其他文章)
  6. 使用提琴手來(lái)修改微信文章和jsj腳本,
  在onbeforeresponse(返回客戶(hù)端之前執行的方法)中,添加代碼以跳轉到中間頁(yè)
  效果
  
  摘要

Python爬蟲(chóng)的實(shí)用解釋: 分析某些東部產(chǎn)品評論信息的采集過(guò)程

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 654 次瀏覽 ? 2020-08-08 15:12 ? 來(lái)自相關(guān)話(huà)題

  如果要提取其他字段信息,可以在代碼中自己添加.
  搜索界面
  一個(gè),界面搜索
  搜索以食物為例,輸入食物并點(diǎn)擊搜索
  繼續向下滾動(dòng)以查看產(chǎn)品的返回頁(yè)數,這是最大返回100頁(yè)信息
  打開(kāi)調試,清除請求內容,然后根據上面發(fā)現的查找注釋界面的方法直接單擊第二頁(yè)以觀(guān)察新請求.
  當我單擊紅色框中的s_new界面時(shí),我發(fā)現響應信息是html,并且響應的內容恰好是我們在頁(yè)面上所需的產(chǎn)品信息.
  第二,參數搜索
  類(lèi)似地,根據向下滑動(dòng),翻頁(yè)以查看參數的更改
  單擊頁(yè)面的第二頁(yè),參數如下
  頁(yè)面上有很多產(chǎn)品顯示信息,并且可能會(huì )臨時(shí)加載請求. 如果繼續向下滾動(dòng),則可以看到已添加了新請求. 請求參數如下,并增加了參數. (注意: 新參數可以忽略)
  然后單擊第三頁(yè)
  如果找不到規則,則可以繼續單擊頁(yè)面以查看更改規則.
  接口參數的構造邏輯有以下幾點(diǎn):
  三,html頁(yè)面分析
  直接在頁(yè)面上找到產(chǎn)品位置,您可以看到所有產(chǎn)品信息都在ul標簽下的li標簽中
  單擊li標簽,您可以看到div / div下的標簽收錄產(chǎn)品標題信息,產(chǎn)品鏈接信息,并且該鏈接收錄我們需要提取的product_id信息. 右鍵單擊以復制并復制xpath以直接提取位置信息.
  四個(gè)代碼測試
  代碼如下. 請注意,在標頭中,referer參數需要進(jìn)行url編碼.
  執行結果如下:
  這里僅提取了兩個(gè)字段title和product_id,并且可以根據需要添加它們.
  本文中的文字和圖片來(lái)自Internet,僅用于學(xué)習和交流目的. 它們沒(méi)有任何商業(yè)用途. 版權屬于原創(chuàng )作者. 如有任何疑問(wèn),請及時(shí)與我們聯(lián)系進(jìn)行處理.
  作者: 習慣u 查看全部

  如果要提取其他字段信息,可以在代碼中自己添加.
  搜索界面
  一個(gè),界面搜索
  搜索以食物為例,輸入食物并點(diǎn)擊搜索
  繼續向下滾動(dòng)以查看產(chǎn)品的返回頁(yè)數,這是最大返回100頁(yè)信息
  打開(kāi)調試,清除請求內容,然后根據上面發(fā)現的查找注釋界面的方法直接單擊第二頁(yè)以觀(guān)察新請求.
  當我單擊紅色框中的s_new界面時(shí),我發(fā)現響應信息是html,并且響應的內容恰好是我們在頁(yè)面上所需的產(chǎn)品信息.
  第二,參數搜索
  類(lèi)似地,根據向下滑動(dòng),翻頁(yè)以查看參數的更改
  單擊頁(yè)面的第二頁(yè),參數如下
  頁(yè)面上有很多產(chǎn)品顯示信息,并且可能會(huì )臨時(shí)加載請求. 如果繼續向下滾動(dòng),則可以看到已添加了新請求. 請求參數如下,并增加了參數. (注意: 新參數可以忽略)
  然后單擊第三頁(yè)
  如果找不到規則,則可以繼續單擊頁(yè)面以查看更改規則.
  接口參數的構造邏輯有以下幾點(diǎn):
  三,html頁(yè)面分析
  直接在頁(yè)面上找到產(chǎn)品位置,您可以看到所有產(chǎn)品信息都在ul標簽下的li標簽中
  單擊li標簽,您可以看到div / div下的標簽收錄產(chǎn)品標題信息,產(chǎn)品鏈接信息,并且該鏈接收錄我們需要提取的product_id信息. 右鍵單擊以復制并復制xpath以直接提取位置信息.
  四個(gè)代碼測試
  代碼如下. 請注意,在標頭中,referer參數需要進(jìn)行url編碼.
  執行結果如下:
  這里僅提取了兩個(gè)字段title和product_id,并且可以根據需要添加它們.
  本文中的文字和圖片來(lái)自Internet,僅用于學(xué)習和交流目的. 它們沒(méi)有任何商業(yè)用途. 版權屬于原創(chuàng )作者. 如有任何疑問(wèn),請及時(shí)與我們聯(lián)系進(jìn)行處理.
  作者: 習慣u

第一個(gè)界面

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 171 次瀏覽 ? 2020-08-07 23:53 ? 來(lái)自相關(guān)話(huà)題

  自動(dòng)采集墻紙網(wǎng)站界面
  2019-12-31十三本資源網(wǎng)絡(luò )技術(shù)課程
  [摘要]簡(jiǎn)介該程序具有多種類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流,全站點(diǎn)ajax!界面一獲得墻紙分類(lèi)
  簡(jiǎn)介
  程序中有許多類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流加載,站點(diǎn)范圍內的ajax!
  
  第一個(gè)界面
  獲取壁紙分類(lèi)
  http://cdn.apc.#/index.ph ... hrome
  這個(gè)界面很簡(jiǎn)單,直接請求上面的URL,就可以獲取json數據. 返回的數據中有一個(gè)數據數組,其中“名稱(chēng)”是獲取的墻紙類(lèi)別的名稱(chēng),“ id”是與該類(lèi)別對應的ID值.
  接口2:
  根據墻紙類(lèi)別ID獲取該類(lèi)別下的墻紙圖片
  http://wallpaper.apc.#/index.php?
c=WallPaper&a=getAppsByCategory
&cid=【剛才獲取到的分類(lèi)ID】
&start=【從第幾幅圖開(kāi)始(用于分頁(yè))】
&count=【每次加載的數量】&from=360chrome
  通過(guò)此接口獲得的數據有點(diǎn)多,但主要只使用了少數幾個(gè). 一個(gè)是數據數組中的url值,這是我們想要獲取的圖像鏈接. 其格式類(lèi)似于:
  http://p15.qhimg.com/bdr/__85/ ... 8.jpg
  我們可以使用它來(lái)獲得該圖片的指定分辨率和指定質(zhì)量. 上圖是一個(gè)示例. 如果要獲取分辨率為1024 * 768且質(zhì)量為80(最高100)的圖片,只需將上述鏈接中的“ bdr / __ 85”替換為“ bdm / 1024_768_80”. 替換后的圖片鏈接如下
  http://p19.qhimg.com/bdm/1024_ ... 8.jpg
 ?。ㄗ⒁? 如果原創(chuàng )圖片本身很小,某些圖片將不會(huì )被拉伸) 查看全部

  自動(dòng)采集墻紙網(wǎng)站界面
  2019-12-31十三本資源網(wǎng)絡(luò )技術(shù)課程
  [摘要]簡(jiǎn)介該程序具有多種類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流,全站點(diǎn)ajax!界面一獲得墻紙分類(lèi)
  簡(jiǎn)介
  程序中有許多類(lèi)型的墻紙,自動(dòng)更新,自動(dòng)采集,支持多分辨率,瀑布流加載,站點(diǎn)范圍內的ajax!
  
  第一個(gè)界面
  獲取壁紙分類(lèi)
  http://cdn.apc.#/index.ph ... hrome
  這個(gè)界面很簡(jiǎn)單,直接請求上面的URL,就可以獲取json數據. 返回的數據中有一個(gè)數據數組,其中“名稱(chēng)”是獲取的墻紙類(lèi)別的名稱(chēng),“ id”是與該類(lèi)別對應的ID值.
  接口2:
  根據墻紙類(lèi)別ID獲取該類(lèi)別下的墻紙圖片
  http://wallpaper.apc.#/index.php?
c=WallPaper&a=getAppsByCategory
&cid=【剛才獲取到的分類(lèi)ID】
&start=【從第幾幅圖開(kāi)始(用于分頁(yè))】
&count=【每次加載的數量】&from=360chrome
  通過(guò)此接口獲得的數據有點(diǎn)多,但主要只使用了少數幾個(gè). 一個(gè)是數據數組中的url值,這是我們想要獲取的圖像鏈接. 其格式類(lèi)似于:
  http://p15.qhimg.com/bdr/__85/ ... 8.jpg
  我們可以使用它來(lái)獲得該圖片的指定分辨率和指定質(zhì)量. 上圖是一個(gè)示例. 如果要獲取分辨率為1024 * 768且質(zhì)量為80(最高100)的圖片,只需將上述鏈接中的“ bdr / __ 85”替換為“ bdm / 1024_768_80”. 替換后的圖片鏈接如下
  http://p19.qhimg.com/bdm/1024_ ... 8.jpg
 ?。ㄗ⒁? 如果原創(chuàng )圖片本身很小,某些圖片將不會(huì )被拉伸)

本地旅游網(wǎng)站源代碼,PHP開(kāi)源,PC + WAP +微信三合一,免費共享

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 168 次瀏覽 ? 2020-08-07 21:02 ? 來(lái)自相關(guān)話(huà)題

  [示例介紹]
  現場(chǎng)旅游網(wǎng)站源代碼系統已成功啟動(dòng)了基礎旅游網(wǎng)站建設和門(mén)戶(hù)旅游網(wǎng)站建設系統. 其系統包括新聞管理功能,酒店預訂功能,酒店預訂功能,路線(xiàn)預訂功能,景點(diǎn)預訂功能,簽證服務(wù)功能,留言問(wèn)題功能,會(huì )員注冊功能,短信群發(fā)功能,網(wǎng)上支付功能等十大功能, SEO優(yōu)化功能等. 它在功能上具有獨特的功能. 實(shí)現不同的旅游營(yíng)銷(xiāo)型車(chē)站建設系統. 讓您的旅游網(wǎng)站獲得高轉化率,高曝光率,獨特的計劃,完整的技術(shù)市場(chǎng)化并增加品牌和銷(xiāo)量.
  Situ CMS功能介紹
  Situ CMS6.0具有豐富的功能,強大的針對性,強大的可伸縮性,易于操作和使用以及清晰的系統結構. 它分為九個(gè)主要部分:
  1. 產(chǎn)品系統: 路線(xiàn),酒店,門(mén)票,汽車(chē)租賃,機票,簽證,簽證,團購,活動(dòng),同伴,郵輪,保險,個(gè)性化定制(可擴展功能,如導游,特色產(chǎn)品等);
  2. 文章系統: 目的地指南,旅行指南,景點(diǎn),相冊,問(wèn)答,評論,幫助系統;
  3. 用戶(hù)系統: 在線(xiàn)訂單,在線(xiàn)支付,訂單生成短信/電子郵件通知,評論,問(wèn)答,短信電子郵件批量發(fā)送;成員管理,供應商管理;
  4. 營(yíng)銷(xiāo)策略: SEO界面,社交共享界面,積分,返現策略;來(lái)源,目的地營(yíng)銷(xiāo)結構,泛分析輔助域名結構支持,特殊營(yíng)銷(xiāo),廣告管理;
  5. 支付系統: 財付通,宜寶,環(huán)迅;集成: 支持支付寶,快錢(qián),銀聯(lián),匯超等;
  6. 擴展界面: 文章采集界面,Dz論壇,UCenter,Google電子地圖;集成: 第三方登錄界面,SMS平臺界面等;
  7. 設置中心: 目的地4級分類(lèi),屬性2級自定義,內容分類(lèi)自定義,出發(fā)設置,站點(diǎn)設置,系統參數管理,數據備份,操作日志.
  8. 市場(chǎng)助理: 關(guān)鍵字統計,關(guān)鍵字智能鏈接,標簽詞設置,訪(fǎng)問(wèn)源統計,熱門(mén)搜索詞統計,智能站點(diǎn)地圖,無(wú)效鏈接自檢
  9. 增值應用程序: 系統升級,模板替換,營(yíng)銷(xiāo)指南,問(wèn)題反饋,擴展應用程序等.
  [示例屏幕截圖]
  
  [核心代碼]有關(guān)詳細信息,請參見(jiàn)文檔 查看全部

  [示例介紹]
  現場(chǎng)旅游網(wǎng)站源代碼系統已成功啟動(dòng)了基礎旅游網(wǎng)站建設和門(mén)戶(hù)旅游網(wǎng)站建設系統. 其系統包括新聞管理功能,酒店預訂功能,酒店預訂功能,路線(xiàn)預訂功能,景點(diǎn)預訂功能,簽證服務(wù)功能,留言問(wèn)題功能,會(huì )員注冊功能,短信群發(fā)功能,網(wǎng)上支付功能等十大功能, SEO優(yōu)化功能等. 它在功能上具有獨特的功能. 實(shí)現不同的旅游營(yíng)銷(xiāo)型車(chē)站建設系統. 讓您的旅游網(wǎng)站獲得高轉化率,高曝光率,獨特的計劃,完整的技術(shù)市場(chǎng)化并增加品牌和銷(xiāo)量.
  Situ CMS功能介紹
  Situ CMS6.0具有豐富的功能,強大的針對性,強大的可伸縮性,易于操作和使用以及清晰的系統結構. 它分為九個(gè)主要部分:
  1. 產(chǎn)品系統: 路線(xiàn),酒店,門(mén)票,汽車(chē)租賃,機票,簽證,簽證,團購,活動(dòng),同伴,郵輪,保險,個(gè)性化定制(可擴展功能,如導游,特色產(chǎn)品等);
  2. 文章系統: 目的地指南,旅行指南,景點(diǎn),相冊,問(wèn)答,評論,幫助系統;
  3. 用戶(hù)系統: 在線(xiàn)訂單,在線(xiàn)支付,訂單生成短信/電子郵件通知,評論,問(wèn)答,短信電子郵件批量發(fā)送;成員管理,供應商管理;
  4. 營(yíng)銷(xiāo)策略: SEO界面,社交共享界面,積分,返現策略;來(lái)源,目的地營(yíng)銷(xiāo)結構,泛分析輔助域名結構支持,特殊營(yíng)銷(xiāo),廣告管理;
  5. 支付系統: 財付通,宜寶,環(huán)迅;集成: 支持支付寶,快錢(qián),銀聯(lián),匯超等;
  6. 擴展界面: 文章采集界面,Dz論壇,UCenter,Google電子地圖;集成: 第三方登錄界面,SMS平臺界面等;
  7. 設置中心: 目的地4級分類(lèi),屬性2級自定義,內容分類(lèi)自定義,出發(fā)設置,站點(diǎn)設置,系統參數管理,數據備份,操作日志.
  8. 市場(chǎng)助理: 關(guān)鍵字統計,關(guān)鍵字智能鏈接,標簽詞設置,訪(fǎng)問(wèn)源統計,熱門(mén)搜索詞統計,智能站點(diǎn)地圖,無(wú)效鏈接自檢
  9. 增值應用程序: 系統升級,模板替換,營(yíng)銷(xiāo)指南,問(wèn)題反饋,擴展應用程序等.
  [示例屏幕截圖]
  
  [核心代碼]有關(guān)詳細信息,請參見(jiàn)文檔

什么是數據采集方法?它們的特點(diǎn)是什么?

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 699 次瀏覽 ? 2020-08-07 13:34 ? 來(lái)自相關(guān)話(huà)題

  隨著(zhù)信息時(shí)代的到來(lái),大數據受到越來(lái)越多的關(guān)注,數據采集的挑戰變得尤為突出.
  許多大型企業(yè)和政府機構在信息化過(guò)程中結合自己的業(yè)務(wù)構建了各種軟件系統,這些軟件系統積累了大量的行業(yè)和客戶(hù)數據. 他們迫切需要聚合這些數據以形成自己的大型數據平臺,進(jìn)行數據挖掘和分析,并準確地為其客戶(hù)提供服務(wù).
  當前的數據采集挑戰如下:
  1. 各種數據源
  2. 數據量大,更新快
  3. 如何確保數據采集的可靠性和性能
  4. 如何避免重復數據
  5. 如何確保數據質(zhì)量.
  那么,如何快速,準確地采集這么多軟件系統中的各種數據呢?今天,我將討論各種軟件系統的幾種數據采集方法. 著(zhù)眼于它們的實(shí)現過(guò)程以及它們各自的優(yōu)缺點(diǎn).
  1. 軟件界面對接方法
  2. 打開(kāi)數據庫方法
  3. 基于底層數據交換的直接數據采集方法
  
  1. 軟件界面對接方法
  各種軟件供應商提供數據接口以實(shí)現數據采集并為客戶(hù)構建自己的業(yè)務(wù)大數據平臺;
  實(shí)現過(guò)程如下:
  1)與來(lái)自多個(gè)軟件供應商的工程師進(jìn)行協(xié)調,以了解另一方系統的業(yè)務(wù)流程以及與數據庫相關(guān)的表結構的設計等,并討論如何實(shí)現正確的數據采集并在其中可行. 商業(yè). 仔細考慮所有細節,最后確定雙方都同意的計劃. 在雙方工程師的合作下,完成了兩個(gè)系統之間的接口. 可以在系統A或系統B中執行某些處理. 在這種情況下,做出決策的基礎是考慮將來(lái)可能會(huì )發(fā)生功能更改,這將不可避免地影響現有系統. 選擇受更改影響較小的解決方案.
  2)確定計劃和代碼
  3)編碼后,進(jìn)入測試和調試階段
  4)交付使用
  接口對接方法的數據可靠性很高. 通常,沒(méi)有數據重復,它們都是客戶(hù)業(yè)務(wù)大數據平臺所需的有價(jià)值數據;同時(shí),數據通過(guò)接口實(shí)時(shí)傳輸,完全滿(mǎn)足了大數據平臺的實(shí)時(shí)性要求.
  但是,接口對接方法需要大量的人力和時(shí)間來(lái)協(xié)調各種軟件供應商進(jìn)行數據接口對接;同時(shí),它的可擴展性不高. 例如,由于業(yè)務(wù)需求,各種軟件系統開(kāi)發(fā)了新的業(yè)務(wù)模塊,這些模塊與大數據平臺兼容. 需要對兩者之間的數據接口進(jìn)行相應的修改和更改,甚至要顛覆所有以前的數據接口代碼,這是很費時(shí)費力的.
  
  2. 打開(kāi)數據庫方法
  通常來(lái)說(shuō),來(lái)自不同公司的系統不太可能打開(kāi)自己的數據庫來(lái)相互連接,因為這會(huì )引起安全問(wèn)題. 為了實(shí)現數據采集和匯總,開(kāi)放數據庫是最直接的方法.
  兩個(gè)系統都有自己的數據庫,對于相同類(lèi)型的數據庫,它更方便:
  1)如果兩個(gè)數據庫位于同一服務(wù)器上,則只要用戶(hù)名設置沒(méi)有問(wèn)題,它們就可以直接相互訪(fǎng)問(wèn). 您需要在from之后攜帶數據庫名稱(chēng)和表模式所有者. 選擇* from DATABASE1.dbo.table1 2)如果兩個(gè)系統的數據庫不在同一服務(wù)器上,建議使用鏈接服務(wù)器進(jìn)行處理,或者使用openset和opendatasource. 這需要外圍服務(wù)器配置才能訪(fǎng)問(wèn)數據庫.
  不同類(lèi)型的數據庫之間的連接比較麻煩,需要大量設置才能生效. 我不會(huì )在這里詳細說(shuō)明.
  開(kāi)放數據庫方法可以直接,準確地從目標數據庫獲取所需數據,這是最直接,最方便的方法;同時(shí)保證實(shí)時(shí)性能;
  開(kāi)放數據庫方法要求協(xié)調各種軟件供應商的開(kāi)放數據庫,這非常困難;如果平臺必須同時(shí)連接到許多軟件供應商的數據庫并實(shí)時(shí)獲取數據,那么這對于平臺本身的性能也是一個(gè)巨大的挑戰.
  
  3. 基于底層數據交換的直接數據采集方法
  通過(guò)獲取軟件系統的基礎數據交換,軟件客戶(hù)端和數據庫之間的網(wǎng)絡(luò )流量數據包,執行數據包流分析以采集應用程序數據. 同時(shí),可以使用仿真技術(shù)來(lái)仿真客戶(hù)請求以實(shí)現自動(dòng)數據寫(xiě)入.
  實(shí)現過(guò)程如下: 使用數據采集引擎偵聽(tīng)目標軟件的內部數據交換(網(wǎng)絡(luò )流量,內存),然后分析所需的數據,并經(jīng)過(guò)一系列處理和封裝以實(shí)現確保數據的唯一性和準確性,并輸出結構化數據. 經(jīng)過(guò)相應的配置,實(shí)現了數據采集的自動(dòng)化.
  基于基礎數據交換的直接數據采集方法的技術(shù)特點(diǎn)如下:
  1)在沒(méi)有軟件制造商合作的情況下進(jìn)行獨立爬網(wǎng);
  2)實(shí)時(shí)數據采集;
  端到端數據延遲在幾秒鐘之內;
  3)幾乎所有與Windows平臺兼容的軟件(C / S,B / S);
  作為數據挖掘和大數據分析的基礎;
  4)自動(dòng)建立數據之間的關(guān)聯(lián);
  5)配置簡(jiǎn)單,實(shí)施周期短;
  6)支持歷史數據的自動(dòng)導入.
  目前,由于缺乏數據采集和融合技術(shù),通常通過(guò)原創(chuàng )軟件制造商開(kāi)發(fā)數據接口來(lái)實(shí)現數據互操作性. 這不僅需要大量時(shí)間,精力和金錢(qián),而且還因為系統開(kāi)發(fā)團隊的解體,源代碼丟失等原因. 死胡同的原因使實(shí)現數據采集和融合變得極為困難. 在這樣的緊急需求環(huán)境中,出現了基于基礎數據交換的直接數據采集方法. 從各種軟件系統中提取數據,并連續獲取所需的準確和實(shí)時(shí)數據,并自動(dòng)建立并輸出數據關(guān)聯(lián). 具有極高利用率的結構化數據允許數據以有序,安全和可控的方式流向需要它的企業(yè)和用戶(hù),從而可以鏈接和分發(fā)不同系統的數據源,從而為客戶(hù)提供決策支持,提高運營(yíng)效率并產(chǎn)生經(jīng)濟價(jià)值.
   查看全部

  隨著(zhù)信息時(shí)代的到來(lái),大數據受到越來(lái)越多的關(guān)注,數據采集的挑戰變得尤為突出.
  許多大型企業(yè)和政府機構在信息化過(guò)程中結合自己的業(yè)務(wù)構建了各種軟件系統,這些軟件系統積累了大量的行業(yè)和客戶(hù)數據. 他們迫切需要聚合這些數據以形成自己的大型數據平臺,進(jìn)行數據挖掘和分析,并準確地為其客戶(hù)提供服務(wù).
  當前的數據采集挑戰如下:
  1. 各種數據源
  2. 數據量大,更新快
  3. 如何確保數據采集的可靠性和性能
  4. 如何避免重復數據
  5. 如何確保數據質(zhì)量.
  那么,如何快速,準確地采集這么多軟件系統中的各種數據呢?今天,我將討論各種軟件系統的幾種數據采集方法. 著(zhù)眼于它們的實(shí)現過(guò)程以及它們各自的優(yōu)缺點(diǎn).
  1. 軟件界面對接方法
  2. 打開(kāi)數據庫方法
  3. 基于底層數據交換的直接數據采集方法
  
  1. 軟件界面對接方法
  各種軟件供應商提供數據接口以實(shí)現數據采集并為客戶(hù)構建自己的業(yè)務(wù)大數據平臺;
  實(shí)現過(guò)程如下:
  1)與來(lái)自多個(gè)軟件供應商的工程師進(jìn)行協(xié)調,以了解另一方系統的業(yè)務(wù)流程以及與數據庫相關(guān)的表結構的設計等,并討論如何實(shí)現正確的數據采集并在其中可行. 商業(yè). 仔細考慮所有細節,最后確定雙方都同意的計劃. 在雙方工程師的合作下,完成了兩個(gè)系統之間的接口. 可以在系統A或系統B中執行某些處理. 在這種情況下,做出決策的基礎是考慮將來(lái)可能會(huì )發(fā)生功能更改,這將不可避免地影響現有系統. 選擇受更改影響較小的解決方案.
  2)確定計劃和代碼
  3)編碼后,進(jìn)入測試和調試階段
  4)交付使用
  接口對接方法的數據可靠性很高. 通常,沒(méi)有數據重復,它們都是客戶(hù)業(yè)務(wù)大數據平臺所需的有價(jià)值數據;同時(shí),數據通過(guò)接口實(shí)時(shí)傳輸,完全滿(mǎn)足了大數據平臺的實(shí)時(shí)性要求.
  但是,接口對接方法需要大量的人力和時(shí)間來(lái)協(xié)調各種軟件供應商進(jìn)行數據接口對接;同時(shí),它的可擴展性不高. 例如,由于業(yè)務(wù)需求,各種軟件系統開(kāi)發(fā)了新的業(yè)務(wù)模塊,這些模塊與大數據平臺兼容. 需要對兩者之間的數據接口進(jìn)行相應的修改和更改,甚至要顛覆所有以前的數據接口代碼,這是很費時(shí)費力的.
  
  2. 打開(kāi)數據庫方法
  通常來(lái)說(shuō),來(lái)自不同公司的系統不太可能打開(kāi)自己的數據庫來(lái)相互連接,因為這會(huì )引起安全問(wèn)題. 為了實(shí)現數據采集和匯總,開(kāi)放數據庫是最直接的方法.
  兩個(gè)系統都有自己的數據庫,對于相同類(lèi)型的數據庫,它更方便:
  1)如果兩個(gè)數據庫位于同一服務(wù)器上,則只要用戶(hù)名設置沒(méi)有問(wèn)題,它們就可以直接相互訪(fǎng)問(wèn). 您需要在from之后攜帶數據庫名稱(chēng)和表模式所有者. 選擇* from DATABASE1.dbo.table1 2)如果兩個(gè)系統的數據庫不在同一服務(wù)器上,建議使用鏈接服務(wù)器進(jìn)行處理,或者使用openset和opendatasource. 這需要外圍服務(wù)器配置才能訪(fǎng)問(wèn)數據庫.
  不同類(lèi)型的數據庫之間的連接比較麻煩,需要大量設置才能生效. 我不會(huì )在這里詳細說(shuō)明.
  開(kāi)放數據庫方法可以直接,準確地從目標數據庫獲取所需數據,這是最直接,最方便的方法;同時(shí)保證實(shí)時(shí)性能;
  開(kāi)放數據庫方法要求協(xié)調各種軟件供應商的開(kāi)放數據庫,這非常困難;如果平臺必須同時(shí)連接到許多軟件供應商的數據庫并實(shí)時(shí)獲取數據,那么這對于平臺本身的性能也是一個(gè)巨大的挑戰.
  
  3. 基于底層數據交換的直接數據采集方法
  通過(guò)獲取軟件系統的基礎數據交換,軟件客戶(hù)端和數據庫之間的網(wǎng)絡(luò )流量數據包,執行數據包流分析以采集應用程序數據. 同時(shí),可以使用仿真技術(shù)來(lái)仿真客戶(hù)請求以實(shí)現自動(dòng)數據寫(xiě)入.
  實(shí)現過(guò)程如下: 使用數據采集引擎偵聽(tīng)目標軟件的內部數據交換(網(wǎng)絡(luò )流量,內存),然后分析所需的數據,并經(jīng)過(guò)一系列處理和封裝以實(shí)現確保數據的唯一性和準確性,并輸出結構化數據. 經(jīng)過(guò)相應的配置,實(shí)現了數據采集的自動(dòng)化.
  基于基礎數據交換的直接數據采集方法的技術(shù)特點(diǎn)如下:
  1)在沒(méi)有軟件制造商合作的情況下進(jìn)行獨立爬網(wǎng);
  2)實(shí)時(shí)數據采集;
  端到端數據延遲在幾秒鐘之內;
  3)幾乎所有與Windows平臺兼容的軟件(C / S,B / S);
  作為數據挖掘和大數據分析的基礎;
  4)自動(dòng)建立數據之間的關(guān)聯(lián);
  5)配置簡(jiǎn)單,實(shí)施周期短;
  6)支持歷史數據的自動(dòng)導入.
  目前,由于缺乏數據采集和融合技術(shù),通常通過(guò)原創(chuàng )軟件制造商開(kāi)發(fā)數據接口來(lái)實(shí)現數據互操作性. 這不僅需要大量時(shí)間,精力和金錢(qián),而且還因為系統開(kāi)發(fā)團隊的解體,源代碼丟失等原因. 死胡同的原因使實(shí)現數據采集和融合變得極為困難. 在這樣的緊急需求環(huán)境中,出現了基于基礎數據交換的直接數據采集方法. 從各種軟件系統中提取數據,并連續獲取所需的準確和實(shí)時(shí)數據,并自動(dòng)建立并輸出數據關(guān)聯(lián). 具有極高利用率的結構化數據允許數據以有序,安全和可控的方式流向需要它的企業(yè)和用戶(hù),從而可以鏈接和分發(fā)不同系統的數據源,從而為客戶(hù)提供決策支持,提高運營(yíng)效率并產(chǎn)生經(jīng)濟價(jià)值.
  

[數據] 讓Halcon支持HikVision攝像機的采集界面

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 507 次瀏覽 ? 2020-08-07 00:05 ? 來(lái)自相關(guān)話(huà)題

  我最近安裝了??低昅VS視覺(jué)軟件的最新版本3.0.0. 第一印象是界面已發(fā)生了很大變化,但黑色深度和涼爽度有所提高. 看一下這個(gè)界面:
  
  當然,我今天不是要教您如何使用該軟件,因為菜單的操作和2.3版本沒(méi)有太大變化,但是可以在其中顯示很多單獨的項,例如十字中心. 圖片的中心.
  在研究二次開(kāi)發(fā)時(shí),我偶然發(fā)現Haikang提供了第三方支持包,其中包括Halcon的HDevelop采集接口,該接口隱藏得很深,無(wú)法確定您是否不參與開(kāi)發(fā)!
  默認情況下,我們將其安裝在D: \ Program Files(x86)\ MVS \目錄中,并找到了第三方D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter
  
  找到了HDevelop目錄嗎? ,這是什么?好奇地打開(kāi)它
  
  從Halcon10到13有四個(gè)目錄,只需打開(kāi)它,看看里面有什么. 我發(fā)現有兩個(gè)目錄Win32和Win64. 繼續打開(kāi)并查看它,發(fā)現了這樣的東西?
  hAcqMVision.dll
  復制代碼
  看hAcq,突然想起,這是Haikang提供的適用于Haikang攝像機的Halcon的獲取接口,因為命名規則是Halcon標準獲取接口的命名:
  hAcq +接口顯示name.dll
  例如: hAcqGigeVision.dll
  復制代碼
  Halcon12已安裝在我們的計算機中,因此請嘗試將此接口文件復制到Halcon12進(jìn)行查看!
  D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter \ HalconHDevelop \ Halcon12 \ win32
  復制代碼
  將上述目錄中的hAcqMVision.dll復制到Halcon執行目錄(該目錄實(shí)際上是RunTime目錄)
  D: \ Program Files \ MVTec \ HALCON-12.0 \ bin \ x86sse2-win32
  復制代碼
  您可以看到下面圖片中的所有圖像都是采集界面. 然后我們打開(kāi)HDevelop看看是否可以通過(guò)此界面操作相機?
  
  打開(kāi)采集助手Image Acquisition,然后自動(dòng)檢測界面,出現結果:
  
  您可以找到此接口并替換原創(chuàng )的GigeVision接口,然后接口文件的全名是hAcqMVision.dll,請嘗試打開(kāi)它:
  
  根本沒(méi)有問(wèn)題,并且工作效率比普通的GigeVision協(xié)議開(kāi)放更高效,更快捷. 感謝??甸_(kāi)發(fā)人員的辛勤工作,非常感謝!
  如果您可以提供xl的采集接口,它將是全面的,哈哈哈,要求太高了!
  如果您認為本文對您有所幫助,請記得回復并喜歡支持我. 我們的目標是每天取得一點(diǎn)進(jìn)步,并進(jìn)一步加深! 查看全部

  我最近安裝了??低昅VS視覺(jué)軟件的最新版本3.0.0. 第一印象是界面已發(fā)生了很大變化,但黑色深度和涼爽度有所提高. 看一下這個(gè)界面:
  
  當然,我今天不是要教您如何使用該軟件,因為菜單的操作和2.3版本沒(méi)有太大變化,但是可以在其中顯示很多單獨的項,例如十字中心. 圖片的中心.
  在研究二次開(kāi)發(fā)時(shí),我偶然發(fā)現Haikang提供了第三方支持包,其中包括Halcon的HDevelop采集接口,該接口隱藏得很深,無(wú)法確定您是否不參與開(kāi)發(fā)!
  默認情況下,我們將其安裝在D: \ Program Files(x86)\ MVS \目錄中,并找到了第三方D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter
  
  找到了HDevelop目錄嗎? ,這是什么?好奇地打開(kāi)它
  
  從Halcon10到13有四個(gè)目錄,只需打開(kāi)它,看看里面有什么. 我發(fā)現有兩個(gè)目錄Win32和Win64. 繼續打開(kāi)并查看它,發(fā)現了這樣的東西?
  hAcqMVision.dll
  復制代碼
  看hAcq,突然想起,這是Haikang提供的適用于Haikang攝像機的Halcon的獲取接口,因為命名規則是Halcon標準獲取接口的命名:
  hAcq +接口顯示name.dll
  例如: hAcqGigeVision.dll
  復制代碼
  Halcon12已安裝在我們的計算機中,因此請嘗試將此接口文件復制到Halcon12進(jìn)行查看!
  D: \ Program Files(x86)\ MVS \ Development \ ThirdPartyPlatformAdapter \ HalconHDevelop \ Halcon12 \ win32
  復制代碼
  將上述目錄中的hAcqMVision.dll復制到Halcon執行目錄(該目錄實(shí)際上是RunTime目錄)
  D: \ Program Files \ MVTec \ HALCON-12.0 \ bin \ x86sse2-win32
  復制代碼
  您可以看到下面圖片中的所有圖像都是采集界面. 然后我們打開(kāi)HDevelop看看是否可以通過(guò)此界面操作相機?
  
  打開(kāi)采集助手Image Acquisition,然后自動(dòng)檢測界面,出現結果:
  
  您可以找到此接口并替換原創(chuàng )的GigeVision接口,然后接口文件的全名是hAcqMVision.dll,請嘗試打開(kāi)它:
  
  根本沒(méi)有問(wèn)題,并且工作效率比普通的GigeVision協(xié)議開(kāi)放更高效,更快捷. 感謝??甸_(kāi)發(fā)人員的辛勤工作,非常感謝!
  如果您可以提供xl的采集接口,它將是全面的,哈哈哈,要求太高了!
  如果您認為本文對您有所幫助,請記得回復并喜歡支持我. 我們的目標是每天取得一點(diǎn)進(jìn)步,并進(jìn)一步加深!

Immerial cms7.5優(yōu)采云采集器Web登錄界面發(fā)布模塊

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 442 次瀏覽 ? 2020-08-06 20:22 ? 來(lái)自相關(guān)話(huà)題

  
  是否有適用于Empire cms7.5的優(yōu)采云采集器的發(fā)布模塊?我在網(wǎng)上搜索了很長(cháng)時(shí)間后才找到它. 今天,我找到了一個(gè)7.0模塊并將其修改為在Empire cms7.5中使用. 讓我與您分享. 該插件為登錄方式,在優(yōu)采云發(fā)布模塊的WEB配置管理中添加域名地址,然后選擇數據包登錄方式.
  提醒: 在使用前,請輸入背景以關(guān)閉驗證碼并打開(kāi)背景源驗證碼. 關(guān)閉后即可使用.
  
  百度網(wǎng)盤(pán): 提取代碼: mzuf
  我在該項目中與優(yōu)采云采集器取得了聯(lián)系. 當我第一次使用它時(shí),感覺(jué)真的很棒. 數據采集真的很棒. 可以采集Internet上80%以上的數據. 碰巧的是,我最近通過(guò)Empire cms建立了一個(gè)信息門(mén)戶(hù)網(wǎng)站. 每個(gè)人都知道,信息門(mén)戶(hù)網(wǎng)站最麻煩的是數據. 碰巧我從優(yōu)采云采集了數據,而這個(gè)數據只用一個(gè)詞就很酷.
  當我開(kāi)心了一會(huì )兒時(shí),一個(gè)現實(shí)的問(wèn)題出現了. 如何將所有采集的數據批量導入Empire的數據庫中?我把問(wèn)題告訴了我的朋友,朋友說(shuō)你可以編寫(xiě)優(yōu)采云的帝國發(fā)布模塊. 當他這么說(shuō)的時(shí)候,我去了優(yōu)采云采集器親自看它,它確實(shí)具有發(fā)布模塊功能. 優(yōu)采云提供三種數據發(fā)布模式.
  第一種類(lèi)型: 直接在網(wǎng)絡(luò )上發(fā)布模塊.
  第二種類(lèi)型: 將發(fā)布的數據另存為文件.
  第三種類(lèi)型: 直接發(fā)布到數據庫.
  按照自己的想法,我在Internet上搜索了“彩彩云”發(fā)行模塊,并發(fā)現了很多結果,但是大多數教程只是品嘗,而在一天中的大部分時(shí)間里這些詞都是胡說(shuō)八道. 我仍然不知道該怎么做. 無(wú)奈之下,我向我的朋友索取了一份副本,并學(xué)習了如何操作,修改等. 接下來(lái),我將分享這種使用優(yōu)采云發(fā)行模塊的方法.
  我希望不要像我一樣來(lái)回走動(dòng)
  首先,我們將使用三個(gè)文件:
  ECMSLogin.php創(chuàng )建自己的
  hinfofun.php隨系統一起提供
  Empire CMS 7.2免費登錄新聞發(fā)布模塊. wpm
  第一步: 將所需的文件放在指定的文件夾中
  將文件1復制到e / admin /,并將文件2復制到e / class /文件夾.
  文件2.它需要被開(kāi)發(fā)兩次,并且其功能是能夠遠程保存圖片. 代碼顯示如下.
  //二次開(kāi)發(fā)代碼
  if($ add [‘diy’] == 1){
  //遠程保存標題圖片
  if($ add ['titlepic']){
  $ tranr = DoTranURL($ add ['titlepic'],$ add ['classid']);
  if($ tranr [tran])
  {
  $ tranr [文件大小] =(int)$ tranr [文件大小];
  $ tranr [type] =(int)$ tranr [type];
  //記錄數據庫
  eInsertFileTable($ tranr [文件名],$ tranr [文件大小],$ tranr [文件路徑],$用戶(hù)名,$ add ['classid'],
  '[s] [URL]'. $ tranr [文件名],$ tranr [類(lèi)型],0,$ add ['filepass'],$ public_r [fpath],0,0,$ public_r ['filedeftb' ]);
  // $ add ['titlepic'] = $ tranr [url];
  $ addtitlepic =”,titlepic ='”. addslashes($ tranr [url]). ”’,ispic = 1'';
  }
  }
  }
  第2步: 編寫(xiě)優(yōu)采云的發(fā)布模塊.
  
  第3步: 直接在線(xiàn)測試. 發(fā)布內容時(shí),選擇網(wǎng)站以在線(xiàn)發(fā)布到網(wǎng)站.
  
  通過(guò)上述步驟,可以完成優(yōu)采云的Empire發(fā)行模塊. 如果您仍然不明白,請給我留言. 查看全部

  
  是否有適用于Empire cms7.5的優(yōu)采云采集器的發(fā)布模塊?我在網(wǎng)上搜索了很長(cháng)時(shí)間后才找到它. 今天,我找到了一個(gè)7.0模塊并將其修改為在Empire cms7.5中使用. 讓我與您分享. 該插件為登錄方式,在優(yōu)采云發(fā)布模塊的WEB配置管理中添加域名地址,然后選擇數據包登錄方式.
  提醒: 在使用前,請輸入背景以關(guān)閉驗證碼并打開(kāi)背景源驗證碼. 關(guān)閉后即可使用.
  
  百度網(wǎng)盤(pán): 提取代碼: mzuf
  我在該項目中與優(yōu)采云采集器取得了聯(lián)系. 當我第一次使用它時(shí),感覺(jué)真的很棒. 數據采集真的很棒. 可以采集Internet上80%以上的數據. 碰巧的是,我最近通過(guò)Empire cms建立了一個(gè)信息門(mén)戶(hù)網(wǎng)站. 每個(gè)人都知道,信息門(mén)戶(hù)網(wǎng)站最麻煩的是數據. 碰巧我從優(yōu)采云采集了數據,而這個(gè)數據只用一個(gè)詞就很酷.
  當我開(kāi)心了一會(huì )兒時(shí),一個(gè)現實(shí)的問(wèn)題出現了. 如何將所有采集的數據批量導入Empire的數據庫中?我把問(wèn)題告訴了我的朋友,朋友說(shuō)你可以編寫(xiě)優(yōu)采云的帝國發(fā)布模塊. 當他這么說(shuō)的時(shí)候,我去了優(yōu)采云采集器親自看它,它確實(shí)具有發(fā)布模塊功能. 優(yōu)采云提供三種數據發(fā)布模式.
  第一種類(lèi)型: 直接在網(wǎng)絡(luò )上發(fā)布模塊.
  第二種類(lèi)型: 將發(fā)布的數據另存為文件.
  第三種類(lèi)型: 直接發(fā)布到數據庫.
  按照自己的想法,我在Internet上搜索了“彩彩云”發(fā)行模塊,并發(fā)現了很多結果,但是大多數教程只是品嘗,而在一天中的大部分時(shí)間里這些詞都是胡說(shuō)八道. 我仍然不知道該怎么做. 無(wú)奈之下,我向我的朋友索取了一份副本,并學(xué)習了如何操作,修改等. 接下來(lái),我將分享這種使用優(yōu)采云發(fā)行模塊的方法.
  我希望不要像我一樣來(lái)回走動(dòng)
  首先,我們將使用三個(gè)文件:
  ECMSLogin.php創(chuàng )建自己的
  hinfofun.php隨系統一起提供
  Empire CMS 7.2免費登錄新聞發(fā)布模塊. wpm
  第一步: 將所需的文件放在指定的文件夾中
  將文件1復制到e / admin /,并將文件2復制到e / class /文件夾.
  文件2.它需要被開(kāi)發(fā)兩次,并且其功能是能夠遠程保存圖片. 代碼顯示如下.
  //二次開(kāi)發(fā)代碼
  if($ add [‘diy’] == 1){
  //遠程保存標題圖片
  if($ add ['titlepic']){
  $ tranr = DoTranURL($ add ['titlepic'],$ add ['classid']);
  if($ tranr [tran])
  {
  $ tranr [文件大小] =(int)$ tranr [文件大小];
  $ tranr [type] =(int)$ tranr [type];
  //記錄數據庫
  eInsertFileTable($ tranr [文件名],$ tranr [文件大小],$ tranr [文件路徑],$用戶(hù)名,$ add ['classid'],
  '[s] [URL]'. $ tranr [文件名],$ tranr [類(lèi)型],0,$ add ['filepass'],$ public_r [fpath],0,0,$ public_r ['filedeftb' ]);
  // $ add ['titlepic'] = $ tranr [url];
  $ addtitlepic =”,titlepic ='”. addslashes($ tranr [url]). ”’,ispic = 1'';
  }
  }
  }
  第2步: 編寫(xiě)優(yōu)采云的發(fā)布模塊.
  
  第3步: 直接在線(xiàn)測試. 發(fā)布內容時(shí),選擇網(wǎng)站以在線(xiàn)發(fā)布到網(wǎng)站.
  
  通過(guò)上述步驟,可以完成優(yōu)采云的Empire發(fā)行模塊. 如果您仍然不明白,請給我留言.

微信公眾號文章檢索方法安排

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 250 次瀏覽 ? 2020-08-06 13:06 ? 來(lái)自相關(guān)話(huà)題

  1. 使用python爬行/ d1240673769 / article / details / 75907152
  實(shí)現方法: 通過(guò)微信提供的官方賬號文章調用界面,實(shí)現抓取官方賬號文章的功能
  步驟:
  1. 您需要安裝python selenium模塊軟件包,并使用selenium中的webdriver來(lái)驅動(dòng)瀏覽器獲取cookie以實(shí)現登錄效果;
  2. 要使用webdriver功能,需要安裝與瀏覽器相對應的驅動(dòng)程序插件. 我在這里使用Google Chrome進(jìn)行測試: Google Chrome版本為52.0.2743.6; Chromedriver版本: V2.23注意: 需要Google Chrome版本和chromedriver對應,否則在啟動(dòng)過(guò)程中將報告錯誤. [附: Selenium的chromedriver和chrome版本映射表(更新至v2.30)/ huilan_same / article / details / 51896672)]
  3. 微信官方賬號登錄地址: /
  4. 可以在微信公眾號的后臺創(chuàng )建微信公眾號文章界面地址,以創(chuàng )建新的圖形消息,并通過(guò)超鏈接功能獲取該消息:
  5. 搜索官方帳戶(hù)名
  6. 獲取要抓取的官方帳戶(hù)的偽造物
  7. 選擇要抓取的官方帳戶(hù)并獲取文章界面地址
  8. 文章列表翻頁(yè)和內容獲取
  2.AnyProxy代理批次采集/ p / 24302048
  如何實(shí)現: anyproxy + js
  /luojiangwen/p/7943696.html
  如何實(shí)現: anyproxy + java + webmagic
  / t / 181857
  實(shí)現方法: 數據包捕獲工具Fiddler4
  通過(guò)捕獲和分析多個(gè)帳戶(hù),我們可以確定:
  _biz: 這個(gè)14位數字的字符串是每個(gè)官方帳戶(hù)的“ id”,可在搜狗的微信平臺上獲得
  uin: 與訪(fǎng)客有關(guān),微信ID
  密鑰: 與所訪(fǎng)問(wèn)的官方帳戶(hù)有關(guān)
  步驟:
  1. 編寫(xiě)按鈕向導腳本,并自動(dòng)單擊電話(huà)上的公共文章列表頁(yè)面,即“查看歷史新聞”; 2.使用小提琴手代理劫持電話(huà)的訪(fǎng)問(wèn)權限,并將URL轉發(fā)到以php編寫(xiě)的本地網(wǎng)頁(yè); 3.將php網(wǎng)頁(yè)上收到的URL備份到數據庫中; 4.使用python從數據庫中檢索URL,然后執行正常的爬網(wǎng).
  我在抓取過(guò)程中發(fā)現了一個(gè)問(wèn)題: 如果您只想抓取文章的內容,似乎沒(méi)有訪(fǎng)問(wèn)頻率限制,但是如果要在閱讀之后捕獲閱讀次數和喜歡的次數,一定的頻率,返回值將為空,我設置的時(shí)間間隔為10秒,可以正常爬網(wǎng). 以這種頻率,一個(gè)小時(shí)內只能抓取360個(gè)項目,這沒(méi)有任何實(shí)際意義.
  4. 青波新榜
  如果您只想查看數據,請直接查看每日列表,而無(wú)需花錢(qián). 如果您需要訪(fǎng)問(wèn)自己的系統,它們還提供api接口 查看全部

  1. 使用python爬行/ d1240673769 / article / details / 75907152
  實(shí)現方法: 通過(guò)微信提供的官方賬號文章調用界面,實(shí)現抓取官方賬號文章的功能
  步驟:
  1. 您需要安裝python selenium模塊軟件包,并使用selenium中的webdriver來(lái)驅動(dòng)瀏覽器獲取cookie以實(shí)現登錄效果;
  2. 要使用webdriver功能,需要安裝與瀏覽器相對應的驅動(dòng)程序插件. 我在這里使用Google Chrome進(jìn)行測試: Google Chrome版本為52.0.2743.6; Chromedriver版本: V2.23注意: 需要Google Chrome版本和chromedriver對應,否則在啟動(dòng)過(guò)程中將報告錯誤. [附: Selenium的chromedriver和chrome版本映射表(更新至v2.30)/ huilan_same / article / details / 51896672)]
  3. 微信官方賬號登錄地址: /
  4. 可以在微信公眾號的后臺創(chuàng )建微信公眾號文章界面地址,以創(chuàng )建新的圖形消息,并通過(guò)超鏈接功能獲取該消息:
  5. 搜索官方帳戶(hù)名
  6. 獲取要抓取的官方帳戶(hù)的偽造物
  7. 選擇要抓取的官方帳戶(hù)并獲取文章界面地址
  8. 文章列表翻頁(yè)和內容獲取
  2.AnyProxy代理批次采集/ p / 24302048
  如何實(shí)現: anyproxy + js
  /luojiangwen/p/7943696.html
  如何實(shí)現: anyproxy + java + webmagic
  / t / 181857
  實(shí)現方法: 數據包捕獲工具Fiddler4
  通過(guò)捕獲和分析多個(gè)帳戶(hù),我們可以確定:
  _biz: 這個(gè)14位數字的字符串是每個(gè)官方帳戶(hù)的“ id”,可在搜狗的微信平臺上獲得
  uin: 與訪(fǎng)客有關(guān),微信ID
  密鑰: 與所訪(fǎng)問(wèn)的官方帳戶(hù)有關(guān)
  步驟:
  1. 編寫(xiě)按鈕向導腳本,并自動(dòng)單擊電話(huà)上的公共文章列表頁(yè)面,即“查看歷史新聞”; 2.使用小提琴手代理劫持電話(huà)的訪(fǎng)問(wèn)權限,并將URL轉發(fā)到以php編寫(xiě)的本地網(wǎng)頁(yè); 3.將php網(wǎng)頁(yè)上收到的URL備份到數據庫中; 4.使用python從數據庫中檢索URL,然后執行正常的爬網(wǎng).
  我在抓取過(guò)程中發(fā)現了一個(gè)問(wèn)題: 如果您只想抓取文章的內容,似乎沒(méi)有訪(fǎng)問(wèn)頻率限制,但是如果要在閱讀之后捕獲閱讀次數和喜歡的次數,一定的頻率,返回值將為空,我設置的時(shí)間間隔為10秒,可以正常爬網(wǎng). 以這種頻率,一個(gè)小時(shí)內只能抓取360個(gè)項目,這沒(méi)有任何實(shí)際意義.
  4. 青波新榜
  如果您只想查看數據,請直接查看每日列表,而無(wú)需花錢(qián). 如果您需要訪(fǎng)問(wèn)自己的系統,它們還提供api接口

WordPress 優(yōu)采云采集器文章免費登錄發(fā)布模塊和安裝說(shuō)明

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 526 次瀏覽 ? 2020-08-06 11:15 ? 來(lái)自相關(guān)話(huà)題

  當然,如果我們使用WordPress來(lái)做大數據采集網(wǎng)站,那絕對不合適,因為當WP數據很大時(shí),它將占用大量服務(wù)器資源,并且打開(kāi)速度非常慢. 當然,由于老江在這里進(jìn)行了排序,他仍然必須整理一個(gè)常用的WordPress程序優(yōu)采云采集器發(fā)布模塊,當然,它也無(wú)需登錄. 我當然不使用它,因為仍然需要技術(shù)安排.
  一開(kāi)始,我們必須已經(jīng)在互聯(lián)網(wǎng)上找到了熱情的網(wǎng)民共享的優(yōu)采云發(fā)布模塊. 基于WorPress,我當前正在使用5.2.2版本,該版本也受支持. 我可以在服務(wù)器上測試它. 我認為這是一個(gè)采集網(wǎng)站. 這沒(méi)有多大意義,所以我還沒(méi)有練習過(guò). 我剛剛測試了發(fā)布模塊可以在測試服務(wù)器的WEB環(huán)境中運行.
  
  在這里我們安裝并導入WordPress 優(yōu)采云采集器發(fā)布模塊,不用擔心配置文件,我們需要先修改參數.
  
  在這里,我們需要檢查內容發(fā)布參數中的“ /locoy.php?action=save&secret=“,一個(gè)在文件名之后,另一個(gè)是設置的免登錄密碼.
  
  在這里,我們需要檢查尚未上傳的接口文件. secretWord密碼必須與我們在發(fā)布模塊中設置的密碼相同. 然后,將“ hm-locowp”文件夾上載到WordPress根目錄,以確保根目錄中的locoy.php文件與配置文件中的文件名相同. 您也可以自己修改它,但總之,它必須保持一致.
  
  通過(guò)這種方式,如果我們得到列表并可以看到WordPress類(lèi)表目錄,則可以確定沒(méi)有問(wèn)題. 這里應該注意,設置免登錄密碼需要稍微復雜一些,并且可以自定義文件名以確保根目錄文件的安全性.
  本文的出處: 老江部落?WordPress優(yōu)采云采集器文章免費登錄發(fā)布模塊和安裝說(shuō)明|歡迎分享(公眾號: QQ69377078) 查看全部

  當然,如果我們使用WordPress來(lái)做大數據采集網(wǎng)站,那絕對不合適,因為當WP數據很大時(shí),它將占用大量服務(wù)器資源,并且打開(kāi)速度非常慢. 當然,由于老江在這里進(jìn)行了排序,他仍然必須整理一個(gè)常用的WordPress程序優(yōu)采云采集器發(fā)布模塊,當然,它也無(wú)需登錄. 我當然不使用它,因為仍然需要技術(shù)安排.
  一開(kāi)始,我們必須已經(jīng)在互聯(lián)網(wǎng)上找到了熱情的網(wǎng)民共享的優(yōu)采云發(fā)布模塊. 基于WorPress,我當前正在使用5.2.2版本,該版本也受支持. 我可以在服務(wù)器上測試它. 我認為這是一個(gè)采集網(wǎng)站. 這沒(méi)有多大意義,所以我還沒(méi)有練習過(guò). 我剛剛測試了發(fā)布模塊可以在測試服務(wù)器的WEB環(huán)境中運行.
  
  在這里我們安裝并導入WordPress 優(yōu)采云采集器發(fā)布模塊,不用擔心配置文件,我們需要先修改參數.
  
  在這里,我們需要檢查內容發(fā)布參數中的“ /locoy.php?action=save&secret=“,一個(gè)在文件名之后,另一個(gè)是設置的免登錄密碼.
  
  在這里,我們需要檢查尚未上傳的接口文件. secretWord密碼必須與我們在發(fā)布模塊中設置的密碼相同. 然后,將“ hm-locowp”文件夾上載到WordPress根目錄,以確保根目錄中的locoy.php文件與配置文件中的文件名相同. 您也可以自己修改它,但總之,它必須保持一致.
  
  通過(guò)這種方式,如果我們得到列表并可以看到WordPress類(lèi)表目錄,則可以確定沒(méi)有問(wèn)題. 這里應該注意,設置免登錄密碼需要稍微復雜一些,并且可以自定義文件名以確保根目錄文件的安全性.
  本文的出處: 老江部落?WordPress優(yōu)采云采集器文章免費登錄發(fā)布模塊和安裝說(shuō)明|歡迎分享(公眾號: QQ69377078)

如何使用和下載優(yōu)采云采集器的免登錄發(fā)布界面

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 330 次瀏覽 ? 2020-08-06 01:00 ? 來(lái)自相關(guān)話(huà)題

  接口(軟件類(lèi)接口)是指定義合同的引用類(lèi)型. 其他類(lèi)型則實(shí)現接口以確保它們支持某些操作.
  
  接口指定了類(lèi)或實(shí)現它的其他接口所必須提供的成員. 與類(lèi)相似,接口可以收錄方法,屬性,索引器和事件作為成員.
  
  一個(gè)精心編寫(xiě)的界面有時(shí)可以節省無(wú)數麻煩,并使工作效率提高一倍.
  Youcai Cloud Collector具有三種登錄方法. 免登錄發(fā)布界面是最方便的方法,但是它要求程序員根據發(fā)布URL進(jìn)行自定義,并且需要一定的代碼基礎.
  釋放免登錄界面時(shí),具有易用,無(wú)需手動(dòng)登錄,發(fā)布穩定等優(yōu)點(diǎn),余豆將介紹免登錄界面的實(shí)際使用:
  初步準備:
 ?。?)要檢查您的網(wǎng)站屬于什么代碼,可以右鍵單擊以查看源代碼,找到代碼,然后選擇與代碼匹配的界面.
  
 ?。?)打開(kāi)界面php文件. 界面有密碼. 默認值為123456. 您也可以自己修改密碼. 請注意,更改密碼后,需要相應更改發(fā)布模塊的密碼.
 ?。?)將界面文件上傳到網(wǎng)站/ e / admin /的管理目錄下(取決于特定的網(wǎng)站背景)
  正式運營(yíng):
 ?。?)將發(fā)布模塊導入發(fā)布配置,修改發(fā)布模塊,并根據上傳的接口名稱(chēng)和設置的密碼進(jìn)行保存:
  
 ?。?)根據網(wǎng)站地址進(jìn)行配置.
  
 ?。?)然后,您可以測試發(fā)布,以查看發(fā)布模塊是否正常.
  
 ?。?)測試成功發(fā)布后,可以將其應用于采集規則. 請注意,采集規則必須與發(fā)布模塊的標簽相對應!更好的方法是在設置發(fā)布模塊中的標簽之后,將發(fā)布模塊中的標簽直接導入到優(yōu)采云采集器中:
  
  接口下載鏈接
  因此,為了方便客戶(hù),余豆組織了幾個(gè)常用的網(wǎng)站,并為該網(wǎng)站編譯了發(fā)布界面. 下載地址附在下面,壓縮包中收錄使用說(shuō)明. 請參考具體用法說(shuō)明. : 查看全部

  接口(軟件類(lèi)接口)是指定義合同的引用類(lèi)型. 其他類(lèi)型則實(shí)現接口以確保它們支持某些操作.
  
  接口指定了類(lèi)或實(shí)現它的其他接口所必須提供的成員. 與類(lèi)相似,接口可以收錄方法,屬性,索引器和事件作為成員.
  
  一個(gè)精心編寫(xiě)的界面有時(shí)可以節省無(wú)數麻煩,并使工作效率提高一倍.
  Youcai Cloud Collector具有三種登錄方法. 免登錄發(fā)布界面是最方便的方法,但是它要求程序員根據發(fā)布URL進(jìn)行自定義,并且需要一定的代碼基礎.
  釋放免登錄界面時(shí),具有易用,無(wú)需手動(dòng)登錄,發(fā)布穩定等優(yōu)點(diǎn),余豆將介紹免登錄界面的實(shí)際使用:
  初步準備:
 ?。?)要檢查您的網(wǎng)站屬于什么代碼,可以右鍵單擊以查看源代碼,找到代碼,然后選擇與代碼匹配的界面.
  
 ?。?)打開(kāi)界面php文件. 界面有密碼. 默認值為123456. 您也可以自己修改密碼. 請注意,更改密碼后,需要相應更改發(fā)布模塊的密碼.
 ?。?)將界面文件上傳到網(wǎng)站/ e / admin /的管理目錄下(取決于特定的網(wǎng)站背景)
  正式運營(yíng):
 ?。?)將發(fā)布模塊導入發(fā)布配置,修改發(fā)布模塊,并根據上傳的接口名稱(chēng)和設置的密碼進(jìn)行保存:
  
 ?。?)根據網(wǎng)站地址進(jìn)行配置.
  
 ?。?)然后,您可以測試發(fā)布,以查看發(fā)布模塊是否正常.
  
 ?。?)測試成功發(fā)布后,可以將其應用于采集規則. 請注意,采集規則必須與發(fā)布模塊的標簽相對應!更好的方法是在設置發(fā)布模塊中的標簽之后,將發(fā)布模塊中的標簽直接導入到優(yōu)采云采集器中:
  
  接口下載鏈接
  因此,為了方便客戶(hù),余豆組織了幾個(gè)常用的網(wǎng)站,并為該網(wǎng)站編譯了發(fā)布界面. 下載地址附在下面,壓縮包中收錄使用說(shuō)明. 請參考具體用法說(shuō)明. :

利用新插口抓取微信公眾號的所有文章

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 227 次瀏覽 ? 2020-08-04 02:03 ? 來(lái)自相關(guān)話(huà)題

  哎喲尼瑪,靜覓博客博主崔慶才同事。
  崔慶才文章采集接口文章采集接口,Python技術(shù)控,爬蟲(chóng)博文訪(fǎng)問(wèn)量已過(guò)百萬(wàn)。喜歡鉆研,熱愛(ài)生活,樂(lè )于分享。個(gè)人博客:靜覓 |
  注意:今天的文字格式可能顯示有點(diǎn)問(wèn)題,相信你可以腦補~
  各位男子兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公共號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP、還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前天晚上陌陌官方發(fā)布了一個(gè)文章:
  大致意思是說(shuō)之后發(fā)布文章的時(shí)侯可以直接插入其它公眾號的文章了。
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、和企業(yè)號是否可行我不清楚。因為我木有·····2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式、來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token、和公眾號的微信號(就是數字+字符那個(gè))、獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:5、點(diǎn)擊我們搜索到的公眾號以后、又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步、獲取所有文章需要處理一下翻頁(yè)、翻頁(yè)懇求如下:
  
  我大約看了一下、極客學(xué)院每一頁(yè)大約起碼有5條信息、也就是總文章數/5 就是有多少頁(yè)。但是有小數、我們取整,然后加1就是總頁(yè)數了。代碼如下: 查看全部

  哎喲尼瑪,靜覓博客博主崔慶才同事。
  崔慶才文章采集接口文章采集接口,Python技術(shù)控,爬蟲(chóng)博文訪(fǎng)問(wèn)量已過(guò)百萬(wàn)。喜歡鉆研,熱愛(ài)生活,樂(lè )于分享。個(gè)人博客:靜覓 |
  注意:今天的文字格式可能顯示有點(diǎn)問(wèn)題,相信你可以腦補~
  各位男子兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公共號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP、還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前天晚上陌陌官方發(fā)布了一個(gè)文章:
  大致意思是說(shuō)之后發(fā)布文章的時(shí)侯可以直接插入其它公眾號的文章了。
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、和企業(yè)號是否可行我不清楚。因為我木有·····2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式、來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token、和公眾號的微信號(就是數字+字符那個(gè))、獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:5、點(diǎn)擊我們搜索到的公眾號以后、又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步、獲取所有文章需要處理一下翻頁(yè)、翻頁(yè)懇求如下:
  
  我大約看了一下、極客學(xué)院每一頁(yè)大約起碼有5條信息、也就是總文章數/5 就是有多少頁(yè)。但是有小數、我們取整,然后加1就是總頁(yè)數了。代碼如下:

太棒了!利用新插口抓取微信公眾號的所有文章

采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 185 次瀏覽 ? 2020-08-04 02:02 ? 來(lái)自相關(guān)話(huà)題

  
  各位老漢兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公眾號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP,還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前段時(shí)間早上陌陌官方發(fā)布了一個(gè)文章:
  
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、企業(yè)號是否可行我不清楚。因為我木有·····
  2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式,來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token,和公眾號的微信號(就是數字+字符那個(gè)),獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:
  5、點(diǎn)擊我們搜索到的公眾號以后,又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步,獲取所有文章需要處理一下翻頁(yè)。翻頁(yè)懇求如下:
  
  我大約看了一下,極客學(xué)院每一頁(yè)大約起碼有5條信息文章采集接口,也就是總文章數/5 就是有多少頁(yè)。但是有小數,我們取整文章采集接口,然后加1就是總頁(yè)數了。
  代碼如下:
  
  item.get(‘link’)就是我們須要的公眾號文章連接啦!繼續懇求這個(gè)URL提取上面的內容就是啦!
  End. 查看全部

  
  各位老漢兒伴兒,一定深受過(guò)采集微信公眾號之苦吧!特別是?。。。。?!公眾號歷史信息?。?!這丫不僅通過(guò)中間代理采集APP,還真沒(méi)哪些招式能領(lǐng)到數據??!
  直到············
  前段時(shí)間早上陌陌官方發(fā)布了一個(gè)文章:
  
  誒媽呀!這不是仍然須要的采集接口嘛!嘖嘖 天助我也??!來(lái)來(lái)·········下面大致的說(shuō)一下技巧。
  1、首先你須要一個(gè)訂閱號! 公眾號、企業(yè)號是否可行我不清楚。因為我木有·····
  2、其次你須要登陸!
  微信公眾號登陸我沒(méi)仔細看。
  這個(gè)姑且不說(shuō)了,我使用的是selenium 驅動(dòng)瀏覽器獲取Cookie的方式,來(lái)達到登陸的療效。
  3、使用requests攜帶Cookie、登錄獲取URL的token(這玩意很重要每一次懇求都須要帶上它)像下邊這樣:
  
  4、使用獲取到的token,和公眾號的微信號(就是數字+字符那個(gè)),獲取到公眾號的fakeid(你可以理解公眾號的標示)
  
  我們在搜索公眾號的時(shí)侯瀏覽器帶著(zhù)參數以GET方式想紅框中的URL發(fā)起了懇求。請求參數如下:
  
  請求相應如下:
  
  代碼如下:
  
  好了 我們再繼續:
  5、點(diǎn)擊我們搜索到的公眾號以后,又發(fā)覺(jué)一個(gè)懇求:
  
  請求參數如下:
  
  返回如下:
  
  代碼如下:
  
  好了···最后一步,獲取所有文章需要處理一下翻頁(yè)。翻頁(yè)懇求如下:
  
  我大約看了一下,極客學(xué)院每一頁(yè)大約起碼有5條信息文章采集接口,也就是總文章數/5 就是有多少頁(yè)。但是有小數,我們取整文章采集接口,然后加1就是總頁(yè)數了。
  代碼如下:
  
  item.get(‘link’)就是我們須要的公眾號文章連接啦!繼續懇求這個(gè)URL提取上面的內容就是啦!
  End.

官方客服QQ群

微信人工客服

QQ人工客服


線(xiàn)

亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久