蘇南大叔講述一下一款國人出品的php庫,叫做querylist
優(yōu)采云 發(fā)布時(shí)間: 2021-08-07 00:28蘇南大叔講述一下一款國人出品的php庫,叫做querylist
本文開(kāi)頭,蘇南大叔講了一個(gè)中國人出品的PHP庫,叫querylist,可以用來(lái)抓取網(wǎng)絡(luò )數據。這個(gè)查詢(xún)列表類(lèi)似于python下的scrapy。當然,在之前的文章中,蘇南大叔介紹了scrapy crawling。有興趣的可以通過(guò)文末的鏈接了解更多。
如何安裝和使用 QueryList,一個(gè) php 數據捕獲庫? (圖5-1)
另外,這個(gè)查詢(xún)列表是基于開(kāi)源庫phpquery的。如果你用過(guò)phpquery,在接下來(lái)的學(xué)習中你會(huì )看到一些類(lèi)似的陰影。如果你沒(méi)用過(guò)phpquery,那你還是可以對比一下jquery,思路都差不多。好了,介紹這么多。如果您有興趣,歡迎查看下一個(gè)查詢(xún)列表系列文章。
蘇南大叔實(shí)驗時(shí)的composer版本是:1.6.5,php版本是7.2.1。
官方網(wǎng)站和安裝要求
Querylist是中國人的作品,其官方網(wǎng)站是:
querylist要求的php版本至少為7.0,可以通過(guò)以下命令查看本地php版本號:
php -v
如何安裝和使用 QueryList,一個(gè) php 數據捕獲庫? (圖5-2)
安裝第一步是安裝composer
安裝composer就不描述太多了。 querylist的使用,理論上與composer密切相關(guān)。與composer的使用相關(guān)的文章請參考文末鏈接。如果你已經(jīng)安裝了composer,可以跳過(guò)這一步。
下面介紹的是mac下使用命令行語(yǔ)句安裝composer的例子:
curl -o composer.phar 'https://getcomposer.org/composer.phar'
mv composer.phar /usr/local/bin/composer
chmod 777 /usr/local/bin/composer
相關(guān)鏈接:
第二步是設置全局加速composer的repo庫
這一步不是必須的。如果安裝querylist時(shí)沒(méi)有響應,可以執行該語(yǔ)句。聲明的目的是為了把composer改成快速的國內源碼,類(lèi)似于node下的cnpm。
composer config -g repo.packagist composer https://packagist.phpcomposer.com
第三步,安裝querylist
在空白文件夾下,首先初始化composer項目。
composer init
然后使用composer安裝jaeger/querylist。
composer require jaeger/querylist
如何安裝和使用 QueryList,一個(gè) php 數據捕獲庫? (圖5-3)
安裝成功,查看版本號
截至發(fā)稿,使用以下命令查看最新版本的querylist版本號4.0.3。
composer show -i jaeger/querylist
如何安裝和使用 QueryList,一個(gè) php 數據捕獲庫? (圖5-4)
介紹示例demo
下面這句話(huà)是官方給出的最簡(jiǎn)單的配置。在此,限于篇幅,蘇南叔不做過(guò)多解釋。
require './vendor/autoload.php';
use QL\QueryList;
$html = array('.two>img:eq(1)','src'),
//采集span標簽中的HTML內容
'other' => array('span','html')
);
$data = QueryList::html($html)
->rules($rules)
->query()
->getData();
print_r($data->all());
使用
是key中的key點(diǎn)。新手經(jīng)常被卡在這里。還有autoload.php,這是composer項目的標準配置。剩下的就是querylist的相關(guān)功能了,下面蘇南叔叔會(huì )詳細介紹。敬請關(guān)注。
require './vendor/autoload.php';
use QL\QueryList;
如何安裝和使用 QueryList,一個(gè) php 數據捕獲庫? (圖5-5)
相關(guān)鏈接匯總
本文中蘇南大叔介紹的querylist與scrapy類(lèi)似。但是querylist是基于php的,對php的忠實(shí)用戶(hù)更具吸引力。
不過(guò),蘇南叔還是給你一個(gè)建議,那就是多嘗試python。在目前的環(huán)境下,看來(lái)python系列還是很有前途的。而且在爬取方面,scrapy 還是比 querylist 有優(yōu)勢。好的,僅此而已。請繼續關(guān)注蘇南叔的后續文字,謝謝閱讀。
[蘋(píng)果]
[添加群組]
【源碼】本文中的代碼片段及相關(guān)軟件,請點(diǎn)擊此處獲取
【絕密】秘籍文章入口,只教給有緣人
查詢(xún)列表 phpquery