c爬蟲(chóng)抓取網(wǎng)頁(yè)數據的選擇思路及選擇方法介紹-requests

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據的工具很多，比如requests、beautifulsoup等等；另外爬蟲(chóng)還可以用scrapy框架做反爬蟲(chóng)。甚至apache/nginx做反反爬蟲(chóng)也可以。本文會(huì )結合requests做網(wǎng)頁(yè)反爬蟲(chóng)。文章包含以下主要內容1.介紹一下requests庫2.先介紹爬蟲(chóng)是怎么獲取網(wǎng)頁(yè)數據的3.解決爬蟲(chóng)服務(wù)器速度慢、不穩定的問(wèn)題4.在各種網(wǎng)頁(yè)爬蟲(chóng)框架中的選擇思路5.requests詳細流程看起來(lái)主要內容不多，一行代碼搞定，但上述一些問(wèn)題確很麻煩。

　　以上每一個(gè)都會(huì )成為一篇文章，首先說(shuō)明這里每一個(gè)主要代碼單獨抽取下即可，其實(shí)大多是我寫(xiě)的。再說(shuō)明上述操作本質(zhì)上是對url和網(wǎng)頁(yè)元素進(jìn)行了解析。由于requests方便的處理url，因此解析html這件事可以交給自己來(lái)做。requests最簡(jiǎn)單的實(shí)現抓取網(wǎng)頁(yè)時(shí)，沒(méi)有必要在html網(wǎng)頁(yè)處理過(guò)程中還需要保存html信息，基本步驟：1.獲取網(wǎng)頁(yè)包含信息2.解析html3.存儲數據對爬蟲(chóng)爬取html來(lái)說(shuō)，需要經(jīng)歷requests庫爬取網(wǎng)頁(yè)時(shí)傳遞參數，傳遞到selenium線(xiàn)程池，由線(xiàn)程池來(lái)解析html信息。

　　selenium不需要保存任何網(wǎng)頁(yè)信息，直接處理后分析為webapi輸出即可。所以上述的各個(gè)步驟和html編碼沒(méi)有太大關(guān)系。也不要問(wèn)為什么不用xpath，因為xpath和html編碼不一樣，在抓取網(wǎng)頁(yè)時(shí)必須轉換為xpath/emoji可讀語(yǔ)言才能讀取正?！，F在有一些爬蟲(chóng)框架都有支持requests,比如scrapy、kibana和motrix；正因為requests簡(jiǎn)單，因此其解析html的方式也簡(jiǎn)單；我們介紹一下其中一些爬蟲(chóng)框架的爬取html的方式。

　　這樣的主要目的是想通過(guò)對requests的熟悉，進(jìn)一步使用其他框架做爬蟲(chóng)之類(lèi)的。requestsjs官網(wǎng)：requests的一個(gè)重要版本，很多第三方包支持其爬取html信息。javascript解析html模塊庫：v8解析javascript/text/string，使用jsonp：直接發(fā)送http請求或是使用瀏覽器的瀏覽器api返回html數據，jquery解析javascript代碼，并將javascript數據以html數據格式返回。

　　prestojs(已經(jīng)被大棄)/zeptojs(github)requestsjs的主要代碼都來(lái)自于這里；web容器：injection來(lái)負責生成html標簽和處理html；有一個(gè)重要組件是seleniumdriver和requests的交互，getseleniumdriver做的事情非常類(lèi)似于html編程中的函數調用，類(lèi)似于open和session來(lái)做html編程中的dom操作；httpurlconnectionhttpconnection負責接收請求并處理響應，并且通過(guò)post請求，向服務(wù)器發(fā)送數據，請求的格式使用headers:attributes:user-agent:mozilla/5.0(ipad;cpuiphoneosx10_。