內容采集可以先把采集內容分類(lèi)，比如小說(shuō)列表->小說(shuō)分類(lèi)

　　內容采集可以先把采集內容分類(lèi)，比如你是想采集小說(shuō)，你就可以分為男頻，女頻，小說(shuō)等等.當然你也可以做二次分類(lèi)比如你分為溫暖和傷感等，這里就涉及到多少個(gè)頁(yè)面，頁(yè)面用多少個(gè)url.有人說(shuō)多了的就不好了，但是沒(méi)關(guān)系，你要知道對于蜘蛛，要找的一定是最短路徑，不是最長(cháng)路徑，所以采集百度已經(jīng)給你鋪好的路了，就比如小說(shuō)列表-->小說(shuō)分類(lèi)。目前全文采集都很簡(jiǎn)單，你直接登錄百度去采就可以了，包括你在網(wǎng)頁(yè)中填寫(xiě)的信息都是秒查的。

　　1、做文本搜索

　　2、做鏈接產(chǎn)品

　　3、做文本聚合如今的技術(shù)方向已經(jīng)不僅僅局限于內容的采集，一些新技術(shù)也逐漸開(kāi)始探索，比如文本文字識別，語(yǔ)義分析等等。

　　這個(gè)不是靠10分鐘自學(xué)就能上手的，你所需要掌握的知識的廣度是一回事，但是深度是另一回事。這邊我可以先給你一點(diǎn)技術(shù)層面的知識，數據量較大的情況下，這需要你掌握一些框架的建設。假設你要采集的單個(gè)網(wǎng)頁(yè)需要10頁(yè)，比如百度文庫的文檔的頁(yè)數在500頁(yè)到800頁(yè)，再采集就需要對每一頁(yè)都要做針對性的處理，你首先得知道每一頁(yè)的名稱(chēng)，你能判斷出來(lái)每一頁(yè)的文檔框架結構，比如什么圖片，什么鏈接，什么模塊等等。

　　針對上述這些，你需要一個(gè)模塊架構出來(lái)，然后通過(guò)某種方式把數據匯總起來(lái)，方便你用。我是這么理解你這個(gè)問(wèn)題的，你先能把這個(gè)模塊架構整理清楚，然后再針對性的采集你的網(wǎng)頁(yè)，這樣能減少或者避免卡點(diǎn)，那些不合理的采集算法和技術(shù)，簡(jiǎn)單來(lái)說(shuō)，不要對標桿網(wǎng)站采集，抓取一個(gè)平臺的大部分就足夠了。當然這也是在你網(wǎng)站量達到一定量級的情況下。