亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　解決方案:算法自動(dòng)采集列表是一種高效的大數據處理方式
　　算法自動(dòng)采集列表是一種高效的大數據處理方式，在互聯(lián)網(wǎng)時(shí)代發(fā)揮了重要作用。算法自動(dòng)采集列表的功能是收集大量的網(wǎng)絡(luò )數據，并根據用戶(hù)的需要進(jìn)行處理和存儲。通過(guò)使用算法自動(dòng)采集列表，可以快速、準確地從海量的信息中抽取有價(jià)值的數據，大大降低了人工采集信息所需要花費的時(shí)間和成本。
　　
　　隨著(zhù)互聯(lián)網(wǎng)應用的不斷發(fā)展，電子商務(wù)、信息服務(wù)、物流外包、供應鏈創(chuàng )新、運營(yíng)優(yōu)化、IT服務(wù)業(yè)等各個(gè)行業(yè)都需要使用到算法自動(dòng)采集列表。這就需要一套實(shí)用而又安全可靠的方案來(lái)實(shí)現大數據采集。優(yōu)采云采集器是一個(gè)專(zhuān)門(mén)為企業(yè)客戶(hù)開(kāi)發(fā)的大數據采集平臺，常用于市場(chǎng)營(yíng)銷(xiāo)、競爭對手情報分析、供應商評估、價(jià)格監測以及新聞輿情監測等各個(gè)應用場(chǎng)合。
　　優(yōu)采云采集器具有安全性強、易于使用、成本低廉以及優(yōu)異性能幾大特征。它能夠快速有效地對各行各業(yè)的海量信息進(jìn)行處理并提取出有價(jià)值的數據，進(jìn)而帶來(lái)前所未有的市場(chǎng)競爭優(yōu)勢。此外，優(yōu)采云采集器也能夠通過(guò)語(yǔ)義分析來(lái)進(jìn)一步實(shí)時(shí)監測輿情，從而帶來(lái)快速準確的輿情風(fēng)向標。
　　
　　此外，優(yōu)采云采集器還具有易部署、易擴充性強以及易上手幾大特征：不需要對原始代理進(jìn)行單獨部署就能夠實(shí)時(shí)直觀(guān)地看到代理IP是否正常工作；不需要對原始代理進(jìn)行單獨部署就能夠方便地對代理IP進(jìn)行擴充或者減少；不需要再去學(xué)習新語(yǔ)法就能夠快速上手使用優(yōu)采云端已有API庫中的內容。
　　總之，作為一套高效耐用并且具有強大實(shí)時(shí)直觀(guān)性功能的大數據處理方式，優(yōu)采云采集器無(wú)疑是當前市場(chǎng)上使用者必不可少的選擇之一。

　　解決方案:03 增量爬蟲(chóng)技術(shù)
　　01 專(zhuān)注爬蟲(chóng)技術(shù)
　　聚焦爬蟲(chóng)也是主題爬蟲(chóng)。 專(zhuān)注爬蟲(chóng)技術(shù)增加了鏈接評估和內容評估模塊，其爬蟲(chóng)策略的重點(diǎn)是評估頁(yè)面內容和鏈接的重要性。
　　基于鏈接評估的爬蟲(chóng)策略主要將網(wǎng)頁(yè)作為半結構化文檔，其中收錄大量的結構信息，可以用來(lái)評估鏈接的重要性。 另一種方法是利用Web結構來(lái)評估鏈接的價(jià)值，即HITS法，通過(guò)計算每個(gè)被訪(fǎng)問(wèn)頁(yè)面的Authority權重和Hub權重來(lái)確定鏈接訪(fǎng)問(wèn)的順序。
　　基于內容評價(jià)的爬蟲(chóng)策略主要是應用類(lèi)似于文本的計算方法，提出Fish-Search算法，以用戶(hù)輸入的查詢(xún)詞為主題。 隨著(zhù)算法的進(jìn)一步改進(jìn)，Shark-Search算法可以使用空間向量模型來(lái)計算頁(yè)面和主題的相關(guān)性大小。
　　面向主題的爬蟲(chóng)、面向需求的爬蟲(chóng)：它會(huì )針對特定的內容爬取信息，并會(huì )盡可能保證信息和需求的相關(guān)性。 下面顯示了一個(gè)如何使用聚焦爬蟲(chóng)的簡(jiǎn)單示例。
　　import?urllib.request?????#?爬蟲(chóng)專(zhuān)用的包urllib，不同版本的Python需要下載不同的爬蟲(chóng)專(zhuān)用包?import?re?????#?正則用來(lái)規律爬取?keyname=""?????#?想要爬取的內容?key=urllib.request.quote(keyname)?????#?需要將你輸入的keyname解碼，從而讓計算機讀懂?for?i?in?range(0,5):???#?(0,5)數字可以自己設置，是淘寶某產(chǎn)品的頁(yè)數?????url="https://s.taobao.com/search%3F ... 2Bstr(i*44)?#?url后面加上你想爬取的網(wǎng)站名，然后你需要多開(kāi)幾個(gè)類(lèi)似的網(wǎng)站以找到其規則?#?data是你爬取到的網(wǎng)站所有的內容要解碼要讀取內容?????pat='"pic_url":"//(.*?)"'?#?pat使用正則表達式從網(wǎng)頁(yè)爬取圖片?#?將你爬取到的內容放在一個(gè)列表里面?????print(picturelist)?????#?可以不打印，也可以打印下來(lái)看看?????for?j?in?range(0,len(picturelist)):?????????picture=picturelist[j]?????????pictureurl="http://"+picture?????????#?將列表里的內容遍歷出來(lái)，并加上http://轉到高清圖片?????????file="E:/pycharm/vscode文件/圖片/"+str(i)+str(j)+".jpg"?????????#?再把圖片逐張編號，不然重復的名字將會(huì )被覆蓋掉?????????urllib.request.urlretrieve(pictureurl,filename=file)?????????#?最后保存到文件夾?
　　02 通用爬蟲(chóng)技術(shù)
　　通用網(wǎng)絡(luò )爬蟲(chóng)是整個(gè)網(wǎng)絡(luò )爬蟲(chóng)。 其實(shí)現過(guò)程如下。
　　
　　第五，當滿(mǎn)足爬蟲(chóng)系統設置的停止條件時(shí)，停止爬蟲(chóng)。 在寫(xiě)爬蟲(chóng)的時(shí)候，一般都會(huì )設置相應的停止條件。 如果不設置停止條件，爬蟲(chóng)會(huì )繼續爬取，直到獲取不到新的URL地址。 如果設置了停止條件，爬蟲(chóng)會(huì )在滿(mǎn)足停止條件時(shí)停止爬行。 詳見(jiàn)圖2-5右下子圖。
　　通用爬蟲(chóng)技術(shù)的應用有不同的爬取策略，其中廣度優(yōu)先策略和深度優(yōu)先策略更為關(guān)鍵。 例如，深度優(yōu)先策略的實(shí)現是按照深度從低到高的順序訪(fǎng)問(wèn)下一級網(wǎng)頁(yè)鏈接。
　　下面是一個(gè)如何使用普通爬蟲(chóng)的例子。
　　'''?爬取京東商品信息：?????請求url：https://www.jd.com/?????提取商品信息：?????????1.商品詳情頁(yè)?????????2.商品名稱(chēng)?????????3.商品價(jià)格?????????4.評價(jià)人數?????????5.商品商家?'''?from?selenium?import?webdriver????#?引入selenium中的webdriver?from?selenium.webdriver.common.keys?import?Keys?import?time??def?get_good(driver):?????try:??????????#?通過(guò)JS控制滾輪滑動(dòng)獲取所有商品信息?????????js_code?=?'''?????????????window.scrollTo(0,5000);?????????'''?????????driver.execute_script(js_code)??#?執行js代碼??????????#?等待數據加載?????????time.sleep(2)??????????#?查找所有商品div?????????#?good_div?=?driver.find_element_by_id('J_goodsList')?????????good_list?=?driver.find_elements_by_class_name('gl-item')?????????n?=?1?????????for?good?in?good_list:?????????????#?根據屬性選擇器查找?????????????#?商品鏈接?????????????good_url?=?good.find_element_by_css_selector(?????????????????'.p-img?a').get_attribute('href')??????????????#?商品名稱(chēng)?????????????good_name?=?good.find_element_by_css_selector(?????????????????'.p-name?em').text.replace("\n",?"--")??????????????#?商品價(jià)格?????????????good_price?=?good.find_element_by_class_name(?????????????????'p-price').text.replace("\n",?":")??????????????#?評價(jià)人數?????????????good_commit?=?good.find_element_by_class_name(?????????????????'p-commit').text.replace("\n",?"?")??????????????good_content?=?f'''?????????????????????????商品鏈接:?{good_url}?????????????????????????商品名稱(chēng):?{good_name}?????????????????????????商品價(jià)格:?{good_price}?????????????????????????評價(jià)人數:?{good_commit}?????????????????????????\n?????????????????????????'''?????????????print(good_content)?????????????with?open('jd.txt',?'a',?encoding='utf-8')?as?f:?????????????????f.write(good_content)??????????next_tag?=?driver.find_element_by_class_name('pn-next')?????????next_tag.click()??????????time.sleep(2)??????????#?遞歸調用函數?????????get_good(driver)??????????time.sleep(10)??????finally:?????????driver.close()???if?__name__?==?'__main__':??????good_name?=?input('請輸入爬取商品信息:').strip()??????driver?=?webdriver.Chrome()?????driver.implicitly_wait(10)?????#?往京東主頁(yè)發(fā)送請求?????driver.get('https://www.jd.com/')??????#?輸入商品名稱(chēng)，并回車(chē)搜索?????input_tag?=?driver.find_element_by_id('key')?????input_tag.send_keys(good_name)?????input_tag.send_keys(Keys.ENTER)?????time.sleep(2)??????get_good(driver)?
　　03 增量爬蟲(chóng)技術(shù)
　　有些網(wǎng)站會(huì )在原有網(wǎng)頁(yè)數據的基礎上定期更新一批數據。 比如電影網(wǎng)站會(huì )實(shí)時(shí)更新一批近期的熱門(mén)電影，小說(shuō)網(wǎng)站會(huì )根據作者的創(chuàng )作進(jìn)度實(shí)時(shí)更新最新的章節數據。 遇到類(lèi)似的場(chǎng)景，我們可以使用增量爬蟲(chóng)。
　　增量爬蟲(chóng)技術(shù)（incremental Web crawler）是通過(guò)爬蟲(chóng)程序監測某個(gè)網(wǎng)站的數據更新情況，從而爬取網(wǎng)站更新后的新數據。
　　關(guān)于如何進(jìn)行增量爬取工作，下面給出三種檢測重復數據的思路：
　　發(fā)送請求前先判斷該URL是否已經(jīng)被抓??； 解析內容后判斷內容是否被爬??； 在寫(xiě)入存儲介質(zhì)時(shí)判斷該內容是否已經(jīng)存在于介質(zhì)中。
　　不難發(fā)現，增量爬取的核心是去重。 目前有兩種去重方法。
　　
　　下面顯示了如何使用增量爬蟲(chóng)的示例。
　　import?scrapy?from?scrapy.linkextractors?import?LinkExtractor?from?scrapy.spiders?import?CrawlSpider,?Rule?from?redis?import?Redis?from?incrementPro.items?import?IncrementproItem?class?MovieSpider(CrawlSpider):?????name?=?'movie'?????#?allowed_domains?=?['www.xxx.com']?????start_urls?=?['http://www.4567tv.tv/frim/index7-11.html']?????rules?=?(?????????Rule(LinkExtractor(allow=r'/frim/index7-\d+\.html'),?callback='parse_item',?follow=True),?????)?????#?創(chuàng )建Redis鏈接對象?????conn?=?Redis(host='127.0.0.1',?port=6379)?????def?parse_item(self,?response):?????????li_list?=?response.xpath('//li[@class="p1?m1"]')?????????for?li?in?li_list:?????????????#?獲取詳情頁(yè)的url?????????????detail_url?=?'http://www.4567tv.tv'?+?li.xpath('./a/@href').extract_first()?????????????#?將詳情頁(yè)的url存入Redis的set中?????????????ex?=?self.conn.sadd('urls',?detail_url)?????????????if?ex?==?1:?????????????????print('該url沒(méi)有被爬取過(guò)，可以進(jìn)行數據的爬取')?????????????????yield?scrapy.Request(url=detail_url,?callback=self.parst_detail)?????????????else:?????????????????print('數據還沒(méi)有更新，暫無(wú)新數據可爬??！')??????#?解析詳情頁(yè)中的電影名稱(chēng)和類(lèi)型，進(jìn)行持久化存儲?????def?parst_detail(self,?response):?????????item?=?IncrementproItem()?????????item['name']?=?response.xpath('//dt[@class="name"]/text()').extract_first()?????????item['kind']?=?response.xpath('//div[@class="ct-c"]/dl/dt[4]//text()').extract()?????????item['kind']?=?''.join(item['kind'])?????????yield?it?
　　管道文件：
　　from?redis?import?Redis?class?IncrementproPipeline(object):?????conn?=?None?????def?open_spider(self,spider):?????????self.conn?=?Redis(host='127.0.0.1',port=6379)?????def?process_item(self,?item,?spider):?????????dic?=?{?????????????'name':item['name'],?????????????'kind':item['kind']?????????????}?????????print(dic)?????????self.conn.push('movieData',dic)?????????????#?如果push不進(jìn)去，那么dic變成str(dic)或者改變r(jià)edis版本????????????pip?install?-U?redis==2.10.6?????????return?item?
　　04 深網(wǎng)爬蟲(chóng)技術(shù)
　　在互聯(lián)網(wǎng)中，網(wǎng)頁(yè)按存在方式可分為表層網(wǎng)頁(yè)和深層網(wǎng)頁(yè)。
　　所謂表層網(wǎng)頁(yè)是指無(wú)需提交表單，使用靜態(tài)鏈接即可到達的靜態(tài)頁(yè)面； 而深層網(wǎng)頁(yè)則隱藏在表單后面，無(wú)法通過(guò)靜態(tài)鏈接直接獲取，需要提交一定的關(guān)鍵詞才能訪(fǎng)問(wèn)。 得到的頁(yè)面中最重要的部分是表單填寫(xiě)部分。
　　在互聯(lián)網(wǎng)中，深層網(wǎng)頁(yè)的數量往往遠大于表層網(wǎng)頁(yè)的數量。 因此，我們需要想辦法爬取深層網(wǎng)頁(yè)。
　　深網(wǎng)爬蟲(chóng)的基本組成：URL列表、LVS列表（LVS是指標簽/值集合，即填寫(xiě)表單的數據源）、爬取控制器、解析器、LVS控制器、表單分析器、表單處理器、響應分析儀。
　　深網(wǎng)爬蟲(chóng)的填表方式有兩種：
　　技術(shù)和經(jīng)驗:利用cms建站有什么優(yōu)勢
　　使用cms建站的優(yōu)勢如下
　　1.網(wǎng)站線(xiàn)速度快
　　
　　使用cms建站的用戶(hù)只需在網(wǎng)站模板中選擇自己喜歡的模板并部署上線(xiàn)，上線(xiàn)后即可添加網(wǎng)站內容。
　　2.安全穩定
　　cms系統由于其開(kāi)源的特點(diǎn)擁有大量的用戶(hù)，用戶(hù)在使用過(guò)程中發(fā)現的問(wèn)題和當前國網(wǎng)安全聯(lián)盟的白帽技術(shù)愛(ài)好者挖出的漏洞都在cms的不斷修復和升級中廠(chǎng)商，所以只要及時(shí)將網(wǎng)站的管理升級到最新版本的cms ，就可以保證網(wǎng)站的安全穩定。
　　3、有利于網(wǎng)站推廣
　　
　　一個(gè)成熟的cms系統對于SEO有著(zhù)完整的設計理念和配置機制。 網(wǎng)站后，只要選擇合適的關(guān)鍵詞，并在后臺設置SEO參數，網(wǎng)站的關(guān)鍵詞排名比其他建站方式更容易，排名也更高。
　　4.方便的網(wǎng)站管理
　　cms功能齊全，支持可視化編輯。 網(wǎng)站上線(xiàn)后，您可以在后臺修改網(wǎng)站所有的文字、圖片、欄目等內容，還可以修改網(wǎng)站的顏色等樣式。

　　解決方案:k-近鄰算法實(shí)現手寫(xiě)數字識別系統——《機器學(xué)習實(shí)戰》
　　一、實(shí)驗介紹
　　1.1 實(shí)驗內容
　　本實(shí)驗將從電影主題分類(lèi)的例子入手，詳細描述k近鄰算法的原理。 之后，我們將使用該算法實(shí)現一個(gè)手寫(xiě)數字識別系統。
　　完整教程及在線(xiàn)練習地址：K近鄰算法實(shí)現手寫(xiě)數字識別系統1.2實(shí)驗源碼
　　本實(shí)驗來(lái)源于圖靈教育授權實(shí)驗室大樓發(fā)布的《機器學(xué)習實(shí)戰》一書(shū)第2章。 如需系統學(xué)習本書(shū)，請購買(mǎi)《機器學(xué)習實(shí)戰》。
　　為了保證本次實(shí)驗能夠在實(shí)驗室環(huán)境下完成，我們增加了實(shí)驗截圖、代碼注釋等一系列實(shí)驗指導，幫助大家更好的實(shí)踐。
　　1.3 實(shí)驗知識點(diǎn) 1.4 實(shí)驗環(huán)境 1.5 適合人群
　　本課程難度中等，適合具有基本Python知識的用戶(hù)。 如果您了解 numpy，則可以更好地入門(mén)本課程。
　　1.6 代碼獲取
　　您可以在實(shí)驗樓獲取該項目的代碼，作為參考對比學(xué)習。
　　2、實(shí)驗原理
　　眾所周知，電影可以按照題材來(lái)分類(lèi)，但是題材本身是如何定義的呢？ 誰(shuí)來(lái)決定一部電影屬于哪個(gè)主題？ 也就是說(shuō)，同一題材的電影有哪些共同特征？ 這些都是電影分類(lèi)時(shí)必須要考慮的問(wèn)題。 沒(méi)有一個(gè)電影人會(huì )說(shuō)他拍的電影和以前的電影很相似，但我們知道，每一部電影確實(shí)可能在風(fēng)格上與同類(lèi)型的電影相似。 那么動(dòng)作片有哪些共同特點(diǎn)，使得動(dòng)作片非常相似，卻又與愛(ài)情片有著(zhù)明顯的區別呢？ 動(dòng)作片中也有吻戲，愛(ài)情片中也有打斗場(chǎng)面。 我們不能簡(jiǎn)單地以有沒(méi)有打架或有吻戲來(lái)判斷一部電影的類(lèi)型。 但愛(ài)情片中吻戲較多，動(dòng)作片中打斗場(chǎng)面較多。 根據此類(lèi)場(chǎng)景在電影中出現的次數，可以用來(lái)對電影進(jìn)行分類(lèi)。 本章第一節根據電影中出現的親吻和打斗的次數，使用k近鄰算法構建了一個(gè)自動(dòng)對電影類(lèi)型進(jìn)行分類(lèi)的程序。 我們首先用電影分類(lèi)來(lái)解釋k近鄰算法的基本概念，然后學(xué)習如何在其他系統上使用k近鄰算法。
　　本章介紹第一個(gè)機器學(xué)習算法：k-近鄰算法，非常有效且易于掌握。 首先，我們將探討 k 最近鄰算法的基本理論以及如何使用距離測量對項目進(jìn)行分類(lèi)； 然后，我們將使用 Python 從文本文件中導入和解析數據； 然后，本書(shū)討論了當數據源較多時(shí)，如何避免計算距離時(shí)可能遇到的一些常見(jiàn)錯誤； 最后用實(shí)例說(shuō)明如何使用k近鄰算法完成手寫(xiě)數字識別系統。
　　2.1k-最近鄰算法概述
　　簡(jiǎn)單的說(shuō)，k近鄰算法就是利用衡量不同特征值之間距離的方法進(jìn)行分類(lèi)。
　　k-最近鄰算法
　　本書(shū)介紹的第一個(gè)機器學(xué)習算法是 k 最近鄰算法 (kNN)。 它的工作原理是：有一個(gè)樣本數據集，也叫訓練樣本集，樣本集中的每一個(gè)數據都有一個(gè)標簽，即我們知道樣本集中每一個(gè)數據與其所屬類(lèi)別的對應關(guān)系。 輸入沒(méi)有標簽的新數據后，將新數據的每個(gè)特征與樣本集中數據的相應特征進(jìn)行比較，然后算法提取樣本集中最相似數據（最近鄰）的分類(lèi)標簽。 一般來(lái)說(shuō)，我們只選取樣本數據集中前k個(gè)最相似的數據，這就是k近鄰算法中k的來(lái)源，通常k是不大于20的整數。最后選擇最相似的分類(lèi)k 個(gè)最相似數據中出現的次數作為新數據的分類(lèi)。
　　現在讓我們回到前面電影分類(lèi)的例子，使用k近鄰算法對愛(ài)情片和動(dòng)作片進(jìn)行分類(lèi)。 曾經(jīng)有人統計過(guò)很多電影的打斗場(chǎng)面和吻戲。 圖 2-1 顯示了 6 部電影中打斗和接吻的場(chǎng)面數量。 如果有一部電影沒(méi)看過(guò)，如何判斷它是愛(ài)情片還是動(dòng)作片？ 我們可以使用 kNN 來(lái)解決這個(gè)問(wèn)題。
　　首先，我們要知道這部名不見(jiàn)經(jīng)傳的電影到底有多少打斗場(chǎng)面和吻戲。 圖 2-1 中問(wèn)號的位置是這部未知電影中鏡頭數量的圖形顯示。 具體編號見(jiàn)表2-1。
　　即使不知道未知電影屬于哪種類(lèi)型，我們也可以通過(guò)某種方式弄清楚。 首先計算未知電影與樣本集中其他電影的距離，如表2-2所示。 不用擔心這里如何計算這些距離值。 在使用Python實(shí)現電影分類(lèi)應用時(shí)，會(huì )給出具體的計算方法。
　　現在我們已經(jīng)得到了樣本集中所有電影和未知電影的距離，按照距離遞增排序，我們可以找到k個(gè)最接近的電影。 假設 k=3，最接近的三部電影是 He's Not Really into Dudes、Beautiful Woman 和 California Man。 k近鄰算法根據距離最近的三部電影的類(lèi)型來(lái)判斷未知電影的類(lèi)型，而這三部電影都是言情片，所以我們判斷未知電影是言情片。
　　本章主要講解如何在實(shí)際環(huán)境中應用k近鄰算法，同時(shí)也涉及到如何使用Python工具和相關(guān)的機器學(xué)習術(shù)語(yǔ)。 按照1.5節開(kāi)發(fā)機器學(xué)習應用程序的一般步驟，我們使用Python語(yǔ)言開(kāi)發(fā)一個(gè)k近鄰算法的簡(jiǎn)單應用程序來(lái)驗證算法的正確性。
　　k近鄰算法的一般流程
　　
　　數據采集：可以使用任何方法。 數據準備：距離計算所需的數值，最好是結構化的數據格式。 分析數據：可以使用任何方法。 Training Algorithm：這一步不適用于k-Nearest Neighbors算法。 測試算法：計算錯誤率。 算法使用：首先需要輸入樣本數據和結構化輸出結果，然后運行k近鄰算法判斷輸入數據屬于哪個(gè)類(lèi)別，最后對計算出的類(lèi)別進(jìn)行后續處理。 2.2 準備工作：使用Python導入數據
　　首先，創(chuàng )建一個(gè)名為 kNN.py 的 Python 模塊。 本章用到的所有代碼都在這個(gè)文件中。 讀者可以根據自己的習慣學(xué)習代碼，可以根據本書(shū)的學(xué)習進(jìn)度，將代碼寫(xiě)在自己創(chuàng )建的Python文件中，也可以直接從本書(shū)的源代碼中復制kNN.py文件。 我建議讀者從頭開(kāi)始創(chuàng )建模塊，邊學(xué)邊寫(xiě)代碼。
　　我們打開(kāi)Xfce終端，創(chuàng )建實(shí)驗文件夾KNN
　　cd Code
mkdir KNN
cd KNN
touch kNN.py
　　那我們先安裝NumPy模塊。
　　sudo pip install numpy
　　然后我們可以使用 vim 或 sublime 來(lái)編輯我們的 kNN.py 文件。 將以下代碼添加到 kNN.py 文件中：
　　 from numpy import *
import operator
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
　　在上面的代碼中，我們導入了兩個(gè)模塊：第一個(gè)是科學(xué)計算包NumPy； 第二個(gè)是operator模塊，k近鄰算法在進(jìn)行排序操作的時(shí)候會(huì )用到這個(gè)模塊提供的函數，后面會(huì )詳細介紹。
　　然后保存kNN.py文件，確保我們在kNN.py文件的路徑下（/home/shiyanlou/Code/KNN），在Xfce終端輸入ipython，進(jìn)入Python交互開(kāi)發(fā)環(huán)境。
　　進(jìn)入Python開(kāi)發(fā)環(huán)境后，輸入以下命令導入上面編輯的程序模塊：
　　 >>> import kNN
　　上面的命令導入了 kNN 模塊。 為了保證輸入相同的數據集，在kNN模塊中定義了函數createDataSet，在Python命令提示符下輸入如下命令：
　　 >>> group,labels = kNN.createDataSet()
<p>
</p>
　　上面的命令創(chuàng )建了變量組和標簽，在Python命令提示符下輸入以下命令，并輸入變量名來(lái)驗證變量是否定義正確：
　　 >>> group
array([[ 1. , 1.1],
[ 1. , 1. ],
[ 0. , 0. ],
[ 0. , 0.1]])
>>> labels
[&#39;A&#39;, &#39;A&#39;, &#39;B&#39;, &#39;B&#39;]
　　這里有4組數據，每組數據有兩個(gè)已知的屬性或特征值。 上述組矩陣的每一行收錄不同的數據，我們可以將其視為日志文件中的不同測量點(diǎn)或條目。 由于人腦的局限性，我們通常只能將三維以下的事物形象化。 所以對于簡(jiǎn)單的數據可視化，我們通常只對每個(gè)數據點(diǎn)使用兩個(gè)特征。
　　向量標簽收錄每個(gè)數據點(diǎn)的標簽信息，標簽收錄的元素個(gè)數等于組矩陣的行數。 這里我們定義數據點(diǎn)(1, 1.1)為A類(lèi)，數據點(diǎn)(0, 0.1)為B類(lèi)。為了說(shuō)明方便，例子中的值是任意取的，沒(méi)有給出坐標軸標簽. 圖 2-2 顯示了帶有類(lèi)別標簽信息的四個(gè)數據點(diǎn)。
　　現在我們知道了 Python 如何解析數據，如何加載數據，以及 kNN 算法的工作原理，我們將使用這些方法來(lái)完成分類(lèi)任務(wù)。
　　2.3 如何測試分類(lèi)器
　　上面我們提到使用kNN算法可以判斷一部電影是動(dòng)作片還是愛(ài)情片，也就是說(shuō)我們可以使用kNN算法實(shí)現一個(gè)分類(lèi)器。 我們需要檢查分類(lèi)器給出的答案是否符合我們的預期。 讀者可能會(huì )問(wèn)：“分類(lèi)器什么時(shí)候會(huì )出錯？” 或者“答案總是正確的嗎？” 答案是否定的，分類(lèi)器不會(huì )得到100%正確的結果，我們可以使用各種方法檢查分類(lèi)器的準確率。 此外，分類(lèi)器的性能也會(huì )受到各種因素的影響，例如分類(lèi)器設置和數據集。 不同的算法在不同的數據集上的表現可能完全不同，這也是這部分的 6 章討論分類(lèi)算法的原因。
　　為了測試分類(lèi)器的效果，我們可以使用已知答案的數據。 當然，答案不能告訴分類(lèi)器，要檢查分類(lèi)器給出的結果是否符合預期結果。 通過(guò)大量的測試數據，我們可以得到分類(lèi)器的錯誤率——分類(lèi)器給出錯誤結果的次數除以測試執行的總數。 錯誤率是一種常用的評價(jià)方法，主要用于評價(jià)分類(lèi)器在一定數據集上的性能。 完美分類(lèi)器的錯誤率為 0，最差分類(lèi)器的錯誤率為 1.0，在這種情況下，分類(lèi)器根本無(wú)法找到一個(gè)正確的答案。 讀者可以在后面的章節中看到實(shí)際的數據示例。
　　上一節中介紹的示例是有效的，但實(shí)際用處不大。 接下來(lái)，本書(shū)將使用手寫(xiě)識別系統的測試程序來(lái)測試k近鄰算法的效果。
　　三、實(shí)驗步驟
　　本項目詳細步驟可在實(shí)驗樓查看并在線(xiàn)完成：K近鄰算法實(shí)現手寫(xiě)數字識別系統
　　主要實(shí)現步驟：
　　1.準備數據：將圖像轉換為測試向量
　　2. 分析數據
　　3.測試算法：使用k近鄰算法識別手寫(xiě)數字
　　四、實(shí)驗總結
　　k近鄰算法是最簡(jiǎn)單有效的數據分類(lèi)算法。 k最近鄰算法是基于實(shí)例的學(xué)習。 在使用算法時(shí)，我們必須要有接近實(shí)際數據的訓練樣本數據。 k近鄰算法必須保存所有數據集。 如果訓練數據集很大，則必須使用大量的存儲空間。 此外，實(shí)際使用起來(lái)可能非常耗時(shí)，因為必須為數據集中的每個(gè)數據點(diǎn)計算距離值。 有沒(méi)有一種算法可以減少存儲空間和計算時(shí)間的開(kāi)銷(xiāo)？ k決策樹(shù)是k近鄰算法的優(yōu)化版本，可以節省大量的計算開(kāi)銷(xiāo)。
　　解決方案:自建Kubernetes logtail日志采集客戶(hù)端安裝方式
　　【kubernetes常見(jiàn)日志采集問(wèn)題及解決方案分析】更多相關(guān)文章
　　kubernetes常見(jiàn)日志采集問(wèn)題分析及解決方案
　　與傳統日志和kubernetes日志相比，傳統服務(wù)目錄是固定的，重啟后不會(huì )丟失。 不要關(guān)注標準和錯誤日志輸出。 容器服務(wù)節點(diǎn)不固定。 重啟服務(wù)會(huì )漂移。 您需要注意標準和錯誤日志輸出。 日志文件重新啟動(dòng)后將丟失。 日志目錄不固定。 k8s中的日志處理常見(jiàn)的日志采集方案： 1、遠程日志將容器中的日志直接寫(xiě)到遠程kafka.es等，然后通過(guò)logstash等進(jìn)行處理，缺點(diǎn)是需要修改服務(wù)和傳輸到遠程存儲。 2.sidecar模式，每個(gè)pod運行一個(gè)filebeat，logstash等pod共享一個(gè)valum...
　　自建Kubernetes logtail日志采集客戶(hù)端安裝方法
　　自建Kubernetes安裝前提是Kubernetes集群1.8及以上版本。 Helm命令已安裝，版本2.6.4及以上。 安裝步驟在日志服務(wù)控制臺創(chuàng )建項目，項目名稱(chēng)以k8s-log-custom-開(kāi)頭。 將上述命令中的參數替換，并執行該命令。 嘗試 wget ...
　　Kubernetes Ingress 日志分析和監控最佳實(shí)踐
　　摘要：Ingress主要提供HTTP層（第7層）路由功能，是目前K8s中HTTP/HTTPS服務(wù)的主流暴露方式。 為了簡(jiǎn)化用戶(hù)分析和監控Ingress日志的門(mén)檻，阿里云容器服務(wù)和日志服務(wù)將Ingress日志開(kāi)放，只需要申請一個(gè)yaml資源即可完成日志采集等一整套Ingress日志解決方案的部署、分析和可視化。 越來(lái)越多的企業(yè)開(kāi)始在K8s集群上搭建服務(wù)。 在K8s中，組件通過(guò)Service暴露服務(wù)，往往...
　　Kubernetes Ingress 日志分析入門(mén)
　　本文主要介紹如何搭建一個(gè)基于日志服務(wù)的Kubernetes Ingress日志分析平臺，并提供一些簡(jiǎn)單的上手實(shí)驗，幫助大家快速了解日志服務(wù)的相關(guān)功能。 部署Ingress日志方案，登錄容器服務(wù)管理控制臺。 將上述 CRD 配置保存為編排模板。 有關(guān)編排模板文檔，請參閱創(chuàng )建編排模板。 基于此模板創(chuàng )建應用程序，并選擇集群的默認命名空間。 apiVersion: /v1alpha1 kind: AliyunLogConfig metadata: # 你的配置...
　　SpringCloud微服務(wù)實(shí)戰——搭建企業(yè)級開(kāi)發(fā)框架（三十八）：搭建ELK日志采集分析系統
　　一個(gè)好的日志分析系統可以詳細記錄系統的運行情況，方便我們定位分析系統性能瓶頸，定位系統問(wèn)題。 上一篇文章講解了日志的各種業(yè)務(wù)場(chǎng)景以及日志記錄的實(shí)現，所以日志記錄，相關(guān)人員需要對日志數據進(jìn)行處理和分析。 基于E（ElasticSearch）L（Logstash）K（Kibana）組合的日志分析系統可以說(shuō)是所有企業(yè)的首選方案。 Elasticsearch：分布式。 RESTful 風(fēng)格的搜索和數據分析引擎，可以快速存儲、搜索和分析海量數據。 用于存放ELK中的所有日志數據。 日志…
　　使用日志服務(wù)采集Kubernetes 日志
　　阿里云容器服務(wù) Kubernetes 集群集成日志服務(wù)（SLS）。 您可以在創(chuàng )建集群時(shí)開(kāi)啟日志服務(wù)，快速采集Kubernetes集群的容器日志，包括容器的標準輸出和容器內的文本文件。 如果您還沒(méi)有創(chuàng )建一個(gè)新的Kubernetes 集群創(chuàng )建任何Kubernetes 集群，您可以按照本節中的步驟進(jìn)行操作： 登錄容器服務(wù)管理控制臺。 單擊左側導航欄中的集群，單擊右上角的創(chuàng )建 Kubernetes 集群。 進(jìn)入創(chuàng )建頁(yè)面后，參見(jiàn)創(chuàng )建Kubernetes集群進(jìn)行配置。 拖到頁(yè)面底部，勾選日志服務(wù)配置項，也就是說(shuō)在新建的...
　　Kubernetes 日志采集
　　
　　Kubernetes日志打印方式標準輸出docker標準輸出日志stdout和stderr，使用docker logs或者kubectl logs查看最新日志（tail）。 如果想看更多的日志，可以到宿主機目錄/var/lib/docker/containers中找到所有對應的日志。 標準輸出是k8s社區推薦的日志輸出方式。 下面將從路徑和掛載介紹日志文件。 log4j在默認路徑打印日志的使用方法： 如果打印的業(yè)務(wù)日志沒(méi)有使用任何掛載方式，那么業(yè)務(wù)日志默認打在容器內部的目錄下。 根據不同...
　　日志采集技術(shù)分析 inode Inotify
　　日志采集技術(shù)淺析【阿里】-新手學(xué)習導向-紅客聯(lián)盟-Powered by HUC …
　　《視頻課堂》ELK與Kafka如何搭配，成為文字版的日志采集方案
　　視頻地址：ELK和Kafka是如何一起玩，成為日志采集方案的 視頻文字版 今天帶來(lái)了一個(gè)視頻，主要講一下ELK和Kafka的通信關(guān)系。 通過(guò)一張通信圖，以及一些操作命令，讓我們更深入的了解ELK在日志采集過(guò)程中和Kafka在消息隊列分發(fā)過(guò)程中，它們是如何配置和使用的，以及它們之間的通信機制希望它對你的學(xué)習會(huì )有幫助幫助，謝謝！ 我們的目標是一個(gè)主機host上的服務(wù)會(huì )產(chǎn)生日志，比如在/var/log目錄下會(huì )不斷產(chǎn)生各種日志記錄。 我們稱(chēng)這個(gè)采集范圍為日志采集源。 這時(shí)候我們調用ELK文件采集器...
　　Kubernetes 通用日志采集方案
　　Kubernetes 常用日志采集方案 學(xué)習了 Kubernetes 集群中監控系統的搭建。 除了集群的監控告警，還有一個(gè)運維工作非常重要，那就是日志的采集。 應用程序和系統日志的引入可以幫助我們了解集群的內部運行情況，日志對于我們調試問(wèn)題和監控集群狀況也非常有用。 而且大部分應用都會(huì )有日志記錄，傳統的應用大部分都會(huì )寫(xiě)入本地的日志文件。 對于容器標準化的應用來(lái)說(shuō)就更簡(jiǎn)單了，只需要將日志信息寫(xiě)入stdout和stderr，容器默認會(huì )將這些日志輸出到宿主機上的一個(gè)服務(wù)器上。
　　熱點(diǎn)話(huà)題
　　React Hooks子組件通過(guò)props調用父組件的方法
　　win7激活客戶(hù)端停止運行
　　觀(guān)察以下網(wǎng)絡(luò )界面，盡可能列出測試
　　繪制DAG圖并找到優(yōu)化的4元代碼
　　Winform制作鍵盤(pán)
　　根目錄使用率為 100%
　　
　　Mac根據域名查IP
　　系帶使用
　　升級openssh9.1
　　快速啟動(dòng)找不到系統路徑
　　放置網(wǎng)頁(yè)鼠標后顯示
　　python3 -m compilea 反編譯
　　如何將確認按鈕添加到 ios 數字鍵盤(pán)
　　DMS中如何修改數據庫用戶(hù)名
　　webapi上傳頭像
　　unittest 什么以test開(kāi)頭
　　serilog如何記錄空白日志，沒(méi)有日期，只記錄關(guān)鍵內容
　　UID卡B5FF67CBA951
　　jupyternotebook側邊欄無(wú)法調整
　　為什么eta設置為5

　　免費獲取:1314SEO標簽自動(dòng)獲取 批量生成標簽 3.3
　　dz插件網(wǎng)自用分詞算法排序參考：
　　本插件可以自動(dòng)獲取帖子標簽，支持舊帖和采集帖子設置標簽，標簽可以聚合帖子，提高帖子曝光度，幫助SEO收錄
　　
　　支持多種分詞模式，每個(gè)界面獨立設置是否開(kāi)啟，以及界面執行的順序，并自動(dòng)判斷選擇合適的結果
　　支持自定義標簽功能，可以預設常用的標簽，當對應的標簽出現在帖子中時(shí)優(yōu)先使用
　　支持設置只按標題獲取標簽
　　支持設置大量字符優(yōu)先返回標簽
　　
　　支持過(guò)濾數字和字母的相關(guān)設置
　　目前支持的分詞接口：百度相關(guān)搜索詞接口、百度關(guān)鍵詞接口、百度詞排接口、Pullword api、阿里云關(guān)鍵詞抽取、阿里云新聞元素抽取
　　備注：自定義標簽功能依賴(lài)于PHP的mb_strpos函數，大部分PHP環(huán)境默認支持。如果您的環(huán)境不支持，則無(wú)法使用自定義標簽功能。需要配置PHP環(huán)境支持mb_strpos函數
　　解決方案:美團大眾點(diǎn)評商家電話(huà)采集軟件，提取美團大眾點(diǎn)評商家號碼的工具
　　1.從城市列表中選擇要采集的城市，或者直接在城市框中輸入城市名稱(chēng)，如杭州
　　2.關(guān)鍵詞：輸入要采集的行業(yè)分類(lèi)關(guān)鍵詞，多個(gè)詞之間用空格分隔，如：美甲
　　3. 檢查其他必填選項
　　
　　4. 開(kāi)始采集
　　美團點(diǎn)評商務(wù)電話(huà)采集軟件，提取美團點(diǎn)評商務(wù)號碼的工具
　　1、關(guān)鍵詞：可輸入多個(gè)相關(guān)行業(yè)關(guān)鍵詞采集 數據更完整
　　
　　2.因為是實(shí)時(shí)抓拍，壞網(wǎng)絡(luò )也會(huì )導致數據沒(méi)有全部返回，差的網(wǎng)絡(luò )可以采集再點(diǎn)擊開(kāi)始采集
　　3、排除關(guān)鍵詞：排除采集結果中店鋪名稱(chēng)收錄單詞的數據，可在采集開(kāi)始前和采集完成后排除（采集完成后，輸入需要排除的關(guān)鍵詞并篩選）。
　　4.如果采集后不清除數據，則更改關(guān)鍵詞或城市繼續啟動(dòng)采集，使數據疊加在之前的數據上并進(jìn)行重復數據刪除
　　5、可同時(shí)檢查多個(gè)平臺，采集數據軟件自動(dòng)解重合

　　解決方案:20-垃圾回收相關(guān)算法
　　1.標記階段 1.垃圾標記階段 2.標記階段算法-引用計數算法（Reference Counting）Java GC測試
　　public class RefCountGC {
// 5MB
private byte[] bigSize = new byte[5 * 1024 * 1024];
Object reference = null;
public static void main(String[] args) {
RefCountGC obj1 = new RefCountGC();
RefCountGC obj2 = new RefCountGC();
obj1.reference = obj2;
obj2.reference = obj1;
obj1 = null;
obj2 = null;
}
}
　　Heap
PSYoungGen total 38400K, used 13615K [0x0000000795580000, 0x0000000798000000, 0x00000007c0000000)
eden space 33280K, 40% used [0x0000000795580000,0x00000007962cbc00,0x0000000797600000)
from space 5120K, 0% used [0x0000000797b00000,0x0000000797b00000,0x0000000798000000)
to space 5120K, 0% used [0x0000000797600000,0x0000000797600000,0x0000000797b00000)
ParOldGen total 87552K, used 0K [0x0000000740000000, 0x0000000745580000, 0x0000000795580000)
object space 87552K, 0% used [0x0000000740000000,0x0000000740000000,0x0000000745580000)
Metaspace used 2941K, capacity 4556K, committed 4864K, reserved 1056768K
class space used 313K, capacity 392K, committed 512K, reserved 1048576K
　　public class RefCountGC {
// 5MB
<p>
private byte[] bigSize = new byte[5 * 1024 * 1024];
Object reference = null;
public static void main(String[] args) {
RefCountGC obj1 = new RefCountGC();
RefCountGC obj2 = new RefCountGC();
obj1.reference = obj2;
obj2.reference = obj1;
obj1 = null;
obj2 = null;
// 顯示垃圾回收
System.gc();
}
}
</p>
　　[GC (System.gc()) [PSYoungGen: 12949K->535K(38400K)] 12949K->543K(125952K), 0.0011575 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[Full GC (System.gc()) [PSYoungGen: 535K->0K(38400K)] [ParOldGen: 8K->442K(87552K)] 543K->442K(125952K), [Metaspace: 2937K->2937K(1056768K)], 0.0249102 secs] [Times: user=0.01 sys=0.00, real=0.03 secs]
Heap
PSYoungGen total 38400K, used 998K [0x0000000795580000, 0x0000000798000000, 0x00000007c0000000)
eden space 33280K, 3% used [0x0000000795580000,0x0000000795679b20,0x0000000797600000)
from space 5120K, 0% used [0x0000000797600000,0x0000000797600000,0x0000000797b00000)
to space 5120K, 0% used [0x0000000797b00000,0x0000000797b00000,0x0000000798000000)
ParOldGen total 87552K, used 442K [0x0000000740000000, 0x0000000745580000, 0x0000000795580000)
object space 87552K, 0% used [0x0000000740000000,0x000000074006eaf8,0x0000000745580000)
Metaspace used 2943K, capacity 4556K, committed 4864K, reserved 1056768K
class space used 313K, capacity 392K, committed 512K, reserved 1048576K
Disconnected from the target VM, address: '127.0.0.1:61156', transport: 'socket'
　　
　　總結 3. 標記階段算法-可達性分析算法（Root Search Algorithm, Tracing Garbage 采集） 1. GC Roots
　　所謂“GC Roots”根集是一組必須處于活動(dòng)狀態(tài)的引用
　　2. GC Root收錄元素
　　2. 本地方法棧中JNI引用的對象（通常稱(chēng)為本地方法）
　　3.方法區中類(lèi)靜態(tài)屬性引用的對象
　　4.方法區常量引用的對象
　　5.同步鎖持有的所有對象synchronized
　　6、反映Java虛擬機內部情況的JMXBean，注冊在JVMTI中的回調，本地代碼緩存等。
　　7、除了這些固定的GC Roots集合外，根據用戶(hù)選擇的垃圾采集器和當前回收的內存區域，還可以“臨時(shí)”加入其他對象，組成一個(gè)完整的GC Roots集合。例如：分代采集和部分回收（Partial GC）
　　概括：
　　4、finalization機制從功能上看，finalize()方法類(lèi)似于C++中的析構函數，但Java采用了基于垃圾采集器的自動(dòng)內存管理機制，所以finalize()方法與C++中的finalize()方法有本質(zhì)區別C++由于finalize()方法的存在，虛擬機中的對象一般有三種可能的狀態(tài)。如果不能從所有根節點(diǎn)訪(fǎng)問(wèn)一個(gè)對象，則意味著(zhù)該對象不再被使用。一般來(lái)說(shuō)，這個(gè)對象是需要回收的。但其實(shí)并不是“必須死”，此時(shí)他們暫時(shí)處于“緩刑”階段。不可觸及的物體在一定條件下可能會(huì )“復活”。如果是這樣，它的回收是不合理的。為此原因，定義了對象在虛擬機中的三種可能狀態(tài)： 在上述三種狀態(tài)中，由于finalize()方法的存在。對象只有不可觸及才能被回收 判斷一個(gè)對象objA是否可回收？標記可達性分析執行流程
　　標記-可達性分析執行流程.png
　　5.清關(guān)階段
　　在成功區分內存中的活對象和死對象后，GC接下來(lái)的任務(wù)就是進(jìn)行垃圾回收，釋放無(wú)用對象占用的內存空間，以便有足夠的可用內存空間為新對象分配內存。目前JVM中常見(jiàn)的三種垃圾回收算法分別是標記-清除算法（Mark-Sweep）、復制算法（Copying）、標記-壓縮算法（Mark-Compact）
　　1.標記-掃描算法（Mark-Sweep）
　　標記清除算法（Mark-Sweep）是一種非?；A和常見(jiàn)的垃圾采集算法，由J.McCarthy等人提出。1960年應用于Lisp語(yǔ)言
　　注：什么是Clear 2，Mark-Copy算法
　　為了解決mark-sweep算法在垃圾回收效率方面的不足，MLMinsky在1963年發(fā)表了一篇著(zhù)名論文《CA LISP Garbage Collector Algorithm Using Serial Secondary Storage》。MLMinsky 在這篇論文中描述的算法被稱(chēng)為 Copying 算法，它被 MLMinsky 自己成功地引入到 Lisp 語(yǔ)言的一個(gè)實(shí)現版本中。
　　優(yōu)缺點(diǎn) 適用場(chǎng)景 3. Mark-compression（整理）算法
　　mark-compression算法的最終效果相當于執行完mark-sweep算法后進(jìn)行一次內存碎片整理。因此，它也可以稱(chēng)為“標記-清除-緊湊型（Mark-Sweep-Compact）算法”。兩者的本質(zhì)區別在于mark-sweep算法是一種“非移動(dòng)的回收算法”，而mark-compression是“移動(dòng)的”?；厥蘸笫欠褚苿?dòng)幸存的物體是一個(gè)有利也有弊的冒險決定?？梢钥吹?，被標記的存活對象會(huì )根據內存地址進(jìn)行排序和排列，而未標記的內存會(huì )被清理掉。這樣，當我們需要為一個(gè)新對象分配內存時(shí)，JVM只需要保存一塊內存的起始地址，
　　指針碰撞（Bump the Pointer）：如果內存空間是有規律有序的分配，即已使用和未使用的內存各占一邊，并維護一個(gè)記錄下一次分配起點(diǎn)的標記指針彼此之間，當為新對象分配內存時(shí)，只需要通過(guò)修改指針的偏移量，在第一個(gè)空閑內存位置分配新對象。這種分配方式稱(chēng)為指針沖突。
　　優(yōu)缺點(diǎn)總結
　　摘要.png
　　6.生成手機算法
　　在上述所有算法中，沒(méi)有一種算法可以完全替代其他算法，它們都有自己獨特的優(yōu)缺點(diǎn)。一代手機算法應運而生。
　　在HotSpot中，基于代的概念，GC使用的內存回收算法必須結合新生代和老年代的特點(diǎn)。新生代（Young Gen）和老年代（Tenured Gen）分代采集算法的應用 7.增量采集算法、分區算法
　　通過(guò)上述算法，應用軟件在垃圾回收過(guò)程中將處于Stop The World狀態(tài)。在Stop The World狀態(tài)下，應用的所有線(xiàn)程都會(huì )被掛起，暫停所有正常工作，等待垃圾回收完成。垃圾回收時(shí)間過(guò)長(cháng)會(huì )導致應用長(cháng)時(shí)間掛起，嚴重影響用戶(hù)體驗或系統穩定性。為了解決這個(gè)問(wèn)題，對實(shí)時(shí)垃圾采集算法的研究直接導致了增量采集（Incremental Collecting）算法的誕生
　　增量采集算法的基本思想
　　解決方案:香港多IP服務(wù)器搭建采集程序的好處有哪些
　　香港多IP服務(wù)器設置采集方案的好處： 1.香港服務(wù)器性能強大，均為主流配置，兼容國內常見(jiàn)的主流采集軟件市場(chǎng)化，配置也可以根據用戶(hù)的需要進(jìn)行配置調整和升級，使用方便。2.香港多IP服務(wù)器無(wú)需注冊和搭建即可使用，充分簡(jiǎn)化了網(wǎng)站的搭建過(guò)程，減少了時(shí)間成本。3、香港多IP服務(wù)器，CN2直連網(wǎng)絡(luò )，線(xiàn)路穩定，可快速抓取目標網(wǎng)站內容，為瀏覽者提供用戶(hù)體驗。4.由于香港的多IP服務(wù)器都是獨立的真實(shí)IP，
　　具體內容如下：
　　
　　1、性能強大
　　雖然采集網(wǎng)站采集程序的內容可以實(shí)現采集，發(fā)布全自動(dòng)運行，本身需要的硬件資源也不大，但是如果采集規則比較復雜而且采集的數據量比較大的話(huà)，對服務(wù)器的壓力還是不小的，所以一般如果要制作內容采集，至少需要4- E3以上核心CPU，保證相對較低的故障率，香港服務(wù)器 配置均為主流配置，不僅兼容市面上常見(jiàn)的主流采集軟件，還可以根據用戶(hù)的需求，使用起來(lái)非常方便
　　2. 無(wú)需備案即可使用
　　一般采集網(wǎng)站都是以站群的形式搭建為主，所以在選擇服務(wù)器的時(shí)候，主要是選擇海外的服務(wù)器進(jìn)行備案，否則備案時(shí)間很長(cháng)，上百個(gè)域名一起管理。比較麻煩，但是香港服務(wù)器數據海外服務(wù)器可以在服務(wù)器交付后立即構建網(wǎng)站，充分簡(jiǎn)化了構建網(wǎng)站的過(guò)程。
　　
　　3.線(xiàn)路穩定采集流暢
　　現在采集網(wǎng)站主要以大陸內容為主，香港服務(wù)器搭建采集網(wǎng)站優(yōu)勢明顯。香港服務(wù)器有CN2直連網(wǎng)絡(luò )，所以在采集過(guò)程中可以快速抓取目標網(wǎng)站的內容，發(fā)布也可以快速響應，瀏覽用戶(hù)的體驗也比較不錯。
　　4、豐富的IP資源
　　經(jīng)常制作采集站點(diǎn)的用戶(hù)都知道，所謂采集就是通過(guò)HTTP請求獲取內容。雖然市面上有很多支持IP偽裝的采集工具，但還是有一些可能會(huì )拒絕訪(fǎng)問(wèn)，而且由于香港的多IP服務(wù)器都是獨立的真實(shí)IP，被訪(fǎng)問(wèn)的概率攔截率相對較低。

　　全新產(chǎn)品:速賣(mài)通產(chǎn)品采集應用
　　應用介紹：
　　通過(guò)這款應用，商家可以快速采集速賣(mài)通國際站上的任何商品。只需輸入您想要的采集商品id，系統會(huì )在幾分鐘內自動(dòng)將其上架至店鋪SHOPYY后臺，二次編輯后即可上架。
　　借助該應用，大大減少了商戶(hù)的人工操作流程，提升了頭部產(chǎn)品的效率。有效避免業(yè)務(wù)準備周期長(cháng)的問(wèn)題，可在短時(shí)間內實(shí)現網(wǎng)站上線(xiàn)運營(yíng)。
　　腳步：
　　第一步：在后臺點(diǎn)擊從應用商店安裝后，在我的應用列表中找到對應的插件，點(diǎn)擊“訪(fǎng)問(wèn)”，跳轉到設置頁(yè)面。
　　第二步：點(diǎn)擊“速賣(mài)通商品管理”進(jìn)入列表頁(yè)面，列表中會(huì )顯示所有采集進(jìn)口商品。
　　
　　第三步：點(diǎn)擊右上角“添加速賣(mài)通商品”，進(jìn)入信息錄入頁(yè)面。
　　【速賣(mài)通商品ID】從速賣(mài)通網(wǎng)站復制需要采集的商品ID，獲取商品ID的方法如下圖所示：
　　注意：如果有多個(gè)產(chǎn)品 采集 在一起，每個(gè)產(chǎn)品 ID 應該用逗號或換行符分隔。
　　【商品發(fā)布語(yǔ)言】下拉選擇發(fā)布語(yǔ)言。
　　【商品發(fā)布市場(chǎng)】根據選擇的發(fā)布語(yǔ)言選擇對應的國家。
　　
　　第四步：以上信息設置完成后，點(diǎn)擊“保存信息”，商品將進(jìn)入列表等待同步。
　　(1) 同步成功后，列表中會(huì )顯示同步狀態(tài)。
　?。?）同步成功的商品自動(dòng)顯示在SHOPYY后臺商品下架列表中，方便上架前二次編輯。
　　注意：同步到SHOPYY后臺時(shí)，由于圖片采集需要時(shí)間，這里的商品圖片要過(guò)幾分鐘才會(huì )顯示。
　　完成以上步驟后，速賣(mài)通產(chǎn)品采集就制作完成了。
　　解決方案:帶你了解數據采集器的存儲功能
　　數據采集器內存什么時(shí)候會(huì )滿(mǎn)？
　　滿(mǎn)了會(huì )停止存儲嗎？
　　數據采集器的應用是固定的，每天測量的數據大小也是固定的。為了防止數據在采集前被覆蓋，我們將使用這個(gè)文章來(lái)詳細說(shuō)明金寶數據采集器的存儲功能。
　　數據采集器已滿(mǎn)是什么意思？
　　數據采集器由很多存儲單元組成，內存大小是固定的。
　　如果數據未滿(mǎn)，數據 采集器 不會(huì )停止存儲新數據。程序中有存儲指令。當數據已滿(mǎn)時(shí)，舊數據將被新數據覆蓋。這個(gè)時(shí)間是數據采集器的最大存儲時(shí)間。為了避免數據被覆蓋，此時(shí)必須保存之前采集的數據。
　　滿(mǎn)倉與哪些因素有關(guān)
　　
　　1) 數據可用內存大小采集器
　　2）分配給數據表的記錄數
　　3）每次記錄數據寫(xiě)入表的數據大小
　　4）數組的數據類(lèi)型
　　5) 數據存儲頻率
　　如何計算data采集器的內存何時(shí)滿(mǎn)
　　對于新數據采集器，可以使用loader讓數據采集器計算存儲時(shí)間，根據提示找到這些信息。
　　1）金寶數據采集器系統從OS28版本開(kāi)始。在DataTableInfo表中，程序中的每個(gè)數據表都分配了一個(gè)名為DataFillDays的表，可以找到存儲的信息?；騿螕?Campbell Data采集器 支持軟件（LoggerNet、PC400 或 PC200W）中的站點(diǎn)狀態(tài)按鈕以查看表格 FillTimes 選項卡。{注意：CR200(X)系列數據采集器不能使用此方法計算填表時(shí)間}
　　
　　2) 其他條件下存儲的數據
　　對于存儲數據的數據表，除了時(shí)間數據，數據的默認掃描頻率采集器是數據寫(xiě)入數據表的條件。結果，DataFillDays 表會(huì )在幾分鐘或幾小時(shí)內被填滿(mǎn)，這顯然不是我們需要的數據存儲時(shí)間。針對這種情況，需要通過(guò)條件來(lái)設置數據表的表大?。创鎯Χ嗌贄l），而不是讓數據采集器自動(dòng)分配數據表大小，只保留數據 采集器 用于時(shí)間存儲自動(dòng)分配的權限。
　　如何計算存儲在數組中的舊數據采集器的存儲時(shí)間
　　存儲數組：由大量的存儲單元組成，每個(gè)存儲單元可以存儲1位二進(jìn)制數據(0,1)。通常存儲單元排列成N行×M列的矩陣形式。
　　如果有較舊的基于數組的數據 采集器，我們可以通過(guò)每天將 62,000 內存除以數組存儲來(lái)估算存儲時(shí)間。以數組 106, 239, 1400, 22.47, 22.81, 73, 10.61 為例，它收錄 7 個(gè)數據點(diǎn)，如果每小時(shí)存儲此數據，則將存儲 168 個(gè)數據點(diǎn)（24 小時(shí) * 7 個(gè)數據點(diǎn)）。因此，每天 62000 個(gè)數據點(diǎn)/168 個(gè)數據點(diǎn) ≈ 369 天。您還可以存儲多個(gè)時(shí)間間隔的數據，要計算總數據點(diǎn)，請將數據采集器總內存除以總數據點(diǎn)。
　　應該多久采集一次數據
　　采集和檢查數據是驗證系統是否正常運行的最直接的方法。如果系統出現故障，可以通過(guò)采集數據及時(shí)發(fā)現故障并處理，不會(huì )造成重大損失。不要等到新數據即將覆蓋舊數據時(shí)才開(kāi)始采集。多久采集一次數據取決于實(shí)際情況?？傊?，要經(jīng)常采集數據，保證時(shí)間間隔不要太長(cháng)。畢竟每一個(gè)測量數據都是非常寶貴的。

　　技巧:經(jīng)驗分享：如何才能讓EXCEL計算速度更快？跑起來(lái)嗖嗖的
　　筆記：
　　這篇文章是我給知乎的回答，分享給大家。
　　原問(wèn)答地址：
　?。?br /> 　　本來(lái)打算關(guān)了電腦睡覺(jué)，結果打開(kāi)知乎又看了一遍，就睡著(zhù)了，少睡了兩個(gè)小時(shí)。為了回答這個(gè)問(wèn)題，我將利用Excel的概念和方法，結合采集到的資料，對我新出版的《“懶”科技：打造財務(wù)Excel專(zhuān)家》第一章的內容進(jìn)行補充完善，修正成本盡量回答。系統化、學(xué)術(shù)化，符合知乎的專(zhuān)業(yè)性。希望對你有幫助。
　　當表的計算效率較低時(shí)，可以考慮以下幾個(gè)方面進(jìn)行優(yōu)化：
　　1、首先要合理設計數據的布局，這是保證計算效率的前提
　　由于 Excel 以不同的速度引用此工作表、不同工作簿或工作表中的訪(fǎng)問(wèn)數據，因此計算對其他工作表的引用通常比計算工作表內的引用慢。當數據計算量較大時(shí)，必須考慮數據的整體布局：數據是保存在單獨的工作簿中，還是保存在單獨的工作表中，還是保存在同一個(gè)工作表中。
　　基于完整性的原則，如果是列表類(lèi)型的數據表，如果可能，盡量將數據整合到同一個(gè)工作表中，至少盡量在同一個(gè)工作簿中。如果不能將它們合并到同一個(gè)工作簿中，則寧可使用少量大工作簿，也不要使用大量小工作簿。盡可能避免工作簿之間的鏈接。鏈接外部工作簿不僅會(huì )影響表格的打開(kāi)速度，而且在移動(dòng)或刪除工作簿時(shí)會(huì )造成鏈接斷開(kāi)，不易查找和修復。
　　2. 不可避免要參考其他作業(yè)本時(shí)的提速技巧
　　嘗試對已關(guān)閉的工作簿使用簡(jiǎn)單的直接單元格引用。這樣做可以避免在重新計算任何工作簿時(shí)重新計算所有鏈接的工作簿。
　　如果不能避免使用鏈接工作簿，最好全部打開(kāi)而不是關(guān)閉，而且打開(kāi)工作表的順序也有講究，先打開(kāi)要鏈接的工作簿，再打開(kāi)收錄鏈接的工作簿。通常，從打開(kāi)的工作簿中讀取鏈接比從關(guān)閉的工作簿中讀取鏈接更快。
　　進(jìn)一步提速的“離家出走”方法：
　　Break：對于數據量較大的表格，將已經(jīng)計算出結果且不會(huì )更新的單元格的公式計算結果，通過(guò)專(zhuān)用粘貼轉換為數值，減少計算量；
　　處置：盡量不要在大范圍內使用需要大量計算的函數或公式。例如：條件格式和數據有效性函數雖然很強大，數組公式運算功能也很強大，但是大量使用會(huì )明顯降低計算速度，除非你愿意忍受蝸牛般的運算速度，否則，不要大規模使用數據Validation、條件格式、數組公式；
　　關(guān)閉：如果工作表需要大量計算，而其他工作表很少引用它，請考慮將其從本工作簿中移出。以免每次重新計算時(shí)影響工作簿的整體計算速度。
　　3、原創(chuàng )數據要標準化
　　原創(chuàng )數據必須標準化，否則會(huì )用函數公式清洗不規范的數據，增加中間環(huán)節，影響計算速度。比如數據的來(lái)源不是手動(dòng)輸入的，而是從其他系統導出的。導出的數據可能未標準化。比如數字是文本格式，數字后面有空格，還有不可見(jiàn)字符。這些數據不能直接參與計算。如果不手動(dòng)去組織標準化的數據，就不得不使用函數公式來(lái)避免，這大大影響了計算速度。
　　4、注意公式函數的計算效率，盡量使用效率高的函數，或者改用其他函數。
　　
　　1.除非必要，否則不要使用變量函數（volatile functions）。
　　Excel的變量函數有：RAND、NOW、TODAY、OFFSET、CELL、INDIRECT和INFO。變量函數有一個(gè)特點(diǎn)，當值發(fā)生變化時(shí)，每次都要重新計算，會(huì )影響表的計算性能。
　　例如，我們經(jīng)常使用下面的公式來(lái)定義動(dòng)態(tài)區域：
　　=OFFSET(Sheet1!$A$1,0,0,COUNTA(Sheet1!$A:$A),1)
　　優(yōu)點(diǎn)是會(huì )自動(dòng)擴充收錄新條目，但是會(huì )降低表的計算性能，因為OFFSET是volatile函數，而且OFFSET中的COUNTA函數要查很多行，計算效率較低.
　　一般情況下，我們可以使用Excel的表格函數來(lái)代替動(dòng)態(tài)范圍（Excel 2003中稱(chēng)為list）。
　　2. 使用其他行和列計算并存儲一次中間結果，以便在其他公式中重復使用。并且，如前所述，盡可能多地參考其他cell已有的計算結果，可以提高計算效率。
　　在單元格 C2 中輸入公式：
　　=SUM($A$2:$A2)
　　然后將公式填寫(xiě)到 C2000。如上所示。B列的公式是前面累加的結果加上這一行的數字。B列的公式是指上一行單元格的計算結果。B列公式與C列公式相比，引用單元格總數減少了500倍，計算量大大減少。
　　3. 減少每個(gè)公式中的引用數量，最大限度地減少函數中引用的單元格范圍。
　　雖然數組公式可以在 Excel 2007 之后的版本中處理整列引用，但這會(huì )強制計算列中的所有單元格，包括空單元格。這會(huì )使表計算非常慢。
　　4、盡量使用最有效的函數（一般自定義函數比Excel內置函數慢），準備合適的公式，盡量減少公式的計算次數
　　=IF(ISERROR(VLOOKUP("龍一凡",$A$2:$C$1000,3,0)),"沒(méi)有這個(gè)人",VLOOKUP("龍一凡",$A$2:$C$1000, 3 ,0))
　　如果表格A2:A1000中有“龍一帆”，使用上面的公式，Excel會(huì )計算兩次VLOOKUP函數。在Excel 2007之后的版本中，可以使用IFERROR來(lái)減少操作次數：
　　=IFERROR(VLOOKUP("龍一凡",$A$2:$C$1000,3,0),"沒(méi)有找到這個(gè)人")
　　5.非必要不要使用會(huì )觸發(fā)重新計算的操作
　　以下操作會(huì )觸發(fā)重新計算：
　　
　　1. 在自動(dòng)模式下單擊：?jiǎn)螕粜谢蛄蟹指舴?br /> 　　2. 在工作表中插入或刪除行、列或單元格。
　　3. 添加、更改或刪除定義的名稱(chēng)。
　　4. 重命名工作表或在自動(dòng)模式下更改工作表位置。
　　5. 使用過(guò)濾器，隱藏或取消隱藏表中的行。
　　6. 以自動(dòng)模式打開(kāi)工作簿。如果工作簿上次由不同版本的 Excel 計算，則打開(kāi)工作簿通常會(huì )導致完整計算。
　　7. 以手動(dòng)模式保存工作簿，并選中“保存前自動(dòng)重新計算”選項。
　　6. 如果可能，在使用查找引用之前對數據進(jìn)行排序。盡可能避免對未排序的數據執行查找，因為它們很慢。
　　1. 如果使用精確匹配選項，則函數的計算時(shí)間與找到匹配之前掃描的單元格數成正比。對于大面積執行的查找，這個(gè)時(shí)間可能會(huì )很長(cháng)。使用 VLOOKUP、HLOOKUP 和 MATCH 的近似匹配選項對已排序數據的查找時(shí)間很短，并且不會(huì )顯著(zhù)增加，具體取決于要查找的區域的長(cháng)度。
　　2. 由于精確匹配查找可能很慢，您應該考慮使用以下可以提高性能的方法：
　　? 使用工作表。使同一工作表中的查找和數據運行得更快。
　　? 如果可以，先對數據進(jìn)行排序，使用近似匹配。
　　?如果必須使用精確匹配搜索，請將掃描的單元格范圍限制在最小范圍內。使用動(dòng)態(tài)范圍名稱(chēng)或表（列表）函數，而不是引用大量的行或列。
　　7、前面四點(diǎn)都實(shí)現后，如果表格的計算速度還是很慢，將Excel的計算方式改為手動(dòng)計算，需要的時(shí)候再重新計算。
　　在手動(dòng)計算模式下，按[F9]可以觸發(fā)智能重新計算。使用 [Shift+F9] 僅重新計算選定的工作表，按 [Ctrl+Alt+F9] 強制完全計算所有公式，或按 [Ctrl+Shift+Alt+F9] 強制完全重建依賴(lài)關(guān)系和執行完成計算。
　　F9 計算所有打開(kāi)的工作簿中的所有工作表。
　　按 Shift+F9 計算活動(dòng)工作表。
　　按 Ctrl+Alt+F9 可計算所有打開(kāi)的工作簿中的所有工作表，而不管它們自上次計算以來(lái)是否發(fā)生了變化。
　　如果按 Ctrl+Alt+Shift+F9，將重新檢查相關(guān)公式，然后計算所有打開(kāi)的工作簿中的所有單元格，包括未標記為計算的單元格。
　　解決方案:利用人人站CMS插件讓網(wǎng)站快速收錄以及關(guān)鍵詞排名
　　應該如何使用人人網(wǎng)cms插件讓網(wǎng)站快速收錄和關(guān)鍵詞排名。多年來(lái)，為了營(yíng)造良好的搜索生態(tài)環(huán)境，百度煞費苦心。推出各種算法整治網(wǎng)站，在互聯(lián)網(wǎng)行業(yè)引起不小風(fēng)波。像青峰算法、Beacon算法、Drizzle算法等，每一次算法改動(dòng)都會(huì )震動(dòng)大量的網(wǎng)站，尤其是那些用戶(hù)體驗極差、通過(guò)作弊手段優(yōu)化的網(wǎng)站受到影響。用力打。所以由此，我們應該認識到，網(wǎng)站優(yōu)化必須堅持白帽技術(shù)，以用戶(hù)體驗為中心。和作者一樣，所有的優(yōu)化都是基于用戶(hù)體驗。高質(zhì)量的內容和清晰的 網(wǎng)站 結構可以大大增加用戶(hù)的喜愛(ài)度，打下堅實(shí)的基礎。自然不會(huì )怕百度算法影響排名。
　　網(wǎng)站被黑影響排名：網(wǎng)站被黑也讓很多站長(cháng)束手無(wú)策，防不勝防。網(wǎng)站不言而喻，每個(gè)人都知道被黑客攻擊的嚴重性。網(wǎng)站被黑客攻擊的影響不僅僅是流量異常那么簡(jiǎn)單。網(wǎng)站被黑，首先網(wǎng)站的名譽(yù)會(huì )大大降低。嚴重的話(huà)，好不容易積累起來(lái)的良好信用也會(huì )被一口氣毀掉，面臨網(wǎng)站被黑的風(fēng)險。而如果網(wǎng)站被標記為危險網(wǎng)站，那么百度搜索引擎對網(wǎng)站的好感度也會(huì )急劇下降，他們不會(huì )光顧你的網(wǎng)站，更不會(huì )期待它也給你排名。因此，我們在做網(wǎng)站優(yōu)化的時(shí)候，
　　網(wǎng)站結構影響排名：網(wǎng)站 結構對排名優(yōu)化也有一定的影響，主要體現在兩個(gè)方面：用戶(hù)體驗和搜索引擎蜘蛛抓取的方便性。網(wǎng)站結構優(yōu)化是樹(shù)狀結構還是扁平結構，層次會(huì )更清晰，用戶(hù)體驗會(huì )更好，方便用戶(hù)獲取網(wǎng)站信息，也能讓用戶(hù)注意到其他精彩內容展示。因此感興趣。同時(shí)也可以引導百度蜘蛛有序的沿著(zhù)結構，逐層爬取索引。
　　競爭對手網(wǎng)站優(yōu)化影響排名：就像我們在比賽中所做的，這次你獲得了第一頁(yè)，但如果你在后期不繼續努力保持分數，那么你將面臨有在接下來(lái)的比賽中被排擠出名次的危險。所以在關(guān)鍵詞優(yōu)化中，為了從競爭對手中脫穎而出，我們在優(yōu)化網(wǎng)站的時(shí)候，需要分析關(guān)鍵詞，選擇關(guān)鍵詞來(lái)優(yōu)化競爭小，但是搜索量高的詞，其次，不斷提高優(yōu)化技巧，注重優(yōu)化的細節，在內容上堅持優(yōu)質(zhì)內容。
　　高質(zhì)量、有需求的 原創(chuàng ) 內容：高質(zhì)量 文章 內容是一個(gè)常見(jiàn)的話(huà)題，這恰恰說(shuō)明了它的重要性。也就是說(shuō)，如果你的網(wǎng)站內容質(zhì)量低，用戶(hù)自然不會(huì )喜歡它，而對于百度搜索引擎來(lái)說(shuō)，如果有很多用戶(hù)喜歡網(wǎng)站，它也會(huì )認為它是有價(jià)值的網(wǎng)站，通常捐贈 收錄 也會(huì )增加。但是如果你的網(wǎng)站糟糕到用戶(hù)一刻都不想停留，你怎么能讓搜索引擎蜘蛛喜歡你的網(wǎng)站呢？搜索引擎蜘蛛不會(huì )抓取內容，那么排名呢？我們可以使用人人網(wǎng)cms插件快速制作網(wǎng)站收錄和關(guān)鍵詞排名。
　　1.根據關(guān)鍵詞采集文章，通過(guò)人人站cms插件采集填寫(xiě)內容。（人人網(wǎng)cms插件還自帶關(guān)鍵詞采集功能）
　　2.自動(dòng)過(guò)濾其他網(wǎng)站推廣信息/支持其他網(wǎng)站信息替換
　　3. 支持多采集來(lái)源采集（涵蓋所有行業(yè)新聞來(lái)源[新聞來(lái)源權威可讀]，海量?jì)热輲?，采集內容新鮮）
　　4.支持圖片本地化或存儲到其他平臺
　　5.全自動(dòng)批量掛機采集，無(wú)縫對接各大cms發(fā)布商，采集偽原創(chuàng )自動(dòng)發(fā)布并推送至搜索引擎
　　
　　這個(gè)人人站cms插件工具還搭載了很多SEO功能，不僅可以通過(guò)人人站cms插件實(shí)現采集偽原創(chuàng )發(fā)布，還有很多搜索引擎優(yōu)化功能?？梢栽黾雨P(guān)鍵詞密度，增加頁(yè)面原創(chuàng )度，增加用戶(hù)體驗，實(shí)現優(yōu)質(zhì)內容。
　　1.設置標題的前綴和后綴（標題的區分度更好收錄）
　　2.內容關(guān)鍵詞插入（合理增加關(guān)鍵詞密度）
　　3.隨機圖片插入（文章沒(méi)有圖片可以隨機插入相關(guān)圖片）
　　4、搜索引擎推送（文章發(fā)布成功后，主動(dòng)將文章推送給搜索引擎，保證新鏈接能及時(shí)被搜索引擎收錄獲?。?br /> 　　5.隨機點(diǎn)贊-隨機閱讀-隨機作者（增加頁(yè)面原創(chuàng )度）
　　6.內容與標題一致（使內容與標題一致）
　　7、自動(dòng)內鏈（在執行發(fā)布任務(wù)時(shí)，在文章內容中自動(dòng)生成內鏈，有助于引導頁(yè)面蜘蛛爬行，增加頁(yè)面權重）
　　8、定時(shí)發(fā)布（定時(shí)發(fā)布網(wǎng)站內容可以讓搜索引擎養成定時(shí)抓取網(wǎng)頁(yè)的習慣，從而提高網(wǎng)站的收錄）
　　可以統一管理數十萬(wàn)個(gè)不同的cms網(wǎng)站。一個(gè)人維護數百個(gè)網(wǎng)站文章更新不是問(wèn)題。
　　1. 批量監控不同的cms網(wǎng)站數據（無(wú)論你的網(wǎng)站是帝國、易游、ZBLOG、織夢(mèng)、WP、小旋風(fēng)、站群、PB、蘋(píng)果、搜外等各大cms，可以同時(shí)管理和批量發(fā)布的工具）
　　
　　2.設置批量發(fā)布次數（可設置發(fā)布間隔/每天發(fā)布總數）
　　3.可以設置不同的關(guān)鍵詞文章發(fā)布不同的欄目
　　4、偽原創(chuàng )保留字（在文章原創(chuàng )中設置核心字不要為偽原創(chuàng )）
　　5、軟件直接監控已發(fā)布、待發(fā)布、是否偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等。
　　6、通過(guò)軟件可以直接查看蜘蛛、收錄、網(wǎng)站的每日體重
　　我們需要注意的一件事是，SEO優(yōu)化排名有時(shí)會(huì )發(fā)生變化是正常的。例如，外部鏈接中死鏈接的出現會(huì )引起排名的變化。如果是老站，權重高，異常鏈接也會(huì )影響排名。但是像那些大的網(wǎng)站，它的權重比較高，一點(diǎn)點(diǎn)外鏈對他影響不大。如果你的是新站，結果會(huì )不一樣。
　　其次，每個(gè)網(wǎng)站的SEO優(yōu)化一定要提前分析好，這樣以后的排名結果才會(huì )在你的預期之內，才不會(huì )像無(wú)頭雞一樣迷失方向。你要提前看好關(guān)鍵詞，只有確定了關(guān)鍵詞才去做。這樣會(huì )降低難度，否則沒(méi)有結果你就去優(yōu)化。
　　新站優(yōu)化一般三個(gè)月內沒(méi)有排名，即使有排名也只是偽排名?；蛘哒f(shuō)，可以說(shuō)是可有可無(wú)。也許今天有排名，明天就沒(méi)有了。一周后有排名，但還是會(huì )下降。為什么是這樣？這是因為百度處理數據的時(shí)候，有些人網(wǎng)站倒下了，你的就上來(lái)了，然后百度給你處理數據的時(shí)候，你的排名就沒(méi)有了。也就是說(shuō)，三個(gè)月之內，你的網(wǎng)站將沒(méi)有排名的能力，因為百度有一個(gè)檢驗期（沙盒期）。
　　網(wǎng)站關(guān)鍵詞的選擇，一些新站長(cháng)在不知不覺(jué)中選擇了難的關(guān)鍵詞。這樣的后果可想而知，簡(jiǎn)直是打中打。不要目標太高，這樣做會(huì )打擊你的信心。如果選擇關(guān)鍵詞，也是優(yōu)化的重要一步。關(guān)鍵詞選的好，不僅會(huì )有流量，而且優(yōu)化難度也不高。這是關(guān)于分析。
　　優(yōu)化網(wǎng)站關(guān)鍵詞當然要分析，不然怎么優(yōu)化。有的站長(cháng)會(huì )說(shuō)，你發(fā)原創(chuàng )，發(fā)高質(zhì)量的外鏈，堅持下去，一定能讓關(guān)鍵詞上去。那就大錯特錯了，seo高手是不會(huì )這么做的，即使有，偶爾也會(huì )這么做。高手是分析，分析百度的數據，做好自己的網(wǎng)站，排名就會(huì )慢慢上升。
　　具體是怎么分析的？每個(gè)行業(yè)，每個(gè)關(guān)鍵詞都有不同的數據，很難統一。例如：網(wǎng)站從事婚紗攝影。想要拍出“三亞婚紗攝影”這個(gè)詞，接下來(lái)我們就要研究一下，想拍三亞婚紗攝影的用戶(hù)到底想看什么？第二個(gè)是什么？，也就是三亞婚紗攝影的圖片，不信可以搜索“三亞婚紗攝影”，百度圖片第一。也就是說(shuō)，百度需要的是三亞的婚紗攝影圖片。如果你的 網(wǎng)站 有高質(zhì)量的圖片，百度就會(huì )給你排名。如果這還不夠排名，讓我們看看下一步是什么？想拍婚紗照的都想知道價(jià)格是多少。也就是說(shuō)，如果我們 網(wǎng)站 有高質(zhì)量的圖片，價(jià)格也注明了。這樣才能更好的滿(mǎn)足用戶(hù)的需求。還是那句話(huà)，想拍婚紗照的人一定是想拍出漂亮的布景，所以才會(huì )挑三揀四，不知如何取舍。這時(shí)候我們在網(wǎng)站上加一個(gè)“關(guān)注”“熱度”“點(diǎn)贊”的功能，這樣會(huì )不會(huì )增加用戶(hù)點(diǎn)擊和用戶(hù)互動(dòng)？但是，它可以改善用戶(hù)體驗并獲得 網(wǎng)站 交互性。百度怎么能不給我們排名呢？百度和360都有站長(cháng)平臺。注冊后提交網(wǎng)站 主頁(yè)可能會(huì )更新 對于文章鏈接，您可以每天或一段時(shí)間手動(dòng)提交鏈接摘要。想拍婚紗照的人，肯定是想拍出漂亮的布景，所以才會(huì )挑三揀四，不知如何取舍。這時(shí)候我們在網(wǎng)站上加一個(gè)“關(guān)注”“熱度”“點(diǎn)贊”的功能，這樣會(huì )不會(huì )增加用戶(hù)點(diǎn)擊和用戶(hù)互動(dòng)？但是，它可以改善用戶(hù)體驗并獲得 網(wǎng)站 交互性。百度怎么能不給我們排名呢？百度和360都有站長(cháng)平臺。注冊后提交網(wǎng)站 主頁(yè)可能會(huì )更新 對于文章鏈接，您可以每天或一段時(shí)間手動(dòng)提交鏈接摘要。想拍婚紗照的人，肯定是想拍出漂亮的布景，所以才會(huì )挑三揀四，不知如何取舍。這時(shí)候我們在網(wǎng)站上加一個(gè)“關(guān)注”“熱度”“點(diǎn)贊”的功能，這樣會(huì )不會(huì )增加用戶(hù)點(diǎn)擊和用戶(hù)互動(dòng)？但是，它可以改善用戶(hù)體驗并獲得 網(wǎng)站 交互性。百度怎么能不給我們排名呢？百度和360都有站長(cháng)平臺。注冊后提交網(wǎng)站 主頁(yè)可能會(huì )更新 對于文章鏈接，您可以每天或一段時(shí)間手動(dòng)提交鏈接摘要。
　　看完這篇文章，如果您覺(jué)得還不錯，不妨采集或轉發(fā)給需要的朋友和同事。每天跟隨博主帶你了解各種SEO經(jīng)驗，打通你的二脈！

　　解決方案:小功能有大作為丨亞馬遜評論采集應用
　　應用介紹
　　當一個(gè)全新的產(chǎn)品在沒(méi)有其他買(mǎi)家評論的情況下被放置在頁(yè)面上時(shí)，會(huì )引起客戶(hù)一定程度的關(guān)注。大家都不愿意做第一個(gè)吃螃蟹的人，那么這些吸引過(guò)來(lái)的流量可能就白白流失了，這時(shí)候就凸顯了評論的重要性。
　　通過(guò)亞馬遜評論采集應用，商家可以將亞馬遜產(chǎn)品評論和圖片采集到SHOPYY系統中，讓買(mǎi)家在瀏覽網(wǎng)站時(shí)增加用戶(hù)體驗，提高轉化率。
　　腳步：
　　第一步：在后臺應用商店點(diǎn)擊安裝后，在我的應用列表中找到對應的應用，點(diǎn)擊“訪(fǎng)問(wèn)應用”
　　第二步：首先設置“采集規則”，根據頁(yè)面提示和具體需求進(jìn)行設置
　　
　　第三步：設置好采集
規則后，點(diǎn)擊“采集
設置”選項卡，在右上角添加項目選擇商品
　　第四步：在商品采集設置頁(yè)面，點(diǎn)擊下拉框，根據需要選擇亞馬遜對應國家的URL進(jìn)行采集評論。一個(gè)產(chǎn)品可以同時(shí)采集
多個(gè)亞馬遜產(chǎn)品的評論，或者同時(shí)采集
多個(gè)不同國家站點(diǎn)的亞馬遜產(chǎn)品評論
　　打開(kāi)亞馬遜網(wǎng)站，進(jìn)入商品詳情頁(yè)，復制商品鏈接中的amazon_asin，如上圖“Bxxxxxx”
　　第五步：設置提交后，可以在采集
設置列表中查看新增的商品，點(diǎn)擊右側操作欄“手動(dòng)采集
”，頁(yè)面會(huì )提示采集
結果，并在采集
列表中顯示相應數據，如圖所示：
　　
　　第六步：采集
成功的評論顯示在“亞馬遜評論”列表中。對于不符合采集
規則的評論，黑名單欄會(huì )顯示紅色“是”，發(fā)布狀態(tài)關(guān)閉。如需開(kāi)啟，可直接手動(dòng)開(kāi)啟
　　第七步：可以在系統后臺的商品評論列表中查看同步評論
　　第八步：可以將采集成功的評論通過(guò)條件過(guò)濾導出到表格中，表格中的評論內容可以自定義修改后再導入系統。
　　直觀(guān):常用的大數據采集工具有哪些
　　有哪些大數據采集
工具？讓我們帶你了解一下：
　　常用的大數據采集工具Apache Flume，Fluentd，Logstash，Chukwa，Splunk Forwarder，優(yōu)采云
等。
　　1. Flume是Apache旗下開(kāi)源、高可靠、高度可擴展、易于管理、客戶(hù)擴展的數據采集系統。
　　
　　2）Fluentd是另一個(gè)開(kāi)源數據采集
框架。Fluentd 是使用 C/Ruby 開(kāi)發(fā)的，使用 JSON 文件來(lái)統一日志數據。
　　3.Logstash 是著(zhù)名的開(kāi)源數據堆棧 ELK（ElasticSearch、Logstash、Kibana）中的 L。
　　4、Logstash 是在 JRuby 中開(kāi)發(fā)的，所有運行時(shí)都依賴(lài)于 JVM。
　　阿帕奇·楚夸，
　　
　　Apache擁有的另一個(gè)開(kāi)源數據采集
平臺遠不如其他平臺那么出名，Chukwa建立在Hadoop的HDFS和Map Reduce上（顯然，它是用Java實(shí)現的），提供了可擴展性和可靠性。
　　6、在商用大數據平臺產(chǎn)品中，Splunk提供完整的數據挖掘、數據存儲、數據分析處理、數據顯示能力。
　　7. 優(yōu)采云
是一款免費、可視化、免編程的網(wǎng)頁(yè)采集軟件，可以快速提取不同網(wǎng)站的歸一化數據。

　　解決方案:算法自動(dòng)采集模塊.5+程序編寫(xiě)的方法
　　
　　算法自動(dòng)采集列表，采集出來(lái)的數據可以用python編寫(xiě)腳本，或者使用python框架編寫(xiě)，采用的python方法主要分兩種：第一種：向后端返回指定的txt格式文本，這種方法非常的簡(jiǎn)單，不用再返回多余的文本，這種方法也可以在windows上或者linux系統下使用，其后端主要分成兩部分，一部分是數據采集模塊，采集txt格式的數據，第二部分就是爬蟲(chóng)程序，可以根據內容定位內容，然后采集想要內容到瀏覽器保存到本地。
　　
　　第二種：爬蟲(chóng)程序編寫(xiě)，這種方法對于爬蟲(chóng)人員來(lái)說(shuō)，簡(jiǎn)單好操作，可以讓程序自動(dòng)獲取網(wǎng)頁(yè)中的內容，無(wú)需人工勞動(dòng)。下面分別介紹兩種方法：數據采集模塊：gitclone-framework/pythonitemslib/csstexts.python爬蟲(chóng)程序編寫(xiě)：使用python3.5+來(lái)編寫(xiě)這兩種方法都是采用selenium模塊，關(guān)于這個(gè)模塊的安裝，官方有很多示例，其中我最常用的有3種：官方的webdriver的3.5.1，這個(gè)配置其實(shí)也就是在瀏覽器中提交代碼，在安裝目錄找到.selenium-all.py文件，把這部分內容加入其他內容即可。
　　官方的selenium-python3.5.2，這個(gè)配置需要重啟服務(wù)器以及重啟瀏覽器，解決方法的話(huà)可以使用pip3安裝pip3installselenium-python-3.5.2這兩種方法的不同在于selenium模塊的安裝，然后需要重啟瀏覽器，重啟瀏覽器的話(huà)，瀏覽器會(huì )彈出提示，重啟服務(wù)器，如果服務(wù)器放在本地可以用上面那個(gè)方法，如果服務(wù)器不在本地，可以借助于notepad++這類(lèi)編輯器，找到這個(gè)文件，然后使用記事本打開(kāi)編輯即可。

　　解決方案:2 - JVM垃圾回收
　　JVM內存分配與回收介紹 判斷對象是否死亡 垃圾回收算法 Garbage collector
　　主要邏輯流程：
　　內存是如何分配和回收的？--&gt; 什么垃圾需要回收？--&gt; 什么時(shí)候回收？--&gt; 如何回收？
　　一、JVM內存分配與回收簡(jiǎn)介
　　Java的自動(dòng)內存管理主要是對象內存的回收和對象內存的分配。同時(shí)，Java自動(dòng)內存管理的核心功能是堆內存中對象的分配和回收。
　　Java堆是垃圾采集
器管理的主要區域，因此也稱(chēng)為GC堆（Garbage Collected Heap）。從垃圾回收的角度來(lái)看，由于目前的回收器基本采用分代垃圾回收算法，所以Java堆還可以細分為：新生代和老年代：更細化：Eden空間，From Survivor，To Survivor空間等.進(jìn)一步劃分的目的是為了更好的回收內存，或者更快的分配內存。
　　Java堆空間的基本結構
　　上圖中的Eden區、From Survivor0（“From”）區、To Survivor1（“To”）區都屬于新生代，Old Memory區屬于老年代。
　　大多數情況下，對象會(huì )先分配到伊甸區。新生代垃圾回收后，如果對象還活著(zhù)，則進(jìn)入s0或s1，對象年齡加1（Eden區-&gt;Survivor區）。初始age變成1)，當它的age增長(cháng)到一定程度（默認15歲），就會(huì )被提升到老年代?？梢酝ㄟ^(guò)參數-XX:MaxTenuringThreshold 設置將對象提升到Old Age 的年齡閾值。
　　新生代一次垃圾回收后，Hotspot遍歷所有對象時(shí)，按照年齡從小到大的順序累加它們占用的大小。當累計年齡超過(guò)幸存者區域的一半時(shí)，將這個(gè)年齡和MaxTenuringThreshold中的更新值取一個(gè)小值，作為下一次垃圾回收的提升年齡閾值。
　　動(dòng)態(tài)年齡計算代碼：
　　uint ageTable::compute_tenuring_threshold(size_t survivor_capacity) {
//survivor_capacity是survivor空間的大小
size_t desired_survivor_size = (size_t)((((double) survivor_capacity)*TargetSurvivorRatio)/100);
size_t total = 0;
uint age = 1;
while (age < table_size) {
total += sizes[age];//sizes數組是每個(gè)年齡段對象大小
if (total > desired_survivor_size) break;
age++;
}
uint result = age < MaxTenuringThreshold ? age : MaxTenuringThreshold;
...
}
　　一開(kāi)始，兩個(gè)幸存者區和伊甸園區都是空的。慢慢的eden區就滿(mǎn)了，那就是第一次操作。gc之后，eden區會(huì )被清理，活著(zhù)的對象會(huì )被復制到“From”survivor區。因為是從eden區復制過(guò)來(lái)的，所以使用的是連續空間，沒(méi)有碎片。然后eden繼續添加新的對象，直到eden再次滿(mǎn)為止。此時(shí)eden區和“From”區都有數據，不為空。然后gc之后，eden區有幸存者，“From”區也凈化后，也有幸存者。此時(shí)“To”區域為空，然后將“From”和eden區域的幸存者Copy到“To”區域。復制時(shí)，“收件人”中的空格 area也是挨著(zhù)分配的，沒(méi)有碎片。然后，清空eden區和“From”區，這說(shuō)明：“總有一個(gè)幸存者空間是空的，另一個(gè)非空的幸存者空間沒(méi)有碎片。
　　這時(shí)候“From”和“To”就會(huì )互換角色，即新的“To”就是上次GC之前的“From”，新的“From”就是上次GC之前的“To”。在任何情況下，名為 To 的 Survivor 區域都保證為空。Minor GC會(huì )重復這個(gè)過(guò)程，直到“To”區域被填滿(mǎn)，“To”區域被填滿(mǎn)后，所有對象都會(huì )被移動(dòng)到老年代。
　　1.1 對象先分配在eden區
　　目前主流的垃圾采集
器都是采用分代采集
算法，所以需要將堆內存劃分為新生代和老年代，這樣我們就可以根據各個(gè)年代的特點(diǎn)選擇合適的垃圾采集
算法。
　　大多數情況下，對象都分配在年輕代的eden區。當eden區沒(méi)有足夠的空間分配時(shí)，虛擬機會(huì )發(fā)起一次Minor GC。
　　Minor GC 和 Full GC 有什么區別？
　　下面測試一下Minor GC的流程：
　　package jvm.gc;
public class GCTest {
public static void main(String[] args) {
byte[] allocation1, allocation2,allocation3,allocation4,allocation5;
allocation1 = new byte[60000*1024];
//allocation2 = new byte[2000*1024];
//allocation3 = new byte[1000*1024];
//allocation4 = new byte[1000*1024];
//allocation5 = new byte[1000*1024];
}
}
　　打印的內存占用是：
　　內存使用信息.png
　　從圖中可以看出，eden區基本分配完畢。如果此時(shí)為allocation2分配空間，運行結果為：
　　分配保障機制的實(shí)施
　　出現這種情況的原因：
　　因為在allocation2分配內存的時(shí)候eden區的內存已經(jīng)分配的差不多了，剛才我們說(shuō)了當Eden區沒(méi)有足夠的空間可以分配的時(shí)候，虛擬機就會(huì )發(fā)起一次Minor GC。在GC的時(shí)候，虛擬機發(fā)現allocation1不能存放到Survivor空間，所以需要通過(guò)分配保證機制將新生代中的對象提前轉移到老年代。old generation中的空間足夠存放allocation1，所以不會(huì )發(fā)生Full GC。Minor GC執行后，如果后面分配的對象可以存在于eden區，內存仍會(huì )分配在eden區。
　　1.2 大對象直接進(jìn)入老年代
　　大對象是需要大量連續內存空間的對象（例如字符串、數組）。
　　為了避免在為大對象分配內存時(shí)由于分配保證機制帶來(lái)的復制而降低效率。
　　1.3 長(cháng)壽對象會(huì )進(jìn)入老年代
　　由于虛擬機采用了分代采集
的思想來(lái)管理內存，因此在內存回收時(shí)必須能夠識別出哪些對象應該放在新生代，哪些對象應該放在老年代。為了做到這一點(diǎn)，虛擬機給每個(gè)對象一個(gè)對象年齡（Age）計數器。
　　如果對象出生在Eden，在第一次Minor GC后存活下來(lái)，并且可以被Survivor容納，則將其移動(dòng)到Survivor空間，并將對象的年齡設置為1。每一次對象存活一次MinorGC在Survivor中，年齡增加1年，當它的年齡增加到一定程度（默認15歲），就會(huì )晉升到老年代?？梢酝ㄟ^(guò)參數-XX:MaxTenuringThreshold 設置將對象提升到Old Age 的年齡閾值。
　　2.判斷對象是否死亡
　　幾乎所有的對象實(shí)例都放在堆中，在堆上進(jìn)行垃圾回收之前的第一步是確定那些對象已經(jīng)死了（即無(wú)論如何都不能再使用的對象）。
　　判斷對象是否死亡
　　2.1 引用計數
　　向對象添加一個(gè)引用計數器。每當有對它的引用時(shí)，計數器就會(huì )加 1；
　　這種方法實(shí)現簡(jiǎn)單，效率高，但是目前主流的虛擬機并沒(méi)有選擇這種算法來(lái)管理內存。主要原因是很難解決對象之間的循環(huán)引用問(wèn)題。所謂對象之間的相互引用問(wèn)題如下代碼所示：除了對象objA和objB相互引用外，這兩個(gè)對象之間沒(méi)有任何引用。但是因為它們相互引用，它們的引用計數器不為0，所以引用計數算法無(wú)法通知GC采集
器回收它們。
　　package jvm.gc;
public class ReferenceCountingGc {
private Object instance;
public static void main(String[] args) {
ReferenceCountingGc t1 = new ReferenceCountingGc();
ReferenceCountingGc t2 = new ReferenceCountingGc();
t1.instance = t2;
t2.instance = t1;
t1 = null;
t2 = null;
}
}
　　2.2 可達性分析算法
　　這個(gè)算法的基本思想是以一系列稱(chēng)為“GC Roots”的對象為起點(diǎn)，從這些節點(diǎn)開(kāi)始向下搜索。節點(diǎn)經(jīng)過(guò)的路徑稱(chēng)為引用鏈。當一個(gè)對象沒(méi)有任何引用鏈到 GC Roots 連接時(shí)，證明該對象不可用。
　　可達性分析
　　可以作為 GC Root 的對象包括：
　　2.3 參考資料
　　無(wú)論是通過(guò)引用計數的方法判斷對象的引用次數，還是通過(guò)可達性分析的方法判斷對象的引用鏈是否可達，判斷對象的存活與“引用”有關(guān)。
　　在JDK1.2之前，Java中對引用的定義很傳統：如果數據的引用類(lèi)型中存儲的值代表了另一塊內存的起始地址，就說(shuō)這塊內存代表了一個(gè)引用。
　　JDK1.2之后，Java擴展了引用的概念，將引用分為四種：強引用、軟引用、弱引用、虛引用（引用強度逐漸減弱）
　　引用之間的繼承關(guān)系
　　1.強引用（StrongReference）
　　以前用的大部分引用其實(shí)都是強引用，也就是最常用的引用。如果一個(gè)對象有強引用，它就類(lèi)似于生活必需品，垃圾采集
器永遠不會(huì )回收它。當內存空間不足時(shí)，Java虛擬機寧愿拋出OutOfMemoryError錯誤導致程序異常終止，也不會(huì )通過(guò)任意回收強引用對象來(lái)解決內存不足問(wèn)題。
　　例子：
　　package jvm.gc.reference;
<p>
public class StrongReferenceDemo {
/**
* 輸出結果:
* java.lang.Object@135fbaa4
* 能打印出來(lái)說(shuō)明obj2沒(méi)有被回收
*
* @param args
*/
public static void main(String[] args) {
Object obj1 = new Object();//這樣定義就是強引用
Object obj2 = obj1;
obj1 = null;//置空
System.gc();
System.out.println(obj2); //能打印出來(lái)說(shuō)明沒(méi)有被回收
}
}
</p>
　　2. 軟引用（SoftReference）
　　如果一個(gè)對象只有軟引用，那么它類(lèi)似于可有可無(wú)的家居用品。如果有足夠的內存空間，垃圾采集
器將不會(huì )回收它。如果內存空間不夠，這些對象的內存就會(huì )被回收。只要垃圾采集
器不采集
它，該對象就可以被程序使用。軟引用可用于實(shí)現對內存敏感的緩存。
　　軟引用可以與引用隊列（ReferenceQueue）結合使用。如果軟引用引用的對象被垃圾回收，JAVA虛擬機會(huì )將軟引用添加到與其關(guān)聯(lián)的引用隊列中。
　　軟引用可以加快JVM對垃圾內存的回收，維護系統的安全，防止內存溢出（OutOfMemory）等問(wèn)題。
　　適用場(chǎng)景
　　假設一個(gè)應用需要讀取大量的本地圖片：
　　使用軟引用解決了這個(gè)問(wèn)題。
　　設計思路：
　　使用HashMap保存圖片的路徑與對應圖片對象關(guān)聯(lián)的軟引用的映射關(guān)系。當內存不足時(shí)，JVM會(huì )自動(dòng)回收這些緩存的圖片對象占用的空間，避免OOM問(wèn)題。
　　Map imageCache = new HashMap();
　　3.弱引用（WeakReference）
　　如果一個(gè)對象只有弱引用，它類(lèi)似于可有可無(wú)的家居用品。弱引用和軟引用的區別在于只有弱引用的對象生命周期更短。在垃圾回收線(xiàn)程掃描其管轄內存區域的過(guò)程中，一旦發(fā)現只有弱引用的對象，無(wú)論當前內存空間是否足夠，都會(huì )回收其內存。然而，由于垃圾采集
器是一個(gè)非常低優(yōu)先級的線(xiàn)程，只有弱引用的對象可能無(wú)法快速找到。
　　弱引用可以與引用隊列（ReferenceQueue）結合使用。如果弱引用引用的對象被垃圾回收，Java虛擬機會(huì )將弱引用添加到與其關(guān)聯(lián)的引用隊列中。
　　例子：
　　package jvm.gc.reference;
import java.lang.ref.WeakReference;
public class WeakReferenceDemo {
/**
* 輸出結果為:
* java.lang.Object@135fbaa4
* java.lang.Object@135fbaa4
* =========================
* null
* null
*
* 這就體現了:
* 在垃圾回收器線(xiàn)程掃描它所管轄的內存區域的過(guò)程中，
* 一旦發(fā)現了只具有弱引用的對象，不管當前內存空間足夠與否，都會(huì )回收它的內存。
* @param args
*/
public static void main(String[] args) {
Object o1 = new Object();
WeakReference weakReference = new WeakReference(o1);
System.out.println(o1);
System.out.println(weakReference.get());
o1 = null;
System.gc();
System.out.println("=========================");
System.out.println(o1);
System.out.println(weakReference.get());
}
}
　　適用場(chǎng)景
　　WeakHashmap的應用：
　　代碼：
　　package jvm.gc.reference;
import java.util.HashMap;
import java.util.WeakHashMap;
public class WeakHashmapDemo {
public static void main(String[] args) {
myHashmap();
System.out.println("========================");
myWeakHashmap();
}
private static void myWeakHashmap() {
WeakHashMap map = new WeakHashMap();
//HashMap map = new HashMap();
Integer key = new Integer(1);
String value = "HashMap";
map.put(key,value);
System.out.println(map);
key = null;
System.out.println(map);
System.gc();
System.out.println(map+"\t"+map.size());
}
private static void myHashmap() {
//WeakHashMap map = new WeakHashMap();
<p>
HashMap map = new HashMap();
Integer key = new Integer(1);
String value = "HashMap";
map.put(key,value);
System.out.println(map);
key = null;
System.out.println(map);
System.gc();
System.out.println(map+"\t"+map.size());
}
}
</p>
　　4.幻影參考（PhantomReference）
　　“Phantom reference”，顧名思義，是沒(méi)有用的。與其他類(lèi)型的引用不同，幻象引用不決定對象的生命周期。如果一個(gè)對象只收錄
虛引用，就好像它沒(méi)有引用一樣，可以隨時(shí)被垃圾回收。
　　幻影引用主要用于跟蹤被垃圾采集
的對象的活動(dòng)。
　　幻影引用與軟引用和弱引用的區別之一是幻影引用必須與引用隊列（ReferenceQueue）結合使用。當垃圾回收器要回收一個(gè)對象時(shí)，如果發(fā)現它還有一個(gè)虛引用，就會(huì )把這個(gè)虛引用添加到與之關(guān)聯(lián)的引用隊列中，然后再回收該對象的內存。程序可以通過(guò)判斷引用隊列中是否加入了幻引用來(lái)獲知被引用對象是否會(huì )被垃圾回收。如果程序發(fā)現引用隊列中加入了虛引用，則可以在被引用對象的內存被回收之前采取必要的動(dòng)作。
　　2.4 不可達對象不是“必死”
　　即使是可達性分析方法中的不可達對象也不是“必死”的。對屬性分析不可達的對象進(jìn)行第一次標記，篩選一次，篩選條件為是否需要對該對象執行finalize方法。當對象沒(méi)有覆蓋finalize方法，或者finalize方法已經(jīng)被虛擬機調用過(guò)，虛擬機認為這兩種情況不需要執行。
　　判斷需要執行的對象會(huì )被放入隊列中進(jìn)行二次標記，除非該對象與引用鏈上的任何對象相關(guān)聯(lián)，才會(huì )真正被回收。
　　2.5 判斷常量是廢棄對象
　　運行常量池主要是回收廢棄的常量。
　　常量是否為廢棄常量的判斷標準： 如果常量池中存在字符串“abc”，如果當前沒(méi)有String對象引用該字符串常量，則說(shuō)明常量“abc”為廢棄常量。如果此時(shí)發(fā)生內存回收 必要時(shí)，“abc”會(huì )被系統從常量池中清除。
　　2.6 判斷一個(gè)類(lèi)是無(wú)用類(lèi)
　　方法區主要是回收無(wú)用的類(lèi)。
　　判斷一個(gè)類(lèi)是否為“無(wú)用類(lèi)”，一個(gè)類(lèi)需要同時(shí)滿(mǎn)足以下三個(gè)條件才能被認為是“無(wú)用類(lèi)”：
　　虛擬機可以回收滿(mǎn)足以上三個(gè)條件的無(wú)用類(lèi)。這里說(shuō)的只是“可以”，并不是像對象一樣不使用就會(huì )被回收。
　　3. 垃圾采集
算法 3.1 Mark-Sweep 算法
　　該算法分為“標記”和“清除”兩個(gè)階段：首先標記所有不需要回收的對象，標記完成后統一回收所有未標記的對象。它是最基本的采集算法，后續的算法都是通過(guò)改進(jìn)它的缺點(diǎn)得到的。這種垃圾采集
算法產(chǎn)生了兩個(gè)明顯的問(wèn)題：
　　效率問(wèn)題空間問(wèn)題（標記清除后會(huì )產(chǎn)生大量不連續的碎片）
　　標記掃描算法
　　3.2 復制
　　為了解決效率問(wèn)題，出現了“復制”采集
算法。它可以將內存分成大小相同的兩塊，一次使用其中的一塊。當這塊內存用完后，將存活的對象復制到另一塊內存中，然后一次性清理已用空間。這樣每次內存回收就是回收一半的內存范圍。
　　復制算法
　　3.3 標記整理算法
　　根據老年代的特點(diǎn)提出的一種標記算法。標記過(guò)程還是和“mark-clear”算法一樣，只是后面的步驟不是直接回收可回收對象，而是將所有存活的對象移到一端，然后直接清理。超出字節序邊界的內存。
　　標記算法
　　3.4 分代采集
算法
　　目前虛擬機的垃圾回收采用的是分代回收算法。這個(gè)算法沒(méi)有什么新意，只是根據對象生命周期的不同，把內存分成若干塊。一般java堆分為新生代和老年代，這樣我們就可以根據各個(gè)年代的特點(diǎn)選擇合適的垃圾回收算法。
　　比如在新生代中，每次回收都會(huì )有大量對象死亡，所以可以選擇復制算法，只需要付出少量的對象復制成本就可以完成每次垃圾回收。對象在老年代存活的概率比較高，沒(méi)有額外的空間來(lái)保證它的分配，所以我們必須選擇“mark-clear”或者“mark-compact”算法進(jìn)行垃圾回收。
　　4.垃圾采集
器
　　如果說(shuō)回收算法是內存回收的方法論，那么垃圾回收器就是內存回收的具體實(shí)現。
　　當我們比較采集器
時(shí)，并不是要挑出最好的。因為到目前為止還沒(méi)有最好的垃圾采集
器，更不用說(shuō)通用的垃圾采集
器了，我們能做的就是根據具體的應用場(chǎng)景選擇適合自己的垃圾采集
器。
　　除G1外，年輕代都是copy算法，老年代是mark-clean或mark-compact方式。
　　老年代和新生代垃圾采集
器分類(lèi)
　　垃圾采集
器的組合
　　4.1 串行采集
器
　　串行采集
器
　　虛擬機的設計者當然知道Stop The World帶來(lái)的糟糕的用戶(hù)體驗，所以在后續的垃圾采集
器設計中不斷縮短停頓時(shí)間（停頓還是有的，尋找最佳垃圾采集
器的過(guò)程還在繼續） .
　　Serial采集
器對應的參數
　　4.2 ParNew 采集
器
　　ParNew 采集
器實(shí)際上是 Serial 采集
器的多線(xiàn)程版本。除了使用多線(xiàn)程進(jìn)行垃圾采集
外，其余行為（控制參數、采集
算法、回收策略等）與Serial采集
器完全相同。
　　ParNew采集
器
　　ParNew采集
器的參數
　　它是許多以服務(wù)器模式運行的虛擬機的首選。除了Serial采集
器，只有CMS采集
器（真正的并發(fā)采集
器，后面會(huì )介紹）可以配合使用。
　　添加了并行和并發(fā)概念：
　　4.3 并行清除采集
器
　　并行清除采集
器
　　Parallel Scavenge 采集
器側重于吞吐量（CPU 的有效使用）。CMS 等垃圾采集
器更關(guān)注用戶(hù)線(xiàn)程暫停時(shí)間（改善用戶(hù)體驗）。所謂吞吐量就是CPU中用于運行用戶(hù)代碼的時(shí)間與CPU消耗的總時(shí)間的比值。Parallel Scavenge 采集
器提供了很多參數供用戶(hù)找到最合適的暫停時(shí)間或最大吞吐量。如果對采集
器的運行不太了解，手動(dòng)優(yōu)化有難度，可以選擇將內存管理優(yōu)化交給虛擬機來(lái)完成。好的選擇。
　　4.4 系列老采集器
　　Serial采集
器的老年代版本，也是單線(xiàn)程采集
器。它主要有兩個(gè)用途：一是在JDK1.5及更早版本中與Parallel Scavenge采集
器配合使用，二是作為CMS采集
器的備份方案。
　　4.5 并行舊采集
器
　　Parallel Scavenge 采集
器的老一代版本。使用多線(xiàn)程和“標記和排序”算法。在吞吐量和 CPU 資源很重要的地方，可以?xún)?yōu)先考慮 Parallel Scavenge 采集
器和 Parallel Old 采集
器。
　　4.6 CMS 采集
器
　　氣相色譜儀
　　CMS 的四個(gè)步驟和優(yōu)缺點(diǎn)
　　CMS（Concurrent Mark Sweep）采集
器是一種旨在獲得最短恢復停頓時(shí)間的采集
器。非常適合用在注重用戶(hù)體驗的應用上。
　　CMS（Concurrent Mark Sweep）采集
器是HotSpot虛擬機第一個(gè)真正意義上的并發(fā)采集
器。這是垃圾采集
線(xiàn)程和用戶(hù)線(xiàn)程（基本上）同時(shí)工作的第一次。
　　從名字中的Mark Sweep這兩個(gè)字可以看出，CMS采集
器是通過(guò)“標記-清除”算法實(shí)現的，其運行過(guò)程比以往的垃圾采集
器都要復雜。整個(gè)過(guò)程分為四個(gè)步驟：
　　主要優(yōu)勢：
　　- 并發(fā)采集
，低暫停
　　缺點(diǎn)：
　　- 對CPU資源敏感
　　- 無(wú)法處理漂浮垃圾
　　- 它使用的回收算法——“標記和清除”算法會(huì )導致采集
結束時(shí)產(chǎn)生大量空間碎片
　　4.7 G1 采集
器
　　G1采集
器
　　G1采集
器核心理念
　　G1標志回收流程
　　G1（Garbage-First）是一個(gè)面向服務(wù)器的垃圾采集
器，主要針對配備多處理器和大容量?jì)却娴臋C器。在大概率滿(mǎn)足GC停頓時(shí)間要求的同時(shí)，還具有高吞吐量的性能特點(diǎn)。
　　G1采集
器的特點(diǎn)：
　　G1采集
器的幾個(gè)步驟：
　　G1采集
器在后臺維護一個(gè)優(yōu)先級列表，每次根據允許的采集
時(shí)間，優(yōu)先回收價(jià)值最高的Region（這就是它名字Garbage-First的由來(lái)）。這種使用Region劃分內存空間和優(yōu)先區域回收的方式保證了G1采集
器在有限的時(shí)間內盡可能多地采集
（通過(guò)將內存打零）
　　參考：%E5%9E%83%E5%9C%BE%E5%9B%9E%E6%94%B6.md
　　解決方案:搞定JVM垃圾回收就是這么簡(jiǎn)單
　　回顧以上：
　　寫(xiě)在這部分前面的常見(jiàn)面試問(wèn)題：
　　文中提到了問(wèn)題的答案
　　這篇文章的導火索
　　當需要排查各種內存溢出問(wèn)題，當垃圾回收被稱(chēng)為系統達到更高并發(fā)的瓶頸時(shí)，我們需要對這些“自動(dòng)化”技術(shù)進(jìn)行必要的監控和調整。
　　Java 程序員必讀的文檔
　　哈哈皮啦！本人開(kāi)源的一個(gè)Java學(xué)習指導文檔。一本涵蓋大多數Java程序員需要掌握的核心知識的書(shū)正在逐步完善中，期待您的參與。Github 地址：. 看看吧，我想你不會(huì )后悔的，如果可以的話(huà)，可以給個(gè)Star鼓勵一下！
　　1 揭開(kāi)JVM內存分配與回收的神秘面紗
　　Java的自動(dòng)內存管理主要是對象內存回收和對象內存分配。同時(shí)，Java自動(dòng)內存管理的核心功能是堆內存中對象的分配和回收。
　　JDK1.8之前的堆內存示意圖：
　　從上圖可以看出，堆內存分為新生代、老年代和永久代。新生代又分為：Eden區+Survior1區+Survior2區。值得注意的是，在JDK 1.8中整個(gè)永久代被移除，取而代之的是一個(gè)叫做Metaspace的區域（永久代使用JVM的堆內存空間，而元空間使用物理內存，直接受物理內存限制機）。
　　1.1 對象先分配在eden區
　　目前主流的垃圾采集
器都是采用分代采集
算法，所以需要將堆內存劃分為新生代和老年代，這樣我們就可以根據各個(gè)年代的特點(diǎn)選擇合適的垃圾采集
算法。
　　大多數情況下，對象都分配在年輕代的eden區。當eden區沒(méi)有足夠的空間分配時(shí)，虛擬機會(huì )發(fā)起一次Minor GC。下面我們來(lái)做一下實(shí)際測試。
　　在測試之前，我們先來(lái)看看Minor Gc和Full GC的區別？
　　測試：
　　public class GCTest {
public static void main(String[] args) {
byte[] allocation1, allocation2;
allocation1 = new byte[30900*1024];
//allocation2 = new byte[900*1024];
}
}
　　復制
　　運行它：
　　添加參數：-XX:+PrintGCDetails
　　運行結果：
　　從上圖可以看出，eden區的內存幾乎已經(jīng)全部分配完畢（即使程序什么都不做，新生代也會(huì )使用2000k多的內存）。如果我們?yōu)?allocation2 分配內存會(huì )怎樣？
　　allocation2 = new byte[900*1024];
　　復制
　　簡(jiǎn)單解釋一下為什么會(huì )這樣：因為分配內存到allocation2的時(shí)候eden區的內存已經(jīng)分配的差不多了，剛才我們說(shuō)了當Eden區沒(méi)有足夠的空間分配時(shí)，虛擬機就會(huì )發(fā)起一次Minor GC。在GC的時(shí)候，虛擬機也發(fā)現allocation1不能存放在Survior空間，所以不得不通過(guò)allocation guarantee機制，提前將新生代中的對象轉移到老年代。old generation中的空間足夠存放allocation1，所以不會(huì )發(fā)生Full GC。Minor GC執行后，如果后面分配的對象在eden區可以存在，內存仍然會(huì )分配在eden區。代碼驗證可以如下進(jìn)行：
　　public class GCTest {
public static void main(String[] args) {
byte[] allocation1, allocation2,allocation3,allocation4,allocation5;
allocation1 = new byte[32000*1024];
allocation2 = new byte[1000*1024];
allocation3 = new byte[1000*1024];
allocation4 = new byte[1000*1024];
allocation5 = new byte[1000*1024];
}
}
　　復制
　　1.2 大對象直接進(jìn)入老年代
　　大對象是需要大量連續內存空間的對象（例如字符串、數組）。
　　為什么一定要這樣？
　　為了避免在為大對象分配內存時(shí)由于分配保證機制帶來(lái)的復制而降低效率。
　　1.3 長(cháng)壽對象會(huì )進(jìn)入老年代
　　由于虛擬機采用了分代采集
的思想來(lái)管理內存，因此在內存回收時(shí)，它必須能夠識別出哪些對象應該放在新生代，哪些對象應該放在老年代。為了做到這一點(diǎn)，虛擬機給每個(gè)對象一個(gè)對象年齡（Age）計數器。
　　如果對象出生在Eden，在第一次Minor GC后存活下來(lái)，并且可以被Survivor容納，則將其移動(dòng)到Survivor空間，并將對象的年齡設置為1。每一次對象存活一次MinorGC在 Survivor 中，age 增加 1 年，當它的 age 增加到一定程度時(shí)（默認是 15 歲），就會(huì )被提升到老年代?？梢酝ㄟ^(guò)參數-XX:MaxTenuringThreshold 設置將對象提升到Old Age 的年齡閾值。
　　1.4 動(dòng)態(tài)對象年齡判定
　　為了更好地適應不同程序的內存情況，虛擬機并不總是要求對象年齡必須達到一定的值才能進(jìn)入老年代。如果Survivor空間中所有同齡對象的大小之和大于Survivor空間的一半，則年齡大于等于該年齡的對象可以直接進(jìn)入老年代，無(wú)需達到要求的年齡。
　　2 對象死了？
　　
　　幾乎所有的對象實(shí)例都放在堆中，在堆上進(jìn)行垃圾回收之前的第一步是確定那些對象已經(jīng)死了（即無(wú)論如何都不能再使用的對象）。
　　2.1 引用計數
　　向對象添加一個(gè)引用計數器。每當有對它的引用時(shí)，計數器就會(huì )加 1；
　　這種方法實(shí)現簡(jiǎn)單，效率高，但是目前主流的虛擬機并沒(méi)有選擇這種算法來(lái)管理內存。主要原因是很難解決對象之間的循環(huán)引用問(wèn)題。所謂對象之間的相互引用問(wèn)題如下代碼所示：除了對象objA和objB相互引用外，這兩個(gè)對象之間沒(méi)有任何引用。但是因為它們相互引用，它們的引用計數器不為0，所以引用計數算法無(wú)法通知GC采集
器回收它們。
　　public class ReferenceCountingGc {
Object instance = null;
public static void main(String[] args) {
ReferenceCountingGc objA = new ReferenceCountingGc();
ReferenceCountingGc objB = new ReferenceCountingGc();
objA.instance = objB;
objB.instance = objA;
objA = null;
objB = null;
}
}
　　復制
　　2.2 可達性分析算法
　　這個(gè)算法的基本思想是以一系列稱(chēng)為“GC Roots”的對象為起點(diǎn)，從這些節點(diǎn)開(kāi)始向下搜索。節點(diǎn)經(jīng)過(guò)的路徑稱(chēng)為引用鏈。當一個(gè)對象沒(méi)有任何引用鏈到 GC Roots 連接時(shí)，證明該對象不可用。
　　可達性分析算法
　　2.3 更多參考資料
　　無(wú)論是通過(guò)引用計數的方法判斷對象的引用次數，還是通過(guò)可達性分析的方法判斷對象的引用鏈是否可達，判斷對象的存活與“引用”有關(guān)。
　　在JDK1.2之前，Java中對引用的定義很傳統：如果引用類(lèi)型數據中存儲的值代表了另一塊內存的起始地址，就說(shuō)這塊內存代表了一個(gè)引用。
　　JDK1.2之后，Java擴展了引用的概念，將引用分為四種：強引用、軟引用、弱引用、虛引用（引用強度逐漸減弱）
　　1. 強引用
　　我們之前使用的大部分引用其實(shí)都是強引用，也就是最常用的引用。如果一個(gè)對象有強引用，它就類(lèi)似于生活必需品，垃圾采集
器永遠不會(huì )回收它。當內存空間不足時(shí)，Java虛擬機寧愿拋出OutOfMemoryError錯誤導致程序異常終止，也不會(huì )通過(guò)任意回收強引用對象來(lái)解決內存不足問(wèn)題。
　　2. 軟引用（SoftReference）
　　如果一個(gè)對象只有軟引用，那么它類(lèi)似于可以購買(mǎi)的商品。如果有足夠的內存空間，垃圾采集
器將不會(huì )回收它。如果內存空間不夠，這些對象的內存就會(huì )被回收。只要垃圾采集
器不采集
它，該對象就可以被程序使用。軟引用可用于實(shí)現對內存敏感的緩存。
　　軟引用可以與引用隊列（ReferenceQueue）結合使用。如果軟引用引用的對象被垃圾回收，JAVA虛擬機會(huì )將軟引用添加到與其關(guān)聯(lián)的引用隊列中。
　　3.弱引用（WeakReference）
　　如果一個(gè)對象只有弱引用，那么它類(lèi)似于可以購買(mǎi)的商品。弱引用和軟引用的區別在于只有弱引用的對象生命周期更短。在垃圾回收線(xiàn)程掃描其管轄內存區域的過(guò)程中，一旦發(fā)現只有弱引用的對象，無(wú)論當前內存空間是否足夠，都會(huì )回收其內存。然而，由于垃圾采集
器是一個(gè)非常低優(yōu)先級的線(xiàn)程，只有弱引用的對象可能無(wú)法快速找到。
　　弱引用可以與引用隊列（ReferenceQueue）結合使用。如果弱引用引用的對象被垃圾回收，Java虛擬機會(huì )將弱引用添加到與其關(guān)聯(lián)的引用隊列中。
　　4.幻影參考（PhantomReference）
　　“Phantom reference”，顧名思義，是沒(méi)有用的。與其他類(lèi)型的引用不同，幻象引用不決定對象的生命周期。如果一個(gè)對象只收錄
虛引用，就好像它沒(méi)有引用一樣，可以隨時(shí)被垃圾回收。
　　幻影引用主要用于跟蹤被垃圾采集
的對象的活動(dòng)。
　　幻影引用與軟引用和弱引用的區別之一是幻影引用必須與引用隊列（ReferenceQueue）結合使用。當垃圾回收器要回收一個(gè)對象時(shí)，如果發(fā)現它還有一個(gè)虛引用，就會(huì )把這個(gè)虛引用添加到與之關(guān)聯(lián)的引用隊列中，然后再回收該對象的內存。程序可以通過(guò)判斷引用隊列中是否加入了幻引用來(lái)獲知被引用對象是否會(huì )被垃圾回收。如果程序發(fā)現引用隊列中加入了虛引用，則可以在被引用對象的內存被回收之前采取必要的動(dòng)作。
　　特別要注意的是，弱引用和幻引用在編程中很少用到，軟引用經(jīng)常用到。這是因為軟引用可以加快JVM對垃圾內存的回收，維護系統的安全，防止內存溢出。(OutOfMemory) 等問(wèn)題。
　　2.4 不可達對象不是“必死”
　　即使是可達性分析方法中的不可達對象也不是“必死”的。對屬性分析不可達的對象進(jìn)行第一次標記，篩選一次，篩選條件為是否需要對該對象執行finalize方法。當對象沒(méi)有覆蓋finalize方法，或者finalize方法已經(jīng)被虛擬機調用過(guò)，虛擬機認為這兩種情況不需要執行。
　　判斷需要執行的對象會(huì )被放入隊列中進(jìn)行二次標記，除非該對象與引用鏈上的任何對象相關(guān)聯(lián)，才會(huì )真正被回收。
　　2.5 如何判斷一個(gè)常量是廢棄常量
　　運行時(shí)常量池主要回收廢棄的常量。那么，我們如何判斷一個(gè)常量是一個(gè)過(guò)時(shí)常量呢？
　　如果常量池中存在字符串“abc”，如果當前不存在引用該字符串常量的String對象，則說(shuō)明常量“abc”為廢棄常量。如果此時(shí)發(fā)生內存回收并且有必要，“abc”就會(huì )被系統從常量池中清除掉。
　　注意：我們也說(shuō)過(guò)，JDK1.7及以后版本的JVM把運行時(shí)常量池移出了方法區，在Java堆（Heap）中開(kāi)辟了一塊區域來(lái)存放運行時(shí)常量池。
　　2.6 如何判斷一個(gè)類(lèi)是無(wú)用類(lèi)
　　方法區主要是回收無(wú)用類(lèi)，那么如何判斷一個(gè)類(lèi)是否為無(wú)用類(lèi)呢？
　　判斷一個(gè)常量是否為“廢棄的常量”比較簡(jiǎn)單，但是判斷一個(gè)類(lèi)是否為“無(wú)用類(lèi)”的條件就比較苛刻。一個(gè)類(lèi)需要同時(shí)滿(mǎn)足以下三個(gè)條件才能被認為是“無(wú)用類(lèi)”：
　　虛擬機可以回收滿(mǎn)足以上三個(gè)條件的無(wú)用類(lèi)。這里說(shuō)的只是“可以”，并不是像對象一樣不使用就會(huì )被回收。
　　3 垃圾回收算法
　　垃圾采集
算法
　　3.1 標記-掃描算法
　　該算法分為“標記”和“清除”兩個(gè)階段：首先標記所有需要回收的對象，標記完成后統一回收所有標記的對象。它是最基本的采集
算法，效率很高，但是會(huì )帶來(lái)兩個(gè)明顯的問(wèn)題：
　　效率問(wèn)題空間問(wèn)題（標記清除后會(huì )產(chǎn)生大量不連續的碎片）
　　標記掃描算法
　　3.2 復制算法
　　
　　為了解決效率問(wèn)題，出現了“復制”采集
算法。它可以將內存分成大小相同的兩塊，一次使用其中的一塊。當這塊內存用完后，將存活的對象復制到另一塊內存中，然后一次性清理已用空間。這樣每次內存回收就是回收一半的內存范圍。
　　復制算法
　　3.3 標記整理算法
　　根據一種特殊的基于老年代特點(diǎn)的標記算法，標記過(guò)程還是和“標記-清除”算法一樣，只是后面的步驟不是直接回收可回收對象，而是移動(dòng)所有存活的對象到一個(gè)section，然后直接清理掉end boundary之外的Memory。
　　標記整理算法
　　3.4 分代采集
算法
　　目前虛擬機的垃圾回收采用分代回收算法。這個(gè)算法沒(méi)有什么新意，只是根據對象生命周期的不同，把內存分成若干塊。Java堆一般分為新生代和老年代，這樣我們就可以根據各個(gè)年代的特點(diǎn)選擇合適的垃圾回收算法。
　　比如在新生代中，每次回收都會(huì )有大量對象死亡，所以可以選擇復制算法，只需要付出少量的對象復制成本就可以完成每次垃圾回收。對象在老年代存活的概率比較高，沒(méi)有額外的空間來(lái)保證它的分配，所以我們必須選擇“標記-清除”或“標記-排序”算法進(jìn)行垃圾回收。
　　采訪(fǎng)延伸問(wèn)題：HotSpot為什么分新生代和老年代？
　　根據上面對分代采集
算法的介紹回答。
　　4 垃圾采集
器
　　如果說(shuō)回收算法是內存回收的方法論，那么垃圾回收器就是內存回收的具體實(shí)現。
　　當我們比較采集器
時(shí)，我們并不是要挑選一個(gè)最好的采集器
。因為我們知道目前沒(méi)有最好的垃圾采集
器，更談不上萬(wàn)能的垃圾采集
器，我們能做的就是根據具體的應用場(chǎng)景選擇適合自己的垃圾采集
器。試想一下：如果有一個(gè)完美的采集
器適用于四海之內的任何場(chǎng)景，那么我們的HotSpot虛擬機就不會(huì )實(shí)現這么多不同的垃圾采集
器。
　　4.1 串行采集
器
　　串行（serial）采集
器 采集
器是最基本也是最古老的垃圾采集
器。大家看名字就知道這個(gè)采集
器是單線(xiàn)程采集
器。它的“單線(xiàn)程”的含義不僅僅意味著(zhù)它只會(huì )使用一個(gè)垃圾采集
線(xiàn)程來(lái)完成垃圾采集
工作，更重要的是它在執行垃圾采集
工作時(shí)必須暫停所有其他工作線(xiàn)程（“Stop The World”）直到采集
完畢。
　　新生代采用復制算法，老年代采用標記-排序算法。
　　串行采集
器
　　虛擬機的設計者當然知道Stop The World帶來(lái)的糟糕的用戶(hù)體驗，所以在后續的垃圾采集
器設計中不斷縮短停頓時(shí)間（停頓還是有的，尋找最佳垃圾采集
器的過(guò)程還在繼續） .
　　但是串行采集
器與其他垃圾采集
器相比有什么優(yōu)勢嗎？當然有，簡(jiǎn)單高效（相對單線(xiàn)程的其他采集
器）。Serial采集
器由于沒(méi)有線(xiàn)程交互開(kāi)銷(xiāo)，自然可以獲得很高的單線(xiàn)程采集
效率。Serial 采集
器是在客戶(hù)端模式下運行的虛擬機的不錯選擇。
　　4.2 ParNew 采集
器
　　ParNew 采集
器實(shí)際上是 Serial 采集
器的多線(xiàn)程版本。除了使用多線(xiàn)程進(jìn)行垃圾采集
外，其余行為（控制參數、采集
算法、回收策略等）與Serial采集
器完全相同。
　　新生代采用復制算法，老年代采用標記-排序算法。
　　ParNew采集
器
　　它是許多以服務(wù)器模式運行的虛擬機的首選。除了Serial采集
器，只有CMS采集
器（真正的并發(fā)采集
器，后面會(huì )介紹）可以配合使用。
　　添加了并行和并發(fā)概念：
　　4.3 并行清除采集
器
　　Parallel Scavenge 采集
器類(lèi)似于 ParNew 采集
器。那么它有什么特別之處呢？
　　-XX:+UseParallelGC
使用Parallel收集器+ 老年代串行
-XX:+UseParallelOldGC
使用Parallel收集器+ 老年代并行
　　復制
　　Parallel Scavenge 采集
器側重于吞吐量（CPU 的有效使用）。CMS等垃圾采集
器的關(guān)注點(diǎn)更多的是用戶(hù)線(xiàn)程的停頓時(shí)間（提升用戶(hù)體驗）。所謂吞吐量就是CPU中運行用戶(hù)代碼所花費的時(shí)間與CPU總消耗時(shí)間的比值。Parallel Scavenge 采集
器提供了許多參數供用戶(hù)找到最合適的暫停時(shí)間或最大吞吐量。如果你不太了解采集
器的運行，如果存在手動(dòng)優(yōu)化，你可以選擇將內存管理優(yōu)化交給虛擬機來(lái)完成。這也是一個(gè)不錯的選擇。
　　新生代采用復制算法，老年代采用標記-排序算法。
　　ParNew采集
器
　　4.4.系列老采集器
　　Serial采集
器的老年代版本，也是單線(xiàn)程采集
器。它主要有兩個(gè)用途：一是與JDK1.5及更早版本的Parallel Scavenge采集
器一起使用，二是作為CMS采集
器的備份解決方案。
　　4.5 并行舊采集
器
　　Parallel Scavenge 采集
器的老一代版本。使用多線(xiàn)程和“標記和排序”算法。在注重吞吐量和CPU資源的情況下，可以?xún)?yōu)先考慮Parallel Scavenge采集
器和Parallel Old采集
器。
　　4.6 CMS 采集
器
　　CMS（Concurrent Mark Sweep）采集
器是一種旨在獲得最短恢復停頓時(shí)間的采集
器。非常適合用在注重用戶(hù)體驗的應用上。
　　CMS（Concurrent Mark Sweep）采集
器是HotSpot虛擬機第一個(gè)真正意義上的并發(fā)采集
器。這是垃圾采集
線(xiàn)程和用戶(hù)線(xiàn)程（基本上）同時(shí)工作的第一次。
　　從名字中的Mark Sweep這兩個(gè)字可以看出，CMS采集
器是通過(guò)“標記-清除”算法實(shí)現的，其運行過(guò)程比以往的垃圾采集
器都要復雜。整個(gè)過(guò)程分為四個(gè)步驟：
　　CMS 垃圾采集
器
　　從它的名字就可以看出它是一個(gè)優(yōu)秀的垃圾采集
器，主要優(yōu)點(diǎn)：并發(fā)采集
，低暫停。但它有以下三個(gè)明顯的缺點(diǎn)：
　　4.7 G1 采集
器
　　G1（Garbage-First）是一個(gè)面向服務(wù)器的垃圾采集
器，主要針對配備多處理器和大容量?jì)却娴臋C器。大概率滿(mǎn)足GC停頓時(shí)間要求，同時(shí)具有高吞吐量的性能特點(diǎn)。
　　在JDK1.7中被視為HotSpot虛擬機的一個(gè)重要的進(jìn)化特征。它具有以下特點(diǎn)：
　　G1采集
器的運行大致分為以下幾個(gè)步驟：
　　G1采集
器在后臺維護一個(gè)優(yōu)先級列表，每次根據允許的采集
時(shí)間選擇回收值最高的Region（這就是它名字Garbage-First的由來(lái)）。這種使用Region劃分內存空間和優(yōu)先區域回收的方法保證了GF采集
器在有限的時(shí)間內（通過(guò)將內存打零）采集
盡可能多的內存。
　　參考：