解決方案:一種大數據智能采集處理方法和系統與流程

　　本發(fā)明涉及信息技術(shù)領(lǐng)域，具體涉及一種大數據智能采集處理方法及系統。

　　背景技術(shù)：

　　隨著(zhù)大數據時(shí)代的到來(lái)，人們對數據的需求越來(lái)越強烈。 由于現實(shí)生活中數據來(lái)源千奇百怪，未經(jīng)多次處理進(jìn)入數據庫的數據很可能會(huì )大大降低數據的整體可靠性和有效性。 使用此類(lèi)數據進(jìn)行后續數據使用非常高效。 低的。 為獲取更有效的文本數據，尤其是供需、銷(xiāo)售、交易、電子商務(wù)等數據處理，用戶(hù)需要從海量信息中提取最及時(shí)、最有用的數據，同時(shí)，以相對較小的數量更新信息。 小數據。

　　數據清洗方法及裝置2.9，獲取經(jīng)過(guò)粗分類(lèi)的樣本數據，將獲取的樣本數據作為第一數據集； 對樣本數據進(jìn)行分類(lèi)，得到樣本數據粗分類(lèi)類(lèi)別的權重，根據權重確定樣本數據粗分類(lèi)類(lèi)別在所有類(lèi)別中的排名位置； 根據樣本數據粗分類(lèi)類(lèi)別在所有類(lèi)別中的排名位置和第一數據集中樣本數據的總數，得到綜合評價(jià)結果； 當根據綜合評價(jià)結果確定第一數據集需要清洗時(shí)，根據樣本數據的粗分類(lèi)類(lèi)別在所有類(lèi)別中的排名位置，刪除指定數量的排名靠后的樣本數據。

　　技術(shù)實(shí)現要素：

　　本發(fā)明的目的在于提供一種大數據智能采集處理方法及系統。 這種方法可以有效及時(shí)地對采集的數據進(jìn)行處理，提取出信息量大的最及時(shí)有用的數據，同時(shí)保留信息量相對較少的數據，方便用戶(hù)使用數據有效率的。

　　一種智能采集和處理大數據的方法，包括以下步驟：

　　s1。 設置第一數據庫和第二數據庫；

　　s2。 設置一臺或多臺網(wǎng)絡(luò )智能機器人，實(shí)時(shí)智能捕捉公共信息，獲取采集數據；

　　s3。 將采集的數據逐項與第一數據庫中的數據進(jìn)行比較，當采集到的數據中的數據a與第一數據庫中的數據的相似度γ小于閾值α時(shí)，采集的數據中的數據Data a存儲在第一數據庫中； 否則，將采集的數據中的數據a存儲到第二數據庫中；

　　s4。 在將采集數據中的數據a存儲到第二數據庫中時(shí)，對采集數據中的數據a與第二數據庫中的數據進(jìn)行相似度γ計算；

　　s41。 當采集數據中的數據a與第二數據庫中的一個(gè)或多個(gè)數據的相似度γ大于閾值β時(shí)，將采集數據中的數據a替換為第二數據庫中的相同數據。 采集的數據中與數據a相似度γ最高的一條數據；

　　s42. 否則，直接將采集到的數據中的數據a存入第二數據庫；

　　s5。 當超過(guò)時(shí)間閾值δ時(shí)，將第二個(gè)數據庫中的數據存儲到第一個(gè)數據庫中，同時(shí)清除第二個(gè)數據庫中的數據；

　　s6。 在將第二數據庫中的數據存入第一數據庫時(shí)，將第二數據庫中的數據與第一數據庫中相似度γ最高的一條或多條數據標記為同類(lèi)數據。

　　作為一種優(yōu)化，大數據智能采集處理方法采集的數據包括至少一個(gè)發(fā)布內容的數據標簽。 實(shí)際應用過(guò)程中采集的數據至少收錄出版商、出版內容、出版類(lèi)型三個(gè)數據標簽。

　　作為優(yōu)化，在進(jìn)行采集檢索時(shí)，只檢索第一數據庫中的數據，對于第一數據庫中的同類(lèi)型數據，只顯示最后添加的同類(lèi)型數據項。 數據。

　　作為一種優(yōu)化的大數據智能采集處理方法，相似度γ的計算方法為：γ=∑ρi*σi,(i=1..n)

　　n 是數據標簽的數量；

　　ρi為第i個(gè)數據標簽的權重值；

　　σi 是兩條數據的第 i 個(gè)數據標簽的標簽相似度。

　　標簽相似度的計算可以使用但不限于余弦相似度算法、簡(jiǎn)單共享詞算法、編輯距離算法、jaccard距離算法等算法。

　　作為一種優(yōu)化的大數據智能采集處理方法，如果第一數據庫中有標記為同類(lèi)型數據的數據φ={ψ1...ψn}，則n≥2；

　　將ψn+1和φ中的任意一個(gè)或多個(gè)數據標記為同一類(lèi)數據，則同一類(lèi)數據的數據φ={ψ1…ψn+1}。

　　公共信息實(shí)時(shí)智能抓取作為一種優(yōu)化的大數據智能采集處理方式，數據源包括網(wǎng)站公共信息和即時(shí)聊天工具。

　　作為一種優(yōu)化，大數據智能采集處理方法，在實(shí)時(shí)智能采集公共信息時(shí)，通過(guò)關(guān)鍵詞或算法對原創(chuàng )數據進(jìn)行智能提取和分類(lèi)，得到采集的具有多個(gè)數據標簽的數據。

　　

　　一種大數據智能采集處理系統，包括：

　　數據采集??模塊，用于實(shí)時(shí)智能采集公共信息，獲取采集數據；

　　第一數據庫用于最終存儲數據，并提供對外檢索和查詢(xún)數據；

　　第二個(gè)數據庫用于暫存數據；

　　數據處理模塊，用于將采集的數據確定并存儲到第一數據庫或第二數據庫中；

　　數據同步模塊用于周期性地將第二數據庫中的數據存入第一數據庫中，同時(shí)清除第二數據庫中的數據。

　　本發(fā)明的大數據智能采集處理方法及系統，采集的海量數據包括最新的高信息數據，同時(shí)具有大量接近重復的低信息數據； 通過(guò)本發(fā)明的方法，可以及時(shí)提取高信息量的大數據，同時(shí)保留低信息數據的數據，通過(guò)數據的錯位更新，方便用戶(hù)查看自己有用的信息查看數據時(shí)需要及時(shí)處理，提高使用效率。 適用于供需、交易、電子商務(wù)等大數據信息服務(wù)平臺。

　　圖紙說(shuō)明

　　[0010] 下面結合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細說(shuō)明；

　　圖1為本發(fā)明實(shí)施例一的流程*敏*感*詞*；

　　圖2為本發(fā)明實(shí)施例二的結構*敏*感*詞*；

　　無(wú)花果。 圖3為本發(fā)明實(shí)施例三涉及的采集處理*敏*感*詞*。

　　詳細說(shuō)明

　　以下給出的實(shí)施例旨在進(jìn)一步說(shuō)明本發(fā)明，但不能理解為對本發(fā)明保護范圍的限制，本領(lǐng)域技術(shù)人員對本發(fā)明的一些非本質(zhì)的改進(jìn)和調整，仍屬于本發(fā)明的保護范圍本發(fā)明的內容按照本發(fā)明的范圍。

　　實(shí)施例一： 如圖1所示，大數據智能采集處理方法包括以下步驟：

　　s1。 設置第一數據庫和第二數據庫；

　　s2。 設置一臺或多臺網(wǎng)絡(luò )智能機器人，實(shí)時(shí)智能捕捉網(wǎng)站和即時(shí)聊天工具的公開(kāi)信息，獲取采集數據。 采集的數據至少包括三個(gè)數據標簽：出版商、內容、出版類(lèi)型；

　　s3。 將采集的數據逐項與第一個(gè)數據庫中的數據進(jìn)行比較。 當采集數據中的某條數據a與第一數據庫中的數據的相似度γ小于閾值α時(shí)，保存采集數據中的某條數據a。 進(jìn)入第一個(gè)數據庫； 否則，將采集的數據中的某條數據a存儲到第二數據庫中；

　　s4。 在將采集采集中的某條數據a與第二數據庫中的數據進(jìn)行相似度γ計算；

　　s41。 當采集數據中的某條數據a與第二數據庫中的一條或多條數據的相似度γ大于閾值β時(shí)，將采集數據中的某條數據a替換為其中一條相同的數據在第二個(gè)數據庫中采集的數據數據 a 具有最高的相似度 γ；

　　s42. 否則，將采集的數據中的某條數據a直接存儲到第二數據庫中；

　　s5。 設置時(shí)間閾值δ，當超過(guò)時(shí)間閾值δ時(shí)，將第二數據庫中的數據存儲到第一數據庫中，同時(shí)清除第二數據庫中的數據；

　　s6。 在將第二數據庫中的數據存入第一數據庫時(shí)，將第二數據庫中的數據與第一數據庫中相似度γ最高的一條或多條數據標記為同一類(lèi)型數據。

　　s7. 在進(jìn)行數據檢索時(shí)，只檢索第一個(gè)數據庫中的數據，對于第一個(gè)數據庫中的同類(lèi)型數據，只顯示同類(lèi)型數據中最后添加的一條數據。

　　相似度γ的計算方法為：γ=∑ρi*σi,(i=1..n)

　　n 是數據標簽的數量；

　　ρi為第i個(gè)數據標簽的權重值；

　　

　　σi 是兩條數據的第 i 個(gè)數據標簽的標簽相似度。

　　標簽相似度的計算可以使用但不限于余弦相似度算法、簡(jiǎn)單共享詞算法、杰卡德距離算法、編輯距離算法等算法。

　　在第一個(gè)數據庫中，有標記為同類(lèi)型數據的數據φ={ψ1…ψn}，n≥2；

　　將ψn+1和φ中的任意一個(gè)或多個(gè)數據標記為同一類(lèi)數據，則同一類(lèi)數據的數據φ={ψ1…ψn+1}。

　　實(shí)施例二：如圖2所示，大數據智能采集處理系統包括：

　　數據采集??模塊，用于實(shí)時(shí)智能采集網(wǎng)站、即時(shí)聊天工具的公開(kāi)信息，獲取采集數據；

　　第一數據庫用于最終存儲數據，并提供對外檢索和查詢(xún)數據；

　　第二個(gè)數據庫用于暫存數據；

　　數據處理模塊，用于將采集的數據判斷并存儲到第一數據庫或第二數據庫中；

　　數據同步模塊用于周期性地將第二數據庫中的數據存入第一數據庫中，同時(shí)清除第二數據庫中的數據。

　　實(shí)施例三：大數據智能采集處理方法，包括以下步驟：

　　s1。 設置第一數據庫和第二數據庫；

　　s2。 設置多個(gè)網(wǎng)絡(luò )智能機器人，如qq網(wǎng)絡(luò )智能機器人； 實(shí)時(shí)智能采集qq群等即時(shí)聊天工具的公開(kāi)信息，獲取采集數據。 采集的數據收錄三個(gè)數據標簽：publisher、content、type；

　　s3。 將采集的數據與第一個(gè)數據庫中的數據逐一進(jìn)行比較。 當采集數據中的某條數據a與第一數據庫中數據的相似度γ均小于閾值α=0.85時(shí)，則將采集數據中的某條數據a存儲到第一數據庫中數據庫; 否則，將采集的數據中的一條數據a存儲到第二數據庫中；

　　s4。 在將采集采集中的某條數據a與第二數據庫中的數據進(jìn)行相似度γ計算；

　　s41。 當采集數據中的一條數據a與第二數據庫中的一條或多條數據的相似度γ大于閾值β=0.85時(shí)，將采集數據中的一條數據a替換為相同的采集第二個(gè)數據庫中相似度γ最高的一條數據a；

　　s42. 否則，將采集的數據中的某條數據a直接存儲到第二數據庫中；

　　s5。 設置每天凌晨將第二個(gè)數據庫中的數據存入到第一個(gè)數據庫中，同時(shí)清除第二個(gè)數據庫中的數據；

　　s6。 在將第二數據庫中的數據存入第一數據庫時(shí)，將第二數據庫中的數據與第一數據庫中相似度γ最高的一條或多條數據標記為同一類(lèi)型數據。

　　s7. 在進(jìn)行數據檢索時(shí)，只檢索第一個(gè)數據庫中的數據，對于第一個(gè)數據庫中的同類(lèi)型數據，只顯示同類(lèi)型數據中最后添加的一條數據。

　　相似度γ的計算方法為：γ=∑ρi*σi, (i=1, 2, 3)

　　1 發(fā)布者，2 發(fā)布內容，3 發(fā)布類(lèi)型

　　ρ1=0.10, ρ2=0.65, ρ3=0.25,

　　ρi為第i個(gè)數據標簽的權重值；

　　σi為兩個(gè)數據的第i個(gè)數據標簽的標簽相似度，由編輯距離算法計算得到。

　　當第二個(gè)數據庫為空時(shí)，當天采集的數據如圖3所示，第一個(gè)數據庫采集處理后的第二天凌晨之前的數據，第一個(gè)數據庫凌晨之后的數據第二天如圖3所示。

　　以上所述是本發(fā)明的具體實(shí)施方式及其所采用的技術(shù)原理。 若依據本發(fā)明的構思所作的改動(dòng)未超出說(shuō)明書(shū)及附圖所涵蓋的精神，則仍應屬于本發(fā)明的保護范圍。

　　解決方案:網(wǎng)頁(yè)正文抽取中的網(wǎng)頁(yè)編碼字符集自動(dòng)識別最佳方案 .

　　以往，易爾易科技()團隊在做文本提取時(shí)，經(jīng)常會(huì )遇到因為網(wǎng)頁(yè)的字符集編碼不同而提取出大量亂碼的情況。下面就采集一些文章，供新手參考。專(zhuān)家不要笑。

　　第一篇文章來(lái)自《UniversalCharDet，一個(gè)比IE準確率更高的自動(dòng)字符集檢測類(lèi)》，我在里面摘錄了一段話(huà)：如何識別網(wǎng)頁(yè)使用的是什么編碼？

　　一種是網(wǎng)頁(yè)或服務(wù)器直接向瀏覽器報告該頁(yè)面使用什么編碼。比如HTTP頭的content-type屬性，頁(yè)面的charset屬性。這個(gè)實(shí)現起來(lái)還是比較容易的，只要檢測這些屬性就可以知道使用的是什么編碼了。

　　二是瀏覽器自動(dòng)猜測。這類(lèi)似于人工智能。比如有的網(wǎng)頁(yè)沒(méi)有寫(xiě)charset屬性，那么當我們看到頁(yè)面出現亂碼的時(shí)候，我們會(huì )手動(dòng)選擇頁(yè)面編碼，如果發(fā)現是亂碼，我們會(huì )重新修改，直到顯示為普通的。

　　今天的文章要說(shuō)的是第二種方法，就是利用程序自動(dòng)猜測頁(yè)面或文件使用的字符集。具體原理是根據統計字符特征分析，分析出哪些字符是最常見(jiàn)的字符。Mozilla 有一個(gè)特殊的文章“A composite approach to language/encoding detection”描述這項工作。嗯，具體的代碼其實(shí)Mozilla已經(jīng)用C++實(shí)現了，名字叫UniversalCharDet，但是我在網(wǎng)上搜了搜也沒(méi)找到.NET的實(shí)現類(lèi)庫，只有Google Code有Java的翻譯代碼。沒(méi)辦法，自己翻譯成C#代碼。

　　C#實(shí)現的源代碼：

　　PS1。對了，題主，為什么叫比IE更準確，是因為IE瀏覽器也有自己的字符集猜測功能，有人通過(guò)調用的接口實(shí)現了函數類(lèi)庫()猜測字符集IE，不過(guò)我試過(guò)了，這個(gè)接口的準確率不高，猜對成功的概率比UniversalCharDet低很多。

　　PS2。Nchardet 在互聯(lián)網(wǎng)上廣為流傳。這是基于舊版mozilla的字符集猜測類(lèi)的chardet的C#實(shí)現。準確率也比較低，和IE的界面成功率差不多。

　　PS3。參考

　　

　　juniversalchardet：（java版代碼在BIG5Prober和GB18030Prober類(lèi)有bug，C#版已修正）

　　原理參考：

　　第二篇來(lái)自：《【小旋風(fēng)開(kāi)發(fā)日記】異步拉取html源碼，自動(dòng)識別網(wǎng)頁(yè)代碼，優(yōu)化基礎xpath智能提取引擎》

　　mozilla采用的編碼識別模塊，.netC#版本：NUniversalCharDet

　　使用 Mozilla.NUniversalCharDet；

　　公共靜態(tài)字符串 DetectEncoding_Bytes(byte[] DetectBuff)

　　{

　　int nDetLen = 0;

　　UniversalDetector Det = new UniversalDetector(null);

　　//while (!Det.IsDone())

　　

　　{

　　Det.HandleData(DetectBuff, 0, DetectBuff.Length);

　　}

　　偵探 數據結束();

　　if (Det.GetDetectedCharset() != null)

　　{

　　返回 Det。GetDetectedCharset();

　　}

　　返回“utf-8”；

　　}