亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　采集內容管理平臺(傳漾在傳漾廣告營(yíng)銷(xiāo)生態(tài)鏈中工作原理和流程分析依據)
　　DMP數據管理平臺（DMP）——在DMP的廣告營(yíng)銷(xiāo)生態(tài)鏈中，SameData處于數據管理平臺的DMP環(huán)節，用于為整個(gè)競價(jià)模式提供實(shí)時(shí)的購買(mǎi)受眾數據。在RTB領(lǐng)域，相比于需求側平臺DSP和供應側平臺SSP，DMP也發(fā)揮著(zhù)重要作用。因為沒(méi)有DMP，所以無(wú)法實(shí)時(shí)判斷目標受眾和單個(gè)受眾的價(jià)格，更談不上實(shí)時(shí)競價(jià)。SameData 利用了一個(gè)巨大的數據庫。通過(guò)川陽(yáng)的ABP受眾購買(mǎi)平臺（DSP平臺），可以在廣告執行前后，以非常直觀(guān)、直觀(guān)的形式，通過(guò)各個(gè)維度向廣告主和代理商展示廣告的全過(guò)程。
　　具體來(lái)說(shuō)，SameData 在廣告營(yíng)銷(xiāo)生態(tài)鏈中的工作原理和流程如下： 交換平臺或媒體的印象產(chǎn)生后，平臺或媒體通過(guò)標準協(xié)議向 DSP 平臺發(fā)送請求，通常攜帶的信息包括媒體名稱(chēng)。、媒體分類(lèi)、頁(yè)面URL、頁(yè)面上下文關(guān)鍵詞、媒體設定的最低價(jià)格，以及最重要的信息——用戶(hù)cookies。DSP通過(guò)查找預先建立的用戶(hù)映射庫，將用戶(hù)轉化為DSP平臺可以識別的用戶(hù)，然后綜合計算從交易平臺或媒體接收到的所有信息，篩選出合適的廣告和最高出價(jià)為廣告，然后放廣告ID，素材地址、跳轉地址、大小、類(lèi)型等回傳給平臺和媒體。中標成功后，平臺會(huì )將中標信息發(fā)送給DSP平臺。實(shí)時(shí)競價(jià)中觀(guān)眾購買(mǎi)涉及的整個(gè)環(huán)境數據需要底層DMP提供。
　　因此，由 SameData 驅動(dòng)的 DMP 將不再只關(guān)注實(shí)時(shí)競價(jià)廣告的點(diǎn)擊優(yōu)化，而更多地基于提供企業(yè)受眾細分，進(jìn)一步實(shí)現展示廣告的精準定位和網(wǎng)站優(yōu)化。搜索定位和多次重復定位、受眾研究和數據挖掘 DMP 細分受眾（消費者）并為這些細分受眾購買(mǎi)或出售廣告印象。數據管理平臺將提供更合理、科學(xué)的算法和分析依據，幫助客戶(hù)和媒體高管判斷什么樣的受眾是優(yōu)質(zhì)的，什么樣的廣告平臺有更多這樣的優(yōu)質(zhì)廣告受眾群體，從而得到結果營(yíng)銷(xiāo)推廣的效率更高，效果更好。 查看全部

　　采集內容管理平臺(現代小說(shuō)網(wǎng)站必選的網(wǎng)站內容框架內容管理系統推薦理由)
　　推薦理由：雨小說(shuō)cms是現代小說(shuō)網(wǎng)站必選的網(wǎng)站內容框架管理軟件，可以很好地為用戶(hù)提供快速建站和網(wǎng)站@采集方法，用戶(hù)可以有效添加網(wǎng)站框架內容包括書(shū)架、評論、搜索、最近閱讀的內容等。新版本更新修復了wap模板和背景分類(lèi)的問(wèn)題，數據結構也類(lèi)似之后相應的優(yōu)化，可以很好的找回聯(lián)盟密碼。運行環(huán)境需要通用服務(wù)器，歡迎有需要的用戶(hù)下載使用。
　　野雨小說(shuō)cms簡(jiǎn)介：
　　狂語(yǔ)小說(shuō)內容管理系統（以下簡(jiǎn)稱(chēng)KYXScms）的最大特點(diǎn)是靈活、方便、人性化的設計和簡(jiǎn)單易用。有大量小說(shuō)網(wǎng)站的行業(yè)，批量采集目標網(wǎng)站數據或使用數據聯(lián)盟自動(dòng)采集獲取大量數據。內置標簽模板，即使是不懂代碼的前端開(kāi)發(fā)者也能快速創(chuàng )作出精美小說(shuō)網(wǎng)站。
　　安裝注意事項：
　　KYXScms是基于ThinkPHP5.1+MYSQL開(kāi)發(fā)的，可以運行在最常見(jiàn)的服務(wù)器上。
　　如windows服務(wù)器、IIS+PHP+MYSQL、
　　Linux服務(wù)器，Apache/Nginx+PHP+MYSQL
　　強烈建議使用 Linux 服務(wù)器以獲得更大的性能優(yōu)勢
　　軟件方面，PHP需要5.6版本以上，5.6版本以下無(wú)法運行。
　　硬件方面，一般配置虛擬主機就可以正常運行系統，如果有服務(wù)器就更好了。
　　安裝步驟：
　　1.解壓文件并上傳到對應目錄等
　　2.網(wǎng)站必須配置偽靜態(tài)才能正常安裝使用（第一次訪(fǎng)問(wèn)首頁(yè)會(huì )自動(dòng)進(jìn)入安裝頁(yè)面，或者手動(dòng)輸入域名.com/install）
　　3.同意使用協(xié)議進(jìn)入下一步檢查目錄權限
　　4.測試通過(guò)后，填寫(xiě)常規數據庫配置項，填寫(xiě)正確，安裝成功。安裝成功后會(huì )自動(dòng)進(jìn)入后臺頁(yè)面域名.com/admin，填寫(xiě)安裝時(shí)輸入的后臺管理員和密碼登錄
　　軟件特點(diǎn)：
　　1.網(wǎng)站采集可以采集任何小說(shuō)網(wǎng)站的功能
　　2.數據聯(lián)盟，即使沒(méi)有設置采集的功能，也可以獲得大量新奇數據
　　3、前端模板自適應（PC、手機、平板自動(dòng)適配）
　　4、搜索關(guān)聯(lián)
　　5、書(shū)架功能 查看全部

　　采集內容管理平臺(免費api接口做一個(gè)簡(jiǎn)單的介紹：哪些內容可采集)
　　采集內容管理平臺是做什么的，參考百度百科：內容管理平臺，簡(jiǎn)單的說(shuō)，就是幫助企業(yè)進(jìn)行內容的管理的，一般可分為內容采集和內容管理，以及內容的分發(fā)和呈現，這些內容平臺通過(guò)前端的采集系統和審核系統對文章的數據進(jìn)行加工處理，形成采集結果數據，給予后端的存儲、分發(fā)和呈現方面的更為詳細的指導。下面會(huì )以免費api接口做一個(gè)簡(jiǎn)單的介紹：哪些內容可采集？。
　　1、文本采集：對文本進(jìn)行采集的技術(shù)主要是html5sequenceextension。其主要特點(diǎn)是簡(jiǎn)單快捷易用，成本低廉，速度快，數據準確。
　　2、圖片采集：通過(guò)圖片的分享來(lái)進(jìn)行文字的采集。比如在微信、qq等私人空間可以發(fā)送圖片鏈接（帶有廣告信息的還需要進(jìn)行審核），將圖片分享到微信、qq等平臺，微信等平臺打開(kāi)圖片鏈接獲取文字之后，按規則輸入內容，然后生成文本。
　　3、視頻采集：通過(guò)自動(dòng)生成的flv視頻鏈接，對視頻中的文字進(jìn)行采集，現在視頻網(wǎng)站都有視頻標題搜索功能，這個(gè)技術(shù)也可以用于搜索引擎爬蟲(chóng)。
　　4、音頻采集：音頻采集現在很多人都需要抓取音頻資源，無(wú)論是網(wǎng)絡(luò )音頻還是現實(shí)中的語(yǔ)音。
　　5、視頻錄制：音頻的采集比較簡(jiǎn)單，采集主要是將音頻進(jìn)行采集，然后匹配數據庫，生成數據庫的文本信息。
　　6、音頻格式轉換：音頻格式的轉換主要分為音頻格式轉換的編碼格式和傳輸協(xié)議等，現在主要是4.0gpt格式和utf-8編碼，數據格式包括.mp3，.flac，.m4v等。
　　哪些內容可放采集結果？
　　1、文字：有時(shí)候一篇文章中需要大量的文字鏈接，需要對每一段文字進(jìn)行采集，編碼方式自定義，utf-8即可。
　　2、音頻：將音頻數據采集，編碼方式自定義，utf-8即可。
　　3、圖片：通過(guò)采集文章的鏈接，利用http的url重定向（或直接rewrite）獲取。
　　4、視頻：通過(guò)采集鏈接，傳輸到后端，傳輸協(xié)議自定義，utf-8即可。
　　哪些內容可提取內容？
　　1、文本提?。河胾rl對文本進(jìn)行抓取，對內容進(jìn)行匹配，提取出關(guān)鍵詞，點(diǎn)擊內容即可。
　　2、圖片提?。篴、對圖片進(jìn)行采集，編碼方式自定義，utf-8即可。b、對圖片進(jìn)行抓取，編碼方式自定義，utf-8即可。c、對圖片進(jìn)行抓取，編碼方式自定義，utf-8即可。
　　3、文件名提?。禾崛∥募械年P(guān)鍵詞。
　　提取關(guān)鍵詞的方法有：
　　1、從word中提??；
　　2、從excel中提取。
　　4、一句話(huà)提?。和ㄟ^(guò)提取文字和關(guān)鍵詞，匹配excel或者是文件名中的關(guān)鍵詞。
　　提取文字方法有：
　　5、關(guān)鍵詞密度提?。阂崛∧酬P(guān)鍵詞時(shí)，分析該關(guān)鍵詞的關(guān)注人數，然后統計該關(guān)鍵詞的人數， 查看全部

　　采集內容管理平臺(KesionCMS下,KesionCMSV6版本的CMS界有了更多的創(chuàng )新與突破)
　　KesioncmsKesion內容管理系統是一個(gè)功能強大且應用廣泛的ASP管理系統。由科訊cms開(kāi)發(fā)，具有強大、穩定、安全、靈活、易用等優(yōu)點(diǎn)。采用人性化的管理功能，擴展性強，負載能力好，模板調用靈活，可為用戶(hù)提供強大的管理服務(wù)功能。
　　
　　[基本介紹] Kesioncms作為國內最先進(jìn)的ASP管理系統，自誕生以來(lái)已經(jīng)通過(guò)了5年的運行考驗。它一直受到廣大用戶(hù)的青睞，以其自身的優(yōu)勢，穩定性、安全性、靈活性、易用性等諸多優(yōu)勢。在廣大用戶(hù)的大力支持下，Kesioncms V6版在cms的世界里有了更多的創(chuàng )新和突破。它不負眾望，追求卓越。這是一套專(zhuān)業(yè)開(kāi)放的網(wǎng)站管理系統，通過(guò)她讓建站更簡(jiǎn)單，你再也不用為建站發(fā)愁了，凱信cms人性化的操作模式，強大的后臺管理功能，非常便捷的管理模式，可根據您的需要進(jìn)行定制。定義風(fēng)格的萬(wàn)能標簽，讓非專(zhuān)業(yè)人士也能專(zhuān)業(yè)，專(zhuān)業(yè)管理網(wǎng)站為您節省時(shí)間，提高工作效率；系統沒(méi)有任何文件加密，完全開(kāi)源的程序具有無(wú)限的擴展性和可擴展性，靈活的系統二次開(kāi)發(fā)結構可以快速集成第三方軟件，系統徹底解決企業(yè)用戶(hù)的后顧之憂(yōu)-友好的管理界面、操作方式和豐富的功能特點(diǎn)。
　　我們相信“簡(jiǎn)單就是美”，因此，科訊的開(kāi)發(fā)者在開(kāi)發(fā)過(guò)程中始終充分考慮用戶(hù)的使用習慣，盡量降低用戶(hù)的使用門(mén)檻，讓用戶(hù)可以專(zhuān)注于內容維護本身，無(wú)需投入過(guò)多時(shí)間學(xué)習如何使用系統，注意細節。
　　作為中國最大的網(wǎng)站管理系統軟件和服務(wù)提供商，我們的開(kāi)發(fā)團隊擁有豐富的Web應用設計經(jīng)驗，尤其是在管理系統產(chǎn)品及相關(guān)領(lǐng)域。經(jīng)過(guò)長(cháng)期的創(chuàng )新發(fā)展，我們掌握了一整套從算法、數據結構到產(chǎn)品安全的領(lǐng)先技術(shù)。這使得凱勝cms在易用性、穩定性、承載能力、安全保障等方面處于國內外同類(lèi)產(chǎn)品的領(lǐng)先地位。
　　[軟件特點(diǎn)] ☆。系統采用模塊化開(kāi)發(fā)，100%開(kāi)源，擴展性更強，二次開(kāi)發(fā)更方便。
　　系統模型管理，可以暫時(shí)屏蔽不需要的功能模型，需要時(shí)再打開(kāi)。
　　☆、支持無(wú)限列，可綁定二級域名，加載速度更快
　　可以分批添加色譜柱以提高效率并節省時(shí)間?？梢酝ㄟ^(guò)一鍵對列進(jìn)行排序來(lái)改變列的生成順序
　　☆。系統支持3種生成方式，全站生成HTML靜態(tài)和動(dòng)態(tài)ASP和偽靜態(tài)
<p>整個(gè)系統可以生成靜態(tài)HTML，有效的提高了系統的性能，不僅減輕了服務(wù)器的負載，提高了收錄的搜索率，還提高了網(wǎng)站 查看全部

　　采集內容管理平臺(資深房產(chǎn)經(jīng)紀人如何解決中介方利益相關(guān)的問(wèn)題？)
　　采集內容管理平臺
　　你一直問(wèn)中介方利益相關(guān)的問(wèn)題嗎？我覺(jué)得你們不談價(jià)格，談?wù)劮?wù)模式是比較合理的。另外，我覺(jué)得中介應該有責任告訴客戶(hù)，資金凍結的依據、怎么解凍、解凍后再往外推錢(qián)該怎么辦？如果發(fā)生糾紛，怎么解決，
　　目前正在從事國內房產(chǎn)中介服務(wù)行業(yè)，我簡(jiǎn)單的闡述我的認識和理解。作為一個(gè)經(jīng)紀人你就需要明確，你將要賣(mài)房的房產(chǎn)優(yōu)缺點(diǎn)以及價(jià)格要求，并且需要用合適的方式去解決。作為一個(gè)資深的房產(chǎn)經(jīng)紀人，還應該有一個(gè)基本價(jià)值觀(guān)，就是說(shuō)不是你想給中介多少錢(qián)，中介就需要給你多少錢(qián)，或者，你直接找中介的房源，中介會(huì )給你安排多少錢(qián)的房源。他要考慮合理的推薦的房源以及適當的對接房東，畢竟賣(mài)房的才是大爺。
　　資金池問(wèn)題
　　目前進(jìn)入市場(chǎng)的中介全是信息混亂的，如果你的房子有價(jià)格和信息優(yōu)勢，可以相互結對子找別的中介做朋友，資金池應該是規避不了的，不過(guò)你說(shuō)的找個(gè)安全可靠的，太多人做了，最終估計就是數量就過(guò)濾了，換一家就是了，對你來(lái)說(shuō)，找到一個(gè)有合適資金安全的平臺，
　　房產(chǎn)中介應該有合理的成本結構，依我來(lái)看，任何推薦、融資都會(huì )有一定的風(fēng)險，就像新加坡globallendingpartners披露的手續費是個(gè)極為大的坑，大部分中介會(huì )主動(dòng)選擇把費用降低到每次交易0.5%-1%，個(gè)別甚至不到每月5%.如果某中介真誠推薦，最多能給你這么少費用，但是如果這中介收高于其他顧問(wèn)的費用，我個(gè)人認為他是能力問(wèn)題或者以后怎么做做好本職工作的問(wèn)題。 查看全部

　　采集內容管理平臺(公開(kāi)網(wǎng)站信息收集整理資料后按照規定的格式將文字錄入系統)
　　信息模板.doc(133.5 K)
　　我們公司需要做一個(gè)“數據采集管理系統”。就是從一些公開(kāi)的網(wǎng)站信息中采集、整理數據，然后按照規定的格式將文本輸入到系統中，以便系統進(jìn)行事后統計、分析、整理和分類(lèi)。
　　一、系統的組成結構為：WEB瀏覽器客戶(hù)端，由表示層、業(yè)務(wù)層、數據層等組成的中間層，以及數據庫服務(wù)器。
　　二、系統的功能有：
　　1、系統管理
　　包括系統運行前必須設置的基本信息和系統用戶(hù)賬號的統一管理?；A信息是整個(gè)系統的基本元數據，是系統完整運行的前提。用戶(hù)賬號與人員信息相關(guān)聯(lián)，人員信息是所有使用系統的人員的身份識別信息，用戶(hù)對系統的訪(fǎng)問(wèn)由賬號管理控制。
　　具體內容包括：組織管理、員工管理、權限管理、操作賬號管理、操作日志管理
　　2、數據采集管理
　　管理數據分類(lèi)設置，組織輸入數據并提供基本查詢(xún)功能。
　　3、數據查詢(xún)管理
　　根據數據的各個(gè)關(guān)鍵字段，查詢(xún)復雜的組合條件。
　　4、數據統計管理
　　按條件統計采集數據的相關(guān)指標。
　　三、要求：
　　1、系統基于INTERNET標準協(xié)議，可在廣域網(wǎng)條件下工作。
　　2、系統采用企業(yè)級應用服務(wù)器平臺，可實(shí)現多服務(wù)器負載均衡、多數據庫連接等擴展，保證數據處理能力的擴展。
　　3、系統采用完整的BS結構，維護工作全部在服務(wù)器端進(jìn)行，沒(méi)有客戶(hù)端調試、維護等工作。大大減輕系統管理員的工作量。
　　4、系統各項操作功能風(fēng)格一致，形象直觀(guān)，簡(jiǎn)單易懂，一般用戶(hù)使用方便。
　　5、當數據被輸入、修改或刪除時(shí)，系統會(huì )自動(dòng)檢查和處理相關(guān)數據，并提示用戶(hù)提供相關(guān)信息，以保證數據的完整性和一致性。
　　6、系統架構應該能夠保證數據庫的安全，避免信息被不當刪除。
　　具體信息模板見(jiàn)附件。
　　親愛(ài)的同學(xué)們，如果您有興趣并且能夠完成這項工作，您可以給我報價(jià)（在網(wǎng)站上短我）。有經(jīng)驗者優(yōu)先。謝謝！ 查看全部

　　采集內容管理平臺(dsp內容管理平臺怎么做？采集數據服務(wù)商怎么操作)
　　采集內容管理平臺包括兩部分：采集數據服務(wù)商（如百度，esp等）與采集人員。我知道怎么操作，但以我已有的專(zhuān)業(yè)知識，我猜測您說(shuō)的這種采集平臺，應該只能采集公開(kāi)免費的資源，因為采集這些外鏈，或內容管理平臺就是做社交化推廣（也是做網(wǎng)站推廣），如果采集的是正式或灰色內容，
　　你可以學(xué)學(xué)麥客在線(xiàn)，采集進(jìn)來(lái)的內容操作都是用麥客在線(xiàn)的，
　　麥客是常用工具中的一種，采集的時(shí)候需要針對內容有所選擇，僅需要采集發(fā)表過(guò)的內容即可。
　　采集引擎可能知道采集哪個(gè)頁(yè)面，
　　百度、搜狗、360、谷歌就算了?？纯幢镜氐膁sp內容管理平臺吧。不過(guò)最近回答這類(lèi)問(wèn)題比較多，更推薦自己用的內容管理平臺-中搜內容管理平臺不僅可以采集也可以實(shí)現文章自動(dòng)分類(lèi)整理、文章的更新計劃，實(shí)現電子郵件的自動(dòng)發(fā)送，用戶(hù)群的自動(dòng)定位，過(guò)程管理等多重功能。
　　百度蜘蛛挖了半天就得到一個(gè)頁(yè)面，
　　現在的采集平臺的數據抓取部分有備份的，你得想辦法切掉源代碼。
　　采集時(shí)可能會(huì )留下某些鏈接，不存在絕對的安全可靠，這個(gè)還是看采集平臺的策略。我目前知道的有麥客、鳥(niǎo)采。
　　原來(lái)市面上有三個(gè)內容采集工具，采集效率，技術(shù)成熟度都不是很好，很容易爬很多頁(yè)面，這也是三個(gè)內容抓取工具的用戶(hù)群的原因。鳥(niǎo)采自動(dòng)采集，免費版就能采到99%的網(wǎng)站，價(jià)格也不貴，但平均下來(lái)每天要50元錢(qián)，好像不能登錄/發(fā)送郵件。eoson全自動(dòng)采集，可以采到99%以上的網(wǎng)站，貴一點(diǎn)但能上網(wǎng)站首頁(yè)，便宜又操作簡(jiǎn)單。
　　百度云內容采集，可以說(shuō)是良心中的良心，免費，無(wú)廣告，一鍵登錄/發(fā)送郵件就好。很多網(wǎng)站的內容都能很方便的采集到。 查看全部

　　采集內容管理平臺(高等職業(yè)院校人才培養工作狀態(tài)數據采集與管理平臺V2.16a001操作指南)
　　高職人才培養工作狀態(tài)資料采集及管理平臺V2.16a001操作指南一、總體流程2二、初始設置21.管理員登錄。22.系統設置 33.導入初始數據。3(1）選擇導入方式。4(2）讀入文件。5(3）導入數據。5(4）查看數據。6(5）生成數據中心.64、權限設置.7三、用戶(hù)登錄8四、網(wǎng)絡(luò )布局9五、系統設置（由狀態(tài)數據負責人操作）101.@ &gt;權限設置.102.工作分配.10(1）設置審核人/采集人員.11(2）添加負責人11(3）設置權限. 12 (4）批量設置采集 人員/審閱者。13(5）發(fā)布工作通知。143.工作統計。154.狀態(tài)設置.155.重置密碼.166.查看操作日志.16&lt; @7、數據源匹配檢測178、指標與數據項關(guān)聯(lián)檢測179.數據上報1810、工作統計2011、數據備份2211.1、備份平臺數據庫2211.2、導出標準版本22六、日常管理231、添加數據242、編輯數據263、審核數據27 4.單表導入28一、總體流程二、初始化設置管理員登錄-系統設置-導入初始化數據-權限設置-設置狀態(tài)數據管理員登錄負責人。打開(kāi)登錄頁(yè)面登錄，輸入9999，初始密碼為1。右上角有修改密碼按鈕，可以先修改密碼！登錄系統設置后。
　　單擊主頁(yè)上的系統設置。導入初始數據。有四種導入初始數據。首先是導入2015標準版。主要針對首次使用網(wǎng)絡(luò )版的高校，從診改網(wǎng)站下載15年標準版數據并導入。本次導入只能導入15年的靜態(tài)數據，其他每年都變的數據不會(huì )導入。二是導入2016標準版。主要針對已經(jīng)在使用標準版采集的學(xué)校，這種導入方式可以導入2016標準版中的所有數據。三是提取數據。主要針對已經(jīng)在使用CRP系統的高校，無(wú)需人工采集提取各個(gè)系統的數據。第四，復制數據。主要針對去年用過(guò)網(wǎng)絡(luò )版的機構，去年的數據庫還在同一臺服務(wù)器上。抄數據其實(shí)就是抄2015年網(wǎng)絡(luò )版的數據和2015年的工作分布，只是表有很大的變化，比如四類(lèi)教師的教學(xué)情況。（只能復制審核通過(guò)的數據）如果2015網(wǎng)絡(luò )版數據庫中沒(méi)有服務(wù)器，請根據學(xué)校情況選擇第一個(gè)或第二個(gè)選項導入數據。由于導入方式相同，這里以導入2015標準版為例。選擇導入方法。點(diǎn)擊導入2015標準版，因為是第一次導入，所以只有清除數據的選項。單擊完成進(jìn)入下一步。讀入文件。選擇要導入的文件，然后單擊上傳進(jìn)入下一步。導入數據。單擊導入數據按鈕以導入數據。
　　檢查數據。單擊檢查數據以檢查數據格式。如果數據有錯誤，請點(diǎn)擊下載錯誤信息，然后根據錯誤信息打開(kāi)標準版，找到錯誤的單元格，進(jìn)行修改。修改后需要重新讀取文件才能導入數據。生成數據中心。點(diǎn)擊 Generate Data 中的按鈕，完成數據導入。4、權限設置。權限設置主要針對學(xué)校領(lǐng)導和一些需要特殊權限的老師。其他 采集 或被審核教師的權限在作業(yè)中設置。管理員設置狀態(tài)數據所有者。點(diǎn)擊添加按鈕，依次勾選權限，點(diǎn)擊保存完成添加（以后權限設置，采集設置的操作 在登錄頁(yè)面輸入正確的卡號和密碼后，點(diǎn)擊“登錄”按鈕進(jìn)入狀態(tài)數據采集管理平臺（網(wǎng)絡(luò )版）。四、網(wǎng)絡(luò )版布局當用戶(hù)進(jìn)入狀態(tài)時(shí)data采集平臺（在線(xiàn)版）“狀態(tài)數據目錄”界面。網(wǎng)絡(luò )版平臺的版面設計參考“標準版”的版面方式，分為菜單區和工作內容區，以減少用戶(hù)的不適感。
　　工作分配是對整個(gè)數據采集工作的合理安排。分為兩個(gè)階段：數據源表采集及其數據表采集，必須先完成源表的數據采集才能進(jìn)入下一階段。（比如7.1.1個(gè)專(zhuān)業(yè)表不采集好，那么后面會(huì )涉及到專(zhuān)業(yè)表，可能會(huì )出現無(wú)法選擇專(zhuān)業(yè)的情況。）設置審稿人/采集人。點(diǎn)擊管理頁(yè)面工作表記錄行“數據表負責人”欄的“設置”按鈕，打開(kāi)分配新工作負責人管理窗口（2）添加負責人點(diǎn)擊“添加人員負責” 按鈕打開(kāi)分配新負責人的管理窗口?？梢詮摹安块T(mén)”下拉框中選擇部門(mén)查找要分配的用戶(hù)，也可以直接在“部門(mén)”下拉框中輸入要分配的用戶(hù)的姓名/卡號在“姓名/卡號”輸入框找到它，然后勾選用戶(hù)記錄，點(diǎn)擊“添加”按鈕選擇用戶(hù)，然后點(diǎn)擊“保存”按鈕完成分配。如果單擊“刪除負責人”按鈕，當前負責人權限將被刪除。同理，采集表數據負責人的分配方法參考上述說(shuō)明，只需點(diǎn)擊“數據表采集人”欄的“設置”按鈕進(jìn)行設置即可。
　　操作步驟與設置reviewer 相同。（4）批量設置采集人員/審批人。點(diǎn)擊批量設置按鈕，依次選擇人員和負責人資料表，點(diǎn)擊保存完成設置。批量刪除功能，操作步驟為類(lèi)似。（5）發(fā)布工作通知。所有工作表都分配好工作計劃后，輸入“工作要求”和“完成時(shí)間”，點(diǎn)擊“發(fā)布工作通知”按鈕，完成發(fā)布工作工作通知。發(fā)布后，采集人登錄系統時(shí)會(huì )自動(dòng)彈出工作任務(wù)提示。注意：“采集其他數據表工作”和“&lt; @采集 數據源表的工作”類(lèi)似。&lt; @3.工作統計。發(fā)布 工作后，您可以在此處查看采集工作的進(jìn)度。4.狀態(tài)設置。該功能可以設置用戶(hù)是否允許采集或更改數據。（1）管理員點(diǎn)擊首頁(yè)“菜單區”的“系統設置”欄，點(diǎn)擊左側菜單“一、系統設置”下的“狀態(tài)設置”選項，打開(kāi)狀態(tài)設置管理頁(yè)面。
　　稍后在補充說(shuō)明中說(shuō)明原因，點(diǎn)擊“保存...說(shuō)明”按鈕完成。9.數據上報 數據上報提供給用戶(hù)采集平臺中的狀態(tài)數據上報到教育部云數據中心。（1）管理員點(diǎn)擊首頁(yè)“菜單區”中的“系統設置”一欄，然后點(diǎn)擊左側菜單“四、數據點(diǎn)擊“報告”下的“報告數據”選項打開(kāi)上報狀態(tài)數據管理頁(yè)面，然后點(diǎn)擊右側頁(yè)面的“數據上報”按鈕，打開(kāi)上報登錄頁(yè)面。數據上報 數據上報給用戶(hù)采集平臺內的狀態(tài)數據上報教育部云數據中心。（1）管理員點(diǎn)擊首頁(yè)“菜單區”中的“系統設置”一欄，然后點(diǎn)擊左側菜單“四、數據點(diǎn)擊“報告”下的“報告數據”選項打開(kāi)上報狀態(tài)數據管理頁(yè)面，然后點(diǎn)擊右側頁(yè)面的“數據上報”按鈕，打開(kāi)上報登錄頁(yè)面。數據上報 數據上報給用戶(hù)采集平臺內的狀態(tài)數據上報教育部云數據中心。（1）管理員點(diǎn)擊首頁(yè)“菜單區”中的“系統設置”一欄，然后點(diǎn)擊左側菜單“四、數據點(diǎn)擊“報告”下的“報告數據”選項打開(kāi)上報狀態(tài)數據管理頁(yè)面，然后點(diǎn)擊右側頁(yè)面的“數據上報”按鈕，打開(kāi)上報登錄頁(yè)面。
　　注意：頁(yè)面打開(kāi)可能需要一段時(shí)間（因為此時(shí)將生成案例研究的摘要數據），請稍候。(2）填寫(xiě)機構代碼、密碼（登錄云中心的密碼）和驗證碼，點(diǎn)擊“登錄”按鈕開(kāi)始進(jìn)入上報數據管理頁(yè)面。(3） “數據生成”將系統生成采集的狀態(tài)數據作為報告數據。選擇“年份”和“學(xué)校名稱(chēng)”后，點(diǎn)擊“生成”按鈕生成數據。（4）@ &gt; “數據上報”是將生成的數據上報到云端的“高職數據中心”，用戶(hù)可以點(diǎn)擊“上報”按鈕完成上報。注意：（1）上報時(shí)，系統不應還有 ” 系統會(huì )自動(dòng)將任務(wù)變?yōu)椤斑M(jìn)行中”狀態(tài)；當用戶(hù)完成data采集任務(wù)后，需要進(jìn)入該頁(yè)面點(diǎn)擊“操作”欄中的“完成”按鈕完成任務(wù)，任務(wù)變?yōu)椤巴瓿伞睜顟B(tài)；如果用戶(hù)任務(wù)到期前未完成任務(wù)，系統會(huì )自動(dòng)變?yōu)椤拔赐瓿伞睜顟B(tài)。
　　右上角按鈕，備份平臺數據庫。11.2、導出標準版說(shuō)明：如果需要將數據導出到標準版，必須先上報數據，然后登錄“中國職業(yè)教育評估”網(wǎng)站，操作在《高職院校人才培養工作狀況數據采集及管理平臺》中。日常管理包括：（1）按“工作分配”劃分，采集我負責的狀態(tài)數據；（2）默認用戶(hù)采集由系統自動(dòng)分配的狀態(tài)數據）系統（如專(zhuān)職教師，默認可以是2）默認用戶(hù)采集@采集6.表1狀態(tài)數據）。（3）數據管理員審核提交的狀態(tài)數據。注意：當用戶(hù)填寫(xiě)不在權限范圍內的狀態(tài)數據時(shí)，系統會(huì )自動(dòng)提示告知。第一步：登錄系統。使用瀏覽器訪(fǎng)問(wèn)平臺網(wǎng)站。然后輸入卡號和密碼，點(diǎn)擊“登錄”按鈕進(jìn)入狀態(tài)數據采集和管理平臺。第 2 步：管理數據。
　　勾選要編輯的記錄后，點(diǎn)擊“編輯”按鈕，打開(kāi)修改管理頁(yè)面。(2）更正相應內容后，點(diǎn)擊“保存”按鈕完成。注意：(1）如果用戶(hù)需要刪除一條記錄，可以先查看該記錄，然后點(diǎn)擊“刪除”按鈕刪除已經(jīng)過(guò)采集的狀態(tài)數據。（2）已經(jīng)審核“通過(guò)”的記錄不允許刪除。3、審核數據（1）勾選需要審核的記錄后，點(diǎn)擊“審核”按鈕，打開(kāi)審核記錄管理窗口。（2）選擇“審核結果”并填寫(xiě)“審核備注”，然后點(diǎn)擊“保存”按鈕完成。4.單一表單導入。(&lt; @1）點(diǎn)擊導入按鈕，進(jìn)入單表導入頁(yè)面。（2）點(diǎn)擊右上角下載導入的模板，將數據填入模板，導入即可。注意：?jiǎn)伪韺肟蛇x擇清空數據導入或添加數據。模板中有很多表，但是點(diǎn)擊從哪個(gè)表導入，只能導入該表的數據，其他表不會(huì )導入。選擇清空模式導入只會(huì )清空該表。如果是擔心，請備份數據并操作。模板中有很多表，但是點(diǎn)擊從哪個(gè)表導入，只能導入該表的數據，其他表不會(huì )導入。選擇清除模式導入只會(huì )清除表格。如果您擔心，請備份數據并操作。模板中有很多表，但是點(diǎn)擊從哪個(gè)表導入，只能導入該表的數據，其他表不會(huì )導入。選擇清除模式導入只會(huì )清除表格。如果您擔心，請備份數據并操作。 查看全部

　　采集內容管理平臺(采集內容管理平臺在管理多種文件類(lèi)型數據庫有極大方便)
　　采集內容管理平臺在管理多種文件類(lèi)型數據庫有極大方便。例如在文章的編輯狀態(tài)時(shí)保存為數據庫；當查詢(xún)操作時(shí)保存為excel、表格等形式；當系統運行時(shí)保存為csv、html、json等格式...可以輕松方便管理數據庫、圖片圖形、多媒體文件、相冊視頻、郵件文檔、表格文檔、pdf文檔、網(wǎng)頁(yè)文檔等。采集管理平臺最主要的就是增加了多源數據的自動(dòng)篩選，比如想抓取php源文件，那我們直接上傳php文件，平臺自動(dòng)篩選出源文件；想抓取ruby源文件，那我們直接下載ruby源文件，平臺自動(dòng)篩選出ruby源文件；想抓取java源文件，那我們直接將java源文件下載下來(lái)，平臺自動(dòng)篩選出java源文件；再想抓取excel源文件，那我們下載excel源文件，平臺自動(dòng)篩選出excel源文件；下載其他網(wǎng)頁(yè)源文件，那我們下載其他網(wǎng)頁(yè)源文件..這樣，提高了數據統計的效率。
　　采集內容管理平臺是以“采集引擎”為核心，對海量數據進(jìn)行采集后處理，進(jìn)而實(shí)現“對重要數據實(shí)現強控制”的數據管理，實(shí)現對海量數據的采集與管理。采集內容管理平臺不僅可以支持單一“采集引擎”，也可以實(shí)現多個(gè)采集引擎的通力合作。
　　目前主流的采集系統都有的缺點(diǎn)：不支持異地采集、只支持本地訪(fǎng)問(wèn)本地采集（尤其是地區采集， 查看全部

　　采集內容管理平臺(應用場(chǎng)景應用行業(yè)領(lǐng)域不限，場(chǎng)景集中在企業(yè)或機構)
　　概述
　　集嘉通達信息資源整合平臺（以下簡(jiǎn)稱(chēng)信息資源整合平臺）是基于非結構化文檔管理的大型智能內容管理系統。發(fā)布的解決方案可以同時(shí)管理文本、圖片、多媒體等信息，并提供全文檢索服務(wù)。它是一個(gè)內容管理、發(fā)布和增值利用的平臺。是各類(lèi)機構建設數字圖書(shū)館、文獻信息系統、開(kāi)發(fā)信息的平臺。服務(wù)的理想平臺。
　　功能和特點(diǎn)
　　集嘉通達信息資源集成平臺由管理子系統、數據采集子系統、資源數據展示系統三部分組成。
　　1、管理子系統實(shí)現了添加、修改、刪除、發(fā)布資源的一整套流程功能；
　　2、data采集子系統實(shí)現參與單位數據的批量采集和數據過(guò)濾功能；
　　3、資源數據展示系統實(shí)現資源統一檢索、資源數據多樣化展示、資源在線(xiàn)瀏覽、資源下載等，同時(shí)對資源和訪(fǎng)問(wèn)量進(jìn)行分析，形成報表。
　　集嘉通達信息資源整合平臺具有以下五個(gè)功能特點(diǎn)：
　　1、資源全覆蓋，可以整合整合各種形式的信息資源，格式不限，如文字、圖片、多媒體等格式的信息；
　　2、檢索方便，平臺上，一鍵檢索可以找到精準的信息資源；
　　3、檢索速度快，利用大數據檢索技術(shù)可實(shí)現1s內數據檢索；
　　4、應用方式多樣，系統提供關(guān)鍵詞搜索、全文搜索、高級搜索、跨庫搜索、在線(xiàn)瀏覽、資源智能關(guān)聯(lián)、熱搜詞推薦等功能;
　　5、靈活的資源庫和資源配置，更易于擴展和維護。
　　適用對象及案例
　　適用對象一：政府機關(guān)、科研院所等機構、學(xué)校、圖書(shū)館及事業(yè)單位；
　　適用對象二：某一領(lǐng)域的平臺型、服務(wù)型企業(yè)或機構；
　　適用對象三：其他有信息資源整合和信息資源檢索需求的企事業(yè)單位。
　　應用案例：北京體育大學(xué)、北京盲文圖書(shū)館、中國船舶重工集團公司第714研究所、長(cháng)春航空航天大學(xué)、西南大學(xué)。
　　應用場(chǎng)景
　　信息資源整合平臺的應用行業(yè)不受限制，場(chǎng)景主要集中在企業(yè)和行業(yè)的信息整合和信息檢索，包括但不限于以下場(chǎng)景。
　　場(chǎng)景一：建設學(xué)校圖書(shū)館信息資源整合平臺
　　學(xué)校圖書(shū)館藏書(shū)、文獻、期刊種類(lèi)繁多，數量龐大，形式多樣，包括電子書(shū)和實(shí)體書(shū)。同時(shí)，在平臺的使用中，也有很多功能需求，一般包括增加書(shū)籍、修改書(shū)籍、刪除書(shū)籍、統計書(shū)籍等；找書(shū)、借書(shū)、還書(shū)、借書(shū)統計；申請讀卡、刪除讀卡、修改讀卡；添加管理員、修改管理員信息、刪除管理員等。
　　集家通達信息資源整合平臺可同時(shí)管理文字、圖片、多媒體等信息，提供全文檢索服務(wù)。系統按照標準規范構建，具有多種檢索方式。它是用于內容管理、發(fā)布和增值利用的信息資源。綜合平臺。
　　場(chǎng)景二：行業(yè)平臺建設——CNKI、學(xué)信、錢(qián)途等
　　行業(yè)信息資源的整合利用變得越來(lái)越有價(jià)值。各行各業(yè)都有自己的行業(yè)信息資源整合平臺，如學(xué)術(shù)文獻領(lǐng)域的CNKI、學(xué)歷證書(shū)領(lǐng)域的學(xué)信、設計與辦公領(lǐng)域的千圖等。行業(yè)平臺整合行業(yè)資源，形成資源門(mén)戶(hù)網(wǎng)站，從而獲取客戶(hù)，為客戶(hù)提供統一的一、快速精準的資源搜索和下載服務(wù)。
　　價(jià)值
　　5.1 整合企事業(yè)單位內部信息，加強部門(mén)間信息交流
　　大型企事業(yè)單位，部門(mén)多，容易出現“信息孤島”現象。部門(mén)之間的信息無(wú)法相互溝通。有多個(gè)接口采集，重復輸入，重復工作，導致信息缺乏一致性。即使部門(mén)之間有共享機制，操作也可能缺乏及時(shí)性和便利性，導致部門(mén)間信息利用率低，效率低，影響業(yè)務(wù)的順利開(kāi)展。
　　集嘉信息資源整合平臺可以整合各部門(mén)的數據信息，不限制數據格式，如文字、圖片、多媒體等。平臺提供多種檢索方式，1s可實(shí)現數據檢索，檢索結果快速、簡(jiǎn)便、準確，提高部門(mén)工作效率。
　　5.2 企業(yè)或機構信息整合提升外部客戶(hù)服務(wù)質(zhì)量
　　擁有龐大客戶(hù)群的企業(yè)或機構，每天可能有大量客戶(hù)在自己的平臺上進(jìn)行信息檢索服務(wù)，這對平臺-系統安全要求、建設標準和規范要求、信息資源處理要求等提出了很高的要求。 ，信息檢索和呈現的要求。
　　集嘉信息資源集成平臺具有優(yōu)秀的系統安全措施建設、信息資源標準規范建設（模板管理、用戶(hù)分級管理等）、科學(xué)的數據處理建設、各種檢索和信息展示的功能應用，如關(guān)鍵詞搜索、全文搜索、高級搜索、跨庫搜索、在線(xiàn)瀏覽、熱搜詞推薦等，為客戶(hù)提供快速、準確、便捷的搜索體驗。
　　5.3 科研、高校單位整合本領(lǐng)域信息，提升科研水平
　　有科研項目的企事業(yè)單位，或擁有龐大信息資源的單位或機構，如科研院所、高校等，信息使用者可以通過(guò)信息資源整合平臺直接、快捷、方便地檢索和提取自己的信息. 所需的信息可以大大提高效率。 查看全部

　　采集內容管理平臺(采集內容管理平臺，如何接入采集功能？(一))
　　采集內容管理平臺，可以根據類(lèi)型收集各類(lèi)數據，簡(jiǎn)單易用，操作靈活，可自定義語(yǔ)言和數據庫管理后臺等。如何接入采集功能1.加群，聯(lián)系助理，注明采集內容管理平臺（有專(zhuān)門(mén)的qq群，可加入或私聊助理）2.在公眾號內編輯，內容及注意事項：2.1推薦文章，（推薦的文章內容須是公眾號本身定位相關(guān)的，若某篇文章為廣告軟文，請勿推薦）2.2優(yōu)質(zhì)文章，（含自定義語(yǔ)言?xún)热莸奈恼拢?.3自動(dòng)發(fā)布內容，（可以使用采集工具，如：xml工具等）2.4.點(diǎn)擊接收，輸入接收地址即可發(fā)送到采集平臺，無(wú)需加群。
　　2.5.登錄采集后臺，并設置好采集內容類(lèi)型等，2.6.填寫(xiě)電話(huà)號碼及個(gè)人身份信息后，手機驗證方可使用接收功能3.關(guān)注采集微信號后（公眾號、個(gè)人號均可），點(diǎn)擊接收原文鏈接(需采集文章后臺設置為公眾號推薦)，可以自定義輸入語(yǔ)言，并對該文章進(jìn)行點(diǎn)擊搜索，只要符合條件，即可直接搜索，不需要另外下載采集工具（搜狗或iis等）。
　　4.請用手機號注冊，安卓的需要注冊，請配置手機號綁定登錄。接收平臺自動(dòng)發(fā)送到你微信號的接收地址5.請專(zhuān)注于采集，禁止添加諸如學(xué)習、交流、交友等功能，接收平臺發(fā)送文章，一經(jīng)審核，拒絕接收。接收地址：.網(wǎng)站采集接收更方便，但需要注冊帳號，默認為網(wǎng)站鏈接。安卓的可以對接手機號，ios的可以對接手機號驗證?？梢蕴D中文全文閱讀，但全文不支持接收文字。信息安全方面，xml采集工具防止偽造是我們的主要優(yōu)勢。 查看全部

　　采集內容管理平臺(odoo1.5.0revision1.2版本新增功能介紹及注意事項)
　　采集內容管理平臺在實(shí)際項目中主要提供：采集數據，批量生成分析報表，建立數據庫操作環(huán)境：windows/linux效果展示：采集本地數據：采集公眾號文章的url地址需要完整源碼的小伙伴，可以去公眾號下載獲取完整源碼還有其他好玩的干貨文章，
　　可以使用odoo數據庫系統哦，odoo1.5.0revision1.2版本新增功能已經(jīng)跟上了，對采集用戶(hù)的限制也很小~準確的說(shuō)，是odoo使用hadoop從mysql讀取數據。使用建議可以看看1.5.0中的新功能，通過(guò)使用url鏈接可以快速查看和更新采集到的結果，有更豐富的查詢(xún)形式。相關(guān)推薦odoo建模|odoo發(fā)布20000條數據告訴你哪些數據采集是穩妥的隨時(shí)隨地開(kāi)啟數據采集看得見(jiàn)，也得到！。
　　采集本地數據：你可以在你想采集的地方粘貼鏈接，
　　1.2版本添加了url獲取功能，以上一段截圖僅供參考，采集對象需要修改后才能繼續使用。以下截圖截至20180725處：獲取完整采集數據的步驟：1.采集url和參數2.修改配置信息3.參數上傳、修改4.fileformat轉換配置信息5.上傳圖片至服務(wù)器注意：1.關(guān)于采集url：在odoo官網(wǎng)上下載最新版本，在firefox瀏覽器中打開(kāi)，或手機瀏覽器打開(kāi)。
　　2.采集頁(yè)面：在provider中選擇登錄賬號和密碼，然后將頁(yè)面的url傳遞到服務(wù)器中。特別說(shuō)明：odoo1.3版本已經(jīng)新增了url寫(xiě)入數據庫功能，但是各位可能還是會(huì )提示在配置頁(yè)面中顯示采集出錯的提示，這個(gè)時(shí)候可以嘗試改變provider的url獲取方式，將url導入數據庫中，這樣就不會(huì )顯示數據庫中的url了。 查看全部

　　采集內容管理平臺(Oracle模塊劃分總結一下（二）：數據采集、規則解析)
　　模塊劃分
　　
　　綜上所述，平臺主要由以上四個(gè)模塊組成：數據采集、規則分析、系統管理、結果展示。后面會(huì )詳細介紹不同模塊的實(shí)現。
　　5、數據采集
　　采集內容
　　
　　我們先來(lái)看看 data采集 模塊。從表中可以看出，兩種數據庫的采集的內容是不同的。
　　Oracle提供了豐富的資料，基本上需要的都可以采集；MySQL函數信息相對較少，可以采集。
　　表中的“復選標記+星號”表示非計劃作業(yè)已完成，但稍后會(huì )實(shí)時(shí)檢索。下面對各部分的采集內容進(jìn)行簡(jiǎn)要說(shuō)明。
　　這些信息將作為后續審核的基礎。
　　采集原理
　　
　　下面簡(jiǎn)單介紹一下采集的原理和原理：
　　6、規則分析
　　概述
　　下面介紹整個(gè)系統的核心部分——規則解析模塊。它的作用是根據定義的規則對采集的數據進(jìn)行審核，過(guò)濾掉違反規則的數據。對過(guò)濾后的數據進(jìn)行評分和記錄，以供后續生成審計報告。同時(shí)，還會(huì )記錄一些額外的信息，以輔助一些判斷工作。
　　這里有一個(gè)核心概念——“規則”。后面可以看到內置規則的定義，大家會(huì )比較清楚。從分類(lèi)上來(lái)看，大致可以分為以下幾類(lèi)。
　　規則定義
　　
　　這是規則體的聲明對象。我將解釋每個(gè)字段的含義，以便大家對規則有一個(gè)清晰的認識。
　　規則定義（對象級別）
　　
　　我們先來(lái)看第一類(lèi)規則——對象規則。這是一組針對數據庫對象設置的規則。上表顯示了一些示例。常見(jiàn)的對象，如表、分區、索引、字段、函數、存儲過(guò)程、觸發(fā)器、約束、序列等，都是審計對象。以表格為例，內置了很多規則。
　　例如：第一個(gè)“大表太多”。表示數據庫中的大表數量超過(guò)了規則定義的閾值。這里的大表是由規則的輸入參數決定的。參數包括表記錄數和表的物理大小。該規則的總體描述是“數據庫中超過(guò)指定大小的表數或指定記錄數超過(guò)指定閾值，觸發(fā)審計規則”。其他對象的規則類(lèi)似。
　　規則實(shí)現（對象級別）
　　
　　對象規則的實(shí)現部分比較簡(jiǎn)單。除個(gè)別規則外，基本都是查詢(xún)數據字典信息，然后根據規則的定義進(jìn)行判斷。上面的例子是一個(gè)索引的規則實(shí)現，查詢(xún)數據字典信息。
　　規則定義（執行計劃級別）
　　
　　第二類(lèi)規則是執行計劃類(lèi)型的規則，也分為幾類(lèi)。比如訪(fǎng)問(wèn)路徑類(lèi)、表間關(guān)聯(lián)類(lèi)、類(lèi)型轉換類(lèi)、綁定變量類(lèi)等。
　　以最常見(jiàn)的訪(fǎng)問(wèn)路徑類(lèi)為例進(jìn)行說(shuō)明。比如最常見(jiàn)的規則“大表掃描”。表示在執行SQL語(yǔ)句時(shí)，對大表進(jìn)行訪(fǎng)問(wèn)，訪(fǎng)問(wèn)路徑為全表掃描的形式。該規則的輸入參數包括大表的定義（物理大小或記錄數）；輸出部分包括表名、表大小和附加信息（包括整個(gè)執行計劃、指定大表的統計信息等）。
　　這些規則所針對的數據源是從在線(xiàn)數據庫中獲取的。Oracle部分是按時(shí)間段直接從AWR中提取出來(lái)的，MySQL部分是通過(guò)explain命令查數據庫得到的。
　　信息存儲格式
　　
　　這里特別說(shuō)明，保存執行計劃時(shí)，使用的是MongoDB等文檔數據庫。目的是利用其無(wú)模式特性，方便兼容不同數據庫和版本的執行計劃差異。都可以存儲在一個(gè)集合中，后續的規則審核也是使用mongo中的查詢(xún)語(yǔ)句來(lái)實(shí)現的。這也是一開(kāi)始引入mongo的初衷，其他類(lèi)型的信息后面會(huì )放到庫中?，F在整個(gè)審計平臺，除了連接pt工具的部分使用MySQL，其余都在MongoDB中。另外，MySQL庫可以直接輸出json格式的執行計劃，存儲非常方便；Oracle部分也形成了json格式的存儲。
　　規則執行（執行計劃）
　　
　　左側是 Oracle 執行計劃在 MongoDB 中的存儲方式。其實(shí)就是將sqlplan字典數據插入到mongo中。右邊是一個(gè)規則實(shí)現的例子，是一個(gè)基于mongo的查詢(xún)語(yǔ)句。稍后我們將看到一個(gè)詳細的示例。
　　7、平臺實(shí)現
　　規則執行
　　
　　這是“大表全表掃描”規則的示例。以上是Oracle中數據字典保存的執行計劃，以下是Mongo中保存的?？梢钥闯鍪峭耆u的。
　　
　　基于這種結構，如何實(shí)現規則過(guò)濾？其實(shí)是通過(guò)mongo中的find語(yǔ)句實(shí)現的。以下是該語(yǔ)句的執行步驟的詳細說(shuō)明。
　　規則執行（執行計劃）
　　這部分是一個(gè)在 MySQL 中實(shí)現分層結果存儲的例子。
　　
　　第一個(gè)圖顯示了原創(chuàng )的執行計劃。
　　
　　第二張圖是代碼實(shí)現的總結。
　　
　　第三張圖片是它實(shí)際保存在庫中的樣子。核心部分是item_level的生成。
　　規則定義（文本級別）
　　
　　第三種規則是基于文本的規則，它是描述 SQL 語(yǔ)句的文本特征的規則，與數據庫類(lèi)型無(wú)關(guān)。在實(shí)現上，通過(guò)常規的文本匹配或程序進(jìn)行處理。其主要目的是規范開(kāi)發(fā)者的 SQL 編寫(xiě)方式，避免復雜、性能差、不規范的 SQL 編寫(xiě)方式。
　　規則實(shí)現（文本級別）
　　
　　本節介紹如何實(shí)現文本規則。第一個(gè)示例 bad_join 是通過(guò)常規文本匹配實(shí)現的簡(jiǎn)單規則。第二個(gè)例子，sub_query，是通過(guò)程序判斷括號的嵌套來(lái)判斷子查詢(xún)（或多級子查詢(xún)）。
　　規則定義（執行功能級別）
　　
　　最后一類(lèi)規則是要素類(lèi)的實(shí)現。這部分與數據庫密切相關(guān)，過(guò)濾掉符合一定執行特征的語(yǔ)句。這些語(yǔ)句不一定是低效的，它們可能只是未來(lái)優(yōu)化的重點(diǎn)，或者是一些優(yōu)化收益最高的語(yǔ)句。主要有一些資源消耗等等。
　　8、系統管理
　　規則管理
　　
　　后來(lái)通過(guò)一些界面展示，介紹了平臺的功能。
　　第一部分是系統管理模塊中的規則管理部分。在本節中，您可以完成添加自己的規則。它的核心是規則實(shí)現部分，以SQL語(yǔ)句、Mongo查詢(xún)語(yǔ)句、自定義Python文件的形式定義規則實(shí)現體。自定義規則的基礎是已有的爬取數據源，定義者需要熟悉已有的數據結構和含義。當前不支持自定義爬網(wǎng)數據源。
　　
　　對于已定義的規則，您可以在此處完成規則修改。主要配置規則狀態(tài)、閾值、扣減項。
　　任務(wù)管理
　　
　　規則配置好后，任務(wù)發(fā)布的工作就可以在這里完成了。
　　以上是發(fā)布規則任務(wù)的界面。選擇好數據源（ip、port、schema）后，選擇審計類(lèi)型和審計日期。目前審計數據源的計時(shí)策略仍然是以天為單位，所以不能選擇今天的日期。
　　任務(wù)發(fā)布后，您可以在任務(wù)結果查看界面觀(guān)察執行狀態(tài)。根據審計類(lèi)型、數據源對象的數量和語(yǔ)句的數量，審計的持續時(shí)間是可變的，一般在 5 分鐘內。當審計工作狀態(tài)為“成功”時(shí)，表示審計工作完成，可以查看或導出審計結果。
　　9、結果展示
　　對象審計結果概述
　　
　　上圖是對象審計報告的示例。報告的開(kāi)頭是概覽頁(yè)面。在審計報告中集中展示各項規則和扣減；并通過(guò)餅圖顯示它們的比例。這使我們能夠首先關(guān)注核心問(wèn)題。
　　在頂部，您還可以觀(guān)察到規則總分的顯示。這是按照百分制將規則扣分換算得到的分數。分數越高，違規越少，審計對象的質(zhì)量越高?！耙巹t總分”的引入在設計之初就有些爭議。我擔心有這個(gè)指標會(huì )打擊開(kāi)發(fā)者的積極性，不利于平臺的推廣和使用。這里有幾點(diǎn)可以說(shuō)明。
　　對象審核結果詳細信息
　　
　　這部分是對象審計的詳細部分，對應每條規則的詳細信息，可以在左側的鏈接中進(jìn)一步查看對象信息。由于篇幅限制，這里就不展示了。
　　執行計劃評審結果概覽
　　
　　這部分執行計劃的概覽顯示，類(lèi)似于對象的情況。也是每條規則的扣分。
　　執行計劃審核結果詳情
　　
　　這部分是執行計劃的詳細部分。
　　
　　展開(kāi)后，您可以看到每個(gè)規則違規的細分。上圖是違反全表掃描規則的詳細部分。
　　以上是一些通用的解決方案說(shuō)明。此處描述了可能觸發(fā)此類(lèi)規則的情況和解決方案。相當于一個(gè)小知識庫，方便開(kāi)發(fā)者優(yōu)化。之后在平臺二期，我們會(huì )對引擎部分做更精準的優(yōu)化，并且會(huì )擴充這部分。
　　下面是每條違規語(yǔ)句的狀態(tài)，我們可以看到語(yǔ)句文本、執行計劃、關(guān)聯(lián)信息（比如這條規則的大表名）等，您也可以進(jìn)一步點(diǎn)擊語(yǔ)句展開(kāi)信息。
　　
　　
　　這部分是每條 SQL 的信息，包括語(yǔ)句文本、執行計劃、執行特征和關(guān)聯(lián)的對象統計信息。DBA可以根據這些信息做一些初步的優(yōu)化判斷工作。
　　此外，平臺還提供了導出功能?？梢詫С鰹閑x??cel文件供用戶(hù)下載查看。它顯示在這里。
　　10、我們遇到的坑
　　在實(shí)際開(kāi)發(fā)過(guò)程中，遇到了很多問(wèn)題。我們這里簡(jiǎn)單介紹兩個(gè)，例如：
　　MySQL在解析json格式執行計劃時(shí)暴露的問(wèn)題...
　　【Session進(jìn)入睡眠狀態(tài)，假死】
　　解決方法：在執行會(huì )話(huà)前設置wait_timtout=3，這個(gè)時(shí)間根據實(shí)際情況調整。
　　【數據量太大，很久沒(méi)有結果】
　　session處于查詢(xún)狀態(tài)，但是數據量大或者因為數據庫對format=json的支持不是很好，長(cháng)時(shí)間解析不出來(lái)，會(huì )影響其他session。
　　解決方法：使用 pt-kill 工具終止會(huì )話(huà)。為了防止誤殺，可以標記“eXplAin format=json”，然后使用pt-kill識別eXplAin關(guān)鍵字。
　　11、推進(jìn)進(jìn)程
　　
　　該平臺在宜信運營(yíng)以來(lái)，已經(jīng)為多個(gè)系統提供了審計報告，大大加快了數據庫結構和SQL優(yōu)化的速度，緩解了DBA的日常工作壓力。在工作實(shí)施過(guò)程中，我們也探索了一套實(shí)施方法。平臺開(kāi)源后，如果朋友使用，可以參考實(shí)現。
　　信息采集階段
　　數據庫系統的操作，掌握第一手資料?？焖倭私飧鳂I(yè)務(wù)系統質(zhì)量，做好試點(diǎn)選型工作。
　　人工分析階段
　　關(guān)鍵系統，人工干預分析。針對規則審核中暴露的核心問(wèn)題，“點(diǎn)對面”，有針對性的分析優(yōu)化報告。
　　溝通訓練階段
　　主動(dòng)上門(mén)與開(kāi)發(fā)團隊溝通匯報情況。以分析報告為契機，可以根據需要對開(kāi)發(fā)團隊進(jìn)行培訓，身邊的案例可以更有說(shuō)服力。 查看全部

　　采集內容管理平臺(Oracle模塊劃分總結一下（二）：數據采集、規則解析)
　　模塊劃分
　　
　　綜上所述，平臺主要由以上四個(gè)模塊組成：數據采集、規則分析、系統管理、結果展示。后面會(huì )詳細介紹不同模塊的實(shí)現。
　　5、數據采集
　　采集內容
　　
　　我們先來(lái)看看 data采集 模塊。從表中可以看出，兩種數據庫的采集的內容是不同的。
　　Oracle提供了豐富的資料，基本上需要的都可以采集；MySQL函數信息相對較少，可以采集。
　　表中的“復選標記+星號”表示非計劃作業(yè)已完成，但稍后會(huì )實(shí)時(shí)檢索。下面對各部分的采集內容進(jìn)行簡(jiǎn)要說(shuō)明。
　　這些信息將作為后續審核的基礎。
　　采集原理
　　
　　下面簡(jiǎn)單介紹一下采集的原理和原理：
　　6、規則分析
　　概述
　　下面介紹整個(gè)系統的核心部分——規則解析模塊。它的作用是根據定義的規則對采集的數據進(jìn)行審核，過(guò)濾掉違反規則的數據。對過(guò)濾后的數據進(jìn)行評分和記錄，以供后續生成審計報告。同時(shí)，還會(huì )記錄一些額外的信息，以輔助一些判斷工作。
　　這里有一個(gè)核心概念——“規則”。后面可以看到內置規則的定義，大家會(huì )比較清楚。從分類(lèi)上來(lái)看，大致可以分為以下幾類(lèi)。
　　規則定義
　　
　　這是規則體的聲明對象。我將解釋每個(gè)字段的含義，以便大家對規則有一個(gè)清晰的認識。
　　規則定義（對象級別）
　　
　　我們先來(lái)看第一類(lèi)規則——對象規則。這是一組針對數據庫對象設置的規則。上表顯示了一些示例。常見(jiàn)的對象，如表、分區、索引、字段、函數、存儲過(guò)程、觸發(fā)器、約束、序列等，都是審計對象。以表格為例，內置了很多規則。
　　例如：第一個(gè)“大表太多”。表示數據庫中的大表數量超過(guò)了規則定義的閾值。這里的大表是由規則的輸入參數決定的。參數包括表記錄數和表的物理大小。該規則的總體描述為“數據庫中超過(guò)指定大小的表數或指定記錄數超過(guò)指定閾值，觸發(fā)審計規則”。其他對象的規則類(lèi)似。
　　規則實(shí)現（對象級別）
　　
　　對象規則的實(shí)現部分比較簡(jiǎn)單。除個(gè)別規則外，基本都是查詢(xún)數據字典信息，然后根據規則的定義進(jìn)行判斷。上面的例子是一個(gè)索引的規則實(shí)現，查詢(xún)數據字典信息。
　　規則定義（執行計劃級別）
　　
　　第二類(lèi)規則是執行計劃類(lèi)型的規則，也分為幾類(lèi)。比如訪(fǎng)問(wèn)路徑類(lèi)、表間關(guān)聯(lián)類(lèi)、類(lèi)型轉換類(lèi)、綁定變量類(lèi)等。
　　以最常見(jiàn)的訪(fǎng)問(wèn)路徑類(lèi)為例進(jìn)行說(shuō)明。比如最常見(jiàn)的規則“大表掃描”。表示在執行SQL語(yǔ)句時(shí)，對大表進(jìn)行訪(fǎng)問(wèn)，訪(fǎng)問(wèn)路徑為全表掃描的形式。該規則的輸入參數包括大表的定義（物理大小或記錄數）；輸出部分包括表名、表大小和附加信息（包括整個(gè)執行計劃、指定大表的統計信息等）。
　　這些規則所針對的數據源是從在線(xiàn)數據庫中獲取的。Oracle部分是按時(shí)間段直接從AWR中提取出來(lái)的，MySQL部分是通過(guò)explain命令查數據庫得到的。
　　信息存儲格式
　　
　　這里特別說(shuō)明，保存執行計劃時(shí)，使用的是MongoDB等文檔數據庫。目的是利用其無(wú)模式特性，方便兼容不同數據庫和版本的執行計劃差異。都可以存儲在一個(gè)集合中，后續的規則審核也是使用mongo中的查詢(xún)語(yǔ)句來(lái)實(shí)現的。這也是一開(kāi)始引入mongo的初衷，其他類(lèi)型的信息后面會(huì )放到庫中?，F在整個(gè)審計平臺，除了連接pt工具的部分使用MySQL，其余都在MongoDB中。另外，MySQL庫可以直接輸出json格式的執行計劃，存儲非常方便；Oracle部分也形成了json格式的存儲。
　　規則執行（執行計劃）
　　
　　左側是 Oracle 執行計劃在 MongoDB 中的存儲方式。其實(shí)就是將sqlplan字典數據插入到mongo中。右邊是一個(gè)規則實(shí)現的例子，是一個(gè)基于mongo的查詢(xún)語(yǔ)句。稍后我們將看到一個(gè)詳細的示例。
　　7、平臺實(shí)現
　　規則執行
　　
　　這是“大表全表掃描”規則的示例。以上是Oracle中數據字典保存的執行計劃，以下是Mongo中保存的?？梢钥闯鍪峭耆u的。
　　
　　基于這種結構，如何實(shí)現規則過(guò)濾？其實(shí)是通過(guò)mongo中的find語(yǔ)句實(shí)現的。以下是該語(yǔ)句的執行步驟的詳細說(shuō)明。
　　規則執行（執行計劃）
　　這部分是一個(gè)在 MySQL 中實(shí)現分層結果存儲的例子。
　　
　　第一個(gè)圖顯示了原創(chuàng )的執行計劃。
　　
　　第二張圖是代碼實(shí)現的總結。
　　
　　第三張圖片是它實(shí)際保存在庫中的樣子。核心部分是item_level的生成。
　　規則定義（文本級別）
　　
　　第三種規則是基于文本的規則，它是描述 SQL 語(yǔ)句的文本特征的規則，與數據庫類(lèi)型無(wú)關(guān)。在實(shí)現上，通過(guò)常規的文本匹配或程序進(jìn)行處理。其主要目的是規范開(kāi)發(fā)者的 SQL 編寫(xiě)方式，避免復雜、性能差、不規范的 SQL 編寫(xiě)方式。
　　規則實(shí)現（文本級別）
　　
　　本節介紹如何實(shí)現文本規則。第一個(gè)示例 bad_join 是通過(guò)常規文本匹配實(shí)現的簡(jiǎn)單規則。第二個(gè)例子，sub_query，是通過(guò)程序判斷括號的嵌套來(lái)判斷子查詢(xún)（或多級子查詢(xún)）。
　　規則定義（執行功能級別）
　　
　　最后一類(lèi)規則是要素類(lèi)的實(shí)現。這部分與數據庫密切相關(guān)，過(guò)濾掉符合一定執行特征的語(yǔ)句。這些語(yǔ)句不一定是低效的，它們可能只是未來(lái)優(yōu)化的重點(diǎn)，或者是一些優(yōu)化收益最高的語(yǔ)句。主要有一些資源消耗等等。
　　8、系統管理
　　規則管理
　　
　　后來(lái)通過(guò)一些界面展示，介紹了平臺的功能。
　　第一部分是系統管理模塊中的規則管理部分。在本節中，您可以完成添加自己的規則。它的核心是規則實(shí)現部分，以SQL語(yǔ)句、Mongo查詢(xún)語(yǔ)句、自定義Python文件的形式定義規則實(shí)現體。自定義規則的基礎是已有的爬取數據源，定義者需要熟悉已有的數據結構和含義。當前不支持自定義爬網(wǎng)數據源。
　　
　　對于已定義的規則，您可以在此處完成規則修改。主要配置規則狀態(tài)、閾值、扣減項。
　　任務(wù)管理
　　
　　規則配置好后，任務(wù)發(fā)布的工作就可以在這里完成了。
　　以上是發(fā)布規則任務(wù)的界面。選擇好數據源（ip、port、schema）后，選擇審計類(lèi)型和審計日期。目前審計數據源的計時(shí)策略仍然是以天為單位，所以不能選擇今天的日期。
　　任務(wù)發(fā)布后，您可以在任務(wù)結果查看界面觀(guān)察執行狀態(tài)。根據審計類(lèi)型、數據源對象的數量和語(yǔ)句的數量，審計的持續時(shí)間是可變的，一般在 5 分鐘內。當審計工作狀態(tài)為“成功”時(shí)，表示審計工作完成，可以查看或導出審計結果。
　　9、結果展示
　　對象審計結果概述
　　
　　上圖是對象審計報告的示例。報告的開(kāi)頭是概覽頁(yè)面。在審計報告中集中展示各項規則和扣減；并通過(guò)餅圖顯示它們的比例。這使我們能夠首先關(guān)注核心問(wèn)題。
　　在頂部，您還可以觀(guān)察到規則總分的顯示。這是按照百分制將規則扣分換算得到的分數。分數越高，違規越少，審計對象的質(zhì)量越高?！耙巹t總分”的引入在設計之初是有爭議的，擔心有這個(gè)指標會(huì )打擊開(kāi)發(fā)者的積極性，不利于平臺的推廣和使用。這里有幾點(diǎn)可以說(shuō)明。
　　對象審核結果詳細信息
　　
　　這部分是對象審計的詳細部分，對應每條規則的詳細信息，可以在左側的鏈接中進(jìn)一步查看對象信息。由于篇幅限制，這里就不展示了。
　　執行計劃評審結果概覽
　　
　　這部分執行計劃的概覽顯示，類(lèi)似于對象的情況。也是每條規則的扣分。
　　執行計劃審核結果詳情
　　
　　這部分是執行計劃的詳細部分。
　　
　　展開(kāi)后，您可以看到每個(gè)規則違規的細分。上圖是違反全表掃描規則的詳細部分。
　　以上是一些通用的解決方案說(shuō)明。此處描述了可能觸發(fā)此類(lèi)規則的情況和解決方案。相當于一個(gè)小知識庫，方便開(kāi)發(fā)者優(yōu)化。之后在平臺二期，我們會(huì )對引擎部分做更精準的優(yōu)化，并且會(huì )擴充這部分。
　　下面是每條違規語(yǔ)句的狀態(tài)，我們可以看到語(yǔ)句文本、執行計劃、關(guān)聯(lián)信息（比如這條規則的大表名）等，您也可以進(jìn)一步點(diǎn)擊語(yǔ)句展開(kāi)信息。
　　
　　
　　這部分是每條 SQL 的信息，包括語(yǔ)句文本、執行計劃、執行特征和關(guān)聯(lián)的對象統計信息。DBA可以根據這些信息做一些初步的優(yōu)化判斷工作。
　　此外，平臺還提供了導出功能?？梢詫С鰹閑x??cel文件供用戶(hù)下載查看。它顯示在這里。
　　10、我們遇到的坑
　　在實(shí)際開(kāi)發(fā)過(guò)程中，遇到了很多問(wèn)題。我們這里簡(jiǎn)單介紹兩個(gè)，例如：
　　MySQL在解析json格式執行計劃時(shí)暴露的問(wèn)題...
　　【Session進(jìn)入睡眠狀態(tài)，假死】
　　解決方法：在執行會(huì )話(huà)前設置wait_timtout=3，這個(gè)時(shí)間根據實(shí)際情況調整。
　　【數據量太大，很久沒(méi)有結果】
　　session處于查詢(xún)狀態(tài)，但是數據量大或者因為數據庫對format=json的支持不是很好，長(cháng)時(shí)間解析不出來(lái)，會(huì )影響其他session。
　　解決方法：使用 pt-kill 工具終止會(huì )話(huà)。為了防止誤殺，可以標記“eXplAin format=json”，然后使用pt-kill識別eXplAin關(guān)鍵字。
　　11、推進(jìn)進(jìn)程
　　
　　該平臺在宜信運營(yíng)以來(lái)，已經(jīng)為多個(gè)系統提供了審計報告，大大加快了數據庫結構和SQL優(yōu)化的速度，緩解了DBA的日常工作壓力。在工作實(shí)施過(guò)程中，我們也探索了一套實(shí)施方法。平臺開(kāi)源后，如果朋友使用，可以參考實(shí)現。
　　信息采集階段
　　數據庫系統的操作，掌握第一手資料?？焖倭私飧鳂I(yè)務(wù)系統質(zhì)量，做好試點(diǎn)選型工作。
　　人工分析階段
　　關(guān)鍵系統，人工干預分析。針對規則審核中暴露的核心問(wèn)題，“點(diǎn)對面”，有針對性的分析優(yōu)化報告。
　　溝通訓練階段
　　主動(dòng)上門(mén)與開(kāi)發(fā)團隊溝通匯報情況。借分析報告的機會(huì )，可以對開(kāi)發(fā)團隊進(jìn)行必要的培訓，結合身邊的案例，更有說(shuō)服力。 查看全部

　　采集內容管理平臺(【干貨】Oracle模塊劃分總結（規則解析概要）)
　　模塊劃分
　　綜上所述，平臺主要由以上四個(gè)模塊組成：數據采集、規則分析、系統管理、結果展示。后面會(huì )詳細介紹不同模塊的實(shí)現。
　　五、數據采集
　　采集內容
　　我們先來(lái)看看 data采集 模塊。從表中可以看出，兩種數據庫的采集的內容是不同的。
　　Oracle提供了豐富的信息，基本上所有需要的信息都可以采集獲得；MySQL 函數相對能采集獲取的信息較少。
　　表中的“復選標記+星號”表示非預定作業(yè)已完成，但稍后從圖書(shū)館實(shí)時(shí)檢索。下面對各部分的采集內容進(jìn)行簡(jiǎn)要說(shuō)明。
　　這些信息將作為后續審核的基礎。
　　采集原理
　　下面簡(jiǎn)單介紹一下采集的原理和原理：
　　六、規則分析
　　概述
　　下面介紹整個(gè)系統的核心部分——規則解析模塊。它的作用是根據定義的規則對采集的數據進(jìn)行審核，過(guò)濾掉違反規則的數據。對過(guò)濾后的數據進(jìn)行評分和記錄，以供后續生成審計報告。同時(shí)，還會(huì )記錄一些額外的信息，以輔助一些判斷工作。
　　這里有一個(gè)核心概念——“規則”。后面可以看到內置規則的定義，會(huì )更清楚。從分類(lèi)的角度來(lái)看，大致可以分為以下幾類(lèi)。
　　規則定義
　　這是規則體的聲明對象。我將解釋每個(gè)字段的含義，您也可以對規則有一個(gè)清晰的了解。
　　規則定義（對象級別）
　　我們先來(lái)看第一類(lèi)規則——對象規則。這是一組針對數據庫對象設置的規則。上表顯示了一些示例。常見(jiàn)的對象，如表、分區、索引、字段、函數、存儲過(guò)程、觸發(fā)器、約束、序列等，都是審計對象。以表格為例，內置規則很多。
　　例如：第一個(gè)“大表太多”。表示數據庫中的大表數量超過(guò)了規則定義的閾值。這里的大表是通過(guò)規則的輸入參數來(lái)確認的。參數包括表記錄數和表的物理大小。該規則的一般描述為“數據庫中超過(guò)指定大小的表數或指定記錄數超過(guò)指定閾值，觸發(fā)審計規則”。其他對象的規則類(lèi)似。
　　規則實(shí)現（對象級別）
　　對象規則的實(shí)現部分比較簡(jiǎn)單。除個(gè)別規則外，基本都是查詢(xún)數據字典信息，然后根據規則定義進(jìn)行判斷。上面的例子是一個(gè)索引的規則實(shí)現，查詢(xún)數據字典信息。
　　規則定義（執行計劃級別）
　　第二類(lèi)規則是執行計劃類(lèi)型的規則，也分為幾類(lèi)。比如訪(fǎng)問(wèn)路徑類(lèi)、表間關(guān)聯(lián)類(lèi)、類(lèi)型轉換類(lèi)、綁定變量類(lèi)等。
　　以最常見(jiàn)的訪(fǎng)問(wèn)路徑類(lèi)為例進(jìn)行說(shuō)明。比如最常見(jiàn)的規則“大表掃描”。表示在執行SQL語(yǔ)句時(shí)，對大表進(jìn)行訪(fǎng)問(wèn)，訪(fǎng)問(wèn)路徑為全表掃描的形式。該規則的輸入參數包括大表的定義（物理大小或記錄數）；輸出部分包括表名、表大小和附加信息（包括整個(gè)執行計劃、指定大表的統計信息等）。
　　這些規則所針對的數據源是從在線(xiàn)數據庫中獲取的。Oracle部分是直接從AWR中按時(shí)間段提取出來(lái)的，MySQL部分是通過(guò)explain命令查數據庫得到的。
　　信息存儲格式
　　這里特別說(shuō)明，保存執行計劃時(shí)，使用的是MongoDB等文檔數據庫。目的是利用其無(wú)模式特性，方便兼容不同數據庫和版本的執行計劃差異。都可以存儲在一個(gè)集合中，后續的規則審核也是通過(guò)使用mongo中的查詢(xún)語(yǔ)句來(lái)實(shí)現的。這也是一開(kāi)始引入mongo的初衷，其他類(lèi)型的信息后面會(huì )放到庫中。今天整個(gè)審計平臺，除了連接pt工具的部分，使用MySQL，其余都在MongoDB中。另外，MySQL庫可以直接輸出json格式的執行計劃，存儲非常方便；Oracle部分也形成了json格式的存儲。
　　規則執行（執行計劃）
　　左側是 Oracle 執行計劃在 MongoDB 中的存儲方式。其實(shí)就是將sqlplan字典數據插入到mongo中。右邊是一個(gè)規則實(shí)現的例子，是一個(gè)基于mongo的查詢(xún)語(yǔ)句。稍后我們將看到一個(gè)詳細的示例。
　　七、平臺實(shí)現
　　規則執行
　　這是“大表全表掃描”規則的示例。以上是Oracle中數據字典保存的執行計劃，以下是Mongo中保存的?？梢钥闯鍪峭耆u的。
　　基于這種結構，如何實(shí)現規則過(guò)濾？其實(shí)是通過(guò)mongo中的find語(yǔ)句實(shí)現的。以下是該語(yǔ)句的執行步驟的詳細說(shuō)明。
　　規則執行（執行計劃）
　　這部分是一個(gè)在 MySQL 中實(shí)現分層結果存儲的例子。
　　第一個(gè)圖顯示了原創(chuàng )的執行計劃。
　　第二張圖是代碼實(shí)現的總結。
　　第三張圖片是它實(shí)際保存在庫中的樣子。核心部分是item_level的生成。
　　規則定義（文本級別）
　　第三種規則是基于文本的規則，它是描述 SQL 語(yǔ)句的文本特征的規則，與數據庫類(lèi)型無(wú)關(guān)。在實(shí)現上，通過(guò)常規的文本匹配或程序進(jìn)行處理。其主要目的是規范開(kāi)發(fā)者的 SQL 編寫(xiě)方式，避免復雜、性能差、不規范的 SQL 編寫(xiě)方式。
　　規則實(shí)現（文本級別）
　　本節介紹如何實(shí)現文本規則。第一個(gè)示例 bad_join 是通過(guò)常規文本匹配實(shí)現的簡(jiǎn)單規則。第二個(gè)例子，sub_query，是通過(guò)程序判斷括號的嵌套來(lái)判斷子查詢(xún)（或多級子查詢(xún)）。
　　規則定義（執行功能級別）
　　最后一類(lèi)規則是要素類(lèi)的實(shí)現。這部分與數據庫密切相關(guān)，過(guò)濾掉符合一定執行特征的語(yǔ)句。這些語(yǔ)句不一定是低效的，它們可能只是未來(lái)優(yōu)化的重點(diǎn)，或者是一些優(yōu)化收益最高的語(yǔ)句。這主要是關(guān)于資源的消耗。
　　八、系統管理
　　規則管理
　　在介紹了一些界面之后，介紹了平臺的功能。
　　第一部分是系統管理模塊中的規則管理部分。在本節中，您可以完成添加自己的規則。它的核心是規則實(shí)現部分，以SQL語(yǔ)句、Mongo查詢(xún)語(yǔ)句、自定義Python文件的形式定義規則實(shí)現體。自定義規則的基礎是已有的爬取數據源，定義者需要熟悉已有的數據結構和含義。當前不支持自定義爬網(wǎng)數據源。
　　對于已定義的規則，您可以在此處完成規則修改。主要配置規則狀態(tài)、閾值、扣減項。
　　任務(wù)管理
　　配置好規則后，就可以在這里完成任務(wù)發(fā)布的工作了。
　　以上是發(fā)布規則任務(wù)的界面。選擇好數據源（ip、port、schema）后，選擇審計類(lèi)型和審計日期。目前審計數據源的時(shí)序策略還是以天為單位，所以不能選擇當天的日期。
　　任務(wù)發(fā)布后，您可以在任務(wù)結果查看界面觀(guān)察執行狀態(tài)。根據審計的類(lèi)型、數據源對象的數量和語(yǔ)句的數量，審計持續時(shí)間會(huì )有所不同，通常在 5 分鐘內。當審計工作狀態(tài)為“成功”時(shí)，表示審計工作已完成，可以查看或導出審計結果。
　　九、結果展示
　　對象審計結果概述
　　上圖是對象審計報告的示例。報告的開(kāi)頭是概覽頁(yè)面。在審計報告中集中展示各項規則和扣減；并通過(guò)餅圖顯示它們的比例。這使我們能夠首先關(guān)注核心問(wèn)題。
　　在頂部，還可以觀(guān)察到規則總分的顯示。這是按照百分制將規則扣分換算得到的分數。分數越高，違規越少，審查對象的質(zhì)量越高?！耙巹t總分”的引入在設計之初就有些爭議。我們擔心有這個(gè)指標會(huì )打擊開(kāi)發(fā)者的積極性，不利于平臺的推廣和使用。這里有幾點(diǎn)可以說(shuō)明。
　　對象審核結果詳細信息
　　這部分是對象審計的詳細部分。對應每條規則的詳細狀態(tài)，您可以在左側的鏈接中進(jìn)一步查看對象信息。由于篇幅限制，這里就不展示了。
　　執行計劃評審結果概覽
　　將顯示執行計劃這一部分的概覽，類(lèi)似于主題的狀態(tài)。也是每條規則的扣減狀態(tài)。
　　執行計劃審核結果詳情
　　這部分是執行計劃的詳細部分。
　　展開(kāi)后，您可以看到每個(gè)規則違規的細分。上圖是違反全表掃描規則的詳細部分。
　　以上是一些通用的解決方案說(shuō)明。此處描述了可能觸發(fā)此類(lèi)規則的情況和解決方案。要約一個(gè)小的知識庫，便于開(kāi)發(fā)者優(yōu)化。后期平臺二期會(huì )做更精準的優(yōu)化引擎部分，并擴充這部分。
　　下面是每條違規語(yǔ)句的狀態(tài)，我們可以看到語(yǔ)句文本、執行計劃、關(guān)聯(lián)信息（比如這條規則的大表名）等，也可以進(jìn)一步點(diǎn)擊語(yǔ)句展開(kāi)信息。
　　這部分是每條 SQL 的信息，包括語(yǔ)句文本、執行計劃、執行特征和關(guān)聯(lián)的對象統計信息。DBA 可以根據這些信息做出一些初步的優(yōu)化判斷。
　　此外，平臺還提供了導出功能?？梢詫С鰹閑x??cel文件供用戶(hù)下載查看。它顯示在這里。
　　十、我們遇到的坑
　　在實(shí)際開(kāi)發(fā)過(guò)程中，遇到了很多問(wèn)題。我們這里簡(jiǎn)單介紹兩個(gè)，例如：
　　MySQL在解析json格式執行計劃時(shí)暴露的問(wèn)題...
　　【Session進(jìn)入睡眠狀態(tài)，假死】
　　解決方法：在執行會(huì )話(huà)前設置wait_timtout=3，這個(gè)時(shí)間根據實(shí)際情況調整。
　　【數據量太大，很久沒(méi)有結果】
　　session處于查詢(xún)狀態(tài)，但是數據量很大或者因為數據庫對format=json的支持不是很好，長(cháng)時(shí)間解析不出來(lái)，會(huì )影響其他session。
　　解決方法：使用 pt-kill 工具終止會(huì )話(huà)。為了防止誤殺，可以標記“eXplAin format=json”，然后使用pt-kill識別eXplAin關(guān)鍵字。
　　十一、驅動(dòng)進(jìn)程
　　該平臺在宜信運營(yíng)以來(lái)，已經(jīng)為多個(gè)系統提供了審計報告，大大加快了數據庫結構和SQL優(yōu)化的速度，減輕了DBA的日常工作壓力。在工作實(shí)施過(guò)程中，我們也探索了一套實(shí)施方法。平臺開(kāi)源后，如果朋友使用，可以參考實(shí)現。
　　信息采集階段
　　數據庫系統運行狀況，掌握第一手資料?？焖倭私飧鱾€(gè)業(yè)務(wù)系統的質(zhì)量并進(jìn)行試點(diǎn)選型。
　　人工分析階段
　　關(guān)鍵系統，人工干預分析。針對規則審核中暴露的核心問(wèn)題，“點(diǎn)對面”，有針對性的分析優(yōu)化報告。
　　溝通訓練階段
　　主動(dòng)上門(mén)與開(kāi)發(fā)團隊溝通匯報狀態(tài)。以分析報告為契機，可以對開(kāi)發(fā)團隊進(jìn)行必要的培訓，結合身邊的案例，更有說(shuō)服力。 查看全部

　　采集內容管理平臺(Oracle模塊劃分總結一下（二）：數據采集、規則解析)
　　模塊劃分
　　
　　綜上所述，平臺主要由以上四個(gè)模塊組成：數據采集、規則分析、系統管理、結果展示。后面會(huì )詳細介紹不同模塊的實(shí)現。
　　5、數據采集 采集內容
　　
　　我們先來(lái)看看 data采集 模塊。從表中可以看出，兩種數據庫的采集的內容是不同的。
　　Oracle提供了豐富的資料，基本上需要的都可以采集；MySQL函數信息相對較少，可以采集。
　　表中的“復選標記+星號”表示非計劃作業(yè)已完成，但稍后會(huì )實(shí)時(shí)檢索。下面對各部分的采集內容進(jìn)行簡(jiǎn)要說(shuō)明。
　　這些信息將作為后續審核的基礎。
　　采集原理
　　
　　下面簡(jiǎn)單介紹一下采集的原理和原理：
　　6、規則解析總結說(shuō)明
　　下面介紹整個(gè)系統的核心部分——規則解析模塊。它的作用是根據定義的規則對采集的數據進(jìn)行審核，過(guò)濾掉違反規則的數據。對過(guò)濾后的數據進(jìn)行評分和記錄，以供后續生成審計報告。同時(shí)，還會(huì )記錄一些額外的信息，以輔助一些判斷工作。
　　這里有一個(gè)核心概念——“規則”。后面可以看到內置規則的定義，大家會(huì )比較清楚。從分類(lèi)上來(lái)看，大致可以分為以下幾類(lèi)。
　　規則定義
　　
　　這是規則體的聲明對象。我將解釋每個(gè)字段的含義，以便大家對規則有一個(gè)清晰的認識。
　　規則定義（對象級別）
　　
　　我們先來(lái)看第一類(lèi)規則——對象規則。這是一組針對數據庫對象設置的規則。上表顯示了一些示例。常見(jiàn)的對象，如表、分區、索引、字段、函數、存儲過(guò)程、觸發(fā)器、約束、序列等，都是審計對象。以表格為例，內置了很多規則。
　　例如：第一個(gè)“大表太多”。表示數據庫中的大表數量超過(guò)了規則定義的閾值。這里的大表是由規則的輸入參數決定的。參數包括表記錄數和表的物理大小。該規則的總體描述為“數據庫中超過(guò)指定大小的表數或指定記錄數超過(guò)指定閾值，觸發(fā)審計規則”。其他對象的規則類(lèi)似。
　　規則實(shí)現（對象級別）
　　
　　對象規則的實(shí)現部分比較簡(jiǎn)單。除個(gè)別規則外，基本都是查詢(xún)數據字典信息，然后根據規則的定義進(jìn)行判斷。上面的例子是一個(gè)索引的規則實(shí)現，查詢(xún)數據字典信息。
　　規則定義（執行計劃級別）
　　
　　第二類(lèi)規則是執行計劃類(lèi)型的規則，也分為幾類(lèi)。比如訪(fǎng)問(wèn)路徑類(lèi)、表間關(guān)聯(lián)類(lèi)、類(lèi)型轉換類(lèi)、綁定變量類(lèi)等。
　　以最常見(jiàn)的訪(fǎng)問(wèn)路徑類(lèi)為例進(jìn)行說(shuō)明。比如最常見(jiàn)的規則“大表掃描”。表示在執行SQL語(yǔ)句時(shí)，對大表進(jìn)行訪(fǎng)問(wèn)，訪(fǎng)問(wèn)路徑為全表掃描的形式。該規則的輸入參數包括大表的定義（物理大小或記錄數）；輸出部分包括表名、表大小和附加信息（包括整個(gè)執行計劃、指定大表的統計信息等）。
　　這些規則所針對的數據源是從在線(xiàn)數據庫中獲取的。Oracle部分是按時(shí)間段直接從AWR中提取出來(lái)的，MySQL部分是通過(guò)explain命令查數據庫得到的。
　　信息存儲格式
　　
　　這里特別說(shuō)明，保存執行計劃時(shí)，使用的是MongoDB等文檔數據庫。目的是利用其無(wú)模式特性，方便兼容不同數據庫和版本的執行計劃差異。都可以存儲在一個(gè)集合中，后續的規則審核也是使用mongo中的查詢(xún)語(yǔ)句來(lái)實(shí)現的。這也是一開(kāi)始引入mongo的初衷，其他類(lèi)型的信息后面會(huì )放到庫中?，F在整個(gè)審計平臺，除了連接pt工具的部分使用MySQL，其余都在MongoDB中。另外，MySQL庫可以直接輸出json格式的執行計劃，存儲非常方便；Oracle 部分也以 json 格式存儲。
　　規則執行（執行計劃）
　　
　　左側是 Oracle 執行計劃在 MongoDB 中的存儲方式。其實(shí)就是將sqlplan字典數據插入到mongo中。右邊是一個(gè)規則實(shí)現的例子，是一個(gè)基于mongo的查詢(xún)語(yǔ)句。稍后我們將看到一個(gè)詳細的示例。
　　7、平臺實(shí)現規則實(shí)現
　　
　　這是“大表全表掃描”規則的示例。以上是Oracle中數據字典保存的執行計劃，以下是Mongo中保存的?？梢钥闯鍪峭耆u的。
　　
　　基于這種結構，如何實(shí)現規則過(guò)濾？其實(shí)是通過(guò)mongo中的find語(yǔ)句實(shí)現的。以下是該語(yǔ)句的執行步驟的詳細說(shuō)明。
　　規則執行（執行計劃）
　　這部分是一個(gè)在 MySQL 中實(shí)現分層結果存儲的例子。
　　
　　第一個(gè)圖顯示了原創(chuàng )的執行計劃。
　　
　　第二張圖是代碼實(shí)現的總結。
　　
　　第三張圖片是它實(shí)際保存在庫中的樣子。核心部分是item_level的生成。
　　規則定義（文本級別）
　　
　　第三種規則是基于文本的規則，它是描述 SQL 語(yǔ)句的文本特征的規則，與數據庫類(lèi)型無(wú)關(guān)。在實(shí)現上，通過(guò)常規的文本匹配或程序進(jìn)行處理。其主要目的是規范開(kāi)發(fā)者的 SQL 編寫(xiě)方式，避免復雜、性能差、不規范的 SQL 編寫(xiě)方式。
　　規則實(shí)現（文本級別）
　　
　　本節介紹如何實(shí)現文本規則。第一個(gè)示例 bad_join 是通過(guò)常規文本匹配實(shí)現的簡(jiǎn)單規則。第二個(gè)例子，sub_query，是通過(guò)程序判斷括號的嵌套來(lái)判斷子查詢(xún)（或多級子查詢(xún)）。
　　規則定義（執行功能級別）
　　
　　最后一類(lèi)規則是要素類(lèi)的實(shí)現。這部分與數據庫密切相關(guān)，過(guò)濾掉符合一定執行特征的語(yǔ)句。這些語(yǔ)句不一定是低效的，它們可能只是未來(lái)優(yōu)化的重點(diǎn)，或者是一些優(yōu)化收益最高的語(yǔ)句。主要有一些資源消耗等等。
　　8、系統管理規則管理
　　
　　后來(lái)通過(guò)一些界面展示，介紹了平臺的功能。
　　第一部分是系統管理模塊中的規則管理部分。在本節中，您可以完成添加自己的規則。它的核心是規則實(shí)現部分，以SQL語(yǔ)句、Mongo查詢(xún)語(yǔ)句、自定義Python文件的形式定義規則實(shí)現體。自定義規則的基礎是已有的爬取數據源，定義者需要熟悉已有的數據結構和含義。當前不支持自定義爬網(wǎng)數據源。
　　
　　對于已定義的規則，您可以在此處完成規則修改。主要配置規則狀態(tài)、閾值、扣減項。
　　任務(wù)管理
　　
　　規則配置好后，任務(wù)發(fā)布的工作就可以在這里完成了。
　　以上是發(fā)布規則任務(wù)的界面。選擇好數據源（ip、port、schema）后，選擇審計類(lèi)型和審計日期。目前審計數據源的計時(shí)策略仍然是以天為單位，所以不能選擇今天的日期。
　　任務(wù)發(fā)布后，您可以在任務(wù)結果查看界面觀(guān)察執行狀態(tài)。根據審計類(lèi)型、數據源對象的數量和語(yǔ)句的數量，審計的持續時(shí)間是可變的，一般在 5 分鐘內。當審計工作狀態(tài)為“成功”時(shí)，表示審計工作完成，可以查看或導出審計結果。
　　9、結果展示對象審核結果概覽
　　
　　上圖是對象審計報告的示例。報告的開(kāi)頭是概覽頁(yè)面。在審計報告中集中展示各項規則和扣減；并通過(guò)餅圖顯示它們的比例。這使我們能夠首先關(guān)注核心問(wèn)題。
　　在頂部，您還可以觀(guān)察到規則總分的顯示。這是按照百分制將規則扣分換算得到的分數。分數越高，違規越少，審計對象的質(zhì)量越高?！耙巹t總分”的引入在設計之初是有爭議的，擔心有這個(gè)指標會(huì )打擊開(kāi)發(fā)者的積極性，不利于平臺的推廣和使用。這里有幾點(diǎn)可以說(shuō)明。
　　對象審核結果詳細信息
　　
　　這部分是對象審計的詳細部分，對應每條規則的詳細信息，可以在左側的鏈接中進(jìn)一步查看對象信息。由于篇幅限制，這里就不展示了。
　　執行計劃評審結果概覽
　　
　　這部分執行計劃的概覽顯示，類(lèi)似于對象的情況。也是每條規則的扣分。
　　執行計劃審核結果詳情
　　
　　這部分是執行計劃的詳細部分。
　　
　　展開(kāi)后，您可以看到每個(gè)規則違規的細分。上圖是違反全表掃描規則的詳細部分。
　　以上是一些通用的解決方案說(shuō)明。此處描述了可能觸發(fā)此類(lèi)規則的情況和解決方案。相當于一個(gè)小知識庫，方便開(kāi)發(fā)者優(yōu)化。之后在平臺二期，我們會(huì )對引擎部分做更精準的優(yōu)化，并且會(huì )擴充這部分。
　　下面是每條違規語(yǔ)句的狀態(tài)，我們可以看到語(yǔ)句文本、執行計劃、關(guān)聯(lián)信息（比如這條規則的大表名）等，您也可以進(jìn)一步點(diǎn)擊語(yǔ)句展開(kāi)信息。
　　
　　
　　這部分是每條 SQL 的信息，包括語(yǔ)句文本、執行計劃、執行特征和關(guān)聯(lián)的對象統計信息。DBA可以根據這些信息做一些初步的優(yōu)化判斷工作。
　　此外，平臺還提供了導出功能?？梢詫С鰹閑x??cel文件供用戶(hù)下載查看。它顯示在這里。
　　10、我們遇到的坑
　　在實(shí)際開(kāi)發(fā)過(guò)程中，遇到了很多問(wèn)題。我們這里簡(jiǎn)單介紹兩個(gè)，例如：
　　MySQL在解析json格式執行計劃時(shí)暴露的問(wèn)題...
　　【Session進(jìn)入睡眠狀態(tài)，假死】
　　解決方法：在執行會(huì )話(huà)前設置wait_timtout=3，這個(gè)時(shí)間根據實(shí)際情況調整。
　　【數據量太大，很久沒(méi)有結果】
　　session處于查詢(xún)狀態(tài)，但是數據量很大或者因為數據庫對format=json的支持不是很好，長(cháng)時(shí)間解析不出來(lái)，會(huì )影響其他session。
　　解決方法：使用 pt-kill 工具終止會(huì )話(huà)。為了防止誤殺，可以標記“eXplAin format=json”，然后使用pt-kill識別eXplAin關(guān)鍵字。
　　11、推進(jìn)進(jìn)程
　　
　　該平臺在宜信運營(yíng)以來(lái)，已為多個(gè)系統提供審計報告，大大加快了數據庫結構和SQL優(yōu)化的速度，緩解了DBA的日常工作壓力。在工作實(shí)施過(guò)程中，我們也探索了一套實(shí)施方法。平臺開(kāi)源后，如果朋友使用，可以參考實(shí)現。
　　信息采集階段
　　數據庫系統的操作，掌握第一手資料?？焖倭私飧鳂I(yè)務(wù)系統質(zhì)量，做好試點(diǎn)選型工作。
　　人工分析階段
　　關(guān)鍵系統，人工干預分析。針對規則審核中暴露的核心問(wèn)題，“點(diǎn)對面”，有針對性的分析優(yōu)化報告。
　　溝通訓練階段
　　主動(dòng)上門(mén)與開(kāi)發(fā)團隊溝通匯報情況。借分析報告的機會(huì )，可以對開(kāi)發(fā)團隊進(jìn)行必要的培訓，結合身邊的案例，更有說(shuō)服力。 查看全部

　　采集內容管理平臺(可與外阜系統實(shí)行會(huì )員通行，內置國內主流論壇或其它系統的通行模塊)
　　SXcms是一個(gè)基于平臺的網(wǎng)站內容管理系統，默認支持SQLServer數據庫，可以擴展支持Access、MySQL、Oracle等數據庫。
　　類(lèi)似軟件
　　印記
　　軟件地址
　　后臺執行任務(wù)：頁(yè)面生成、采集等任務(wù)在后臺執行，無(wú)需打開(kāi)網(wǎng)頁(yè)等待，節省您的工作時(shí)間
　　原型模塊：自由擴展列字段和參數，滿(mǎn)足您的網(wǎng)站特殊定制，擴展您的個(gè)性化應用規劃任務(wù)
　　它可以在固定的時(shí)間和周期內更新整個(gè)或部分列或其他任務(wù)，從而實(shí)現網(wǎng)站無(wú)人值守
　　基礎數據：統一管理系統基礎數據，自由添加，自由調用，支持配置權限，讓你的網(wǎng)站更靈活
　　權限管理：按角色和用戶(hù)組劃分會(huì )員權限，對站內各欄目和功能靈活分配權限，方便多人使用
　　話(huà)題管理：支持話(huà)題管理、話(huà)題分類(lèi)、支持內容推薦、關(guān)鍵詞搜索內容和推送話(huà)題等功能
　　模板標簽：OOP思想，調用簡(jiǎn)潔明了，標簽形式靈活，支持動(dòng)態(tài)標簽，支持多層嵌套；全站支持動(dòng)靜態(tài)切換
　　數據采集：靈活設置各種采集規則和參數，可設計自動(dòng)任務(wù)計劃采集，可裁剪采集圖片加水，支持采集內容&lt; @關(guān)鍵詞替換
　　網(wǎng)頁(yè)防篡改：對網(wǎng)站生成的頁(yè)面進(jìn)行保護，遇到非法篡改時(shí)自動(dòng)糾正，讓您再也不用擔心網(wǎng)頁(yè)被掛了。
　　通行證：可以通過(guò)外服系統實(shí)現會(huì )員準入，內置國內主流論壇或其他系統準入模塊，讓您的會(huì )員一站通行。 查看全部

　　采集內容管理平臺(
Excel模板導入支持統一的模板化配置，幫你解決
)
　　Smartbi：統一Excel模板配置，讓批量數據采集補充記錄簡(jiǎn)單高效！
　　
　　Smartbi2022-01-26
　　企業(yè)的數據源多種多樣，有的需要一線(xiàn)員工采集實(shí)時(shí)存儲在Excel文件中，然后由技術(shù)人員通過(guò)批量補充記錄上傳到業(yè)務(wù)數據庫中，供后續數據分析。
　　比如某行的業(yè)務(wù)員采集時(shí)不時(shí)填寫(xiě)客戶(hù)的公司名稱(chēng)、客戶(hù)代碼、地區、內部交易等基本客戶(hù)信息，然后依靠IT人員填寫(xiě)上傳到業(yè)務(wù)數據庫。這些采集對補充記錄和補充記錄的要求并不復雜，但在實(shí)際操作中可能會(huì )遇到補充記錄不及時(shí)、數據不完整等問(wèn)題，給相關(guān)數據采集人員帶來(lái)麻煩，技術(shù)人員及其數據分析師。
　　
　　
　　
　　針對以上問(wèn)題，Smartbi提供批量數據采集功能——Excel模板導入幫你解決！允許數據采集補充人員通過(guò)統一的模板配置，一鍵批量導入Excel文件中的數據，并補充錄入數據庫。既減輕了開(kāi)發(fā)人員的工作量，又滿(mǎn)足了業(yè)務(wù)人員對數據采集的需求，讓批量導入Excel數據變得簡(jiǎn)單高效。
　　我們來(lái)看看這個(gè)功能是如何滿(mǎn)足用戶(hù)需求的：
　　1、模板配置
　　Excel模板導入支持統一模板化配置。技術(shù)人員首先通過(guò)可視化操作實(shí)現Excel模板與數據庫表的映射關(guān)系，支持綁定列、驗證規則設置、數據插入和更新選擇等，并上傳采集Excel模板文件進(jìn)行補充數據，讓業(yè)務(wù)人員可以下載并填寫(xiě)數據。
　　
　　2、支持綁定形式
　　Excel 導入模板支持綁定到電子表格。通過(guò)綁定表格，可以導入報表數據，可以導入固定值、系統值、參數值等，還可以實(shí)現動(dòng)態(tài)數據更新導入。
　　例如，用戶(hù)要下載的補充記錄模板已經(jīng)收錄了一些填寫(xiě)好的數據（如公司代碼、公司名稱(chēng)、客戶(hù)代碼、業(yè)務(wù)分類(lèi)等），這部分現有數據可能會(huì )動(dòng)態(tài)變化。如果切換不同的業(yè)務(wù)分類(lèi)參數，下載的數據是不同的。實(shí)際上，用戶(hù)只需要根據已有數據填寫(xiě)“線(xiàn)路類(lèi)型”和“是否交易”字段的數據即可。
　　這時(shí)候我們可以在配置模板的時(shí)候選擇創(chuàng )建一個(gè)電子表格作為Excel模板，這樣在下載模板的時(shí)候就可以選擇報表的參數，下載不同的數據模板。
　　
　　3、統一管理
　　管理員統一配置和管理Excel模板，并可以通過(guò)資源授權將導入模板授權給相關(guān)用戶(hù)。只有有權限的用戶(hù)才能進(jìn)行導入操作，方便用戶(hù)填寫(xiě)導入。
　　
　　4、一鍵導入
　　技術(shù)人員配置模板并授權給填充人員后，填充人員可以下載模板和采集數據。當數據采集完成后，可以點(diǎn)擊上傳，完成數據補錄操作。簡(jiǎn)單的。
　　
　　導入成功或失敗都有明確的提示。如果導入失敗，用戶(hù)可以下載異常數據，查看具體數據和導入失敗的原因。
　　5、不錯的擴展
　　Smartbi的Excel模板導入功能支持擴展接口，可以幫助用戶(hù)通過(guò)Java類(lèi)實(shí)現自定義數據處理需求或規則驗證需求。
　　在實(shí)際的補錄操作中，客戶(hù)也可能有定制化的數據處理或規則驗證需求，比如判斷兩個(gè)指標的值是否相等。如果指標不相等，則驗證失敗，如果有相關(guān)提示信息，可以通過(guò)自定義規則驗證類(lèi)來(lái)實(shí)現這個(gè)需求。
　　 查看全部

　　采集內容管理平臺(業(yè)余開(kāi)發(fā)還是php+mysql+drupal+java哪個(gè)好？)
　　采集內容管理平臺，國內領(lǐng)先的pc+app采集服務(wù)平臺云采。這是在網(wǎng)絡(luò )信息大爆炸，注意力捉摸不透的今天，利用互聯(lián)網(wǎng)的云技術(shù)，結合移動(dòng)端，輕松采集信息。
　　這一段時(shí)間在業(yè)余學(xué)習django，簡(jiǎn)單總結一下學(xué)習路線(xiàn)吧：采集主要分為圖片采集、視頻采集、音頻采集，其中圖片采集一般在pc端，也就是坐在電腦前面，通過(guò)瀏覽器查看采集軟件的文件查看，視頻采集一般在手機上，也是用瀏覽器采集，音頻采集很麻煩，是自動(dòng)循環(huán)播放音頻，一般都是直接下載！至于什么樣的軟件，一般百度、阿里都會(huì )有相應的采集軟件，例如圖片采集的推薦url500、音頻采集推薦多采寶app，技術(shù)好的話(huà)，你可以去學(xué)習下，都很容易上手！。
　　中國采集網(wǎng)。不過(guò)這個(gè)我沒(méi)有用過(guò)，
　　接著(zhù)樓上的話(huà)題，補充一個(gè)：中國采集網(wǎng)推薦原因1，國內數據質(zhì)量相對較高接著(zhù)討論每日站長(cháng)平臺需要的功能，數據質(zhì)量不容小覷。
　　業(yè)余開(kāi)發(fā)還是php+mysql+java，php+mysql+redis+drupal比較適合業(yè)余開(kāi)發(fā)，這樣不用引入一些費力不討好的框架和工具庫；如果大公司做采集，如果覺(jué)得性?xún)r(jià)比太低，可以考慮使用restful方式，比如headless+websocket+webrtc，nginx+cdn方式，nginx+c++方式，headless+gulp，postgresql+cgi，都是最佳選擇；php+mysql的采集是現在業(yè)余開(kāi)發(fā)中技術(shù)性很強的采集方案，不用引入一些麻煩的包、工具庫或第三方庫；除了laravel以外，目前業(yè)余開(kāi)發(fā)的有nutch+ci；。 查看全部

　　采集內容管理平臺(優(yōu)圖動(dòng)態(tài)采集內容管理系統的核心是什么？怎么做？)
　　采集內容管理平臺是云表格未來(lái)規劃的重點(diǎn)，能夠實(shí)現數據采集和表格聚合、流程管理、人事管理、報表分析等多方面的功能，核心業(yè)務(wù)是采集內容和數據有效性，對數據的格式和內容精準的控制是數據分析的關(guān)鍵。其中，數據有效性用于用戶(hù)在數據規范有誤時(shí)提供工具幫助用戶(hù)修正和識別數據，是一種可以靈活部署的功能。市面上一些通用的內容管理產(chǎn)品（如京東、、百度經(jīng)驗）都能實(shí)現上述功能。
　　而今天要介紹的優(yōu)圖是優(yōu)圖動(dòng)態(tài)采集內容管理系統，在這個(gè)系統中能夠查看采集的用戶(hù)歷史、信息新增和刪除、已采集信息、待采集數據、已搜索結果、已簽名以及評論等。系統涵蓋了表格和數據庫，對于快速采集信息有不錯的幫助，其目標用戶(hù)就是為了提高工作效率，但問(wèn)題是數據采集時(shí)的準確度是否保證，這將成為用戶(hù)付費的因素之一。
　　優(yōu)圖動(dòng)態(tài)采集內容管理系統的核心就是提高數據準確度，同時(shí)隨著(zhù)內容的增加相應的時(shí)間復雜度也會(huì )增加，所以?xún)?yōu)圖在出發(fā)點(diǎn)上就沒(méi)有考慮過(guò)犧牲準確度來(lái)提高收益。以用戶(hù)“中醫小吳先生”為例，根據京東手機通知信息，表格顯示“中醫小吳先生今天20點(diǎn)在某地就診，小吳先生近期曾去該醫院附近的某健康會(huì )所進(jìn)行xxx治療”，這就出現了時(shí)間無(wú)法確定的問(wèn)題，也就是說(shuō)一天之內，不可能有小吳先生的各種關(guān)聯(lián)信息能夠滿(mǎn)足這個(gè)需求。
　　如何解決這個(gè)問(wèn)題呢？?jì)?yōu)圖的思路就是對信息采集后保存的數據進(jìn)行統計分析，然后推送給用戶(hù)。那么應該怎么做呢？是將數據全部上傳到百度經(jīng)驗中？還是根據圖片確定下來(lái)？還是利用人工智能算法，在后端對信息進(jìn)行搜索呢？“中醫小吳先生”能夠看到京東與京東健康達成的醫療合作，我們無(wú)法得知京東經(jīng)營(yíng)信息，優(yōu)圖能夠想到的就是采集京東商品的信息，因為京東在線(xiàn)上銷(xiāo)售經(jīng)營(yíng)中可以對所有的商品進(jìn)行歸類(lèi)，這樣也就從信息數據層面解決了小吳先生無(wú)法統計分析的問(wèn)題。
　　其實(shí)用戶(hù)的需求可以從三個(gè)方面解決：一個(gè)是表格中過(guò)多或無(wú)效內容如何清理，一個(gè)是列表中無(wú)法有效分類(lèi)，還有一個(gè)是信息數據的準確性。優(yōu)圖動(dòng)態(tài)采集內容管理系統針對上述功能都進(jìn)行了不錯的優(yōu)化，現階段能夠正常使用。歡迎大家關(guān)注優(yōu)圖動(dòng)態(tài)采集內容管理系統，了解更多優(yōu)圖系統更多信息。 查看全部