亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　依托大數據推進(jìn)產(chǎn)業(yè)發(fā)展，alphago機器人是怎么做的
　　文章實(shí)時(shí)采集，公司的業(yè)務(wù)也會(huì )有需要，單純的光是抄可能想要實(shí)現個(gè)買(mǎi)房網(wǎng)站是很難的，必須用上足夠的技術(shù)，
　　人家都已經(jīng)寫(xiě)好了，
　　有點(diǎn)空，不如行業(yè)協(xié)會(huì )，產(chǎn)業(yè)創(chuàng )新，投資機構的成熟產(chǎn)品更靠譜。以上回答僅限于國內的。另外，現在的alphago機器人，也會(huì )依托大數據推進(jìn)產(chǎn)業(yè)發(fā)展。
　　這問(wèn)題問(wèn)的太寬泛了。第一是你們公司產(chǎn)品的定位；第二是你們產(chǎn)品和客戶(hù)是怎么結合的，這兩個(gè)怎么結合起來(lái)；最后是你們公司是大數據怎么發(fā)展的，目前的流程和商業(yè)模式是否清晰。第一點(diǎn)沒(méi)有說(shuō)清楚，但是目前的大數據分析可以做的還是很多的，希望你把問(wèn)題描述的清楚一些。
　　要是小區的所有電梯、門(mén)禁、物業(yè)、保安、車(chē)位、垃圾處理站、超市、加油站、餐廳等等等等每家每戶(hù)的環(huán)境我都能實(shí)時(shí)采集，我愿意投個(gè)千八百萬(wàn)買(mǎi)臺跑步機或者跑步機再跑十幾年，打個(gè)游戲最少兩三千萬(wàn)起碼吧？但我是不會(huì )認為這樣就能提高效率的，即使這樣也并不能解決人們生活里的“最后一公里”，還是要外出吃飯，然后騎車(chē)或地鐵回家。 查看全部

　　文章實(shí)時(shí)采集部分采用redismodel，僅在特定采樣方式下
　　文章實(shí)時(shí)采集部分采用redismodel，僅在特定采樣方式下(non-stationary)可以采集到信息。其他采樣方式均有軟件實(shí)現，特定采樣方式和方法可以用不同工具實(shí)現?，F有代碼可以參考vizit，jefffoley和ilyasutskever。流控器部分采用flowdetector，并通過(guò)retractor聚類(lèi)后發(fā)送給自帶的軟件用于統計計算。
　　文章實(shí)驗結果efm34在redation前后捕獲到了采樣數量的有效性影響，但如果考慮到采樣本身的隨機性，再把決策樹(shù)設置為cart，那就意味著(zhù)論文中的假設可能難以成立，當然這種設置并非完全完全不可能。還有cart計算分類(lèi)和類(lèi)似。非遞歸時(shí)間準確率據他說(shuō)應該比cart略高一點(diǎn)。如果考慮連續分布可以用grpu函數統計平均連續分布概率。
　　但有個(gè)問(wèn)題是推薦，而且這篇文章并不是關(guān)注推薦問(wèn)題，因此推薦意義不大。評估算法多種多樣，全面地比較需要一些調研。另外有home-antonyao的文章interestedincybernetworkstask-basedwithhireforperformancecomputing代碼發(fā)布。這篇文章的權重是一個(gè)十分有意思的問(wèn)題，類(lèi)似nlp中的word2vec在歷史上已經(jīng)很多代驗，新發(fā)現比如iccv2016中谷歌大牛hugoreza提出的新方法，所有特征都是embedding，最后都被標準化后作為分類(lèi)問(wèn)題特征。
　　這樣做的好處在于利用低維特征特征能很大減少inference時(shí)間，也提高了結果分布不均勻性的可解釋性。因此歷史上有很多優(yōu)秀的方法在現在看來(lái)也成為了槽點(diǎn)。 查看全部

　　三個(gè)人的學(xué)習環(huán)境很差怎么辦？怎么處理？
　　文章實(shí)時(shí)采集、壓縮、解碼。
　　你需要寫(xiě)個(gè)讀取各種博客文章的模塊，并且要可以讀圖像識別或者圖形識別，每篇文章都要壓縮到不同的位置。你也可以試著(zhù)用pil，有些文章甚至壓縮到一個(gè)人，一條腿?？梢栽趙ordpress上搭個(gè)博客服務(wù)器。
　　你先去百度文庫抄一篇再說(shuō)
　　取你想要的發(fā)給她，告訴她要怎么處理，然后告訴她下回帶上這篇文章下次看這個(gè)?？催^(guò)了可以討論下技術(shù)對比一下，相同的還可以寫(xiě)個(gè)免費的代碼給她寫(xiě)畢業(yè)論文。
　　把文章讀出來(lái)，用相應框架寫(xiě)到電子文檔上面，然后掃描。
　　你的意思是把所有的文章全抄一遍，
　　給她配個(gè)電腦吧。
　　這些不是對于真正想學(xué)習技術(shù)的人是沒(méi)有多大用處的。如果是要讓她堅持這個(gè)習慣，不如帶她去參加有關(guān)電腦的培訓，提高下工作效率和逼格。但是我認為學(xué)習是為了享受生活，不可能把本來(lái)枯燥的事情當成生活一部分，好好的享受生活。還有，根據你說(shuō)的，你們三個(gè)人的學(xué)習環(huán)境很差，你也有些無(wú)奈了。不如以后花時(shí)間改善一下這三個(gè)人的學(xué)習環(huán)境吧。
　　你的意思是我每天放一篇文章給他們學(xué)？
　　謝邀。個(gè)人覺(jué)得多功能自動(dòng)化掃描儀或者文檔管理系統都比這個(gè)靠譜。簡(jiǎn)單的掃描功能單純手工的干差不多半個(gè)小時(shí)就可以搞定。認真提個(gè)意見(jiàn)：掃描儀不要用國產(chǎn)品牌；文檔管理系統不要用diagrammatic，用類(lèi)似openoffice的軟件更加靠譜；重要的是對齊那一段不能隨便縮放， 查看全部

　　文章實(shí)時(shí)采集到目標模型，下游模型一般通過(guò)先驗知識進(jìn)行預測
　　文章實(shí)時(shí)采集到目標模型，下游模型一般通過(guò)先驗知識進(jìn)行預測，并將實(shí)時(shí)值再反饋給實(shí)驗數據集。對實(shí)時(shí)采集的模型進(jìn)行改進(jìn)，可以產(chǎn)生一個(gè)新的算法使得訓練誤差減小。常用的工具有：imagenetclassificationlearningsoftware/trainingclassificationsolutions/localtrainingvs.globaltraining/evaluationfromclassificationsamplesclassificationgridsvisiongridsforlarge-scaleimagedetectionhigher-orderimagepredictionimageobjecttrackingfromentirevideos/golarge-scaleimagepredictionearlyretrievaltrainingfaceclassification/acfacefeatureextractionecgimageanalysisrasa:afast,accuratetransferlearningofimageandcolorrepresentationsdeepassociatedanalysisofmulti-deepadversarialattacksfacerotationvideo-to-imagesegmentationwiderfacerepresentationsfacetrackingundergroundrecommendationsspoofstackfacedetector:amulti-personfacetrackingofandroidwebonlinefacedetectionfacedetectionforembeddingdeepneuralnetworksk-meansobjectness-eloglobalsupervisedlearningfromcamerasvideoretrievalwithimprovedrewardsvideoobjectdetectionwithstackandbagoffeaturesquerystrategy.：相比于傳統的toolbox或mirrormat，具有一定的自適應性，且執行效率高。 查看全部

　　實(shí)時(shí)熱點(diǎn)采集軟件v 1. 1綠色中文版
　　實(shí)時(shí)熱點(diǎn)采集軟件（也稱(chēng)為SEO內容工件）是一種非常方便且易于使用的熱點(diǎn)文章 采集工具。該實(shí)時(shí)熱點(diǎn)采集軟件功能強大，功能全面，簡(jiǎn)單易用，使用后采集熱點(diǎn)文章可以幫助用戶(hù)更加輕松便捷。大家都知道編輯流行文章的流量相對較大，因此獲取關(guān)鍵詞非常重要。如果您不知道哪個(gè)關(guān)鍵詞很受歡迎，則可以通過(guò)此軟件查詢(xún)，它的最大功能是實(shí)時(shí)采集，非常適合網(wǎng)站編輯器使用，抓住熱點(diǎn)來(lái)帶來(lái)流量到網(wǎng)站，該軟件提供了熱點(diǎn)搜索采集功能，您可以立即在百度搜索關(guān)鍵詞上查詢(xún)熱點(diǎn)，可以快速獲得搜狗熱點(diǎn)搜索關(guān)鍵詞，還可以從采集保存關(guān)鍵詞 ]到TXT文件，在采集完成后，您可以根據相關(guān)的關(guān)鍵詞編輯文章，也可以直接定位文章 采集，在軟件中選擇原創(chuàng )標題采集 ，并立即將熱門(mén)搜索的文章 采集轉換為T(mén)XT文本，方便閱讀原創(chuàng )文本，非常適合自媒體操作的朋友使用，有需要的朋友可以下載并體驗一下。
　　
　　軟件功能1、實(shí)時(shí)熱點(diǎn)采集該軟件易于操作，可以快速獲取熱點(diǎn)文章
　　2、 采集的內容可以自動(dòng)保存，方便用戶(hù)修改和使用
　　3、容易的采集熱門(mén)新聞，方便自媒體工作人員再次編輯新聞
　　4、主要用于采集實(shí)時(shí)熱點(diǎn)關(guān)鍵詞（百度熱搜，微博熱搜）條目來(lái)捕獲新聞內容
<p>5、標題組合+圖片本地化，自定義編碼，文章保存輸出軟件功能1、實(shí)時(shí)熱點(diǎn)采集軟件可以幫助計算機上的用戶(hù)采集熱點(diǎn)文章 查看全部

　　文章實(shí)時(shí)采集基于定時(shí)器getio的同步低延遲多并發(fā)任務(wù)的構建
　　文章實(shí)時(shí)采集基于定時(shí)器getio的同步低延遲多并發(fā)任務(wù)的構建程序主函數定時(shí)下發(fā)任務(wù)到各服務(wù)模塊結構model0：用pythonpass,設置定時(shí)任務(wù)觸發(fā)條件，以及接受任務(wù)的服務(wù)類(lèi)型model1：主函數以cli為模型，實(shí)現對接各模塊python裝飾器注解連接各模塊進(jìn)行調用，生成codeblock,傳入至generateblock主函數，并自動(dòng)注冊同步任務(wù)gettime():指定定時(shí)器觸發(fā)條件的函數sleep():設置每次進(jìn)入任務(wù)(包括未完成的任務(wù))的停留時(shí)間，參數ispresent隨機值duration():設置定時(shí)器執行的最大時(shí)間localized():指定定時(shí)器注冊順序，參數iscresent隨機值運行優(yōu)先級根據性能需求選擇單一定時(shí)器并列，在時(shí)間允許的情況下，選擇任務(wù)。
　　你可以上下查查相關(guān)內容，有一些相關(guān)的書(shū)籍。你可以在bilibili看搜“python服務(wù)器前端開(kāi)發(fā)”，看看他的視頻教程。
　　這個(gè)要看你需要什么功能的服務(wù)器了，還有就是定時(shí)任務(wù)的權限，高級定時(shí)任務(wù)還有用戶(hù)權限等。
　　謝邀，我用的是threading。雖然知道了很多，但自己碰到實(shí)際問(wèn)題，再用框架的事情太多了。建議是先實(shí)現需求再考慮框架怎么用。
　　我一直是用python、pyqt、flask、django等寫(xiě)服務(wù)器，用tornado做了一個(gè)博客服務(wù)器。上面幾個(gè)都可以，但是需要各自框架或者運行環(huán)境都要一樣，會(huì )有一些特殊性要求。我自己也也遇到一些問(wèn)題：首先，要搞懂怎么實(shí)現和封裝，然后了解一下高并發(fā)下的一些性能優(yōu)化，這個(gè)要好好研究，一般基于高性能框架做很多的延遲優(yōu)化，服務(wù)器的系統保證性能。博客文章就不上傳了，百度一下即可。 查看全部

　　api網(wǎng)關(guān)進(jìn)行視頻爬取，如何正確進(jìn)行短視頻采集
　　文章實(shí)時(shí)采集·實(shí)時(shí)傳輸。今天給大家講一講短視頻的抓取方法，這篇文章只講前半部分。從業(yè)這么多年，相信大家都知道，只要是短視頻平臺，無(wú)論是電商型平臺、短視頻平臺、還是直播平臺，都會(huì )對視頻源進(jìn)行采集。而短視頻的前端采集，相對于網(wǎng)站采集相對簡(jiǎn)單一些，這里就不展開(kāi)了。今天要給大家分享的是api網(wǎng)關(guān)進(jìn)行視頻爬取。
　　api網(wǎng)關(guān)對接短視頻，是獲取短視頻源的前提。至于如何調用api網(wǎng)關(guān)提供的接口，怎么使用數據，相信大家已經(jīng)非常熟悉了。這篇文章就只講解如何正確進(jìn)行短視頻采集。1.用到什么工具apigateway使用最多的是apiservergateway。直白的說(shuō)，就是用來(lái)連接不同視頻網(wǎng)站，并通過(guò)它們的代理連接短視頻。
　　另外還有像抖音，快手等有自己特有的短視頻api接口。至于其他短視頻網(wǎng)站的接口，大家也可以找找看?？梢哉J為apigateway是短視頻網(wǎng)站的天然代理。很多人用的是易傳播，個(gè)人用不了，我的公司目前是用螞蟻云短視頻接口服務(wù)提供商的api。直接購買(mǎi)即可。有直接賣(mài)的。2.數據格式是怎么匹配的想要獲取短視頻的原始視頻數據，最好是找一些經(jīng)過(guò)調過(guò)格式的數據。
　　其中采集過(guò)程中，有一種方式是，直接從css腳本上抓取原始css。這個(gè)大家都知道，重要的是要理解他的格式規范。這里提一個(gè)不太普遍使用的解決方案，那就是使用下一代格式化工具，jasawannx7。網(wǎng)絡(luò )大佬們寫(xiě)了一整套解決方案，方便操作，安全。這里分享幾個(gè)它的好處：一是可以拿到想要的css腳本原始圖片，節省你尋找圖片的時(shí)間；二是利用這個(gè)工具，還可以對css腳本格式進(jìn)行格式化，后續還能用格式化圖形識別工具進(jìn)行識別。
　　3.需要什么權限token很多人，在購買(mǎi)了代理之后，使用代理是沒(méi)有什么要求的。但是由于我們對于短視頻平臺的源碼了解的不夠，所以網(wǎng)站各個(gè)腳本的文件還是會(huì )被抓取到，比如使用了輪播的平臺，標題是這個(gè)，內容標題還是這個(gè)。那如果你自己在后臺設置了代理，同樣需要用到注冊的token。4.賬號綁定token一個(gè)賬號只能綁定一個(gè)token，如果多次綁定，會(huì )自動(dòng)消息到網(wǎng)站主服務(wù)器上。
　　這里涉及兩個(gè)問(wèn)題：一是如何防止多賬號綁定。簡(jiǎn)單說(shuō)就是不同賬號的一個(gè)token對應一個(gè)網(wǎng)站。二是token如何保存?，F在還是有很多人出于安全考慮，比如用二維碼二維碼電話(huà)卡這種安全可靠的方式。但是短視頻源的管理，需要你有一個(gè)短視頻源的二維碼。所以如果你只給了一個(gè)人的token，后面不斷使用這個(gè)號掃描短視頻源的二維碼，賬號自動(dòng)判斷不是本人也未必安全。而且這種方式，如果有朋友借你的號，還有一定的風(fēng)險。5.總結為了保。 查看全部

　　一般數據流采集（離線(xiàn)和實(shí)時(shí)）
　　一個(gè)：采集離線(xiàn)數據處理1、我們的數據來(lái)自哪里？
　　互聯(lián)網(wǎng)行業(yè)：網(wǎng)站，應用，微信小程序，系統（交易系統...）
　　傳統行業(yè)：電信，人們的數據，例如上網(wǎng)，通話(huà)，發(fā)短信等。
　　數據來(lái)源：網(wǎng)站，應用，微信小程序
　　我們必須向后端發(fā)送請求以獲取數據并執行業(yè)務(wù)邏輯；應用獲取要顯示的產(chǎn)品數據；向后端發(fā)送請求以進(jìn)行交易和結帳
　　網(wǎng)站 / app會(huì )將請求發(fā)送到后臺服務(wù)器，通常Nginx會(huì )接收到請求并將其轉發(fā)
　　2、背景服務(wù)器
　　例如，Tomcat，Jetty；但是，實(shí)際上，在大量用戶(hù)和高并發(fā)性（每秒超過(guò)一萬(wàn)次訪(fǎng)問(wèn)）的情況下，通常不直接將Tomcat用于接收請求。這時(shí)，通常使用Nginx接收請求，并且后端連接到Tomcat群集/ Jetty群集，以在高并發(fā)訪(fǎng)問(wèn)下執行負載平衡。
　　例如，Nginx或Tomcat，在正確配置后，所有請求的數據將存儲為日志；接收請求的后端系統（J2EE，PHP，Ruby On Rails）也可以遵循您的規范，每次接收到請求或每次執行業(yè)務(wù)邏輯時(shí)，都會(huì )在日志文件中輸入日志。
　　到目前為止，我們的后端每天可以至少生成一個(gè)日志文件，對此毫無(wú)疑問(wèn)
　　3、日志文件
　?。ㄍǔＪ俏覀冾A設的特殊格式），通常每天一本。此時(shí)，由于可能有多個(gè)日志文件，因為有多個(gè)Web服務(wù)器。
　　此外，由于不同的業(yè)務(wù)數據存儲在不同的日志文件中，因此會(huì )有多種日志文件
　　一種日志傳輸工具，例如使用linux crontab計劃shell腳本/ python腳本；或使用Java開(kāi)發(fā)后臺服務(wù)，并使用石英等框架進(jìn)行調度。該工具負責合并和處理當天到采集的所有日志數據；然后作為日志文件，將其傳輸到受水槽代理監控的目錄。
　　4、水槽
　　正如我們在上一課中所討論的，在啟動(dòng)flume代理之后，它可以實(shí)時(shí)監視Linux系統上的某個(gè)目錄，以查看是否有新文件進(jìn)入。只要找到新的日志文件，Flume就會(huì )跟隨該通道并下沉。一般來(lái)說(shuō)，接收器配置為HDFS。
　　Flume負責將每日日志文件傳輸到HDFS
　　5、 HDFS
　　Hadoop分布式文件系統。 Hadoop分布式文件系統。用于存儲每日日志數據。為什么要使用hadoop進(jìn)行存儲。因為Hadoop可以存儲大數據，所以可以存儲大量數據。例如，每天的日志，數據文件是T，那么一天的日志文件可以存儲在Linux系統上，但是問(wèn)題是一個(gè)月或一年。積累大量數據后，不可能將其存儲在單臺計算機上，而只能存儲在Hadoop大數據分布式存儲系統中。
　　使用Hadoop MapReduce開(kāi)發(fā)自己的MR作業(yè)，您可以使用crontab定時(shí)調度工具每天定期執行一次；您還可以使用Oozie進(jìn)行時(shí)間安排；您還可以（百度，阿里，騰訊，京東，美團）組建自己的團隊來(lái)開(kāi)發(fā)復雜的大型分布式計劃系統，以對整個(gè)公司內所有MapReduce / Hive作業(yè)進(jìn)行計劃（對于大型公司，此外負責數據清理，隨后的數據倉庫建立和數據分析的MR作業(yè)以及Hive ETL作業(yè)的統計數據可能高達數萬(wàn)，數十萬(wàn)，數百萬(wàn)），清理HDFS中的原創(chuàng )日志并將其寫(xiě)入到HDFS中的另一個(gè)文件
　　6、數據清理
　　Hadoop HDFS中的原創(chuàng )日志數據將進(jìn)行數據清理。為什么我們需要清理數據？因為我們的許多數據可能是不符合預期的臟數據。
　　HDFS：數據清理后存儲日志文件。
　　將HDFS中的清理數據導入到Hive中的表中。這里可以使用動(dòng)態(tài)分區，Hive使用分區表，每個(gè)分區都保存一天的數據。
　　7、蜂巢
　　蜂巢，底層也是基于HDFS的大數據數據倉庫。在數據倉庫內外，實(shí)際上是一些用于數據倉庫建模的ETL。 ETL會(huì )將原創(chuàng )日志所在的表轉換為數十個(gè)甚至數百個(gè)表。這幾十個(gè)甚至數百個(gè)表是我們的數據倉庫。然后，公司的統計分析人員將為數據倉庫中的表執行臨時(shí)或每日計劃的Hive SQL ETL作業(yè)。進(jìn)行大數據統計分析。
　　Spark / Hdoop / Storm，大數據平臺/系統，都可能使用Hive數據倉庫內部的表
　　摘要：
　　實(shí)際上，通常來(lái)說(shuō)，開(kāi)發(fā)將基于Hive中的數據。換句話(huà)說(shuō)，在我們的大數據系統中，數據源都是Hive中的所有表。這些表可能是大量Hive ETL之后建立的數據倉庫中的某些表。然后來(lái)開(kāi)發(fā)一個(gè)滿(mǎn)足業(yè)務(wù)需求的特殊大數據平臺。使用大數據平臺為公司中的用戶(hù)提供大數據支持并促進(jìn)公司的發(fā)展 查看全部

　　用于信息資源集成和網(wǎng)頁(yè)數據捕獲，網(wǎng)站捕獲，信息采集技術(shù)
　　Lesi實(shí)時(shí)信息采集開(kāi)發(fā)套件
　　Lesi實(shí)時(shí)信息采集開(kāi)發(fā)工具包是為開(kāi)發(fā)人員提供的網(wǎng)絡(luò )信息采集的自動(dòng)化對象。它提供了一組用于通過(guò)COM對象提取網(wǎng)絡(luò )信息的核心方法。開(kāi)發(fā)人員可以使用任何支持WindowsCOM調用的語(yǔ)言（例如VB，VC，Delphi，ASP，ASP.NET，PowerBuilder）調用此組件，并完成網(wǎng)絡(luò )數據提取和集成，而無(wú)需擔心HTTP請求和數據處理的細節，因此以方便地開(kāi)發(fā)適合其需求的網(wǎng)絡(luò )信息提取和集成應用程序網(wǎng)站。
　　
　　它能做什么？
　　元搜索引擎：通過(guò)在后臺調用主要搜索引擎，可以對主要搜索引擎的返回結果進(jìn)行整合和處理，然后實(shí)時(shí)返回給查詢(xún)用戶(hù)。
　　行業(yè)搜索集成門(mén)戶(hù)：通過(guò)將用戶(hù)的查詢(xún)關(guān)鍵詞提交給多個(gè)行業(yè)網(wǎng)站查詢(xún)，并返回每個(gè)結果頁(yè)的關(guān)鍵內容（刪除與查詢(xún)，廣告，動(dòng)畫(huà)無(wú)關(guān)的頁(yè)眉，頁(yè)腳和列）集成在一頁(yè)中，并返回給用戶(hù)。
　　網(wǎng)站集成：提取每個(gè)下級單位網(wǎng)站上的關(guān)鍵內容，并將其顯示在單個(gè)頁(yè)面上，例如省政府網(wǎng)站和下級市政府網(wǎng)站。
　　新聞文章抓?。耗梢蚤_(kāi)發(fā)自己的新聞文章抓取程序，并將新聞從主要網(wǎng)站或文章標題，作者，來(lái)源，內容等中保存到數據庫中。
　　實(shí)時(shí)信息捕獲：您可以將Internet中的實(shí)時(shí)信息集成到您的應用程序中：股票報價(jià)，投注賠率，天氣預報，熱門(mén)新聞等。
　　RSS信息捕獲：從多個(gè)網(wǎng)站 RSSXML文件中提取文章標題和內容，并將其顯示在網(wǎng)站或應用程序中。
　　競爭情報監視：在每個(gè)窗口網(wǎng)站中提取并顯示最新新聞，招聘信息和人員變動(dòng)，并通過(guò)Google或百度搜索顯示您自己和競爭對手的名稱(chēng)以及相關(guān)產(chǎn)品的關(guān)鍵字，在窗口中顯示搜索結果或將其保存在數據庫中。 查看全部

　　復盤(pán)-Flume+Kafka實(shí)時(shí)數據采集
　　背景
　　今天給你們分享一下我近來(lái)遇見(jiàn)的坑，也不能說(shuō)是坑，嚴格來(lái)說(shuō)是我知識廣度不夠，導致當時(shí)認為此問(wèn)題無(wú)解，互聯(lián)網(wǎng)沒(méi)有解決不了的問(wèn)題，只要認真對待就一定可以解決。
　　下面我們來(lái)進(jìn)行一次復盤(pán)，希望可以幫助到須要幫助的朋友。
　　最近在關(guān)注Apache Druid(實(shí)時(shí)數據剖析)，它有一個(gè)功能可以通過(guò)Kafka實(shí)時(shí)攝入數據，并提供了挺好的生態(tài)工具，在督查過(guò)程中所有的流程均已打通，已打算接入我司數據進(jìn)行一下容量及響應速率測試，可以說(shuō)：萬(wàn)事具備只欠東風(fēng)。。。然而發(fā)覺(jué)這個(gè)東風(fēng)，版本很低。。。最終結果可能會(huì )造成如此好用的數據剖析工具難以使用
　　復盤(pán)&amp;解決方案
　　一、Kafka生產(chǎn)消費版本不一致未能將數據部門(mén)的數據搜集到我們工具中
　　Apache Druid實(shí)時(shí)數據攝入Kafa最低要求版本0.11我司Kafka0.10
　　二、這么看我司Kafka一定是不能升級的，工具也難以降級，怎么辦呢？
　　放棄apache druid（換工具）,調研中也在關(guān)注Clickhouse,但還差一點(diǎn)就成功了舍棄有些可惜。。。這條路只能是無(wú)路可走時(shí)選擇
　　采用中轉消費進(jìn)程來(lái)處理，共有2個(gè)方案
　　
　　不能立刻解決的疼點(diǎn)：每天預計有N億數據經(jīng)過(guò)這個(gè)服務(wù)。這樣就得先解決：高可用、高可靠問(wèn)題，數據不能遺失，同時(shí)也帶來(lái)維護成本，總之臨時(shí)用用可以，待解決問(wèn)題不少，待使用.
　　
　　這個(gè)方案比Golang輪詢(xún)方案惟一用處數據保存到c盤(pán)了，感官上比較靠譜。。。好吧，那就這個(gè)方案，準備擼代碼。
　　三、我們大致總結下來(lái)解決方案，看起來(lái)沒(méi)問(wèn)題，但是問(wèn)題仍然存在
　　如果c盤(pán)壞了如何辦？ 單點(diǎn)問(wèn)題服務(wù)不可靠，如處理N億數據，要對這個(gè)服務(wù)進(jìn)行監控，報警，故障處理等，需要大量人工介入，成本偏高單機io性能消耗嚴重，讀寫(xiě)頻繁很容易出問(wèn)題，未知性很大
　　四、以上方案還是不太滿(mǎn)意，繼續找解決辦法，不舍棄
　　基于以上緣由，能否有第三方開(kāi)源軟件解決呢。明知山有虎偏向虎山行，這么做不行，不管是做人做事，盡量不要給他人留下坑，同時(shí)這也是自己的學(xué)習過(guò)程。
　　帶著(zhù)問(wèn)題，加了會(huì )好多相關(guān)QQ群，找跟我同病相憐的人，看看有啥解決辦法。
　　有這么一句話(huà)只要你堅持了肯定都會(huì )有答案。。。Druid有一位美眉也遇見(jiàn)跟我同樣的問(wèn)題，她是使用Flume來(lái)解決
　　
　　Flume介紹
　　詳細介紹請自行百度
　　優(yōu)勢Flume可以將應用形成的數據儲存到任何集中存儲器中，比如HDFS,HBase當搜集數據的速率超過(guò)將寫(xiě)入數據的時(shí)侯，也就是當搜集信息遇見(jiàn)峰值時(shí)，這時(shí)候搜集的信息十分大，甚至超過(guò)了系統的寫(xiě)入數據能力，這時(shí)候，Flume會(huì )在數據生產(chǎn)者和數據收容器間作出調整，保證其才能在二者之間提供平穩的數據.提供上下文路由特點(diǎn)Flume的管線(xiàn)是基于事務(wù)，保證了數據在傳送和接收時(shí)的一致性.Flume是可靠的，容錯性高的，可升級的，易管理的,并且可訂制的。具有特點(diǎn)Flume可以高效率的將多個(gè)網(wǎng)站服務(wù)器中搜集的日志信息存入HDFS/HBase中使用Flume，我們可以將從多個(gè)服務(wù)器中獲取的數據迅速的移交給Hadoop中不僅日志信息，Flume同時(shí)也可以拿來(lái)接入搜集規模宏大的社交網(wǎng)絡(luò )節點(diǎn)風(fēng)波數據，比如facebook,twitter,電商網(wǎng)站如亞馬遜，flipkart等支持各類(lèi)接入資源數據的類(lèi)型以及接出數據類(lèi)型支持多路徑流量，多管線(xiàn)接入流量，多管線(xiàn)接出流量，上下文路由等可以被水平擴充Flume 驗證方案可行性
　　高可用，高可靠的第三方開(kāi)源已找到，見(jiàn)證奇跡的時(shí)刻到了。
　　首先安裝兩個(gè)版本Kafka,下載地址官網(wǎng)可以找到: 單機版安裝kafka0.10 1. kafka_2.10-0.10.0.0.tgz 2. kafka_2.11-0.11.0.3.tgz
　　Flume最新版本1.9 1、apache-flume-1.9.0-bin.tar.gz
　　操作很多，我把配置文件貼下來(lái)，如果有問(wèn)題可以加我QQ：979134，請注明緣由
　　# 定義這個(gè)agent組件名稱(chēng)
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# =======================使用內置kafka source
a1.sources.r1.kafka.bootstrap.servers=ip:9092
a1.sources.r1.kafka.topics=kafka0-10-0
a1.sources.r1.kafka.consumer.security.protocol=SASL_PLAINTEXT
a1.sources.r1.kafka.consumer.sasl.mechanism=PLAIN
a1.sources.r1.kafka.consumer.group.id=groupid
a1.sources.r1.kafka.consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="用戶(hù)名" password="密碼";
a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize=5000
# =======================對sources進(jìn)行攔截器操作 channel中會(huì )帶有Header，我做了remove_header操作
a1.sources.r1.interceptors=i1
a1.sources.r1.interceptors.i1.type=remove_header
a1.sources.r1.interceptors.i1.fromList=timestamp,topic,offset,partition
a1.sources.r1.channels=c1
# channel設置 a1.sinks.k1.type有很多種，如、memory、file、jdbc、kafka 我使用kafka做為通道
# channel 先把數據發(fā)動(dòng)到kafka緩存通道，處理完成sink接收，之后進(jìn)行producer
a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers=127.0.0.1:9002
a1.channels.c1.kafka.topic=kafka-channel
# =======================目標生產(chǎn)數據
#a1.sinks.k1.type=logger 打開(kāi)這里可以驗證從channel傳遞過(guò)來(lái)的數據是否是你想要的
a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic=kafka2-1
a1.sinks.k1.kafka.bootstrap.servers=127.0.0.1:9002
a1.sinks.k1.kafka.flumeBatchSize= 1000
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.compression.type = snappy
# Bind the source and sink to the channel
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
　　流程回顧&amp;最終解決,用上第三方開(kāi)源軟件，我也可以安安穩穩午睡啦
　　
　　最終數據完美接入到Druid
　　
　　看到這兒我已寫(xiě)了3小時(shí)，您是否可以給個(gè)贊和喜歡，感謝 查看全部

　　百度地圖數據采集軟件開(kāi)發(fā) 爬取的數據全面
　　0
　　日常生活中我們使用比較多的兩款地圖產(chǎn)品是百度和高德，在數據采集方面真的很麻煩。百度地圖數據采集軟件開(kāi)發(fā)才能一鍵批量采集百度地圖上的實(shí)時(shí)數據，包括地點(diǎn)ID、名稱(chēng)、電話(huà)、經(jīng)緯度座標等。
　　日常生活中我們使用比較多的兩款地圖產(chǎn)品是百度和高德，而在數據采集方賣(mài)弄真的很麻煩。百度地圖數據采集軟件開(kāi)發(fā)能為用戶(hù)提供一鍵批量采集百度地圖上的實(shí)時(shí)數據，包括地點(diǎn)ID、名稱(chēng)、電話(huà)、經(jīng)緯度座標等，方便用戶(hù)進(jìn)行數據剖析。
　　
　　百度地圖數據采集軟件開(kāi)發(fā)功能特征介紹
　　1、采集數據不間斷：軟件可以24小時(shí)不間斷地運行，就算是死機也能進(jìn)行采集，適用于規?；瘮祿廊?。
　　2、爬取信息詳盡：爬取的信息數據包括地點(diǎn)ID、名稱(chēng)、logo、電話(huà)、經(jīng)緯度座標、標簽等，還能自定義須要采集城市和地點(diǎn)搜索關(guān)鍵詞，同時(shí)采集多關(guān)鍵字搜索的結果。
　　3、數據導入和發(fā)布：能夠導入數據文件而且發(fā)布到數據庫或則是網(wǎng)站中去，能夠無(wú)縫對接用戶(hù)的現有系統。
　　4、一站式采集：統一可視化管理爬取的數據，為用戶(hù)提供更多數據剖析處理的功能，還可以進(jìn)行數據清洗和機器學(xué)習，用戶(hù)想要獲取關(guān)鍵的信息也絲毫不用害怕數據量多的問(wèn)題。
　　東方智啟科技是北京專(zhuān)業(yè)的百度地圖數據采集軟件開(kāi)發(fā)公司，用嚴謹的服務(wù)態(tài)度和專(zhuān)業(yè)的技術(shù)團隊為企業(yè)提供更多優(yōu)質(zhì)的服務(wù)。 查看全部

　　織夢(mèng)實(shí)現發(fā)布文章主動(dòng)推送（實(shí)時(shí)）給百度的方式
　　
　　織夢(mèng)內容管理系統(DedeCms) 是一款太老的程序了，主要是以簡(jiǎn)單、實(shí)用、開(kāi)源而享譽(yù)，很多建站初學(xué)者第一次做網(wǎng)站都是使用的織夢(mèng)。不過(guò)織夢(mèng)也有不足之處，比方說(shuō)我們用織夢(mèng)發(fā)布文章之后還須要自動(dòng)去遞交鏈接給百度，這是不是很麻煩呢？
　　因此，康哥明天就分享一個(gè)通過(guò)簡(jiǎn)單更改織夢(mèng)（Dedecms）后臺，實(shí)現在織夢(mèng)網(wǎng)站后臺發(fā)布文章主動(dòng)推獻給百度的方式，而且還是實(shí)時(shí)的哦。
　　那么，我們使用百度的主動(dòng)推送功能會(huì )達到如何的療效呢？
　　康哥覺(jué)得有以下兩點(diǎn)：
　　1、可以被百度搜索引擎爬蟲(chóng)及時(shí)發(fā)覺(jué)
　　如果我們在發(fā)布完文章之后，主動(dòng)的把鏈接遞交給百度搜索引擎爬蟲(chóng)，那不就可以減短百度搜索引擎爬蟲(chóng)發(fā)覺(jué)你站點(diǎn)新鏈接的時(shí)間了么？這樣就可以讓新發(fā)布的頁(yè)面在第一時(shí)間被百度收錄了。
　　2、還可以起到保護原創(chuàng )的療效
　　天下文章一大抄，對于這些抄襲者你是不是太懼怕？明明是自己寫(xiě)的原創(chuàng )文章，卻被他人網(wǎng)站抄襲了過(guò)去，這還不算什么?？墒悄切﹤€(gè)剽竊的文章，他們的排行竟然比你的還要好，難道你就不會(huì )吵架么？難道你就不會(huì )怪度娘的技術(shù)太軟么？
　　所以，只要使用了百度的主動(dòng)推送功能，對于網(wǎng)站的最新原創(chuàng )內容，就可以用這些方法快速通知到百度，使內容可以在轉發(fā)之前就被百度發(fā)覺(jué)，從而起到保護原創(chuàng )的療效。
　　好了，康哥如今就來(lái)教你們怎么使用織夢(mèng)就可以實(shí)現發(fā)布文章主動(dòng)推送（實(shí)時(shí)）給百度的方式。為了便捷舉例說(shuō)明，康哥明天就拿剛上線(xiàn)的新站云南特產(chǎn)網(wǎng)來(lái)給你們做示范吧。
　　一、在織夢(mèng)后臺添加文檔原創(chuàng )屬性判斷框
　　我們在織夢(mèng)后臺添加文檔原創(chuàng )屬性判定框主要就是降低織夢(mèng)的自定義文檔屬性，實(shí)現勾選文檔原創(chuàng )屬性判定框時(shí)，就遞交為原創(chuàng )鏈接，否則就遞交為普通鏈接。
　　先登入織夢(mèng)網(wǎng)站后臺，然后找到系統-SQL命令行工具，執行如下sql句子：
　　INSERT INTO `dede_arcatt` VALUES('9','y','原創(chuàng )');
alter table `dede_archives` modify `flag` set('c','h','p','f','s','j','a','b','y') default NULL;
　　直接把前面這段sql句子復制進(jìn)去以后，就點(diǎn)擊確定，具體請看右圖所示：
　　
　　成功執行這段sql句子以后，我們在織夢(mèng)后臺的系統-自定義文檔屬性中就可以看見(jiàn)如下結果：
　　
　　然后，當我們在織夢(mèng)后臺發(fā)布文章時(shí)，通過(guò)勾選文檔原創(chuàng )屬性判定框即可，具體請看右圖所示：
　　
　　二、加入百度主動(dòng)推送代碼，做推送判定
　　我們主要是更改織夢(mèng)后臺的article_add.php和article_edit.php這兩個(gè)文件來(lái)實(shí)現推送判定的療效。登錄FTP，根據這個(gè)織夢(mèng)網(wǎng)站的后臺路徑wwwroot//dede/就可以找到article_add.php和article_edit.php這兩個(gè)文件了。
　　注意：康哥在這里是以文章頁(yè)模型為例，如果你們想要更改產(chǎn)品頁(yè)的，就更改相對應的模板即可。
　　先來(lái)更改一下article_add.php這個(gè)文件，康哥推薦你們使用Notepad++這個(gè)代碼編輯器來(lái)進(jìn)行更改。
　　打開(kāi)了article_add.php這個(gè)文件以后，直接Ctrl+G定位到大約是259行這兒（每個(gè)人的網(wǎng)站代碼都不一樣，自己找下大約的位置吧），然后我們就把百度主動(dòng)推送核心代碼直接復制粘貼到259行下邊這個(gè)位置，如下圖所示：
　　
　　康哥在這里就給你們分享一下這段代碼好了，然后大家自己把代碼上面的API接口調用地址更改成自己的即可。
　　//主動(dòng)推送核心代碼開(kāi)始
else{
$urls[]='http://'.$cfg_baiduhost.'/'.$artUrl;
$api = 'http://data.zz.baidu.com/urls?site=www.gxtcnet.cn&token=RyVub75SqbRkLu0k';
$ch = curl_init();
$options = array(
CURLOPT_URL => $api,
CURLOPT_POST => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_POSTFIELDS => implode("\n", $urls),
CURLOPT_HTTPHEADER => array('Content-Type: text/plain'),
);
curl_setopt_array($ch, $options);
$result = curl_exec($ch);
}
//主動(dòng)推送核心代碼結束
　　百度主動(dòng)推送核心代碼加進(jìn)去以后就保存，傳回FTP覆蓋掉原先那種文件。
　　如果你想要織夢(mèng)后臺文章發(fā)布成功以后有這樣一個(gè)推送提示的療效，那么你就可以在大約是第287行的下邊加入這段代碼：百度遞交返回".$result."，具體可以看右圖所示：
　　
　　接著(zhù)，我們再來(lái)更改下article_edit.php這個(gè)文件，修改方式也是跟之前那種文件一樣。
　　同樣是打開(kāi)了article_edit.php這個(gè)文件以后，直接Ctrl+G定位到大約是242行這兒，然后我們就把內容模塊下的主動(dòng)推送代碼直接復制粘貼到242行下邊這個(gè)位置，如下圖所示：
　　
　　康哥在這里也給你們分享一下這段代碼，然后大家自己把代碼上面的API接口調用地址更改成自己的即可。
　　//修改內容模塊下的主動(dòng)推送代碼開(kāi)始
else{
$urls[]='http://'.$cfg_baiduhost.'/'.$artUrl;
$api = 'http://data.zz.baidu.com/urls?site=www.gxtcnet.cn&token=RyVub75SqbRkLu0k';
$ch = curl_init();
$options = array(
CURLOPT_URL => $api,
CURLOPT_POST => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_POSTFIELDS => implode("\n", $urls),
CURLOPT_HTTPHEADER => array('Content-Type: text/plain'),
);
curl_setopt_array($ch, $options);
$result = curl_exec($ch);
}
//修改內容模塊下的主動(dòng)推送代碼結束
　　當我們把內容模塊下的主動(dòng)推送代碼加進(jìn)去以后就保存，也同樣是傳回FTP覆蓋掉原先那種文件。
　　如果你想要織夢(mèng)后臺文章發(fā)布成功以后有這樣一個(gè)推送提示的療效，那么你就可以在大約是在第270行的下邊加入這段代碼：百度遞交返回".$result."，具體可以看右圖所示：
　　
　　給這兩個(gè)判定文件加完了推送判定代碼以后，也就完成了一大半的工作了，還有兩個(gè)關(guān)鍵的地方須要我們在織夢(mèng)后臺進(jìn)行操作，那就是添加兩條新變量！
　　由于目前為止，還是有很多同學(xué)不懂得怎樣在織夢(mèng)DedeCms添加新變量，康哥在這里就給你們支個(gè)招吧。
　　我們先來(lái)添加第一條變量吧，進(jìn)入織夢(mèng)(Dedecms)后臺，依次打開(kāi)系統-系統基本參數-添加新變量，然后你還能見(jiàn)到如下圖所展示的內容了：
　　
　　變量名稱(chēng)：指的是調用的函數，請填寫(xiě)以cfg_開(kāi)頭的英語(yǔ)或則是數字，我們這兒就直接寫(xiě)：cfg_baiduhost
　　變量值：指的是輸入框填寫(xiě)的內容，我們這兒就寫(xiě)自己的網(wǎng)站域名：
　　變量類(lèi)型：指的是文字或則是數字之類(lèi)的，這里我們就選擇文字類(lèi)型即可。當然了，如果你添加變量的內容比較長(cháng)，那么就可以選擇多行文本。
　　參數說(shuō)明：指的是英文的命名，就是便捷我們曉得這個(gè)新變量這是干哪些用的，我們這兒就寫(xiě)：百度推送域名。
　　所屬組：這個(gè)指的是你想在那個(gè)管理組聽(tīng)到這個(gè)新變量，在這里我們就直接選擇默認的站點(diǎn)設置即可。
　　設置完畢以后，我們單擊保存變量，第一條變量也就添加成功了。
　　好了，接著(zhù)再看下第二條變量是如何添加進(jìn)去的，剛才康哥早已給大家早已介紹過(guò)了這種變量的相關(guān)術(shù)語(yǔ)，在這里就不屁話(huà)那么多了，直接上干貨！
　　變量名稱(chēng)：cfg_badutoken
　　變量值：RyVub75SqbRkLu0k（注意：主動(dòng)推送插口的參數值請從百度搜索資源平臺鏈接遞交這兒獲?。?br /> 　　變量類(lèi)型：文字類(lèi)型
　　參數說(shuō)明：主動(dòng)推送插口
　　所屬組：站點(diǎn)設置
　　設置完畢以后，我們就直接單擊保存變量，這時(shí)候呢第二條變量也就添加成功了，下面這張截圖就是添加第二條變量所展示的內容：
　　
　　然后你在系統基本參數的頂部這兒是不是就看到多了這兩條新的內容呢？一個(gè)是百度推送域名，另外一個(gè)就是主動(dòng)推送插口，具體請看下邊這張截圖：
　　
　　如果聽(tīng)到了，那么康哥就要恭喜你了，說(shuō)明早已大功告成！
　　
　　上面這個(gè)截圖就是康哥隨機發(fā)布的一篇文章，看到這個(gè)療效了么？關(guān)鍵就是這段代碼，{"remain":4999954,"success":1} ，"remain":4999954,"返回的是還可以遞交的數目，"success":1返回的則是成功遞交百度的數目，說(shuō)明已然成功的主動(dòng)遞交了一條新鏈接給百度搜索引擎爬蟲(chóng)。 查看全部

　　前文
　　今天碰巧刷新技術(shù)公眾號的時(shí)侯，看到一篇這樣文章，是基于Flink有關(guān)于Mysql Binlog數據采集的方案，看了一下實(shí)踐方式和具體操作有一些考慮情況不足的情況，缺少一些處理實(shí)際情況的操作。筆者之前有些過(guò)一些類(lèi)似的采集工具實(shí)踐的文章，但是并沒(méi)有在整體上作出一個(gè)系統性的總結，所以我在想，是不是可以做一個(gè)個(gè)人總結性的文章，把Binlog采集中的問(wèn)題以及相應的解決方案也進(jìn)行總結呢？
　　可能很多人對于Binlog的認識還不是太充足，可能有些人會(huì )淺顯的覺(jué)得：“它不就是mysql形成的，有固定結構的log嘛，把數據采集過(guò)來(lái)，然后把它做一下數據落地，它有哪些難的呢？”
　　的確，它本質(zhì)上確實(shí)就是個(gè)log，可是實(shí)際上，關(guān)于Binlog采集從場(chǎng)景剖析，再到技術(shù)選型，整體內部有很多不為人知的坑，不要輕視了它。
　　筆者寫(xiě)這篇文章，目的是把實(shí)際工作中對于Binlog數據采集的開(kāi)發(fā)流程的原則、注意事項、可能存在的問(wèn)題點(diǎn)展示下來(lái)，其中也會(huì )有筆者自己的一些個(gè)人總結數據采集中的原則，為你們作參考，都是干貨。
　　所以開(kāi)始吧！
　　個(gè)人總結原則
　　首先摒棄技術(shù)框架的討論，個(gè)人總結Binlog 日志的數據采集主要原則：
　　分別論述一下這三個(gè)原則的具體含意
　　原則一
　　在數據采集中，數據落地通常還會(huì )使用時(shí)間分區進(jìn)行落地，那就須要我們確定一下固定的時(shí)間戳作為時(shí)間分區的基礎時(shí)間序列。
　　在這些情況下看來(lái)，業(yè)務(wù)數據上的時(shí)間戳數組，無(wú)論是從實(shí)際開(kāi)發(fā)中獲取此時(shí)間戳的角度，還是現實(shí)表中就會(huì )存在這樣的時(shí)間戳，都不可能所有表完全滿(mǎn)足。
　　舉一下例子：
　　表 ：業(yè)務(wù)時(shí)間戳
　　table A ： create_time，update_time
　　table B ： create_time
　　table C ： create_at
　　table D ： 無(wú)
　　像這樣的情況，理論上可以通過(guò)限制 RD 和 DBA 的在設計表時(shí)規則化表結構來(lái)實(shí)現時(shí)間戳以及命名的統一化、做限制，但是是在實(shí)際工作中，這樣的情況基本上是做不到的，相信好多讀者也會(huì )碰到這樣的情況。
　　可能好多做數據采集的同學(xué)會(huì )想，我們能不能要求她們去制訂標準呢？
　　個(gè)人的看法是，可以，但是不能把大數據底層數據采集完全借助這樣相互制訂的標準。原因有以下三點(diǎn)：
　　所以假如想要使用惟一固定的時(shí)間序列，就要和業(yè)務(wù)的數據剝離開(kāi)，我們想要的時(shí)間戳不受業(yè)務(wù)數據的變動(dòng)的影響。
　　原則二
　　在業(yè)務(wù)數據庫中，一定會(huì )存在表結構變更的問(wèn)題，絕大部分情況為降低列，但是也會(huì )存在列重命名、列刪掉這類(lèi)情況，而其中數組變更的次序是不可控的。
　　此原則想描述的是，導入到數據庫房中的表，要適應數據庫表的各類(lèi)操作，保持其可用性與列數據的正確性。
　　原則三
　　此數據可回溯，其中包括兩個(gè)方面
　　第一個(gè)描述的是，在采集binlog采集端，可以重新按位置采集binlog。
　　第二個(gè)描述的是，在消費binlog落地的一端，可以重復消費把數據重新落地。
　　此為筆者個(gè)人總結，無(wú)論是選擇什么樣的技術(shù)選型進(jìn)行組合搭建，這幾點(diǎn)原則是須要具備的。
　　實(shí)現方案以及具體操作
　　技術(shù)構架 ： Debezium + Confluent + Kafka + OSS/S3 + Hive
　　基于原則一的解決方案
　　Debezium 提供了 New Record State Extraction 的配置選項，相當于提供了一個(gè)transform 算子，可以抽取出binlog 中的元數據。
　　對于 0.10 版本的配置，可以抽取 table,version,connector,name,ts_ms,db,server_id,file,pos,row 等binlog元數據信息。
　　其中ts_ms為binlog日志的形成時(shí)間，此為binlog元數據，可以應用于所有數據表，而且可以在完全對數據表內部結構不了解的情況下，使用此固定時(shí)間戳，完全實(shí)現我們的原則一。
　　關(guān)于Debezium，不同版本之前的配置參數有可能是不同的，如果讀者有須要實(shí)踐的話(huà)須要在官方文檔上確認相應版本的配置參數。
　　對于其他框架，例如市面上用的較多的Canal，或者讀者有自己須要開(kāi)發(fā)數據采集程序的話(huà)，binlog的元數據建議全部抽取下來(lái)，在此過(guò)程以及后續過(guò)程中都可能會(huì )被用到。
　　基于原則二的解決方案
　　對于 Hive ，目前主流的數據儲存格式為Parquet，ORC，Json，Avro 這幾種。
　　拋開(kāi)數據儲存的效率討論。
　　對于前兩中數據格式，為列存，也就是說(shuō)，這兩種數據格式的數據讀取，會(huì )嚴格依賴(lài)于我們數據表中的數據儲存的次序，這樣的數據格式，是難以滿(mǎn)足數據列靈活降低、刪除等操作的。
　　Avro 格式為行存，但是它須要依賴(lài)于Schema Register服務(wù)，考慮Hive的數據表讀取完全要依賴(lài)一個(gè)外部服務(wù)，風(fēng)險偏高。
　　最后確定使用Json格式進(jìn)行數據儲存，雖然這樣的讀取和儲存效率沒(méi)有其他格式高，但是這樣可以保證業(yè)務(wù)數據的任何變更都可以在hive中讀取下來(lái)。
　　Debezium 組件采集binlog 的數據就是為json格式，和預期的設計方案是吻合的，可以解決原則二帶來(lái)的問(wèn)題。
　　對于其他框架，例如市面上用的較多的Canal，可以設置為Json數據格式進(jìn)行傳輸，或者讀者有自己須要開(kāi)發(fā)數據采集程序的話(huà)，也是相同的道理。
　　基于原則三的解決方案
　　在采集binlog采集端，可以重新按位置采集binlog。
　　此方案實(shí)現方法在Debezium官方網(wǎng)站上也給出了相應的解決方案，大概描述一下，需要用到 Kafkacat工具。
　　對于每一個(gè)采集的mysql實(shí)例，創(chuàng )建數據采集任務(wù)時(shí)，Confluent就會(huì )相應的創(chuàng )建connector（也就是采集程序）的采集的元數據的topic，
　　里面會(huì )儲存相應的時(shí)間戳、文件位置、以及位置，可以通過(guò)更改此數據，重置采集binlog日志的位置。
　　值得注意的是，此操作的時(shí)間節點(diǎn)也是有限制的，和mysql的binlog日志保存周期有關(guān)，所以此方法回溯時(shí)，需要確認的是mysql日志還存在。
　　對于重復消費把數據重新落地。
　　此方案由于基于kafka，對于kafka重新制訂消費offset消費位點(diǎn)的操作網(wǎng)上有很多方案，此處不再贅言。
　　對于讀者自己實(shí)現的話(huà)，需要確認的選擇的MQ支持此特點(diǎn)就好了。
　　#how_to_change_the_offsets_of_the_source_database
　　業(yè)務(wù)場(chǎng)景影響下的重要操作
　　此部份只描述在筆者技術(shù)構架下怎樣實(shí)現以下操作，讀者可以按照自己選擇的技術(shù)組件探究不同的技術(shù)方案。
　　數據庫分庫分表的情況
　　基于Debezium的構架，一個(gè)Source 端只能對應一個(gè)mysql實(shí)例進(jìn)行采集，對于同一實(shí)例上的分表情況，可以使用 Debezium Topic Routing 功能，
　　在采集過(guò)濾binlog時(shí)把相應須要采集的表根據正則匹配寫(xiě)入一個(gè)指定的topic中。
　　在分庫的情況下，還須要在 sink 端 增加 RegexRouter transform算子進(jìn)行topic 間的合并寫(xiě)入操作。
　　數據增量采集與全量采集
　　對于采集組件，目前目前的配置都是以增量為默認，所以無(wú)論是選擇 Debezium 還是 Canal的話(huà)，正常配置就好。
　　但是有些時(shí)侯會(huì )存在須要采集全表的情況，筆者也給出一下全量的數據采集的方案。
　　方案一
　　Debezium 本身自帶了這樣的功能，需要將
　　snapshot.mode 參數選型設置為 when_needed，這樣可以做表的全量采集操作。
　　官方文檔中，在此處的參數配置有愈發(fā)細致的描述。
　　#snapshots
　　方案二
　　使用sqoop和增量采集同時(shí)使用的方法進(jìn)行。
　　此方案適用于表數據已存在好多，而目前binlog數據頻度不頻繁的情況下，使用此方案。
　　值得注意的是有兩點(diǎn)：
　　離線(xiàn)數據去重條件
　　數據落地后，通過(guò)json表映射出binlog原創(chuàng )數據，那么問(wèn)題也就來(lái)了，我們怎么找到最新的一條數據呢？
　　也許我們可以簡(jiǎn)單的覺(jué)得，用我們剛才的抽取的那種ts_ms，然后做倒排不就好了嗎？
　　大部分情況下這樣做確實(shí)是可以的。
　　但是筆者在實(shí)際開(kāi)發(fā)中，發(fā)現這樣的情況是不能滿(mǎn)足所有情況的，因為在binlog中，可能真的會(huì )存在 ts_ms 與 PK 相同，但是確實(shí)不同的兩條數據。
　　那我們如何去解決時(shí)間都相同的兩條數據呢？
　　答案就在上文，我們剛才建議的把binlog 的元數據都抽取下來(lái)。
　　SELECT *
FROM
(
SELECT *,
row_number() over(partition BY t.id ORDER BY t.`__ts_ms` DESC,t.`__file` DESC,cast(t.`__pos` AS int) DESC) AS order_by
FROM test t
WHERE dt='{pt}'
AND hour='{now_hour}'
) t1
WHERE t1.order_by = 1
　　解釋一下這個(gè)sql 中row_number的的條件
　　__ts_ms ： 為binlog中的ts_ms，也就是風(fēng)波時(shí)間。
　　__file ： 為binlog此條數據所在file name。
　　__pos ： 為binlog中此數據所在文件中的位置，為數據類(lèi)型。
　　這樣的條件組合取出的數據，就是最新的一條。
　　也許有讀者會(huì )問(wèn)，如果這條數據被刪除了如何辦，你這樣取下來(lái)的數據不就是錯的了嗎？
　　這個(gè)Debezium也有相應的操作，有相應的配置選項使你怎么選擇處理刪掉行為的binlog數據。
　　作為給你們的參考，筆者選擇 rewrite 的參數配置，這樣在前面的sql最內層只須要判定 “delete = ’false‘“ 就是正確的數據啦。
　　架構上的總結
　　在技術(shù)選型以及整體與細節的構架中，筆者一直在堅持一個(gè)原則——
　　流程盡量簡(jiǎn)潔而不簡(jiǎn)單，數據環(huán)節越長(cháng)，出問(wèn)題的環(huán)節就可能越多。對于后期鎖定問(wèn)題與運維難度也會(huì )很高。
　　所以筆者在技術(shù)選型也曾考慮過(guò)Flink + Kafka 的這些方法，但是基于當時(shí)的現況，筆者并沒(méi)有選擇這樣的技術(shù)選型，筆者也探討一下緣由。
　　總結上去，我當時(shí)對于Flink的思索，如果Flink沒(méi)有做開(kāi)發(fā)和運維監控的平臺化的情況下，可以作為一個(gè)臨時(shí)方案，但是后期假如仍然在這樣一個(gè)開(kāi)發(fā)流程下縫縫補補，多人開(kāi)發(fā)下很容易出現問(wèn)題，或者就是你們都這樣一個(gè)程序框架下造輪子，而且越造越慢。而且后期的主要項目方向并沒(méi)有把Flink平臺化提上日程，所以也是考慮了一部分未來(lái)的情況進(jìn)行的選擇。
　　所以個(gè)人最后確定技術(shù)選型的時(shí)侯，并沒(méi)有選用Flink。
　　結束語(yǔ)
　　此篇文章筆者寫(xiě)的較為理論化，也是對此場(chǎng)景的一個(gè)技術(shù)理論總結。如果文中有其他不明晰的操作的話(huà)，可以參考筆者之前的文章，有詳盡的代碼級操作。
　　技術(shù)構架上的方案多種多樣，筆者只是選擇了其中一種進(jìn)行實(shí)現，也希望你們有其他的技術(shù)方案或則理論進(jìn)行交流，煩請見(jiàn)諒。 查看全部

　　這是我們?yōu)槟銈兲峁┑囊黄P(guān)于介紹20個(gè)最好的網(wǎng)站數據實(shí)時(shí)剖析工具的文章，接下來(lái)就讓我們一起來(lái)了解一下吧!
　　1. Google Analytics
　　這是一個(gè)使用最廣泛的訪(fǎng)問(wèn)統計剖析工具，幾周前，Google Analytics推出了一項新功能，可以提供實(shí)時(shí)報告。你可以看見(jiàn)你的網(wǎng)站中目前在線(xiàn)的訪(fǎng)客數目，了解她們觀(guān)看了什么網(wǎng)頁(yè)、他們通過(guò)那個(gè)網(wǎng)站鏈接到你的網(wǎng)站、來(lái)自那個(gè)國家等等。
　　
　　2. Clicky
　　與Google Analytics這些龐大的剖析系統相比，Clicky相對比較簡(jiǎn)易，它在控制面板上描供了一系列統計數據，包括最近三天的訪(fǎng)問(wèn)量、最高的20個(gè)鏈接來(lái)源及最高20個(gè)關(guān)鍵字，雖說(shuō)數據種類(lèi)不多，但可直觀(guān)的反映出當前站點(diǎn)的訪(fǎng)問(wèn)情況，而且UI也比較簡(jiǎn)約清爽。
　　
　　3. Woopra
　　Woopra將實(shí)時(shí)統計帶到了另一個(gè)層次，它能實(shí)時(shí)直播網(wǎng)站的訪(fǎng)問(wèn)數據，你甚至可以使用Woopra Chat部件與用戶(hù)聊天。它還擁有先進(jìn)的通知功能，可使你完善各種通知，如電子郵件、聲音、彈出框等。
　　
　　4. Chartbeat
　　這是針對新聞出版和其他類(lèi)型網(wǎng)站的實(shí)時(shí)剖析工具。針對電子商務(wù)網(wǎng)站的專(zhuān)業(yè)剖析功能正式推出。它可以使你查看訪(fǎng)問(wèn)者怎樣與你的網(wǎng)站進(jìn)行互動(dòng)，這可以幫助你改善你的網(wǎng)站。
　　
　　5. GoSquared
　　它提供了所有常用的剖析功能，并且還可以使你查看特定訪(fǎng)客的數據。它集成了Olark，可以使你與訪(fǎng)客進(jìn)行聊天。
　　
　　6. Mixpanel
　　該工具可以使你查看訪(fǎng)客數據，并剖析趨勢，以及比較幾天內的變化情況。
　　
　　7. Reinvigorate
　　它提供了所有常用的實(shí)時(shí)剖析功能，可以使你直觀(guān)地了解訪(fǎng)客點(diǎn)擊了什么地方。你甚至可以查看注冊用戶(hù)的名稱(chēng)標簽，這樣你就可以跟蹤她們對網(wǎng)站的使用情況了。
　　
　　8. Piwik
　　這是一個(gè)開(kāi)源的實(shí)時(shí)剖析工具，你可以輕松下載并安裝在自己的服務(wù)器上。
　　
　　9. ShinyStat
　　該網(wǎng)站提供了四種產(chǎn)品，其中包括一個(gè)有限制的免費剖析產(chǎn)品，可用于個(gè)人和非營(yíng)利網(wǎng)站。企業(yè)版擁有搜索引擎排名測量，可以幫助你跟蹤和改善網(wǎng)站的排行。
　　
　　10. SeeVolution
　　它目前處于測試階段，提供了heatmaps和實(shí)時(shí)剖析功能，你可以聽(tīng)到heatmaps直播。它的可視化工具集可以使你直觀(guān)查看剖析數據。
　　
　　11. FoxMetrics
　　該工具提供了實(shí)時(shí)剖析功能，基于風(fēng)波和特點(diǎn)的概念，你還可以設置自定義風(fēng)波。它可以搜集與風(fēng)波和特點(diǎn)匹配的數據，然后為你提供報告，這將有助于改善你的網(wǎng)站。
　　
　　12. StatCounter
　　這是一個(gè)免費的實(shí)時(shí)剖析工具，只需幾行代碼即可安裝。它提供了所有常用的剖析數據，此外，你還可以設置每晚、每周或每月手動(dòng)給你發(fā)送電子郵件報告。
　　
　　13. Performancing Metrics
　　該工具可以為你提供實(shí)時(shí)博客統計和Twitter剖析。
　　
　　14. Whos.Amung.Us
　　Whos.Amung.Us相當奇特的，它可以嵌入你的網(wǎng)站或博客中，讓你獲得實(shí)時(shí)統計數據。包括免費和付費兩個(gè)版本。
　　
　　15. W3Counter
　　可以提供實(shí)時(shí)數據，并提供超過(guò)30種不同的報告，以及可以查看近來(lái)訪(fǎng)客的詳盡信息。
　　
　　16. TraceWatch
　　這是一個(gè)免費的實(shí)時(shí)剖析工具，可以安裝在服務(wù)器上。它提供了所有常用的統計功能和報告，你也可以見(jiàn)到近來(lái)訪(fǎng)客的詳盡信息，并跟蹤她們的蹤跡。
　　
　　17. Performancing Meters
　　通過(guò)該工具你可以跟蹤目前的訪(fǎng)客、查看來(lái)源鏈接和來(lái)自搜索引擎的流量等。這項服務(wù)是免費的。
　　
　　18. Spotplex
　　這項服務(wù)不僅提供實(shí)時(shí)流量統計外，還可以展示你的網(wǎng)站在所有使用該服務(wù)的網(wǎng)站中的排行。你甚至可以查看當日Spotplex網(wǎng)站上統計的最受歡迎的文章。
　　
　　19. SiteMeter
　　這是另一個(gè)流行的實(shí)時(shí)流量跟蹤服務(wù)。該服務(wù)提供的基本數據是免費的，但假如你想要更詳盡的數據，就須要付費了。
　　
　　20. Icerocket
　　你可以獲得跟蹤代碼或計數器，并查看統計數據。如果你點(diǎn)擊“Rank”，你會(huì )聽(tīng)到你的博客和其他博客的對比結果。
　　
　　大數據導航網(wǎng)站—網(wǎng)站分析檢測工具–采集了逾40個(gè)網(wǎng)站分析工具。 查看全部

　　早在之前就想學(xué)一學(xué)爬蟲(chóng)并且仍然木有時(shí)間，這幾天抽空學(xué)了寫(xiě)入門(mén)級的爬蟲(chóng)，接下來(lái)簡(jiǎn)單介紹下爬蟲(chóng)的具體步驟以及具體的類(lèi)以及操作流程;(按照如下流程搭建爬蟲(chóng)項目)
　　按照五層開(kāi)始搭建爬蟲(chóng)項目:
1.用戶(hù)接口層
2.任務(wù)調度層
3.網(wǎng)絡(luò )爬取層
4.數據解析層
5.數據持久化層
　　開(kāi)始搭建項目
　　首先新建一個(gè)maven項目
　　把爬蟲(chóng)大約須要的類(lèi)包打包好:
　　download包：負責下載url界面以及編碼獲取編碼類(lèi)的一些工具類(lèi)
paser包:
persistence包：
persistence包:
pojos包:存放bean類(lèi)的包
schedule包:負責接收外部傳過(guò)來(lái)的url任務(wù)，通過(guò)一定的分發(fā)策略，將相應的url任務(wù)分發(fā)到采集任務(wù)當中
ui包：負責爬蟲(chóng)系統對外開(kāi)放的接口設計與實(shí)現
utils包:編寫(xiě)一些常用的工具類(lèi)的包
以及在外部新建一個(gè)seeds.txt文件
　　
　　配置好pom.xml文件:
　　
4.0.0
com.tl.spider
SimpleYouthNewsSpider4Job002
0.0.1-SNAPSHOT





nexus-aliyun
Nexus aliyun
http://maven.aliyun.com/nexus/ ... blic/








SimpleYouthNewsSpider4Job002


maven-assembly-plugin


jar-with-dependencies




make-assembly
package

assembly





maven-compilder-plugin
2.3.2

1.7
1.7
UTF-8





　　1)在Util包上面編撰一個(gè)讀取文件的類(lèi)(并返回一個(gè)以換行分割的列表,拿取系統的種子) 讀取seeds.txt上面的內容:
　　public static List getFileLineList(String filePath,String charset) throws IOException{
File fileObj = new File(filePath);
FileInputStream fis = new FileInputStream(fileObj);
InputStreamReader isr = new InputStreamReader(fis);
BufferedReader br = new BufferedReader(isr);
List lineList = new ArrayList();
String temp = null;
while ((temp = br.readLine()) != null) {
temp = temp.trim();
if(temp.length()>0) {
lineList.add(temp);
}
}
br.close();
return lineList;
}
　　2)在儲存常量的類(lèi)上面編撰一個(gè)util類(lèi)編撰一類(lèi)儲存常量
　　public class StaticValue {
public final static String NEXT_LINE="\n";
public final static String ENCODING_DEFAULT="utf-8";
}
　　3)在download包上面編撰一個(gè)爬取網(wǎng)頁(yè)的類(lèi)傳入url的編碼(url,charset)輸出網(wǎng)頁(yè)內容:
　?。ǖ沁@樣網(wǎng)頁(yè)的編碼是固定傳入沒(méi)有自由應變）
　　public static String getHtmlSourceBySocket(String url,String charset) throws Exception {
URL urlObj = new URL(url);
InputStream is = urlObj.openStream();
InputStreamReader isr = new InputStreamReader(is,charset);
BufferedReader br = new BufferedReader(isr);
StringBuilder stringBuilder = new StringBuilder();
String temp = null;
int lineCounter = 0;
while((temp=br.readLine())!=null) {
if(lineCounter>0) {
stringBuilder.append(StaticValue.NEXT_LINE);
}
lineCounter++;
stringBuilder.append(temp);
}
br.close();
return stringBuilder.toString();
}
　　4)根據具體情況來(lái)改變爬蟲(chóng)所對應的編碼方式，分為兩種
　　第一種:根據網(wǎng)頁(yè)源碼上面的Conten-Type屬性來(lái)獲取編碼（ 最準的形式）：
　　
　　代碼實(shí)現獲?。?br /> 　　public static String getCharset(String url) throws Exception {
String finalCharset = null;
URL urlObj = new URL(url);
URLConnection urlConn = urlObj.openConnection();
//用header來(lái)獲取url的charset
Map allHeaderMap = urlConn.getHeaderFields();
List kvList = allHeaderMap.get("Conten-Type");
if(kvList!=null&&!kvList.isEmpty()) {
String line = kvList.get(0);
String[] kvArray = line.split(";");
for (String kv : kvArray) {
String[] eleArray = kv.split("=");
if(eleArray.length==2) {
if(eleArray[0].equals("charset")) {
finalCharset = eleArray[1].trim();
}
}
}
}
System.out.println(finalCharset);//finalCharset為取出的Conten-Type的值
}
　　第二種:根據網(wǎng)頁(yè)源碼的…里面的meta上面對應的charset屬性的值來(lái)獲取編碼
　　
　　代碼實(shí)現獲?。?br /> 　　public static String getCharset(String url) throws Exception {
BufferedReader br = WebPageDownLoadUtil.getBR(url,StaticValue.ENCODING_DEFAULT);
String temp = null;
while((temp=br.readLine())!=null) {
temp = temp.toLowerCase();//把網(wǎng)頁(yè)源碼都轉成小寫(xiě)
String charset = getCharsetVaue4Line(temp);
if(charset!=null) {
finalCharset=charset;
System.out.println(charset);
break;
}
if(temp.contains("")) {
break;
}

}
br.close();
}
　　根據第二種方式要搭建對應的正值表達式來(lái)匹配對應的網(wǎng)頁(yè)依照網(wǎng)頁(yè)的具體情況來(lái)設定，如：
　　public static String getCharsetVaue4Line(String line) {
String regex = "charset=\"?(.+?)\"?\\s?/?>";
Pattern pattern = Pattern.compile(regex);
Matcher matcher = pattern.matcher(line);
String charsetValue = null;
if(matcher.find()) {
charsetValue = matcher.group(1);
}
return charsetValue ;
}
　　然后把前面兩種情況結合一下，在第一種情況獲取不到的情況下依據第二種方案來(lái)獲取 ：
　　結合代碼為： 查看全部

　　前言
　　IBM大中華區總經(jīng)理胡世忠曾說(shuō)：數據構成了智慧月球的三大元素——智能化、互聯(lián)化和物聯(lián)化，而這三大元素又改變了數據來(lái)源、傳送方法和借助形式，帶來(lái)“大數據”這場(chǎng)信息社會(huì )的變遷。
　　從上可見(jiàn)，時(shí)代的改革是始于對數據的借助，對企業(yè)而言，數據也同樣是其發(fā)展、轉型的命脈。在工作中，我的高手不止一次地指出，數據是公司的資產(chǎn)，而且舉足輕重。我們對待數據，一定要嚴謹，經(jīng)得起考驗，對自己的數據負責，這是一個(gè)數據人的基本要求。
　　數據資源
　　大數據時(shí)代，數據盡管好多，但是也不是隨便得來(lái)的，需要借助各類(lèi)渠道和方法獲得。不管從那個(gè)角度來(lái)說(shuō)，數據可分為內部數據和外部數據。內部數據是企業(yè)在日積月累的經(jīng)營(yíng)中得來(lái)的，我們應當對那些數據挖掘、采集有價(jià)值的東西，形成企業(yè)的數據資產(chǎn)。內部數據重在后期的處理和剖析上。
　　下面先說(shuō)外部數據的獲取方法，以及通過(guò)Excel操作來(lái)獲取外部數據。
　　
　　外部數據獲取方法
　　1、專(zhuān)業(yè)網(wǎng)站看數據（某一個(gè)行業(yè)、某一件產(chǎn)品）2、通過(guò)收費渠道買(mǎi)數據（第三方數據平臺等）3、通過(guò)特殊方式引數據（網(wǎng)站爬蟲(chóng)，統計網(wǎng)站等）4、自身積累數據（時(shí)間久、跨度長(cháng)）
　　Excel獲取外部數據
　　作為一個(gè)數據分析師以及想更進(jìn)一步成長(cháng)為數據科學(xué)家，熟練操作基本的辦公軟件以及SQL查詢(xún)是很重要的。請看下邊通過(guò)Excel獲取外部數據的步驟。
　　第1步：打開(kāi)“新建web查詢(xún)”框。新建Excel工作簿，在打開(kāi)的工作表中單擊“數據”選項卡，然后在“獲取外部數據”組中單擊“自網(wǎng)站”按鈕，如下圖。
　　
　　第2步：輸入網(wǎng)址并選擇要導出的表格數據。在彈出的“新建web查詢(xún)”對話(huà)框中的“地址”文本框中復制粘貼上述網(wǎng)頁(yè)的網(wǎng)址，然后單擊“轉到”，找到網(wǎng)站中的表格數據后單擊表格左上角的箭頭→，圖標弄成選中狀態(tài)的復選框√。如下圖。最后單擊下方的“導入”按鈕。
　　
　　第3步：選擇數據的放置區域。點(diǎn)擊導出后，Excel會(huì )出現“導入數據”對話(huà)框，如下圖，選中你想放置的單元格，單擊“確定”開(kāi)始導出。
　　
　　第4步：美化導出的數據。由于導出的數據多且亂，要調整格式讓數據規范，并啟用凍結窗欞功能便捷瀏覽。如下圖。
　　
　　好了，上面就是通過(guò)Excel操作來(lái)獲取網(wǎng)站上的外部數據，很簡(jiǎn)單吧，但網(wǎng)站中的數據并非都是以表格的方式呈現，現在大部分是以json格式呈現，Excel不是萬(wàn)能的，而且如今好多網(wǎng)站需要付費就能導數據（上面說(shuō)過(guò)數據就是企業(yè)的資產(chǎn)）。
　　
　　小結
　　希望通過(guò)前面的操作能幫助你們。如果你有哪些好的意見(jiàn)，建議，或者有不同的想法，我都希望你留言和我們進(jìn)行交流、討論。
　　End. 查看全部

　　在開(kāi)發(fā)子部署系統時(shí)，經(jīng)常會(huì )因為查找日志而感到頭疼，因為每個(gè)服務(wù)器和每個(gè)應用程序都有自己的日志，但是它分散且查找起來(lái)比較麻煩. 今天，我推薦了一套方便的ELK工具，ELK是Elastic開(kāi)發(fā)的完整的日志分析技術(shù)堆棧. 它們是Elasticsearch，Logstash和Kibana，稱(chēng)為ELK. Logstash進(jìn)行日志采集和分析，Elasticsearch是搜索引擎，而Kibana是Web顯示界面.
　　1. 日志采集與分析Logstash
　　LogstashLogstash是用于接收，處理和轉發(fā)日志的工具. 它支持系統日志，Web服務(wù)器日志，錯誤日志和應用程序日志，包括可以丟棄的所有類(lèi)型的日志.
　　Logstash的哲學(xué)很簡(jiǎn)單，它只做三件事:
　　采集: 數據輸入充實(shí): 數據處理，例如過(guò)濾，重寫(xiě)等. 傳輸: 數據輸出
　　不要只看它，因為它只做三件事，但是通過(guò)組合輸入和輸出，可以更改多種架構以滿(mǎn)足多種需求. 這只是解決日志摘要要求的部署架構圖:
　　
　　說(shuō)明術(shù)語(yǔ):
　　無(wú)論是托運人還是索引器，Logstash始終僅執行上述三件事:
　　Logstash進(jìn)程可以具有多個(gè)輸入源，因此Logstash進(jìn)程可以同時(shí)讀取服務(wù)器上的多個(gè)日志文件. Redis是Logstash正式推薦的Broker角色的“候選人”. 它支持兩種數據傳輸模式，訂閱發(fā)布和隊列，建議使用. 輸入和輸出支持過(guò)濾和重寫(xiě). Logstash支持多個(gè)輸出源. 您可以配置多個(gè)輸出以實(shí)現數據的多個(gè)副本，或輸出到Email，File，Tcp，或作為其他程序的輸入，或安裝插件以實(shí)現與其他系統（例如搜索引擎Elasticsearch）的對接.
　　摘要: Logstash概念簡(jiǎn)單，可以通過(guò)組合滿(mǎn)足多種需求.
　　2，日志搜索Elasticsearch
　　Elasticsearch是一個(gè)實(shí)時(shí)的分布式搜索和分析引擎. 它可以幫助您以前所未有的速度處理大規模數據.
　　它可以用于全文搜索，結構化搜索和分析，當然您也可以將這三者結合起來(lái).
　　Elasticsearch是基于全文搜索引擎Apache Lucene?的搜索引擎. 可以說(shuō)Lucene是當今最先進(jìn)，最高效的全功能開(kāi)源搜索引擎框架.
　　但是Lucene只是一個(gè)框架. 要充分利用其功能，您需要使用JAVA并將Lucene集成到程序中. 要了解它的工作原理，需要大量的學(xué)習和理解，Lucene確實(shí)非常復雜.
　　Elasticsearch使用Lucene作為其內部引擎，但是將其用于全文搜索時(shí)，您只需要使用統一開(kāi)發(fā)的API，就無(wú)需了解Lucene的復雜操作原理.
　　當然，Elasticsearch并不像Lucene一樣簡(jiǎn)單. 它不僅包括全文搜索功能，還包括以下任務(wù):
　　服務(wù)器中集成了許多功能，您可以通過(guò)客戶(hù)端或您喜歡的任何編程語(yǔ)言輕松地與ES的RESTful API通信.
　　使用Elasticsearch入門(mén)非常簡(jiǎn)單. 它帶有許多非常合理的默認值，使初學(xué)者可以避免一開(kāi)始就面對復雜的理論.
　　安裝后即可使用，而且學(xué)習成本低，生產(chǎn)率很高.
　　隨著(zhù)學(xué)習的深入和深入，您還可以使用Elasticsearch的更多高級功能，并且可以靈活配置整個(gè)引擎. 您可以根據自己的需求自定義自己的Elasticsearch.
　　用例:
　　但是Elasticsearch不僅適用于大型企業(yè)，它還幫助了DataDog和Klout等許多初創(chuàng )公司擴展了功能.
　　這里簡(jiǎn)要介紹了與solr的比較，因為solr是目前最簡(jiǎn)化的搜索引擎，為什么不選擇它呢？
　　3. 日志顯示Kibana
　　Kibana是一個(gè)開(kāi)源分析和可視化平臺，旨在與Elasticsearch一起使用. 您可以使用kibana搜索，查看和與Elasticsearch索引中存儲的數據進(jìn)行交互. 使用各種圖表，表格，地圖等，kibana可以輕松顯示高級數據分析和可視化.
　　Kibana使我們易于理解大量數據. 它基于瀏覽器的簡(jiǎn)單界面允許您快速創(chuàng )建和共享動(dòng)態(tài)儀表板，這些儀表板實(shí)時(shí)顯示Elasticsearch查詢(xún)中的更改. 安裝Kibana的速度非?？? 您可以在幾分鐘之內安裝并開(kāi)始探索您的Elasticsearch索引數據，而無(wú)需編寫(xiě)任何代碼，也沒(méi)有任何其他基本軟件依賴(lài)性.
　　摘要
　　整套軟件可以看作是MVC模型，logstash是控制器層，Elasticsearch是模型層，kibana是視圖層.
　　首先將數據傳輸到logstash，它將對數據進(jìn)行過(guò)濾和格式化（轉換為JSON格式），然后將其傳輸到Elasticsearch進(jìn)行存儲并構建搜索索引. Kibana提供用于搜索和圖表可視化的前端頁(yè)面. 它將可視化通過(guò)調用Elasticsearch接口返回的數據. Logstash和Elasticsearch用Java編寫(xiě)，而kibana使用node.js框架. 具體建筑物的配置這里就不詳細解釋了，可以自己百度，其實(shí)很簡(jiǎn)單. 查看全部

　　實(shí)時(shí)監控官方帳戶(hù)商品更新并將其推送給用戶(hù)，支持兩種監控方法: 1.關(guān)鍵字搜索2.微信搜索. 這對于諸如輿論監視之類(lèi)的各種應用場(chǎng)景都很方便. 還有許多第三方工具可以實(shí)時(shí)監視官方帳戶(hù)發(fā)布的文章，以及推送文章. 讓我們以Tuotu數據為例.
　　
　　如何查看微信公眾號文章的真實(shí)性？
　　Tuotu Data的工作人員告訴我，沒(méi)有任何官方帳戶(hù)運營(yíng)商可以避免處理“原創(chuàng )”文章. 有可能轉發(fā)沒(méi)有標記文章的文章，努力修改內容集成，并在批量發(fā)布期間由系統通知以匹配原創(chuàng )文章，這是浪費時(shí)間. 做半原創(chuàng )文章，從他人的官方帳戶(hù)借用太多文章，不能標記原創(chuàng )文章，并且很難更改.
　　微信公眾平臺不提供文章原創(chuàng )性的檢測，而是簡(jiǎn)單粗魯地提示文章與原文相符. 在撰寫(xiě)半原創(chuàng )文章時(shí)，由于參考文獻過(guò)多，因此與原創(chuàng )文章匹配，而且我不知道從哪里開(kāi)始. 您可以將文章鏈接放在原創(chuàng )測試中進(jìn)行測試. 測試結果將指示與該文章的近似相似性，然后根據相似性情況對其進(jìn)行修改. 相似性具有參考價(jià)值.
　　為了防止其他人重印未標記的文章并且徒勞地工作，我可以選擇要重印的文章，首先將原創(chuàng )文章進(jìn)行測試. 確認這是非原創(chuàng )文章后，您可以對其進(jìn)行修改而不必擔心.
　　Tuotu Data的工作人員告訴您，操作非常簡(jiǎn)單. 您只需要在工具箱中打開(kāi)原創(chuàng )檢測功能，然后粘貼原創(chuàng )文章即可執行檢測. 此功能非常適合半原創(chuàng )和重新打印的操作員. 您很有幫助，記得幫我點(diǎn)菜?
　　微信公眾號敏感詞檢測
　　當您在官方帳戶(hù)上寫(xiě)完文章并單擊“發(fā)布”或“保存”后，有時(shí)會(huì )提示您輸入敏感詞，如果不進(jìn)行修改，則會(huì )將其刪除:
　　1. 您正在編輯的圖形消息可能收錄敏感內容. 您可以繼續保存或發(fā)布圖形消息（發(fā)布的等待時(shí)間約為3-4小時(shí)）. 保存或發(fā)布后，將驗證其中收錄敏感內容. ，它可能會(huì )被刪除，阻止等. 請檢查相應的規則.
　　2. 您編輯的圖形消息可能收錄涉嫌不當使用州機構或州機構工作人員名稱(chēng)或圖像的表達方式，包括但不限于名稱(chēng)，縮寫(xiě)和參考名稱(chēng). 您可以繼續保存，也可以在發(fā)布圖形消息后，如果在保存或發(fā)布圖形消息后確認它收錄上述相關(guān)內容，則可以將其刪除或阻止.
　　發(fā)生以上兩種情況. 如果文章中的單詞數很少，則可以逐一檢查，但是如果找不到收錄數千個(gè)單詞的文章，為了解決此問(wèn)題，我創(chuàng )建了一個(gè)公共帳戶(hù)來(lái)檢測敏感詞. 需要檢測的文本將發(fā)送到官方帳戶(hù)，并返回敏感詞及其在文本中的位置.
　　本文主要介紹了官方賬號文章監控的三個(gè)方面，分別是官方賬號文章監控功能的介紹，如何檢測微信官方賬號文章的原創(chuàng )性以及微信官方賬號中敏感詞的檢測，希望. 尋求朋友的幫助. 查看全部

　　如何從優(yōu)采云·云采集服務(wù)平臺獲取實(shí)時(shí)股票數據優(yōu)采云·云采集服務(wù)平臺（東方財富）隨著(zhù)互聯(lián)網(wǎng)大數據的發(fā)展，大數據分析對各行各業(yè)產(chǎn)生了不同程度的影響. 生活的影響. 金融業(yè)是非常有代表性的產(chǎn)業(yè). 本文將以金融業(yè)為例. 在大數據時(shí)代，金融機構之間的競爭將在網(wǎng)絡(luò )信息平臺上全面展開(kāi). 歸根結底，“數據為王”. 擁有數據的人將具有定價(jià)風(fēng)險的能力，并且可以獲得高風(fēng)險回報的人最終將獲得競爭優(yōu)勢. 因此，有效獲取和使用與Web相關(guān)的數據是做好金融業(yè)的重要組成部分. 金融業(yè)非常依賴(lài)數據，具有數據量大和及時(shí)性高的特點(diǎn). 在考慮對Web數據進(jìn)行爬網(wǎng)的方式時(shí)，還必須充分考慮這些特征. 優(yōu)采云采集器易于使用且功能強大. 其特點(diǎn)是云采集: 大量的企業(yè)云不間斷運行24 * 7，可以實(shí)時(shí)采集所需的數據；無(wú)需擔心IP阻塞和網(wǎng)絡(luò )中斷，并且可以立即采集大量數據. 以下是優(yōu)采云采集東方財富的完整示例. 該示例中采集的數據是Oriental Fortune.com的A股數據. 集合網(wǎng)站: /center/list.html#10步驟1: HYPERLINK“ / article / javascript :;”創(chuàng )建采集任務(wù)1）進(jìn)入主界面，選擇，選擇自定義模式如何獲取實(shí)時(shí)庫存數據（采集東方財富）圖12）將上述URL的URL復制并粘貼到網(wǎng)站輸入框中，單擊“保存URL”如何獲取實(shí)時(shí)庫存數據（采集東方財富）圖23）保存URL后，將在優(yōu)采云采集器的紅色框中打開(kāi)頁(yè)面. 評估信息是要在其中采集的內容. 演示如何獲取實(shí)時(shí)庫存數據（采集《東方財富》）圖3步驟2: HYPERLINK“ / article / javascript :;”創(chuàng )建翻頁(yè)周期找到翻頁(yè)按鈕，設置翻頁(yè)周期，設置ajax翻頁(yè)時(shí)間1）將頁(yè)面下拉到底部，找到下一頁(yè)按鈕，單擊鼠標，然后選擇“循環(huán)單擊下一頁(yè)”頁(yè)面”在右側的操作提示框中. 如何獲取實(shí)時(shí)庫存數據（采集Eastern Fortune）圖4由于使用了頁(yè)面Ajax加載技術(shù)，因此需要為click元素和頁(yè)面翻轉步驟設置ajax延遲加載（ajax判斷方法: 打開(kāi)流程圖，查找翻頁(yè)循環(huán)框，手動(dòng)執行翻頁(yè)，查看是否已加載網(wǎng)站）在高級選項框中，選中Ajax以加載數據，選擇適當的超時(shí)時(shí)間，通常設置為2秒；最后單擊以確認如何獲取實(shí)時(shí)庫存數據（采集Eastern Fortune）. 圖5注意: 單擊右上角的“處理”按鈕，可以顯示可視流程圖.
　　步驟3: 分頁(yè)表信息采集選擇需要采集的字段信息，創(chuàng )建采集列表，編輯采集字段名稱(chēng)1）移動(dòng)鼠標以選擇表中的任何空白信息，單擊鼠標右鍵，如圖所示在圖中，將選中框中的數據，變?yōu)榫G色，單擊右側的提示，然后單擊“ TR”. 如何獲取實(shí)時(shí)庫存數據（采集Oriental Fortune）圖62）當前的數據選中的數據行將全部選中，單擊“選中的子元素”，如何獲取實(shí)時(shí)庫存數據（Collect Oriental Wealth）圖73）在右側的操作提示框中，查看提取的字段，可以刪除不必要的字段中，單擊“全選”. 如何獲取實(shí)時(shí)庫存數據（采集東方財富）圖84）單擊“采集以下數據”. 如何獲取實(shí)時(shí)庫存數據（采集東方財富）圖9注意: ？在提示框中的字段上將出現一個(gè)“ X”，單擊以刪除該字段. 如何獲取實(shí)時(shí)庫存數據（采集Oriental Fortune）圖105）修改采集任務(wù)名稱(chēng)和字段名稱(chēng)，然后在下面的提示中單擊“保存并開(kāi)始采集”. 如何獲取實(shí)時(shí)庫存數據（采集Oriental Fortune）圖116）根據采集的情況選擇適當的采集方法，在這里選擇“開(kāi)始本地采集”如何獲取實(shí)時(shí)庫存數據（采集東方財富）圖12說(shuō)明: 本地采集占用當前計算機資源進(jìn)行采集，如果有的話(huà)是采集時(shí)間要求，或者當前的計算機不能長(cháng)時(shí)間采集. 使用云采集功能，可以在網(wǎng)絡(luò )中采集云采集，而無(wú)需當前的計算機支持，可以關(guān)閉計算機，并可以設置多個(gè)云節點(diǎn)來(lái)分配任務(wù). 10個(gè)節點(diǎn)相當于10臺計算機來(lái)分配任務(wù)以幫助您采集數據，并且速度降低到原來(lái)的十分之一；采集的數據可以存儲在云中三個(gè)月，并且可以隨時(shí)導出.
　　第4步: HYPERLINK“ / article / javascript :;”數據采集與導出1）采集完成后，將彈出提示，選擇如何導出數據以獲取實(shí)時(shí)庫存數據（采集東方財富）. 圖132）選擇適當的導出方法，導出采集的數據. 獲取實(shí)時(shí)庫存數據（采集《東方財富》）圖14相關(guān)的采集教程: 優(yōu)采云的采集原理黃頁(yè)88數據采集搜狗微信文章采集優(yōu)采云-70萬(wàn)用戶(hù)選擇的Web數據采集器. 1.操作簡(jiǎn)單，任何人都可以使用: 不需要技術(shù)背景，可以通過(guò)瀏覽Internet進(jìn)行采集. 完全可視化該過(guò)程，單擊鼠標以完成操作，您可以在2分鐘內快速上手. 2.強大的功能，可以在任何網(wǎng)站上采集: 單擊，登錄，翻頁(yè)，識別驗證碼，瀑布流，Ajax腳本異步加載數據頁(yè)，所有這些都可以通過(guò)簡(jiǎn)單的設置進(jìn)行采集. 3.云采集，也可以關(guān)閉. 配置采集任務(wù)后，可以將其關(guān)閉，并可以在云中執行該任務(wù). 龐大的云采集集群不間斷運行24 * 7，因此無(wú)需擔心IP被阻塞和網(wǎng)絡(luò )中斷. 4.免費功能+增值服務(wù)，可以按需選擇. 免費版具有所有功能，可以滿(mǎn)足用戶(hù)的基本采集需求. 同時(shí)，建立了一些增值服務(wù)（例如私有云）以滿(mǎn)足高端付費企業(yè)用戶(hù)的需求. 查看全部

　　C ++實(shí)現RTMP協(xié)議以發(fā)送H.264編碼和AAC編碼的音頻和視頻
　　RTMP（實(shí)時(shí)消息協(xié)議）是一種專(zhuān)門(mén)用于傳輸音頻和視頻數據的流媒體協(xié)議. 它最初由Macromedia創(chuàng )建，后來(lái)由Adobe擁有. 它是一個(gè)專(zhuān)用協(xié)議，主要用于聯(lián)系Flash Player和RtmpServer. 如FMS，Red5，crtmpserver等. RTMP協(xié)議可用于實(shí)現實(shí)時(shí)廣播和點(diǎn)播應用程序，并通過(guò)FMLE（閃存媒體實(shí)時(shí)編碼器）將音頻和視頻數據推送到RtmpServer，從而可實(shí)現實(shí)時(shí)實(shí)時(shí)攝像機的廣播. 但是，畢竟FMLE的應用范圍是有限的. 如果要將其嵌入自己的程序中，則仍然必須自己實(shí)現RTMP協(xié)議推送. 我實(shí)現了一個(gè)RTMPLiveEncoder，它可以采集攝像機視頻和麥克風(fēng)音頻，并使用H.264和AAC對其進(jìn)行編碼，然后將它們發(fā)送到FMS和crtmpserver以實(shí)現實(shí)時(shí)實(shí)時(shí)廣播，可以通過(guò)Flash Player正常觀(guān)看. 當前效果良好，延遲時(shí)間約為2秒. 本文介紹了RTMPLiveEncoder的主要思想和要點(diǎn)，希望能幫助需要此技術(shù)的朋友.
　　技術(shù)分析
　　要實(shí)現RTMPLiveEncoder，需要以下四個(gè)關(guān)鍵技術(shù):
　　其中，在前一篇文章“音頻和攝像機視頻的獲取以及實(shí)時(shí)H264編碼和AAC編碼”中介紹了前兩種技術(shù)，因此在這里我不會(huì )太冗長(cháng).
　　將音頻和視頻數據打包到可播放的流中是困難的一點(diǎn). 如果仔細研究，您會(huì )發(fā)現封裝在RTMP數據包中的音頻和視頻數據流實(shí)際上與封裝音頻和視頻數據的FLV相同. 因此，我們只需要根據FLV封裝H264和AAC即可生成Play流.
　　讓我們再次看看RTMP協(xié)議. Adobe曾經(jīng)發(fā)布過(guò)一個(gè)文檔“ RTMP規范”，但是Wikipedia指出該文檔隱藏了許多細節，僅憑它不可能正確實(shí)現RTMP. 但是，它仍然具有參考意義. 實(shí)際上，RTMP協(xié)議在A(yíng)dobe發(fā)布之前就幾乎被破解了，現在有相對完整的實(shí)現，例如RTMPDump，它提供了C語(yǔ)言接口，這意味著(zhù)可以用其他語(yǔ)言輕松地調用它.
　　程序框架
　　與我之前在“獲取音頻和攝像機視頻以及實(shí)時(shí)H264編碼和AAC編碼”之前寫(xiě)的文章相同，該文章使用DirectShow技術(shù)在各自的線(xiàn)程（AudioEncoderThread）中實(shí)現音頻和視頻捕獲，音頻編碼和視頻編碼和VideoEncoderThread），在中間循環(huán)中，RTMP的推送將啟動(dòng)另一個(gè)線(xiàn)程（RtmpThread）. 兩個(gè)編碼線(xiàn)程對音頻和視頻數據進(jìn)行實(shí)時(shí)編碼后，將數據移交給Rtmp線(xiàn)程，然后Rtmp線(xiàn)程循環(huán)封裝Rtmp數據包，然后將其發(fā)送出去.
　　線(xiàn)程之間的數據交換是通過(guò)隊列DataBufferQueue實(shí)現的. 將數據指針發(fā)布到DataBufferQueue后，AudioEncoderThread和VideoEncoderThread將立即返回，以避免由于發(fā)送Rtmp消息而影響編碼線(xiàn)程的正常執行時(shí)間.
　　
　　RtmpThread的主要工作是發(fā)送音頻數據流的解碼信息頭和視頻數據流的解碼信息頭，并不斷從DataBufferQueue中取出數據，將其封裝為RTMP數據包，然后發(fā)送出來(lái). 該過(guò)程如以下代碼所示: （process_buf_queue_，即上圖中的DataBufferQueue）
　　
　　librtmp一，編譯librtmp
　　下載rtmpdump的代碼，您會(huì )發(fā)現它是一個(gè)真實(shí)的linux項目，除了簡(jiǎn)單的Makefile，其他都沒(méi)有. 看來(lái)librtmp并不依賴(lài)于系統，因此我們可以在Windows上編譯它而無(wú)需花費太多的精力. 但是，librtmp依賴(lài)于openssl和zlib，我們需要首先對其進(jìn)行編譯.
　　1. 編譯openssl1.0.0e
　　a）下載并安裝ActivePerl
　　b）下載并安裝nasm（）
　　c）解壓縮openssl壓縮包
　　d）運行cmd命令行，切換到openssl目錄，并分別執行以下命令
　　>perl Configure VC-WIN32 --prefix=c:\some\dir<br />>ms\do_nasm
　　e）運行Visual Studio命令提示符（2010），切換到openssl目錄，并分別執行以下命令.
　　>nmake -f ms\nt.mak<br />>nmake -f ms\nt.mak install
　　f）編譯完成后，您可以在第一個(gè)命令指定的目錄中找到已編譯的SDK.
　　2. 編譯zlib
　　a）解壓縮zlib壓縮包
　　b）運行Visual Studio命令提示符（2010），剪切到openssl目錄，并分別執行以下命令
　　>cd contrib\masmx86<br />>bld_ml32.bat
　　c）返回zlib目錄，輸入contrib \ vstudio \ vc10目錄，然后打開(kāi)vs2010解決方案文件，
　　在zlibstat的項目屬性中，刪除預編譯的宏ZLIB_WINAPI
　　d）選擇調試或發(fā)布進(jìn)行編譯.
　　3. 編譯librtmp
　　a）首先打開(kāi)Visual Studio 2010，創(chuàng )建一個(gè)新的win32控制臺項目，并將其指定為靜態(tài)鏈接庫
　　b）將librtmp代碼導入到項目中，將openssl，zlib頭文件和librtmp放在一起，并將已編譯的openssl和zlib靜態(tài)庫放在一起
　　
　　
　　c）在項目設置中，添加先前編譯的openssl和zlib庫并進(jìn)行編譯.
　　
　　二，使用librtmp
　　首先初始化RTMP結構
　　
　　啟動(dòng)后，有必要向RTMP服務(wù)器發(fā)起握手連接消息
　　
　　如果連接成功，則可以開(kāi)始循環(huán)發(fā)送消息. 在這里，您需要指定時(shí)間戳和數據類(lèi)型（音頻，視頻，元數據）. 這里要注意的一件事是，在調用Send之前，buf中的數據必須是封裝的H264或AAC數據流.
　　
　　關(guān)閉
　　
　　最后一個(gè)是發(fā)布
　　
　　H264和AAC數據流
　　如本文所述，RTMP推送的音頻和視頻流的封裝形式類(lèi)似于FLV格式. 可以看出，要將H264和AAC實(shí)時(shí)流推送到FMS，您需要首先發(fā)送“ AVC序列頭”和“ AAC序列頭”. 這兩個(gè)數據收錄重要的編碼信息，沒(méi)有它們，解碼器將無(wú)法解碼.
　　AVC序列標頭是AVCDecoderConfigurationRecord結構，在標準文檔“ ISO-14496-15 AVC文件格式”中對其進(jìn)行了詳細說(shuō)明.
　　
　　AAC序列標頭存儲AudioSpecificConfig結構，該結構在“ ISO-14496-3音頻”中進(jìn)行了描述. AudioSpecificConfig結構的描述非常復雜. 在這里我將簡(jiǎn)化它. 設置要預先編碼的音頻格式. 其中，選擇“ AAC-LC”作為音頻編碼，音頻采樣率為44100，因此AudioSpecificConfig簡(jiǎn)化為下表:
　　
　　通過(guò)這種方式，可以基本確定AVC序列頭和AAC序列頭的內容. 有關(guān)更多詳細信息，您可以轉到相關(guān)文檔.
　　操作效果
　　RtmpLiveEncoder開(kāi)始運行
　　
　　使用FMS隨附的Flash播放器
　　
　　++++++++++++++++++++++++++++++++++++++++++++++++ ++ ++++++++++++++++ 查看全部