亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　文章采集api(數據具體的采集方案是什么？四種數據采集方法對比)
　　根據企業(yè)在生產(chǎn)和管理過(guò)程中會(huì )產(chǎn)生的數據類(lèi)型，提供鏈接標記、SDK和API三種采集方法，以及基于UTSE數據采集模型對用戶(hù)的整個(gè)生命周期。
　　那么，數據的具體采集計劃是什么？
　　
　　四種數據采集方法對比
　　Data采集是通過(guò)埋點(diǎn)實(shí)現的。諸葛io提供了非常完善的數據訪(fǎng)問(wèn)解決方案，支持代碼埋、全埋、可視埋、服務(wù)器埋等數據采集方式。
　　1.代碼被埋沒(méi)
　　說(shuō)明：嵌入SDK定義事件和添加事件代碼是一種常用的數據采集方法，主要包括網(wǎng)頁(yè)和h5頁(yè)面的JS嵌入、移動(dòng)端的iOS和Android嵌入、微信小程序等。
　　優(yōu)點(diǎn)：按需采集，業(yè)務(wù)信息更全，數據分析更專(zhuān)注，數據采集全面準確，便于后續深入分析。
　　缺點(diǎn)：需要研發(fā)人員配合，有一定的工作量。
　　2.全葬
　　說(shuō)明：通過(guò)SDK自動(dòng)采集頁(yè)面所有可點(diǎn)擊元素的操作數據，無(wú)需定義事件，適用于活動(dòng)頁(yè)面、登陸頁(yè)面、關(guān)鍵頁(yè)面的設計體驗測量。
　　優(yōu)點(diǎn)：更簡(jiǎn)單快捷，可以看到頁(yè)面元素的點(diǎn)擊量，更好的了解自己的產(chǎn)品特點(diǎn)。
　　缺點(diǎn)：采集的數據太多，只要是可點(diǎn)擊的元素，就會(huì )是采集，上傳數據很多，消耗流量很大。無(wú)法采集到更深層次的維度信息，比如事件的屬性、用戶(hù)的屬性等。
　　3.可視化埋點(diǎn)
　　注意：視覺(jué)嵌入是基于完整嵌入的。技術(shù)同事整合后，業(yè)務(wù)同事需要圈出頁(yè)面的元素，選中的元素會(huì )是采集。
　　優(yōu)點(diǎn)：基于接口配置，無(wú)需開(kāi)發(fā)，易于更新，快速生效。
　　缺點(diǎn)：自定義屬性的支持范圍比較有限；重構或頁(yè)面更改時(shí)需要重新配置。
　　4.服務(wù)器埋點(diǎn)
　　說(shuō)明：通過(guò)API對存儲在服務(wù)器上的數據進(jìn)行結構化處理，通過(guò)接口調用其他業(yè)務(wù)數據采集和集成，比如CRM等用戶(hù)數據，對數據進(jìn)行結構化處理，即適合擁有 采集 @采集 能力客戶(hù)端的用戶(hù)。
　　優(yōu)點(diǎn)：服務(wù)端embedding更有針對性，數據更準確，減少編碼embedding的發(fā)布過(guò)程，數據上傳更及時(shí)。
　　缺點(diǎn)：用戶(hù)的一些簡(jiǎn)單操作，比如點(diǎn)擊按鈕、切換模塊，這些數據不能采集，用戶(hù)行為不夠完整。
　　總結：以上是諸葛io提供的四種data采集解決方案：code embedding、full embedding、visual embedding、server embedding，data采集目的是為了滿(mǎn)足采集詳細分析和操作然后執行需求。只有能夠達到這個(gè)目標，才有可能選擇一種或多種采集形式的組合。在企業(yè)業(yè)務(wù)中，選擇哪種采集方式要根據企業(yè)自身的具體業(yè)務(wù)需求來(lái)決定。 查看全部

　　文章采集api(貓眼電影API接口（從貓眼電影網(wǎng)爬取爬?。╅_(kāi)源版)
　　API（ApplicationProgrammingInterface，應用程序編程接口）是一組用來(lái)控制Windows的組件（從桌面的外觀(guān)看。
　　貓眼電影API接口（從貓眼電影網(wǎng)爬?。?Hope771：熱門(mén)電影：request to total=20，但是movieList只有12個(gè)，怎么再獲取8個(gè)數據？貓眼電影API接口（從貓眼電影網(wǎng)爬?。?劉子凡 11：有沒(méi)有選座。vscode：Windows 找不到文件“chrome”。請確保文件名正確，然后重試。
　　智云影視資源開(kāi)源版簡(jiǎn)介采集V1.1：采集全網(wǎng)各大資源網(wǎng)（各資源站的飛飛接口地址基本通用) 不是 采集360 。
　　
　　添加采集網(wǎng)站的接口地址并命名，接口類(lèi)型選擇xml，資源類(lèi)型選擇video。然后選擇測試，如圖表示成功，保存。保存。
　　根據電影名稱(chēng)，獲取資源鏈接，并且必須兼容自己的QQ電影資源機器人，根據電影。
　　
　　最近在做微信小程序“豆瓣電影”。當我嘗試調用豆瓣API的時(shí)候，發(fā)現官方的豆瓣API已經(jīng)不再對外開(kāi)放了。在網(wǎng)上找了很多博客，找到了一些解決辦法。本來(lái)想直接新建一個(gè)服務(wù)器，但是服務(wù)器的價(jià)格對學(xué)生黨不友好，所以用另一種界面解決了：有的老板自己配置了服務(wù)器，恢復了官方界面。用作。
　　網(wǎng)站api域名授權碼，我有一個(gè)電影資源網(wǎng)站，我想實(shí)現域名授權采集，誰(shuí)能幫忙寫(xiě)代碼？一共1個(gè)回答。
　　很多朋友都說(shuō)要建電影網(wǎng)站，大家都知道電影資源去某影視資源網(wǎng)找接口。首先蘋(píng)果cms的采集接口api是。 查看全部

　　文章采集api(蘋(píng)果cms采集視頻可以在后臺聯(lián)盟資源庫里直接設置采集)
　　蘋(píng)果cms采集視頻可以直接在后臺聯(lián)盟資源庫中設置采集，也可以配置自己自定義的采集庫，關(guān)于文章信息采集，Applecms后臺沒(méi)有專(zhuān)門(mén)的采集庫，所以文章采集我們需要添加采集@ > 自己接口，或者是使用第三方采集工具，不懂代碼的小白完全不知道。前期，目前80%的影視站都是靠采集來(lái)擴充自己的視頻庫，比如之前的大站電影天堂、BT站等最新電影的下載。這一切都始于 采集。先豐富視頻源再做網(wǎng)站收錄，網(wǎng)站收錄是由文章信息驅動(dòng)的。今天我們將介紹使用免費的自動(dòng)采集發(fā)布工具來(lái)讓Apple cms網(wǎng)站啟動(dòng)并運行！
　　
　　由于各種視頻站的興起，cms模板泛濫。大量的網(wǎng)站模板都是類(lèi)似的。除了 采集 規則外，視頻站的內容是重復的。多年來(lái)，我一直是視頻站的老手。車(chē)站會(huì )嘆息！ “蘋(píng)果cms采集電視臺越來(lái)越難做”，各大搜索引擎收錄越來(lái)越少。如果依賴(lài)cms自帶的采集功能，就很難提升了。視頻站無(wú)非就是一個(gè)標題、內容和內容介紹。蘋(píng)果80%的cms站都是這樣的結構，我們該怎么辦？為了在眾多影視臺中脫穎而出？
　　一、蘋(píng)果cms網(wǎng)站怎么樣原創(chuàng )？
　　1、標題選擇插入品牌詞
　　2、播放的集數（例如：第一集改為在線(xiàn)第一集）
　　3、劇情簡(jiǎn)介（插入關(guān)鍵詞，采集電影介紹）
　　4、依靠SEO技術(shù)提升網(wǎng)站原創(chuàng )度
　　SEO 優(yōu)化可訪(fǎng)問(wèn)性設置：
　　
　　1、標題前綴和后綴設置（標題的區別更好收錄）
　　2、內容關(guān)鍵詞插入（合理增加關(guān)鍵詞密度）
　　3、隨機圖片插入（文章如果沒(méi)有圖片可以隨機插入相關(guān)圖片）
　　4、搜索引擎推送（文章發(fā)布成功后主動(dòng)推送文章到搜索引擎，保證新鏈接能夠被搜索引擎收錄及時(shí)搜索到）
　　5、隨機點(diǎn)贊-隨機閱讀-隨機作者（增加頁(yè)面原創(chuàng )度數）
　　6、內容與標題一致（使內容與標題100%相關(guān)）
　　7、自動(dòng)內鏈（在執行發(fā)布任務(wù)時(shí)自動(dòng)在文章內容中生成內鏈，幫助引導頁(yè)面蜘蛛抓取，提高頁(yè)面權重）
　　8、定期發(fā)布（定期發(fā)布網(wǎng)站內容可以讓搜索引擎養成定期抓取網(wǎng)頁(yè)的習慣，從而提升網(wǎng)站的收錄）
　　9、設置批量發(fā)布數量（可以設置發(fā)布間隔/單日發(fā)布總數）
　　10、可以設置不同的類(lèi)型發(fā)布不同的欄目
　　11、工具設置鎖定詞（文章原創(chuàng )文章可讀性和核心詞不會(huì )原創(chuàng )時(shí)自動(dòng)鎖定品牌詞和產(chǎn)品詞）
　　
　　12、工具還可以批量管理不同的cms網(wǎng)站數據（無(wú)論你的網(wǎng)站是Empire, Yiyou, ZBLOG, 織夢(mèng), WP,小旋風(fēng)、站群、PB、Apple、搜外等各大cms電影網(wǎng)站，都可以同時(shí)管理和批量發(fā)布）
　　二、蘋(píng)果cms采集設置
　　
　　1、只需輸入核心關(guān)鍵詞，軟件會(huì )自動(dòng)生成下拉詞、相關(guān)搜索詞、長(cháng)尾詞，并自動(dòng)過(guò)濾不相關(guān)的關(guān)鍵詞核心關(guān)鍵詞。全自動(dòng)采集，可同時(shí)創(chuàng )建數十個(gè)或數百個(gè)采集任務(wù)（一個(gè)任務(wù)可支持上傳1000個(gè)關(guān)鍵詞），可同時(shí)執行多域任務(wù)時(shí)間！
　　2、自動(dòng)過(guò)濾文章已經(jīng)是采集的，
　　
　　3、多平臺支持采集（資訊、問(wèn)答、視頻頻道、電影頻道等）
　　4、可設置關(guān)鍵詞采集文章條數，軟件可直接查看多任務(wù)狀態(tài)采集-支持本地預覽-支持采集鏈接預覽
　　5、自動(dòng)批量掛機采集，無(wú)縫連接各大cms出版商，采集自動(dòng)發(fā)帖推送到搜索引擎
　　
　　以上是我個(gè)人測試后發(fā)現非常有用的所有內容。 文章采集工具與 Apple 的cms自己的數據源采集 無(wú)縫協(xié)作！目前網(wǎng)站交通還不錯！看完這篇文章，如果覺(jué)得不錯，不妨采集一下，或者發(fā)給有需要的朋友和同事！你的一舉一動(dòng)都會(huì )成為小編源源不斷的動(dòng)力！ 查看全部

　　文章采集api(Python標準庫之外的第三方庫(一)庫工具)
　　上一期我們講解了數據歸一化的相關(guān)內容。首先對詞的頻率進(jìn)行排序，然后轉換一些大小寫(xiě)以減少 2-gram 序列的重復內容。
　　當我們真正走出網(wǎng)絡(luò )數據基礎采集的大門(mén)時(shí)，我們可能會(huì )遇到的第一個(gè)問(wèn)題是：“如何獲取登錄窗口背后的信息？” 如今，網(wǎng)絡(luò )正朝著(zhù)頁(yè)面交互、社交網(wǎng)絡(luò )媒體、用戶(hù)生成內容的趨勢不斷發(fā)展。表單和登錄窗口是許多 網(wǎng)站 的組成部分。但是，這些都相對容易處理。
　　到目前為止，在前面的示例中，當網(wǎng)絡(luò )爬蟲(chóng)與大多數 網(wǎng)站 服務(wù)器交互時(shí)，它們使用 HTTP 協(xié)議的 GET 方法來(lái)請求信息。在本文文章中，我們重點(diǎn)介紹POST方法，它將信息推送到Web服務(wù)器進(jìn)行存儲和分析。
　　頁(yè)面表單基本上可以看成是用戶(hù)提交POST請求的一種方式，但是這種請求方式是被服務(wù)器理解和使用的。正如 網(wǎng)站 URL 鏈接幫助用戶(hù)發(fā)出 GET 請求一樣，HTML 表單幫助用戶(hù)發(fā)出 POST 請求。當然，我們也可以用一點(diǎn)點(diǎn)麻麻自己創(chuàng )建這些請求，然后通過(guò)網(wǎng)絡(luò )爬蟲(chóng)提交給服務(wù)器。
　　Python 請求庫
　　雖然可以使用 Python 標準庫控制 Web 表單，但有時(shí)一點(diǎn)語(yǔ)法糖可以讓生活更甜蜜。但是當你想要做的不僅僅是 urllib 可以做的基本 GET 請求時(shí)，請查看 Python 標準庫之外的第三方庫。
　　Requests庫就是這樣一個(gè)Python第三方庫，擅長(cháng)處理復雜的HTTP請求、cookies、headers（響應頭和請求頭）等。
　　以下是 Requests 創(chuàng )建者 Kenneth Retiz 對 Python 標準庫工具的評價(jià)：
　　Python 標準庫 urllib2 為您提供了大部分 HTTP 功能，但它的 API 很差。這是因為它是多年來(lái)一步步建立起來(lái)的——不同的時(shí)代要面對不同的網(wǎng)絡(luò )環(huán)境。所以為了完成最簡(jiǎn)單的任務(wù)，他需要花費大量的工作（甚至寫(xiě)完整的方法）。
　　事情不應該這么復雜，也不應該發(fā)生在 Python 中。
　　與任何第三方 Python 庫一樣，Requests 庫也可以與其他第三方 Python 庫管理器（例如 pip）一起安裝，或者直接下載 Requests 庫源代碼。
　　提交基本表格
　　大多數 Web 表單由一些 HTML 字段、一個(gè)提交按鈕和一個(gè)“結果”（表單操作的值）頁(yè)面組成，該頁(yè)面在表單處理完畢后跳轉。雖然這些 HTML 字段通常由文本內容組成，但也可以實(shí)現文件上傳或其他非文本內容。
　　因為大部分主流網(wǎng)站都會(huì )在他們的robots.txt文件中注明禁止爬蟲(chóng)訪(fǎng)問(wèn)登錄表單，相關(guān)介紹可以參考這篇文章：爬蟲(chóng)系列：爬蟲(chóng)帶來(lái)的道德風(fēng)險和法律責任。
　　例如，這里是一個(gè)表單的源代碼：
　　
用戶(hù)名



密碼






　　這里有幾點(diǎn)需要注意：首先，兩個(gè)輸入字段命名為 username 和 passwd 很重要。字段的名稱(chēng)決定了表單驗證后將發(fā)送到服務(wù)器的變量名稱(chēng)。如果你想模擬從表單提交數據的行為，你需要確保你的變量名與字段名相對應。
　　還要求表單的實(shí)際行為實(shí)際發(fā)生在 index.php?c=session&a=login 中。對表單的任何 POST 請求實(shí)際上都發(fā)生在此頁(yè)面上，而不是表單本身所在的頁(yè)面上。請記?。篐TML 表單的目的只是為了幫助 網(wǎng)站 的訪(fǎng)問(wèn)者向服務(wù)器發(fā)送格式正確的請求以獲取未出現的頁(yè)面。除非您正在研究請求的設計風(fēng)格，否則不要在表單所在的頁(yè)面上花費太多時(shí)間。
　　使用 Requests 庫提交表單只需幾行代碼即可完成，包括導入庫文件和打印內容的語(yǔ)句：
　　import requests
params = {'username': 'admin', 'passwd': '5e_KR&pXJ9=J(c7d9P-twt9:'}
r = requests.post("http://www.test.com/admin/inde ... ot%3B, data=params)
print(r.text)
　　表單提交后，程序返回執行頁(yè)面的源碼，如下：
　　







您的瀏覽器不支持框架！

　　由于我們通過(guò)Requests提交了內容，并沒(méi)有在瀏覽器中提交，所以會(huì )出現上面的提示，但是我們已經(jīng)登錄成功了。后面我們需要用到瀏覽器采集的內容時(shí)，我們會(huì )詳細介紹這部分。
　　這邊的代碼可以處理很多簡(jiǎn)單的表格。以下是郵件訂閱的表單代碼，如下：
　　








Marketing









Email Address









　　雖然第一次看到有點(diǎn)嚇人，但大多數情況下我們只需要關(guān)注兩件事：
　　單選按鈕、復選按鈕和其他輸入
　　顯然，并非所有頁(yè)面都只是一堆文本字段和一個(gè)提交按鈕。HTML 標準提供了大量可用的表單字段：?jiǎn)芜x按鈕、復選按鈕、下拉選項等。在 HTML5 中，還有其他控件，如滾動(dòng)條（范圍輸入字段）、郵箱、日期等。自定義 Javascript 字段是無(wú)所不能的，實(shí)現了顏色選擇器、日歷以及開(kāi)發(fā)人員能想到的任何東西。
　　無(wú)論表單的字段看起來(lái)多么復雜，仍然只有兩件事需要關(guān)心：字段名稱(chēng)和值。字段名可以通過(guò)查看源碼，查找name屬性輕松獲取。字段值有時(shí)比較復雜，可能在表單提交之前由Javascript生成。顏色選擇器是一個(gè)奇怪的表單字段，它可能使用像 #f5c26b 這樣的值。
　　如果您不確定輸入字段值的數據格式，有一些工具可以跟蹤瀏覽器通過(guò) 網(wǎng)站 發(fā)出或接收的 GET 和 POST 請求的內容。如前所述，跟蹤 GET 請求的最佳和最直接的方法是查看 網(wǎng)站 URL 鏈接，如果 URL 鏈接如下所示：
　　https://pdf-lib.org/Home/Searc ... abbix
　　那么請求的表單可能如下所示：
　　下面是一個(gè)更復雜的表單提交示例：
　　
　　如果您遇到一個(gè)看起來(lái)很復雜的 POST 表單，并且看起來(lái)瀏覽器正在將這些參數傳遞給服務(wù)器，那么最簡(jiǎn)單的方法是使用 Chrome 的檢查器或開(kāi)發(fā)人員工具。
　　總結
　　由于篇幅原因，今天只講解基本的表單、單選按鈕、復選框等表單輸入，以及如何通過(guò)Requests提交給服務(wù)器。
　　在下一篇文章 文章 中，我們將介紹提交文件、圖像、處理登錄、cookie、HTTP 基本訪(fǎng)問(wèn)身份驗證以及其他與表單相關(guān)的問(wèn)題。
　　源代碼已托管在 Github 上：
　　如果您有任何問(wèn)題，歡迎提出。 查看全部

　　文章采集api(基于百度地圖API的門(mén)店信息搜集系統的互聯(lián)網(wǎng)應用成果)
　　摘要：互聯(lián)網(wǎng)的快速發(fā)展為互聯(lián)網(wǎng)的各種應用提供了強大的技術(shù)支撐，網(wǎng)絡(luò )地圖服務(wù)作為一項基礎服務(wù)應運而生。隨著(zhù)我國科技水平逐步接近國際先進(jìn)水平，手機移動(dòng)互聯(lián)網(wǎng)呈現快速發(fā)展趨勢，基于網(wǎng)絡(luò )地圖服務(wù)的互聯(lián)網(wǎng)應用被認為是互聯(lián)網(wǎng)行業(yè)的下一個(gè)寶地。百度地圖API是一套基于百度地圖服務(wù)的應用接口，免費提供給開(kāi)發(fā)者。功能非常強大，滿(mǎn)足地圖應用開(kāi)發(fā)的需要。據統計，基于百度地圖API的網(wǎng)絡(luò )應用數量已超過(guò)100萬(wàn)。而基于百度地圖API的各種Web應用結果表明，百度地圖API可以解決Web地圖應用開(kāi)發(fā)中遇到的數據源問(wèn)題，可以降低企業(yè)的開(kāi)發(fā)成本，具有廣闊的發(fā)展前景。根據“基于百度地圖API的店鋪信息采集系統”課題，結合當前企業(yè)業(yè)務(wù)銷(xiāo)售市場(chǎng)對業(yè)務(wù)相關(guān)店鋪信息的需求和垂直搜索引擎的專(zhuān)業(yè)特點(diǎn)，“京商傳媒店鋪信息采集系統” 《系統》在實(shí)際項目的背景下，基于百度地圖提供的開(kāi)放式JavaScript API，實(shí)現了一個(gè)業(yè)務(wù)相關(guān)的店鋪信息采集系統。系統的主要功能是采集企業(yè)業(yè)務(wù)銷(xiāo)售市場(chǎng)中與業(yè)務(wù)相關(guān)的店鋪信息，然后將其結構化提取并存儲在企業(yè)數據庫中，并提供檢索和導出到Excel的功能。另外，業(yè)務(wù)員驗證店鋪信息并反饋給管理員，管理員更新數據庫中的店鋪信息。對該系統進(jìn)行了功能和性能測試，測試結果表明該系統達到了預期的功能效果，性能平穩。業(yè)務(wù)員驗證店鋪信息并反饋給管理員，管理員更新數據庫中的店鋪信息。對該系統進(jìn)行了功能和性能測試，測試結果表明該系統達到了預期的功能效果，性能平穩。業(yè)務(wù)員驗證店鋪信息并反饋給管理員，管理員更新數據庫中的店鋪信息。對該系統進(jìn)行了功能和性能測試，測試結果表明該系統達到了預期的功能效果，性能平穩。 查看全部

　　文章采集api(
【PostmanPostman】API接口（）)
　　
　　本節主題：1.2 閱讀API接口文檔
　　課程講師：查理
　　觀(guān)看地址：點(diǎn)我進(jìn)入
　　1 本節重點(diǎn)
　　2 課前準備2.1 接口測試工具
　　提前準備一個(gè)接口測試工具，選擇以下工具之一：
　　POSTMAN 是最好的接口測試工具！
　　點(diǎn)擊此鏈接郵遞員 | 下載Postman App進(jìn)入Postman官網(wǎng)下載頁(yè)面，選擇對應版本（操作系統和32位/64位）并安裝；
　　
　　如果正常，瀏覽器會(huì )自動(dòng)識別你的電腦系統。本教程用macOS電腦打開(kāi)，圖中圈出的地方會(huì )自動(dòng)識別電腦系統；
　　
　　Windows用戶(hù)需要選擇32位還是64位版本，需要先檢查你使用的電腦是32位還是64位處理器，如果不確定，可以在電腦里查看設置；
　　
　　點(diǎn)擊下載，直接打開(kāi)壓縮包進(jìn)行安裝。
　　
　　安裝后需要注冊才能打開(kāi)軟件，分別填寫(xiě)郵箱、用戶(hù)名、密碼。您需要選中接下來(lái)的兩個(gè)框，然后單擊橙色按鈕注冊一個(gè)免費帳戶(hù)。
　　是一款免費開(kāi)源、輕量級、快速美觀(guān)的 API 調試工具，用于替代 Postman?？梢詭椭绦騿T節省時(shí)間，提高工作效率；
　　無(wú)需下載，訪(fǎng)問(wèn)官網(wǎng)即可使用！
　　點(diǎn)擊訪(fǎng)問(wèn)：POSTWOMAN官網(wǎng)
　　極客專(zhuān)屬的界面協(xié)作管理工具；
　　點(diǎn)擊訪(fǎng)問(wèn)：
　　ApiPost是一個(gè)API調試和管理工具，支持團隊協(xié)作，可以直接生成文檔。它支持模擬常見(jiàn)的請求，如 POST、GET 和 PUT。是后端接口開(kāi)發(fā)人員或前端和接口測試人員不可多得的工具；
　　點(diǎn)擊訪(fǎng)問(wèn)：ApiPost官網(wǎng)
　　2.2 接口準備
　　- 在上課前找兩個(gè)API接口，可以是建道云，公司內部系統，也可以是第三方API接口（不知道在哪里找？有很多第三方接口可以測試阿里云市場(chǎng)免費~點(diǎn)擊查看）
　　3 課程內容3.1 如何閱讀接口文檔？
　　API接口文檔一般分為接口描述、接口地址、請求方法、請求參數、響應內容、錯誤碼、實(shí)例：
　　接口描述：簡(jiǎn)要描述接口的邏輯和功能。例如，這是一個(gè)發(fā)送消息和查詢(xún)天氣的接口；
　　接口地址：這個(gè)地址代表網(wǎng)絡(luò )地址，即url，我們需要調用接口url來(lái)獲取響應內容；
　　請求方式：常見(jiàn)的請求方式有GET和POST，其他方式如下圖所示；
　　請求參數：用于傳遞信息的變量。即需要請求的字段名稱(chēng)的名稱(chēng)和規則：哪些字段都是，字段的類(lèi)型是什么，是否需要字段等；
　　響應內容：接口返回的字段名和規則；
　　錯誤碼：對接口的錯誤碼進(jìn)行分類(lèi)，以便快速查找錯誤原因并解決問(wèn)題；
　　示例：實(shí)際調用時(shí)響應的內容。
　　
　　這里需要重點(diǎn)掌握GET和POST請求方法！
　　3.2 個(gè) GET 請求
　　GET 通常用于獲取服務(wù)器端數據：
　　GET請求可以傳遞參數，一般的傳遞方式是URL傳遞參數，例如：
　　百度知道搜索地址：
　　搜索后地址：ct=17&pn=0&tn=ikaslist&rn=10&fr=wwwt&word=%E6%B5%8B%E8%AF%95
　　拆分網(wǎng)址：
　　/搜索
　　lm=0
　　&rn=10
　　&pn=0
　　&fr=搜索
　　&ie=gbk
　　&word=%BC%F2%B5%C0%D4%C6
　　網(wǎng)址解析：
　?。ㄓ行┪臋n需要自己的域名+路徑，有些文檔會(huì )提供完整的接口地址，比如劍道云/釘釘）
　　參數名稱(chēng)值
　　流明
　　rn
　　10
　　PN
　　FR
　　搜索
　　IE
　　gbk
　　單詞
　　%BC%F2%B5%C0%D4%C6
　　在GET請求中，參數/Params/Querys是以URL參數的形式傳遞的！
　　
　　注意在POSTMAN中可以直接使用URL傳參，也可以在Params中填寫(xiě)KEY和VALUE，拼接（演示）會(huì )自動(dòng)進(jìn)行！
　　
　　3.3 POST 請求
　　POST 請求一般由 Url、Headers 和 Body 組成。如果在POST請求的接口文檔中遇到Params/Querys，需要像GET請求一樣使用URL參數來(lái)傳遞參數，而POST請求的接口文檔中的參數一般參考Body！
　　使用 URL 傳遞參數的接口：
　　
　　接口地址
　　使用 Body 傳遞參數的接口：
　　
　　POST 請求有不同的請求格式：
　　
　　{"name":"ziv","password":"123"}
　　{"data_id":"5398d19a9318483922"}
　　text/plain（理解），純文本格式，一般使用raw-Text；
　　name:ziv,password:123
　　
ziv
123
　　application/x-www-from-urlencoded（理解），將表單中的數據轉換成鍵值對，用&分隔。
　　3.4 文檔
　　以釘釘文檔為例說(shuō)明接口（GET方法）：
　　以阿里云API市場(chǎng)為例說(shuō)明接口（POST方式）：點(diǎn)擊查看 查看全部

　　文章采集api(一個(gè)的API文檔是什么？如何正確使用？(組圖))
　　對于程序員來(lái)說(shuō)，API 文檔對于程序員來(lái)說(shuō)是很熟悉的東西，幾乎每天都要和他們打交道。在大多數開(kāi)發(fā)團隊中，只要有前后端合作，API文檔就會(huì )作為兩方之間的橋梁存在。API 文檔是對后端提供的服務(wù)的描述。前端開(kāi)發(fā)人員通常是 API 文檔的消費者。下面我從消費者的角度來(lái)談?wù)勈裁礃拥腁PI文檔是有用的。
　　什么是 API 文檔？
　　簡(jiǎn)單的說(shuō)就是對所有API調用和涉及的參數進(jìn)行了清晰的說(shuō)明。更具體地說(shuō)，就是每個(gè)API可以做什么，以及API中每個(gè)參數的解釋?zhuān)ㄋ鼈兊念?lèi)型、格式、可能的值、驗證規則，以及它們是否有必要。
　　什么是 API 文檔？
　　歡迎頁(yè)面
　　有些人經(jīng)常忽視這個(gè)頁(yè)面的重要性。當然，如果是內部項目，歡迎頁(yè)面有時(shí)不是那么重要，但是如果API文檔是外部的，比如各個(gè)公司的開(kāi)放平臺文檔，那么詳細的歡迎頁(yè)面甚至可以決定一個(gè)開(kāi)發(fā)者是否是愿意訪(fǎng)問(wèn)您的平臺。
　　歡迎頁(yè)面可以收錄的內容：
　　
　?。⊿potify 的 API 文檔歡迎頁(yè)面）
　　具有完整上下文的示例
　　想象一個(gè)我們閱讀 API 文檔的場(chǎng)景。我們會(huì )像小說(shuō)一樣從頭開(kāi)始閱讀嗎？大多數情況下不是。一般我們會(huì )根據名稱(chēng)直接從API列表跳轉到我們需要查看的API，直接讀取。因此，對于內容的組織，所有必要的信息和相關(guān)的解釋都必須收錄在每個(gè) API 的解釋中。例如，GitHub 的 REST API 文檔的 commits 部分，詳細給出了每個(gè) API 的部分：
　　常見(jiàn)類(lèi)型的例子
　　可以使用一些工具直接從項目代碼中生成文檔示例，例如 api blueprint。這樣做的好處是在修改源代碼時(shí)，文檔的內容會(huì )同步更新，避免了不及時(shí)更新文檔的問(wèn)題。但是，建議不要完全依賴(lài)自動(dòng)化工具。生成內容后，還需要手動(dòng)補充必要的指令，使文檔的內容更容易理解。
　　沒(méi)有什么比 API 在實(shí)際項目中的應用更直觀(guān)了。真實(shí)的示例項目代碼可以幫助用戶(hù)了解各個(gè)API的使用方式以及連接方式。通?？梢栽谖臋n中提供指向示例項目的 GitHub 存儲庫的鏈接。如果代碼量不大，也可以直接貼在文檔中。
　　顧名思義，該方法就是在客戶(hù)端模塊中封裝API調用，包括鑒權、配置等過(guò)程，用戶(hù)可以在項目中直接引用調用封裝的方法。這種方式可以簡(jiǎn)化客戶(hù)端調用API的工作復雜度，但同時(shí)會(huì )增加API提供者的工作量。更新后端服務(wù)時(shí)，客戶(hù)端模塊也需要同步更新。例如，GitHub 提供了不同語(yǔ)言的客戶(hù)端模塊。
　　錯誤相關(guān)信息
　　另外，一旦在調試過(guò)程中出現錯誤，詳細的錯誤信息文檔可以降低解決錯誤的難度，應該包括：
　　事實(shí)上，能夠做到這一點(diǎn)的文檔會(huì )少得多。GitHub 的 API 文檔在這方面更為通用。Context.IO的文檔在錯誤信息方面表現更好，可以作為參考。
　　
　　與全球內容相關(guān)的話(huà)題
　　這是指任何 API 文檔中常見(jiàn)且必要的內容，包括：
　　至于這些部分的內容，會(huì )根據后端服務(wù)的不同而有所差異。同時(shí)，在每個(gè)具體的API講解中，當有與這些內容相關(guān)的概念時(shí)，可以給出具體章節的鏈接，方便開(kāi)發(fā)者隨時(shí)跳轉。查看。
　　一些可用性建議
　　API 文檔可以提供一些小功能來(lái)改善用戶(hù)體驗。比如在代碼示例旁邊設置了一個(gè)復制代碼的按鈕，方便用戶(hù)一鍵復制代碼；調用API的代碼示例提供多語(yǔ)言支持，用戶(hù)可以查看不同語(yǔ)言的API調用示例。借助復制功能，可以減少編寫(xiě)重復代碼的工作。數量。
　　API 文檔是什么樣的？
　　一個(gè)好的API文檔，除了內容合理詳盡外，風(fēng)格和交互方式也應該簡(jiǎn)單易用。目前的API文檔基本都是基于網(wǎng)頁(yè)展示的。利用網(wǎng)頁(yè)的顯示特性，有一些常用的設計方法。以下是一些適合作為 API 文檔呈現元素的最佳實(shí)踐。
　　只要API文檔不是特別大，建議單頁(yè)展示。在單個(gè)頁(yè)面中查找任何內容（無(wú)論是瀏覽器中的網(wǎng)絡(luò )搜索還是文檔提供的導航）都會(huì )非?？?，加上頁(yè)面上的設置，共享一個(gè)API記錄的位置也非常方便。當然，如果API文檔的內容太多，強行在單個(gè)頁(yè)面上會(huì )影響頁(yè)面體驗，應該果斷拆分文檔，但記得要保留每個(gè)子頁(yè)面的全局導航信息，方便用戶(hù)跳轉在每一頁(yè)上。改變。
　　在使用API??文檔的過(guò)程中，由于需要頻繁搜索內容，頁(yè)面固定導航欄是非常有必要的。用戶(hù)可以隨時(shí)通過(guò)導航欄查找文檔內容。
　　既然使用了固定位置的導航欄，那么同時(shí)使用多列布局是合乎邏輯的。在寬屏桌面網(wǎng)頁(yè)上，多欄布局可以很好地組織文檔內容，導航、API描述和代碼示例可以各占一欄。
　　
　　API文檔維護
　　維護 API 文檔應該和維護一個(gè)獨立的項目一樣。每次更新都以 pull 分支的形式完成。編輯檢查文檔內容的正確性和簡(jiǎn)潔性后，項目成員將對其進(jìn)行審核。
　　API文檔發(fā)布后，后期維護同樣重要。主要有兩個(gè)方面：
　　新的和過(guò)時(shí)的功能。在發(fā)布新功能之前，您應該發(fā)布文檔并確保該文檔已經(jīng)通過(guò)標準審核流程。對于過(guò)時(shí)的舊功能，應從文檔中刪除它們。同時(shí)，建議在相應位置提供過(guò)時(shí)功能的提示和升級指南，方便使用老功能的開(kāi)發(fā)者進(jìn)行升級工作。文檔的投稿條目應保留在文檔頁(yè)面。如果文檔托管在 GitHub 等平臺上，則會(huì )提供指向存儲庫的鏈接，以便每個(gè)閱讀文檔的用戶(hù)都可以向文檔提交 Issue 或 PR。如果文檔是閉源的，至少應該有一個(gè)地方可以提供反饋。
　　以上是項目開(kāi)發(fā)合作中編寫(xiě)友好API文檔的一些想法和建議，歡迎討論。 查看全部

　　文章采集api(七個(gè)步驟逐步介紹如何閱讀API文檔和測試？(組圖))
　　隨著(zhù)API在互聯(lián)網(wǎng)時(shí)代越來(lái)越普遍，不僅程序員會(huì )使用，現在產(chǎn)品經(jīng)理或者互聯(lián)網(wǎng)運營(yíng)商也需要調試和對接API。閱讀這個(gè) 文章 你可能會(huì )使用或開(kāi)發(fā) API，或者兩者兼而有之。因此，不僅要了解如何編寫(xiě)，還要了解如何閱讀 API 文檔和測試。
　　什么是 API 文檔？您也可以將 API 文檔視為雙方之間的服務(wù)協(xié)議。該文檔概述了當第一方發(fā)送某種類(lèi)型的請求時(shí)第二方及其軟件將如何響應。文檔中描述了這些類(lèi)型的請求（稱(chēng)為 API 調用），以便開(kāi)發(fā)人員知道他們可以使用 API 做什么以及如何做。
　　好的 API 文檔描述了它們的端點(diǎn)，解釋了為什么應該使用它們，并提供了非常具體的示例來(lái)說(shuō)明如何使用它們——所有這些方法對于初學(xué)者和高級用戶(hù)來(lái)說(shuō)都同樣清楚。帶有未知說(shuō)明的 API 文檔過(guò)于技術(shù)性和文本化，因此并非所有用戶(hù)都能正確使用。
　　下面，我們將通過(guò)七步一步一步介紹如何編寫(xiě)高質(zhì)量的API文檔。
　　
　　了解誰(shuí)在使用您的 API
　　描繪您的用戶(hù)旅程
　　從基本函數語(yǔ)句開(kāi)始
　　添加代碼示例
　　列出您的狀態(tài)代碼和錯誤消息
　　用白話(huà)寫(xiě)和設計API文檔
　　使 API 文檔始終保持最新
　　1.了解使用你API的用戶(hù)
　　與影響戰略規劃或 UI 設計過(guò)程的任何內容一樣，編寫(xiě) API 文檔的第一步是了解目標受眾。這需要了解您所針對的用戶(hù)類(lèi)型、內容需要為他們提供的實(shí)用價(jià)值，以及他們適合實(shí)際場(chǎng)景的方式。
　　在編寫(xiě) API 文檔時(shí)，需要牢記兩個(gè)主要的用戶(hù)組。一組用戶(hù)是API文檔的直接用戶(hù)，因此他們只需要查看教程和代碼示例。這個(gè)群體主要是開(kāi)發(fā)者。另一組用戶(hù)將評估 API 功能、價(jià)格、速率限制、安全性和其他因素，以了解 API 如何與其業(yè)務(wù)需求和目標保持一致。團隊主要由CTO和產(chǎn)品經(jīng)理，以及一些開(kāi)發(fā)人員組成。
　　您必須牢記這兩個(gè)角色，以確保文檔為每位讀者提供良好的體驗。
　　2.描述您的用戶(hù)旅程
　　與任何產(chǎn)品一樣，API 必須在買(mǎi)家旅程的每個(gè)階段提供內容。這意味著(zhù)文檔應該解釋 API 可以做什么（或它可以解決什么問(wèn)題）、它提供的各種功能和端點(diǎn)，以及它與競爭對手的不同之處。
　　API 文檔應該回答的一些基本問(wèn)題是：
　　1.為什么要使用這個(gè)API？
　　2.如何訪(fǎng)問(wèn)不同的工具和端點(diǎn)？
　　3.獲得許可后下一步是什么？
　　4.如何使用一些特定的功能？
　　3.從基本的函數語(yǔ)句開(kāi)始
　　每個(gè) API 和功能都是唯一的或唯一的。例如，一些API可以將微博照片嵌入到電子商務(wù)平臺的詳細信息頁(yè)面中。一些API可以讓你通過(guò)B站旅游UP主訪(fǎng)問(wèn)上千家推薦的酒店。網(wǎng)站 上甚至還有一個(gè)用于集成 Yoda 翻譯器的 API。雖然每個(gè) API 的作用不同，但是每個(gè) API 文檔都應該涵蓋一些基礎知識。讓我們看看下面的一些例子。
　　驗證
　　由于認證對于保護API數據以及開(kāi)發(fā)者和最終用戶(hù)的數據安全非常重要，API通常有多種認證方案，因此API文檔中必須對每一種認證方式進(jìn)行說(shuō)明，以便用戶(hù)能夠正確獲取Authorize并使用API??。例如，YouTube 數據 API 支持兩種類(lèi)型的授權憑據。它的文檔解釋了如何使用 OAuth 2.0 以及如何獲取 API 密鑰，以便用戶(hù)可以選擇他們更熟悉的身份驗證方法。
　　速率限制
　　與用戶(hù)身份驗證一樣，速率限制可以幫助防止意外傳輸或 API 濫用。API 速率限制是您在給定時(shí)間內可以向 API 發(fā)送請求的次數。這些限制必須在 API 文檔中明確說(shuō)明，以便用戶(hù)了解如何正確使用 API 及其功能。此信息最常出現在“使用條款”中。
　　使用條款
　　使用（或服務(wù)）條款是服務(wù)提供者與需要服務(wù)的用戶(hù)之間的法律協(xié)議。后者必須同意遵守這些條款才能使用服務(wù)。在 API 文檔中，使用條款必須明確定義 API 用戶(hù)在理想情況下應該如何使用 API。這將有助于確保服務(wù)用戶(hù)充分利用 API 平臺和功能。
　　內容變更日志
　　API 用戶(hù)了解他們使用的 API 的任何折舊是很重要的。更改文檔可以幫助他們妥善維護自己的應用程序，并充分利用 API 平臺的功能。案例：Twitter 的 API 文檔有一個(gè)變更日志，其中記錄了對 Twitter 開(kāi)發(fā)者平臺所做的所有變更，包括新功能和新產(chǎn)品。
　　4.添加代碼示例
　　API 文檔有兩個(gè)主要目標：使開(kāi)發(fā)人員盡可能輕松地使用 API，并使他們能夠快速了解?? API 的全部功能。實(shí)現這兩個(gè)目標的一個(gè)好方法是為每個(gè) API 端點(diǎn)提供代碼示例。這樣，開(kāi)發(fā)者就可以了解端點(diǎn)最關(guān)鍵的功能，從一些案例代碼入手，然后直接調整案例代碼上的參數，以滿(mǎn)足自己的實(shí)際需求和對接規范。
　　5.列出您的狀態(tài)代碼和錯誤消息
　　API 文檔應清楚地概述用戶(hù)在進(jìn)行 API 調用時(shí)可能期望的狀態(tài)代碼和錯誤消息。理想情況下，每個(gè)響應都應附有簡(jiǎn)短的描述，以便用戶(hù)知道 API 何時(shí)成功調用、API 何時(shí)未成功調用，并能夠解決他們遇到的任何錯誤。通常，此信息放置在其自己的頁(yè)面上。這是 Express 100 API 文檔中的一個(gè)示例。
　　6.用白話(huà)寫(xiě)和設計API文檔
　　如果您想以易于用戶(hù)閱讀和瀏覽的方式編寫(xiě)、構建和設計 API 文檔。這意味著(zhù)根據用戶(hù)的使用場(chǎng)景和需求來(lái)呈現和組織文檔的內容信息。用戶(hù)的使用場(chǎng)景是與用戶(hù)在哪里、何時(shí)、為什么以及如何找到內容并與之交互相關(guān)的所有內容。他們的需求還包括他們的目標、行為和期望。
　　最好的 API 文檔是為不熟悉 API 的初學(xué)者和非常熟悉 API 的開(kāi)發(fā)人員編寫(xiě)的。本文檔應盡可能避免使用過(guò)多的技術(shù)術(shù)語(yǔ)，并盡可能提供附加的上下文信息或文檔的內部鏈接。它還需要提供，比如“入門(mén)”以及示例和教程，這些是新手用戶(hù)需要的內容，更高級的用戶(hù)可以跳過(guò)它。
　　為了保證用戶(hù)可以選擇自己需要的東西，在設計API文檔的時(shí)候一定要做好導航。最佳做法是使用標題和側邊欄，以便用戶(hù)可以導航到文檔的另一部分并提供搜索功能，而無(wú)需在頁(yè)面上上下滾動(dòng)。其他設計考慮因素包括排版、配色方案和布局。三列布局被認為是收錄大量代碼示例的文檔的理想選擇。無(wú)襯線(xiàn)字體和對比色鏈接也是不錯的設計選擇。
　　7.保持 API 文檔始終是最新的
　　為了保證 API 用戶(hù)能夠獲得最佳體驗并不斷吸引新用戶(hù)，API 提供商必須不時(shí)維護自己的 API 文檔。過(guò)去，API 文檔以PDF 或靜態(tài)網(wǎng)頁(yè)的形式存在，這使得文檔更新變得困難?，F在，有一些工具可以幫助您創(chuàng )建可以自動(dòng)更新的動(dòng)態(tài)和交互式文檔。Redocly 和 SwaggerUI 是兩個(gè)比較常見(jiàn)的實(shí)際例子。
　　如何閱讀 API 文檔
　　如果你只是一個(gè) API 用戶(hù)，而不是 API 服務(wù)提供者，那么你需要知道如何閱讀 API 文檔。雖然寫(xiě)法和讀法都差不多（找基本原理、試代碼示例等），但并不完全一樣。讓我們仔細看看如何閱讀 API 文檔以了解使用特定 API 可能實(shí)現的功能。
　　從文檔概覽開(kāi)始
　　大多數API文檔會(huì )首先概述API的功能，如何連接API，以及如何正確使用API??。當然，你不需要了解概覽的每一個(gè)細節，但你應該粗略地瀏覽一遍。
　　以Express 100的API文檔為例。首先，Express 100 的 API 文檔解釋了 Express 100 的 API 的用途，使用的協(xié)議和語(yǔ)言，以及它的認證方案。在左側邊欄的“快速鏈接”部分，您將找到指向其使用指南和速率限制、測試帳戶(hù)、更改日志以及開(kāi)始使用 API 所需的所有其他內容的重要鏈接。
　　對函數的深入理解
　　了解 API 概述后，請瀏覽 API 參考文檔，其中列出了 API 的所有功能（也稱(chēng)為方法）。此時(shí)，無(wú)需徹底閱讀或記住所有內容。相反，請仔細研究您特別感興趣的功能。通過(guò)查看其參數和示例，您可以了解是否可以成功使用該 API 執行您想要執行的確切操作。
　　例如，假設您想通過(guò)快遞100的API實(shí)現如下物流查詢(xún)功能：-在電商網(wǎng)頁(yè)/APP/小程序中，客戶(hù)在訂單詳情中查看所購商品的物流地圖軌跡，并顯示物流跟蹤文字信息一起。顧客
　　在這種需求的驅動(dòng)下，您可以導航到“接口文檔”，然后查看其代碼語(yǔ)言、參數、響應和錯誤消息等。
　　通讀 API 文檔教程
　　現在您知道是否可以使用 API 來(lái)實(shí)現您的需求，請查看教程。由于最好的 API 文檔應該可以幫助用戶(hù)快速入門(mén)，因此大多數文檔都會(huì )收錄完成任務(wù)的詳細教程。您應該至少通讀一個(gè)教程，以了解需要仔細研究哪些級別的細節和示例。如果你想了解電商快遞物流API的好處，這里有一篇文章《什么是電商API？這是它能給商家帶來(lái)的12個(gè)運營(yíng)效益》一文，介紹了它們的優(yōu)點(diǎn)和缺點(diǎn)詳細。有興趣的可以去看看，說(shuō)不定你會(huì )發(fā)現意想不到的驚喜。
　　記錄 API 信息更改
　　隨著(zhù)越來(lái)越多的公司提供 API 服務(wù)以形成高度集成的用戶(hù)體驗，知道如何編寫(xiě)和閱讀 API 文檔變得越來(lái)越有價(jià)值。在創(chuàng )建或評估 API 文檔時(shí)，請確保您的 API 穩定且易于閱讀和瀏覽，并向開(kāi)發(fā)人員和非開(kāi)發(fā)人員清楚地傳達 API 的價(jià)值。這確保了技術(shù)出身的用戶(hù)可以快速正確地開(kāi)始使用您的 API，而同事必須確保他們可以與其他非技術(shù)同事一起使用它。 查看全部

　　文章采集api(數據埋點(diǎn)采集到底包括哪些問(wèn)題？作者從什么是埋點(diǎn)、埋點(diǎn)的應用)
　　數據采集是數據分析的基礎，埋點(diǎn)是采集最重要的方法。那么數據埋點(diǎn)采集涉及哪些問(wèn)題呢？本文作者從什么是埋點(diǎn)、埋點(diǎn)如何設計、埋點(diǎn)的應用三個(gè)方面梳理了這個(gè)問(wèn)題，與大家分享。
　　
　　一、數據采集及常見(jiàn)數據問(wèn)題1.數據采集
　　數據采集的方式有很多種，埋點(diǎn)采集是其中非常重要的一部分。是c端和b端產(chǎn)品采集的主要方式。
　　數據采集，顧名思義，采集對應的數據是整個(gè)數據流的起點(diǎn)。采集的不完整性，對與錯，直接決定了數據的廣度和質(zhì)量，并影響到后續的所有環(huán)節。在數據采集有效性和完整性較差的公司中，業(yè)務(wù)中發(fā)現的數據通常會(huì )發(fā)生重大變化。
　　數據處理通常包括以下5個(gè)步驟：
　　2. 常見(jiàn)數據問(wèn)題
　　在大致了解了數據采集及其結構之后，我們來(lái)看看我們工作中遇到的問(wèn)題，有多少是與數據采集鏈接相關(guān)的：
　　數據與后臺差距大，數據不準確——統計口徑不同，埋點(diǎn)定義不同，采集的方法帶來(lái)誤差；想用的時(shí)候，沒(méi)有我想要的數據——沒(méi)有數據。采集需求，埋點(diǎn)不正確，不完整；事件太多，意義不明——埋點(diǎn)設計方法，埋點(diǎn)更新迭代規則和維護；數據分析不知道看哪些數據和指標——數據定義不清，缺乏分析思路。
　　我們要從根本上解決問(wèn)題：把采集當作一個(gè)獨立的研發(fā)企業(yè)，而不是產(chǎn)品開(kāi)發(fā)的附屬品
　　二、什么是埋點(diǎn)1. 什么是埋點(diǎn)
　　所謂埋點(diǎn)，是數據領(lǐng)域的一個(gè)術(shù)語(yǔ)采集。它的學(xué)名應該叫Event Tracking，對應的英文是Event Tracking，指的是捕獲、處理和發(fā)送特定用戶(hù)行為或事件的相關(guān)技術(shù)和實(shí)現過(guò)程。
　　數據埋點(diǎn)是數據分析師、數據產(chǎn)品經(jīng)理和數據運營(yíng)。根據業(yè)務(wù)需求或產(chǎn)品需求，開(kāi)發(fā)用戶(hù)行為的每個(gè)事件的對應位置，開(kāi)發(fā)埋點(diǎn)，通過(guò)SDK上報埋點(diǎn)的數據結果，并記錄匯總數據。分析、推動(dòng)產(chǎn)品優(yōu)化、指導運營(yíng)。
　　該過(guò)程附有規范。通過(guò)定義，我們看到特定的用戶(hù)行為和事件是我們的采集關(guān)注點(diǎn)。我們還需要處理和發(fā)送相關(guān)的技術(shù)和實(shí)施流程；數據嵌入點(diǎn)是為產(chǎn)品服務(wù)的，它來(lái)自于產(chǎn)品。，所以跟產(chǎn)品息息相關(guān)，埋點(diǎn)在于具體的實(shí)戰過(guò)程，這關(guān)系到每個(gè)人對底層數據的理解。
　　
　　2. 為什么要埋分
　　埋點(diǎn)的目的是對產(chǎn)品進(jìn)行全方位的持續跟蹤，通過(guò)數據分析不斷引導和優(yōu)化產(chǎn)品。數據埋點(diǎn)的好壞直接影響到數據質(zhì)量、產(chǎn)品質(zhì)量、運營(yíng)質(zhì)量等。
　　數據驅動(dòng)的埋點(diǎn)將分析深度下鉆到流量分布和流量級別。通過(guò)統計分析，對宏觀(guān)指標進(jìn)行深入分析，發(fā)現指標背后的問(wèn)題，洞察用戶(hù)行為與價(jià)值提升的潛在關(guān)系；產(chǎn)品優(yōu)化——對于產(chǎn)品，用戶(hù)在產(chǎn)品中做了什么，在產(chǎn)品中停留了多久，有什么異常需要注意。這些問(wèn)題都可以通過(guò)埋點(diǎn)的方式來(lái)解決；精細化運營(yíng)——埋點(diǎn)可以實(shí)現整個(gè)產(chǎn)品生命周期、流量質(zhì)量和不同來(lái)源的分布、人群的行為特征和關(guān)系，洞察用戶(hù)行為與提升商業(yè)價(jià)值之間的潛在關(guān)聯(lián)。3.
　　埋點(diǎn)的方法有哪些？目前，大多數公司使用客戶(hù)端和服務(wù)器的組合：
　　
　　準確度：編碼埋點(diǎn)>可視化埋點(diǎn)>全埋點(diǎn)
　　三、埋點(diǎn)框架及設計1.埋點(diǎn)頂層設計采集
　　所謂頂層設計，就是搞清楚怎么埋點(diǎn)，用什么方法，上傳機制是什么，怎么定義，怎么實(shí)現等等；我們在設計的基礎上遵循唯一性、可擴展性、一致性等一些常見(jiàn)的字段和生成機制，例如：cid、idfa、idfv等。
　　2. 埋點(diǎn) 采集 事件和屬性設計
　　在設計屬性和事件時(shí)，我們需要知道哪些是經(jīng)常變化的，哪些是不變的，哪些是業(yè)務(wù)行為，哪些是基本屬性。
　　基于基礎屬性事件，我們認為屬性一定是采集項，但是屬性中的事件屬性根據業(yè)務(wù)進(jìn)行了調整。因此，我們可以將埋點(diǎn)采集分為協(xié)議層和業(yè)務(wù)層埋點(diǎn)。
　　3. 數據采集事件和屬性設計
　　
　　Ev 事件的命名也遵循一些規則。當同一類(lèi)型的函數出現在不同的頁(yè)面或位置時(shí)，根據函數名進(jìn)行命名，在ev參數中區分頁(yè)面和位置。僅點(diǎn)擊按鈕時(shí)，按按鈕名稱(chēng)命名。
　　ev事件格式：ev分為ev標識和ev參數
　　規則：
　　ev標志和ev參數之間用“#”連接（一級連接器）；
　　ev參數和ev參數之間用“/”連接（二級連接器）；
　　ev 參數使用key=value 的結構。當一個(gè)key對應多個(gè)value值時(shí)，value1和value2之間用“,”連接（三級連接器）；
　　當埋點(diǎn)只有ev標志，沒(méi)有ev參數時(shí)，不需要帶#；
　　評論：
　　ev標識：作為埋點(diǎn)的唯一標識，用于區分埋點(diǎn)的位置和屬性，不可變，不可修改；
　　ev參數：需要返回埋點(diǎn)的參數，ev參數的順序是可變的，可以修改；）
　　調整app埋點(diǎn)時(shí)ev標志不變，只修改后續埋點(diǎn)參數（參數值改變或參數類(lèi)型增加）
　　eg：一般嵌入點(diǎn)文檔中收錄的sheet的名稱(chēng)和功能：
　　A.暴露埋點(diǎn)匯總；
　　B.點(diǎn)擊瀏覽埋點(diǎn)匯總；
　　C.故障埋點(diǎn)總結：一般會(huì )記錄埋點(diǎn)的故障版本或時(shí)間；
　　D、PC和M頁(yè)面嵌入點(diǎn)對應的pageid；
　　E、各版本上線(xiàn)時(shí)間記錄；
　　在嵌入點(diǎn)文檔中，所有列名和函數包括：
　　
　　4. 基于埋點(diǎn)的統計
　　如何使用埋點(diǎn)統計查找埋點(diǎn) ev 事件：
　　明確埋點(diǎn)類(lèi)型（點(diǎn)擊/曝光/瀏覽）-過(guò)濾類(lèi)型字段，清除埋點(diǎn)所屬頁(yè)面（頁(yè)面或功能）-過(guò)濾功能模塊字段，指定埋點(diǎn)事件名稱(chēng)-過(guò)濾name字段知道ev標志，可以直接用ev過(guò)濾
　　如何根據ev事件進(jìn)行計數統計：查詢(xún)按鈕點(diǎn)擊統計時(shí)，可以直接使用ev標志進(jìn)行查詢(xún)，有區別時(shí)，可以限制埋點(diǎn)參數的取值；因為ev參數的順序不需要可變，查詢(xún)統計的時(shí)候，不能限制參數的順序；
　　四、應用-數據流的基礎
　　
　　1. 指標系統
　　系統化的指標可以將不同指標、不同維度串聯(lián)起來(lái)進(jìn)行綜合分析，快速發(fā)現當前產(chǎn)品和業(yè)務(wù)流程中存在的問(wèn)題。
　　
　　2. 可視化
　　人類(lèi)對圖像信息的解釋比文本更有效?？梢暬瘜τ跀祿治鰳O其重要。使用數據可視化可以揭示數據中錯綜復雜的關(guān)系。
　　
　　3. 埋點(diǎn)元信息api提供
　　數據采集服務(wù)會(huì )將采集的埋點(diǎn)寫(xiě)入Kafka。針對每個(gè)業(yè)務(wù)的實(shí)時(shí)數據消費需求，我們?yōu)槊總€(gè)業(yè)務(wù)提供了單獨的Kafka，流量分發(fā)模塊會(huì )定時(shí)讀取它 取埋點(diǎn)管理平臺提供的元信息，實(shí)時(shí)分發(fā)流量各業(yè)務(wù)時(shí)間卡夫卡。
　　
　　數據采集就像設計一個(gè)產(chǎn)品。不能過(guò)火，留有擴展空間，但要時(shí)刻考慮數據是否完整、詳細、不穩定、快速與否。 查看全部

　　文章采集api(【干貨】大數據采集系統的分為操作建議及注意事項)
　　大數據采集系統：
　　用于采集
各種數據，并提取、轉換和加載數據。
　　大數據采集技術(shù)：
　　對數據進(jìn)行ETL操作，提取、轉換、加載數據，最終挖掘數據的潛在價(jià)值。然后為用戶(hù)提供解決方案或決策參考。
　　
　　大數據采集系統主要分為三類(lèi)：
　　1、系統日志采集
系統
　　日志采集和日志數據信息的采集，然后進(jìn)行數據分析，挖掘公司業(yè)務(wù)平臺日志數據的潛在價(jià)值?？傊?，采集
日志數據提供了離線(xiàn)和在線(xiàn)實(shí)時(shí)分析。目前常用的開(kāi)源日志采集
系統是Flume。
　　2、網(wǎng)絡(luò )數據采集系統
　　通過(guò)網(wǎng)絡(luò )爬蟲(chóng)和一些網(wǎng)站平臺（如推特、新浪微博API）提供的公共API從網(wǎng)站獲取數據?？梢詮木W(wǎng)頁(yè)中提取非結構化數據和半結構化數據的網(wǎng)頁(yè)數據，提取、清洗、轉換成結構化數據，作為統一的本地文件數據存儲。
　　目前常用的網(wǎng)絡(luò )爬蟲(chóng)系統包括Apache Nutch、Crawler4j、Scrapy等框架。
　　3、數據庫采集系統
　　數據庫采集系統直接與企業(yè)業(yè)務(wù)后端服務(wù)器集成，每時(shí)每刻都會(huì )在企業(yè)業(yè)務(wù)后端產(chǎn)生大量的業(yè)務(wù)記錄寫(xiě)入數據庫。最后，由特定的處理和分配系統進(jìn)行系統分析。
　　目前常用MySQL、Oracle等關(guān)系型數據庫來(lái)存儲數據，也常用Redis、MongoDB等NoSQL數據庫進(jìn)行數據采集。
　　
　　一個(gè)簡(jiǎn)單易用的大數據采集平臺：
　　1.數據超市
　　基于云平臺的大數據計算分析系統。擁有豐富優(yōu)質(zhì)的數據資源，通過(guò)自有渠道資源獲得100余項版權大數據資源。所有數據都經(jīng)過(guò)審計，以確保數據的高可用性。
　　2. 快速礦工
　　
　　數據科學(xué)軟件平臺為數據準備、機器學(xué)習、深度學(xué)習、文本挖掘和預測分析提供了一個(gè)集成環(huán)境。
　　3. Oracle 數據挖掘
　　它是 Oracle 高級分析數據庫的代表。市場(chǎng)領(lǐng)先的公司使用它來(lái)最大限度地發(fā)揮數據的潛力并做出準確的預測。
　　4. IBM SPSS Modeler
　　適用于大型項目。在這個(gè)建模器中，文本分析及其最先進(jìn)的可視化界面非常有價(jià)值。有助于生成數據挖掘算法，基本不需要編程。
　　5. KNIME
　　開(kāi)源數據分析平臺。您可以快速部署、擴展并熟悉其中的數據。
　　6. Python
　　一種免費的開(kāi)源語(yǔ)言。
　　
　　大數據平臺：
　　是指一組主要處理海量數據存儲、計算、不間斷流數據實(shí)時(shí)計算等場(chǎng)景的基礎設施。既可以使用開(kāi)源平臺，也可以使用華為、Transwarp等商業(yè)解決方案。它們可以部署在私有云或公共云上。
　　任何一個(gè)完整的大數據平臺，一般都包括以下流程：
　　數據采集??->數據存儲->數據處理->數據展示（可視化、報告和監控）
　　其中，數據采集對于所有數據系統都是必不可少的。隨著(zhù)大數據越來(lái)越受到重視，數據采集的挑戰就顯得尤為突出。 查看全部

　　文章采集api(
公眾號數據下載有哪些值得推薦的微信數據分析技巧？)
　　
　　公眾號資料下載服務(wù)內容
　　賬號搜索和擴展數據，根據需要查找微信、微博、今日頭條、抖音等新媒體平臺賬號并發(fā)布內容。自定義列表，根據提供的賬號計算新的列表索引，并以列表的形式展示。定制化支持，還有更多其他數據需求？我們的技術(shù)服務(wù)人員可以為您提供完全定制的支持和咨詢(xún)服務(wù)。公眾號、微博、今日頭條、抖音等新媒體賬號海量數據采集、歷史發(fā)布內容海量采集和評論區數據采集。API深度定制，除了在線(xiàn)API接口外，還為開(kāi)發(fā)者提供微信、微博、抖音等新媒體平臺數據。
　　
　　公眾號資料下載
　　微信公眾號推薦的數據分析技術(shù)有哪些？
　　目前，公眾號拖圖數據后臺自帶的數據包括用戶(hù)分析、圖形分析、菜單分析、消息分析、界面分析、網(wǎng)頁(yè)分析六大模塊。其中，界面分析和網(wǎng)頁(yè)分析是公眾號二次開(kāi)發(fā)后的數據分析（本文未提及）
　　一、用戶(hù)分析
　　在微信公眾平臺->統計->用戶(hù)分析中，用戶(hù)分析數據包括用戶(hù)增長(cháng)和用戶(hù)屬性?xún)蓚€(gè)數據，通過(guò)它可以查看粉絲數量的變化和當前公眾平臺用戶(hù)畫(huà)像。
　　1、用戶(hù)增長(cháng)
　　(1)核心數據指標
　?、傩玛P(guān)注數：新關(guān)注用戶(hù)數（不包括當天重復關(guān)注的用戶(hù)）；
　?、谌∠P(guān)注的用戶(hù)數：取消關(guān)注的用戶(hù)數（不包括當天重復取消關(guān)注的用戶(hù)）；
　?、坳P(guān)注人數凈增：新增關(guān)注人數與未關(guān)注人數之差
　?、?累計關(guān)注數：當前關(guān)注的用戶(hù)總數。
　　
　　公眾號資料下載 查看全部

　　文章采集api(
學(xué)Python,學(xué)Vba？不需要！(一)！)
　　
　　爬蟲(chóng)，聽(tīng)起來(lái)是不是又高又高？
　　需要學(xué)習專(zhuān)業(yè)的網(wǎng)絡(luò )知識嗎？需要學(xué)Python，學(xué)Vba？不必要！
　　這篇文章教你零基礎用Excel完成，
　　廢話(huà)少說(shuō)，直接上實(shí)操步驟！
　　一、注冊并獲得您自己的密鑰
　　1、禾豐天氣是一個(gè)開(kāi)放的網(wǎng)站，你可以直接在百度上搜索。
　　鶴峰天氣網(wǎng)站：
　　
　　2、新用戶(hù)注冊賬號
　　
　　3、 注冊并激活獲取密鑰后，只需按照以下步驟操作即可。
　　
　　
　　
　　
　　
　　這樣我們就得到了密鑰：a684c431c6b840c196a4a2962630b736，作者的賬號密鑰，讀者可以免費申請。
　　二、閱讀API接口文檔
　　1、打開(kāi)和風(fēng)天氣網(wǎng)站，找到如下頁(yè)面：
　　
　　下面會(huì )有一個(gè)示例請求 URL
　　
　　#獲取北京實(shí)時(shí)天氣
　　這是付費版本的一個(gè)例子。對于免費版，我們需要在api前加上free-，如下圖：
　　2、 我們來(lái)看看需要哪些參數，
　　我們可以看到location和key這兩個(gè)參數是必須的。
　　
　　3、返回參數說(shuō)明
　　拿到數據后，我們需要了解返回的是什么信息。下面有詳細說(shuō)明供參考：
　　
　　了解了這些信息后，我們就可以開(kāi)始使用EXCEL來(lái)獲取天氣信息了。
　　三、用EXCEL的PQ工具獲取結果
　　1、打開(kāi)EXCEL 2016，如下輸入你要獲取的城市名稱(chēng)，插入表格
　　
　　2、導入表格到POWER QUERY
　　
　　如果有讀者還沒(méi)有加載這個(gè)工具，我們可以在設置中加載：
　　
　　
　　3、導入后添加自定義列
　　添加自定義列：
　　=Web.Contents(""&[區域]&"&Key=a684c431c6b840c196a4a2962630b736")
　　
　　4、添加自定義列并分析
　　= Json.Document([自定義])
　　
　　您將獲得以下圖片：
　　
　　
　　我們擴展數據并組織數據。
　　
　　5、 我們需要的是當前數據，現在展開(kāi)，然后依次展開(kāi)
　　
　　網(wǎng)頁(yè)上有參數說(shuō)明，修改請參考網(wǎng)頁(yè)說(shuō)明，詳細參數及取值說(shuō)明：
　　
　　根據上圖中的描述，我們把title改成了中文（具體屬性根據需要保留）
　　
　　數據的逆向透視，便于我們觀(guān)察
　　
　　只需關(guān)閉并上傳。
　　讓我們試試吧。將“上?！碧砑拥匠鞘胁⑺⑿聰祿?。
　　
　　完美成功獲取上海實(shí)時(shí)天氣情況。
　　
　　是不是沒(méi)有你想的那么難，記得自己練習哦！
　　網(wǎng)站上還有歷史天氣和風(fēng)景天氣的界面。有興趣的讀者也可以嘗試一下。 查看全部

　　文章采集api(數據資產(chǎn)治理（詳情見(jiàn)）——元數據提取)
　　來(lái)源：
　　一、簡(jiǎn)介
　　數據資產(chǎn)治理（詳見(jiàn)：數據資產(chǎn)、贊智治理）需要數據。它要求數據類(lèi)型齊全，數量大，并盡可能覆蓋數據流通的方方面面。元數據采集
變得尤為重要，它是數據資產(chǎn)治理的核心基礎。
　　在早期的采集系統中，我們主要使用數據倉庫通過(guò)“API直連方式”采集Hive/Mysql表的元數據。隨著(zhù)業(yè)務(wù)的快速發(fā)展，對數據運營(yíng)和成本管理的需求越來(lái)越強烈。元數據需要覆蓋整個(gè)數據鏈路，包括離線(xiàn)計算平臺、實(shí)時(shí)計算平臺、內部工具、任務(wù)元數據等。在采集
元數據的過(guò)程中，我們遇到了以下困難：
　　本文主要從元數據的意義、提取、采集、監控告警等方面介紹了我們所做的一些事情。
　　二、元數據2.1 什么是元數據
　　什么是元數據？元數據是“用于描述數據的數據”。例如：我用手機拍了一張照片，查看了照片的詳細信息，如下圖：
　　照片信息
文件名：IMG_20201217_114115
時(shí)間：2020年12月17號 11:30:01
分辨率：4608X2592
文件大?。?.69MB
相機制造商：OnePlus
相機型號：ONEPLUS A5000
閃光燈：未使用閃光燈
焦距：4.10mm
白平衡：自動(dòng)
光圈：f/1.7
曝光時(shí)間：1/50
ISO：1250
　　這些是數碼照片的元數據，用于描述圖片。在資產(chǎn)管理平臺，我們采集
Hive組件的元數據，包括：表名、字段列表、負責人、任務(wù)調度信息等。
　　采集
整個(gè)鏈接的數據（各種元數據）可以幫助數據平臺回答：我們有什么數據？有多少人在使用它？什么是數據存儲？如何找到這些數據？什么是數據流？結合血緣關(guān)系分析問(wèn)題根源，分析影響。
　　2.2 采集
了哪些元數據
　　如下圖所示，是一個(gè)數據流圖。我們主要采集
了各種平臺組件：
　　
　　到目前為止，采集
到的平臺組件覆蓋了整個(gè)數據鏈路。涵蓋10種數據+，基礎元數據量10w+。主要包括：
　　三、元數據提取
　　如何從眾多平臺組件中提取元數據？大致有這幾個(gè)方面：
　　計算任務(wù)通過(guò)分析任務(wù)的輸入/輸出依賴(lài)配置來(lái)獲取血緣關(guān)系。 SQL類(lèi)任務(wù)使用“Sql Parser”（ANTLR4系統實(shí)現的sql重寫(xiě)工具）工具解析SQL腳本，獲取表/字段級血緣關(guān)系。 3.1個(gè)線(xiàn)下平臺
　　主要采集
Hive/RDS表的元數據。
　　Hive組件的元數據存儲在Metastore中，通過(guò)JDBC訪(fǎng)問(wèn)Mysql獲取數據庫表的元數據。根據Hive表信息組裝HDFS地址，通過(guò)FileSystem API獲取文件狀態(tài)、文件編號、文件大小、數據更新時(shí)間等趨勢數據。
　　RDS平臺提供Mysql服務(wù)的管理，通過(guò)平臺提供的服務(wù)接口獲取表元數據、趨勢數據、訪(fǎng)問(wèn)狀態(tài)等信息。
　　3.2 實(shí)時(shí)平臺
　　主要是Flume/Hbase/Kafka等組件的元數據。
　　例如：我們訪(fǎng)問(wèn)KP平臺的工單數據，獲取topic的基本元數據信息，定時(shí)消費topic獲取樣本數據，解析字段列表。平臺本身提供集群狀態(tài)和業(yè)務(wù)監控指標，通過(guò)平臺服務(wù)獲取集群資源的使用情況。
　　3.3 個(gè)內部工具
　　主要是BI報表系統的血緣關(guān)系（一個(gè)BI報表查詢(xún)的Hive表和Mysql表的關(guān)系）、指標庫（Hive表和指標關(guān)聯(lián)字段的關(guān)系）、OneService服務(wù)（哪個(gè)數據庫表的關(guān)系數據）由接口訪(fǎng)問(wèn)）數據。
　　這些內部系統在產(chǎn)品的不斷迭代中積累了大量的元數據。在不考慮元數據的時(shí)效性的情況下，我們一般將這些系統的數據同步到Hive數據庫中，離線(xiàn)處理后獲取元數據。
　　3.4 任務(wù)元數據
　　元數據任務(wù)主要是DP離線(xiàn)任務(wù)、Flink計算服務(wù)、Flume任務(wù)。
　　這些計算任務(wù)都放在磁盤(pán)上，通過(guò)Binlog同步或者離線(xiàn)同步獲取任務(wù)列表，獲取任務(wù)的元數據。
　　四、數據采集
　　元數據提取后，我們可以得到整個(gè)數據鏈中各個(gè)平臺組件的元數據。數據采集??是指將這些元數據存儲到數據資產(chǎn)管理系統的數據庫中。
　　4.1種采集方式
　　采集
數據的方式主要有三種。下表列出了三種方式的優(yōu)缺點(diǎn)：
　　
　　一般情況下，我們建議業(yè)務(wù)方使用收購S(chǎng)DK。主動(dòng)上報元數據，訪(fǎng)問(wèn)時(shí)只需要關(guān)注上報數據格式和SDK初始化，即可快速完成上報。
　　4.2采集SDK設計
　　采集SDK支持基礎元數據、趨勢數據、血緣關(guān)系數據的上報，主要包括客戶(hù)端SDK和采集服務(wù)器兩部分?？蛻?hù)端SDK主要實(shí)現通用報表模型的定義和報表功能，采集服務(wù)器主要實(shí)現不同的適配器完成數據的統一存儲。
　　4.2.1 架構
　　
　　獲取SDK客戶(hù)端
　　定義了基本元數據（MetaSchema）、趨勢數據（TrendSchema）、血緣關(guān)系數據（LineageSchema）的通用模型，并支持擴展新的報告模型（XXXSchema）。 ReportService實(shí)現了向Kafka推送數據的功能。
　　采集
服務(wù)器
　　數據鑒權服務(wù)器消費Kafka，獲取數據后，對每條記錄的簽名進(jìn)行鑒權（獲取記錄中的appId、appName、token信息，重新生成token，比較值的過(guò)程）。統一倉儲服務(wù)定義了統一的數據倉儲模型，包括表基礎元數據、趨勢數據、血緣關(guān)系數據、趨勢數據，實(shí)現不同數據類(lèi)型的倉儲服務(wù)。數據適配器Bridge獲取Kafka的數據，根據不同的數據類(lèi)型轉換成“統一存儲模型”，觸發(fā)“統一存儲服務(wù)”完成數據寫(xiě)入。 4.2.2 通用模型
　　采集
了很多平臺組件。我們參考Hive“表模型”的定義，抽象出一套通用的數據上報模型，保證數據上報和數據存儲的可擴展性。
　　通用血緣模型主要包括血緣模型定義和任務(wù)血緣模型定義，支持用戶(hù)分別上報血緣關(guān)系和任務(wù)血緣關(guān)系。模型定義如下：
　　/**
* 表血緣模型定義
*/
@Data
public class TableLineageSchema {
/**
* 當前節點(diǎn)
*/
private T current;
/**
* 父節點(diǎn)
*/
private List parents;
/**
* 子節點(diǎn)
*/
private List childs;
/**
* 表級別血緣擴展信息，json對象，kv結構
*/
private String extParam;
}
　　/**
* 表任務(wù)血緣定義
*
*/
@Data
public class JobLineageSchema {
/**
* 任務(wù)節點(diǎn)對象
*/
private Job task;
/**
* 輸入對象列表
*/
private List inputs;
/**
* 輸出對象列表
*/
private List outputs;
/**
* 任務(wù)級別血緣擴展信息，json對象，kv結構
*/
private String extParam;
}
　　每個(gè)模型定義都有一個(gè)擴展字段（常規的 json 格式）。不在定義中的指標可以放在擴展字段中。數據上報后，也會(huì )存儲在元數據表的擴展字段中。訪(fǎng)問(wèn)新的類(lèi)型，索引定義大不相同，元數據上報是通過(guò)擴展新的數據模型定義來(lái)完成的。
　　4.2.3 訪(fǎng)問(wèn)、驗證、限流
　　如何保證用戶(hù)上報的數據安全？我們設計了一組簽名：訪(fǎng)問(wèn)方Id（appId）、訪(fǎng)問(wèn)名稱(chēng)（appName）、訪(fǎng)問(wèn)標識（token）。管理員填寫(xiě)基本接入方信息，生成隨機的appId和token信息。業(yè)務(wù)方在初始化SDK集合時(shí)，指定了簽名信息，每上報的數據都會(huì )攜帶簽名。在采集服務(wù)器上，每條數據都經(jīng)過(guò)簽名和認證，保證了數據的安全性。
　　采集SDK會(huì )對每一條上報的數據執行通用規則來(lái)檢查數據的有效性，比如表名不為空，負責人的有效性，表的大小，趨勢數據不能為負數等。如果檢測到非法數據，將被過(guò)濾掉并觸發(fā)報警通知。
　　在采集SDK服務(wù)器上，每隔一定時(shí)間（每?jì)擅耄┫M一批Kafka數據。支持設置消費數據的時(shí)間間隔和拉取件數，不會(huì )因為上報數據的流量高峰而增加下游存儲壓力。 ,起到限流作用。
　　4.3 觸發(fā)獲取
　　我們支持多種元數據采集
方法。如何觸發(fā)數據采集
？總體思路是：
　　基于A(yíng)pollo配置系統（見(jiàn)：Apollo's Praise in Practice）和Linux系統的Crontab功能，實(shí)現任務(wù)調度。數據采集??任務(wù)在A(yíng)pollo上配置。更改配置后，Apollo會(huì )發(fā)布，配置信息會(huì )實(shí)時(shí)同步到在線(xiàn)節點(diǎn)的Crontab文件中。
　　4.3.1 增量任務(wù)，準實(shí)時(shí)
　　支持獲取組件最近變化的元數據，配置增量任務(wù)，提高元數據采集的實(shí)時(shí)性。比如增量采集
Hive表元數據，每1分鐘查詢(xún)一次metastore，獲取最近變化的元數據列表，并更新元數據。
　　4.3.2個(gè)滿(mǎn)任務(wù)，走底線(xiàn)
　　增量采集
可能會(huì )出現數據丟失的情況。每 1 天或更多天完成一次完整采集
，作為確保元數據完整性的底線(xiàn)計劃。
　　4.3.3 采集SDK并實(shí)時(shí)上報
　　采集SDK支持實(shí)時(shí)和全量上報模式。一般要求接入方數據實(shí)時(shí)變化，不定期上報一次滿(mǎn)量。
　　4.4 數據存儲、更新
　　數據采集后，需要考慮如何存儲，以及元數據發(fā)生變化時(shí)如何同步和更新。我們對采集
到的元數據進(jìn)行分類(lèi)統一，抽象出“表模型”，分類(lèi)存儲。
　　4.4.1 數據存儲
　　我們評估了每個(gè)組件的元數據量（共10w+），估計了數據可能的使用場(chǎng)景，最終選擇了Mysql來(lái)存儲。為了滿(mǎn)足用戶(hù)個(gè)性化的查詢(xún)需求，構建了Es寬表。表粒度主要包括：表名、備注、負責人、字段列表、趨勢信息、業(yè)務(wù)領(lǐng)域信息、任務(wù)信息等，在數據采集過(guò)程中同步更新Es表，保證元數據查詢(xún)的實(shí)時(shí)性。定期更新（構建離線(xiàn)模型表，每天同步更新Es表），保證元數據的完整性。
　　元數據中的表不是孤立存在的。一般有關(guān)聯(lián)任務(wù)（離線(xiàn)任務(wù)、實(shí)時(shí)任務(wù)）輸出表，表和任務(wù)之間的流向關(guān)系也會(huì )在數據圖中顯示。那么如何在眾多平臺組件中唯一區分一個(gè)表呢？我們通過(guò)表所在的集群名稱(chēng)、項目名稱(chēng)、表類(lèi)型（它來(lái)自哪個(gè)平臺組件）和表名稱(chēng)的組合來(lái)唯一區分。
　　數據分類(lèi)存儲，最終形成：基礎元數據表、趨勢數據表、任務(wù)元數據表、血緣關(guān)系數據表。
　　4.4.2 數據更新
　　元數據表離線(xiàn)，如何更新？
　　五、監控和警告
　　完成數據采集后，就全部完成了嗎？答案是否定的。在采集過(guò)程中，數據種類(lèi)繁多，刪除方式多樣，刪除鏈接長(cháng)度。任何環(huán)節的任何問(wèn)題都會(huì )導致結果不準確。我們通過(guò)以下方式來(lái)保證采集服務(wù)的穩定性。
　　5.1 采集
鏈路監控告警5.1.1 接口監控
　　我們將系統的所有服務(wù)接口分為核心、重要、通用三個(gè)層次，并支持標注接口和責任人的注解。異常會(huì )觸發(fā)不同級別的警報通知。核心業(yè)務(wù)異常直接觸發(fā)電話(huà)報警，重要或一般業(yè)務(wù)異常觸發(fā)電子郵件報警。系統會(huì )存儲接口請求和執行狀態(tài)并刪除，每天向接口服務(wù)負責人發(fā)送服務(wù)日報。通過(guò)將元數據采集服務(wù)標記為核心重要服務(wù)，“API直連方式”接口異常感知。
　　如下圖是服務(wù)接口的告警通知：
　　[Warning][prod][data-dict] - 數據資產(chǎn)平臺告警
你負責的[元信息采集]模塊(backup為XXX)出現[重要]等級問(wèn)題, 方法名:[com.youzan.bigdata.crystal.controller.HiveMetaController.getHiveDb], 異常信息:null
host:XXXXXX
處理地址：https://XXXX
　　如下圖是服務(wù)接口的每日報警報表：
　　[Warning][prod][data-dict] - 數據資產(chǎn)平臺告警
[shunfengche]今日問(wèn)題匯總
請及時(shí)收斂今日問(wèn)題，總問(wèn)題數 1 個(gè)，出現 2 次
【核心】問(wèn)題 0 個(gè):
【重要】問(wèn)題 0 個(gè):
【一般】問(wèn)題 1 個(gè):
[數據采集]com.youzan.bigdata.crystal.controller.HiveMetaController.getHiveDb 今日出現 2 次, 已存在 5 天, 歷史出現 8 次
host:XXXXXX
處理地址：https://XXXX
　　5.1.2 采集過(guò)程監控
　　對于每個(gè)元數據采集服務(wù)，如果采集過(guò)程中出現異常，都會(huì )發(fā)出警報通知。
　　如下圖，是采集過(guò)程中出現異常觸發(fā)的告警：
　　[Warning][prod][data-dict] - 數據資產(chǎn)平臺告警
你負責的[元信息采集]模塊(backup為XXX)出現[一般]等級問(wèn)題, 方法名:[com.youzan.bigdata.crystal.asyncworker.work.AsyncAllRdsDDLWorker.run], 異常信息:/n
### Error updating database. Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLQueryInterruptedException: Query execution was interrupted
　　5.1.3 Kafka 消息積壓警告
　　消費Kafka數據，通過(guò)kp平臺配置消息backlog告警，實(shí)現SDK服務(wù)采集異常感知。
　　5.2 結果數據對比
　　主要用于事后監測預警，定期探索采集的元數據量異常波動(dòng)。針對不同類(lèi)型的元數據，通過(guò)將當天采集的金額與過(guò)去7天的歷史平均金額進(jìn)行比較，設置異常波動(dòng)的告警閾值，超過(guò)閾值時(shí)觸發(fā)告警通知。
　　根據采集到的元數據結果表，配置一些數據質(zhì)量檢測規則，定期執行異常規則，發(fā)現問(wèn)題數據觸發(fā)告警通知。這保證了對結果數據的異常感知。例如定義的數據質(zhì)量規則：
　　5.3 項目迭代機制，集合問(wèn)題收斂
　　通過(guò)事前、事中、事后的監測預警機制，及時(shí)發(fā)現和感知采集異常。對于異常問(wèn)題，我們一般以項目迭代的方式發(fā)起jira，組織相關(guān)人員進(jìn)行審核。追根溯源，討論改進(jìn)方案，制定行動(dòng)，關(guān)注并持續收斂問(wèn)題。
　　六、總結與展望6.1 結論
　　我們定義了一套通用的數據采集和存儲模型，支持訪(fǎng)問(wèn)不同數據類(lèi)型的元數據，支持多種訪(fǎng)問(wèn)方式。采集SDK提高了數據的訪(fǎng)問(wèn)效率和時(shí)效性。
　　如下圖所示，已經(jīng)訪(fǎng)問(wèn)了各個(gè)組件的元數據，統一管理數據，提供數據字典、數據地圖、資產(chǎn)盤(pán)點(diǎn)、全局成本計費等元數據應用。
　　
　　如果將數據資產(chǎn)治理比作高層建筑的建設，那么不同構件的元數據是原材料，數據采集是基礎。只有夯實(shí)了基礎，數據治理的建設才能越來(lái)越穩固。
　　6.2 展望
　　在數據采集
的過(guò)程中，我們也遇到了很多問(wèn)題。在后續工作中，我們需要不斷的優(yōu)化和功能迭代，包括但不限于： 查看全部

　　文章采集api(數據科學(xué)：Python好用框架的目的)
　　說(shuō)到ApacheSPark框架，數據科學(xué)（網(wǎng)絡(luò )）社區分為兩大陣營(yíng)：有的認為Scala好用，有的認為Python好用。本文旨在比較兩者的優(yōu)缺點(diǎn)，供大家參考。
　　
　　ApacheSPark 是目前最流行的大數據分析框架（一）。它可以提供對 Scala、Python、Java 和 R 語(yǔ)言的 API 支持，但本文只討論前兩種語(yǔ)言。因為 Java 沒(méi)有支持讀寫(xiě)-評估-輸出這個(gè)循環(huán)，R語(yǔ)言的普及度不高。前兩個(gè)認為Scala好用的人說(shuō)用Scala寫(xiě)ApacheSPark非?？?。而且，作為靜態(tài)類(lèi)型的語(yǔ)音，Scala已經(jīng)被編譯并收錄
在JVM（Java虛擬機）中。筆者認為每種方法都有其優(yōu)缺點(diǎn)，最終的選擇應該取決于應用程序的類(lèi)型。
　　性能
　　Scala 通常比 Python 快 10 倍左右。 （因為JVM技術(shù)支持Scala語(yǔ)言的操作。）相比之下，Python作為動(dòng)態(tài)語(yǔ)言，速度要慢很多。因為在 Python 中調用 ApacheSPark 庫需要大量的代碼處理。所以在性能上，Scala更適合調用有限的數據庫。
　　另外，Scala基于JVM技術(shù)，植根于Hadoop框架下的HDFS文件系統，因此與Hadoop框架具有非常好的交互和兼容性。相比之下，Python 和 Hadoop 框架之間的交互是可怕的。開(kāi)發(fā)者甚至不得不使用第三方插件（如hadopy）。
　　
　　學(xué)習曲線(xiàn)
　　兩種語(yǔ)言都是函數式的、面向對象的語(yǔ)言，而且它們的語(yǔ)法結構相似。與 Python 相比，Scala 可能更復雜，因為它具有更高級的功能。 Python 適合于簡(jiǎn)單的邏輯處理，而 Scala 更適合于復雜的工作流。但是Python也不是沒(méi)用，因為Python的語(yǔ)法簡(jiǎn)單，庫也比較標準。
　　并發(fā)
　　Scala 擁有多個(gè)標準庫，支持大數據生態(tài)系統中數據庫的快速集成。它可以使用多個(gè)并發(fā)原語(yǔ)來(lái)編寫(xiě)代碼，而 Python 不支持并發(fā)或多線(xiàn)程編寫(xiě)代碼。但是，Python 支持重量級進(jìn)程分支。只是一次只能激活一個(gè)線(xiàn)程。而且每次寫(xiě)新代碼，都必須重啟其他進(jìn)程，這無(wú)疑會(huì )增加內存使用。
　　實(shí)用性
　　Python 的特點(diǎn)是簡(jiǎn)單易用。 Scala 在框架、庫、隱式和宏方面有很大的優(yōu)勢。這也是 Scala 在 MapReduce 框架中表現出色的原因。由于 Scala 的 API 集合是一致的，因此許多 Scala 數據框架都遵循相似的數據類(lèi)型。開(kāi)發(fā)者只需學(xué)習其常用的標準庫，即可輕松掌握其他庫。 ApacheSPark 是用 Scala 編寫(xiě)的，所以了解 Scala 也可以幫助你認識和修改 ApacheSPark 的內部功能。但是對于 NLP，Python 是首選。 （因為 Scala 缺少機器學(xué)習或 NLP 的工具。）此外，Python 也是 GraphX、GraphFrames 和 MLLib 的最佳選擇。 Python 的可視化庫是對 Pyspark 的補充。這是 ApacheSPark 和 Scala 都沒(méi)有的東西。
　　代碼恢復和安全
　　Scala 是一種靜態(tài)語(yǔ)言，它支持我們在編譯過(guò)程中發(fā)現錯誤。而 Python 是一種動(dòng)態(tài)語(yǔ)言。換句話(huà)說(shuō)，每次更改現有代碼時(shí)，Python 語(yǔ)音都更容易出錯。因此，在 Scala 中重構代碼比在 Python 中重構更容易。
　　
　　結論
　　Python 運行緩慢，但很容易上手。 Scala 是最快的編程語(yǔ)言，學(xué)習能力中等。 Scala 可以幫助您更全面地了解 ApacheSPark，因為 ApacheSPark 是用 Scala 編寫(xiě)的（但并非絕對）。要知道，編程語(yǔ)言的選擇取決于項目的特點(diǎn)，我們要根據項目的特點(diǎn)靈活選擇。 Python面向分析，Scala面向工程，但這兩種語(yǔ)言都是構建數據科學(xué)應用的優(yōu)秀語(yǔ)言?？偟膩?lái)說(shuō)，Scala 可以充分利用 ApacheSPark 的特性。 查看全部

　　文章采集api(數據具體的采集方案是什么？四種數據采集方法對比
)
　　根據企業(yè)生產(chǎn)經(jīng)營(yíng)過(guò)程中產(chǎn)生的數據類(lèi)型，提供鏈接標記、SDK、API三種采集方法，以及基于UTSE數據采集模型用戶(hù)的全生命周期。
　　那么，對于數據的具體采集計劃是什么？
　　
　　四種數據采集方法的比較
　　數據采集是通過(guò)埋點(diǎn)實(shí)現的。諸葛io提供了非常完善的數據訪(fǎng)問(wèn)方案，支持代碼埋點(diǎn)、全埋點(diǎn)、可視化埋點(diǎn)、服務(wù)端埋點(diǎn)等多種數據方式。
　　1.代碼埋點(diǎn)
　　說(shuō)明：嵌入SDK定義事件并添加事件代碼是常用的數據采集方法，主要包括網(wǎng)頁(yè)和h5頁(yè)面的JS嵌入點(diǎn)、移動(dòng)iOS、Android嵌入點(diǎn)、微信小程序等。
　　優(yōu)點(diǎn)：按需采集，業(yè)務(wù)信息更完整，數據分析更有針對性，數據采集全面準確，便于后續深入分析。
　　缺點(diǎn)：需要研發(fā)人員配合，有一定的工作量。
　　2.所有埋點(diǎn)
　　說(shuō)明：通過(guò)SDK，自動(dòng)采集頁(yè)面上所有可點(diǎn)擊元素的操作數據，無(wú)需定義事件，適用于衡量事件頁(yè)面、登陸頁(yè)面、關(guān)鍵頁(yè)面的設計體驗。
　　優(yōu)點(diǎn)：更簡(jiǎn)單快捷，可以看到頁(yè)面元素的點(diǎn)擊量，更好的了解自己產(chǎn)品的特點(diǎn)。
　　缺點(diǎn)：采集中數據太多，只要是可點(diǎn)擊元素，就會(huì )采集，上傳大量數據，消耗大量流量。無(wú)法通過(guò)采集獲取更深的維度信息，比如事件的屬性、用戶(hù)的屬性等。
　　3.埋點(diǎn)可視化
　　注：目視埋點(diǎn)以全埋點(diǎn)為準。技術(shù)同事整合后，業(yè)務(wù)同事需要圈出頁(yè)面的元素，選中的元素為采集。
　　優(yōu)點(diǎn)：界面化配置，無(wú)需開(kāi)發(fā)，內嵌點(diǎn)更新方便，見(jiàn)效快。
　　缺點(diǎn)：對自定義屬性的支持范圍比較有限；重構或頁(yè)面變化時(shí)需要重新配置。
　　4.服務(wù)端埋點(diǎn)
　　說(shuō)明：通過(guò)API，將存儲在服務(wù)器上的數據結構化，支持其他業(yè)務(wù)數據采集和集成，如CRM等用戶(hù)數據，通過(guò)接口調用，將數據結構化，適合其自己使用采集能力客戶(hù)。
　　優(yōu)點(diǎn)：服務(wù)器埋點(diǎn)更有針對性，數據更準確，減少了代碼埋點(diǎn)發(fā)布版本的過(guò)程，數據上傳更及時(shí)。
　　缺點(diǎn)：用戶(hù)一些簡(jiǎn)單的操作，比如點(diǎn)擊按鈕、切換模塊，數據不能采集，用戶(hù)行為不完整。
　　總結：以上是諸葛io提供的四種數據采集方案：代碼埋點(diǎn)、全埋點(diǎn)、可視化埋點(diǎn)、服務(wù)端埋點(diǎn)，數據采集的目的是滿(mǎn)足< @采集 然后進(jìn)行精細化分析和運營(yíng)需求。只有達到這個(gè)目標，才有可能選擇一種或多種采集形式的組合。在企業(yè)業(yè)務(wù)中，選擇哪種采集方式要根據企業(yè)的具體業(yè)務(wù)需求來(lái)決定。.
　　 查看全部

　　文章采集api(咕咕數據預覽:/news/wxarticlecover()(圖))
　　請求示例：/news/wxarticlecover?appkey=YOUR_APPKEY&url=YOUR_VALUE
　　數據預覽：/preview/wxarticlecover
　　界面測試：/news/wxarticlecover/demo
　　3. 請求參數（如果是POST請求，參數以JSON格式傳遞）
　　
　　4. 返回參數
　　
　　5. 接口響應狀態(tài)碼
　　
　　6. 開(kāi)發(fā)語(yǔ)言請求示例代碼
　　示例代碼中收錄的開(kāi)發(fā)語(yǔ)言：C#、Go、Java、jQuery、Node.js、Objective-C、PHP、Python、Ruby、Swift等，其他語(yǔ)言可以通過(guò)相應的RESTful API請求實(shí)現。
　　
　　布谷鳥(niǎo)數據，專(zhuān)業(yè)的數據提供商，提供專(zhuān)業(yè)全面的數據接口和業(yè)務(wù)數據分析，讓數據成為您的生產(chǎn)原材料。
　　
　　布谷鳥(niǎo)數據基于我們過(guò)去五年為企業(yè)客戶(hù)提供的海量數據支持。將一些通用數據和通用功能抽象為產(chǎn)品級API，極大地滿(mǎn)足了用戶(hù)在產(chǎn)品開(kāi)發(fā)過(guò)程中對基礎數據的需求，降低了復雜功能的復雜度。實(shí)現門(mén)檻和人工成本。
　　除了我們開(kāi)放的分類(lèi)數據和接口，還有海量的數據在整理、清洗、整合、構建。后續會(huì )開(kāi)放更多的數據和云功能接口供用戶(hù)使用。
　　目前開(kāi)放的數據接口A(yíng)PI 查看全部

　　文章采集api(搭建一套前端監控平臺需要考慮的幾個(gè)問(wèn)題？|本文)
　　隨著(zhù)業(yè)務(wù)的快速發(fā)展，我們越來(lái)越重視生產(chǎn)環(huán)境中的問(wèn)題感知能力。作為離用戶(hù)最近的一層，前端性能是否可靠、穩定、易用，在很大程度上決定了用戶(hù)對整個(gè)產(chǎn)品的體驗和感受。因此，前端的監控不容忽視。
　　搭建前端監控平臺需要考慮的方面有很多，比如數據采集、埋點(diǎn)模式、數據處理分析、告警、監控平臺在具體業(yè)務(wù)中的應用等。在所有這些環(huán)節中，準確、完整、全面的數據采集是一切的前提，也為用戶(hù)后續精細化操作提供了基礎。
　　前端技術(shù)的飛速發(fā)展也給數據帶來(lái)了變化和挑戰采集。傳統的人工管理模式已不能滿(mǎn)足需求。如何讓前端數據采集在新的技術(shù)背景下工作更完整、更高效，是本文的重點(diǎn)。
　　前端監控數據采集
　　在采集數據之前，我們首先要考慮采集是什么樣的數據。我們關(guān)注兩類(lèi)數據，一類(lèi)是與用戶(hù)體驗相關(guān)的數據，比如首屏時(shí)間、文件加載時(shí)間、頁(yè)面性能等；另一個(gè)是幫助我們及時(shí)感知產(chǎn)品上線(xiàn)后是否有異常，比如資源錯誤、API響應時(shí)間等。具體來(lái)說(shuō)，我們的前端數據采集具體分為：
　　路由交換機
　　Vue、React、Angular 等前端技術(shù)的快速發(fā)展，使得單頁(yè)應用大行其道。我們都知道傳統的頁(yè)面應用使用一些超鏈接來(lái)實(shí)現頁(yè)面切換和跳轉，而單頁(yè)面應用則使用自己的路由系統來(lái)管理前端的各個(gè)頁(yè)面切換，比如vue-router、react-router等，跳轉時(shí)只刷新部分資源，js、css等公共資源只需要加載一次，這就使得傳統網(wǎng)頁(yè)的進(jìn)出方式只能在第一次打開(kāi)時(shí)記錄。單頁(yè)應用所有后續路由的切換有兩種方式，一種是Hash，一種是HTML5推出的History API。
　　1. href
　　href是頁(yè)面初始化的第一個(gè)入口，這里只需要上報“頁(yè)面入口”事件即可。
　　2. 哈希變化
　　哈希路由的一個(gè)明顯標志是帶有“#”。Hash 的優(yōu)點(diǎn)是兼容性比較好，但問(wèn)題是 URL 中總有一個(gè)“#”，不美觀(guān)。我們主要是監控URL中的hashchange，捕獲具體的hash值進(jìn)行檢測。
　　window.addEventListener('hashchange',?function()?{
????//?上報【進(jìn)入頁(yè)面】事件
},?true)
　　需要注意的是，在新版本的vue-router中，如果瀏覽器支持history，即使選擇了hash模式，也會(huì )先選擇history模式。雖然表達式暫時(shí)還是#，但實(shí)際上是模擬的，所以不要以為你在模式選擇hash的時(shí)候就會(huì )是hash。
　　3. 歷史 API
　　History使用HTML5 History Interface中新增的pushState()和replaceState()方法進(jìn)行路由切換，是目前主流的非刷新切換路由方式。相比hashchange后面的代碼片段只能改#，History API（pushState、replaceState）給了前端完全的自由。
　　PopState是瀏覽器返回事件的回調，但是update路由的pushState和replaceState沒(méi)有回調事件。因此，需要分別在 history.pushState() 和 history.replaceState() 方法中處理 URL 更改。在這里，我們使用了類(lèi)似Java的AOP編程思想來(lái)轉換pushState和replaceState。
　　AOP（Aspect-Oriented Programming）是指面向方面的編程，主張對同一類(lèi)型的問(wèn)題進(jìn)行統一處理。AOP的核心思想是允許某個(gè)模塊被復用。它采用橫向抽取機制，將功能代碼與業(yè)務(wù)邏輯代碼分離，在不修改源代碼的情況下擴展功能，隔離比封裝更徹底。
　　下面介紹我們具體的改造方法：
　　//?第一階段：我們對原生方法進(jìn)行包裝，調用前執行?dispatchEvent?了一個(gè)同樣的事件
function?aop?(type)?{
????var?source?=?window.history[type];
????return?function?()?{
????????var?event?=?new?Event(type);
????????event.arguments?=?arguments;
????????window.dispatchEvent(event);
????????var?rewrite?=?source.apply(this,?arguments);
????????return?rewrite;
????};
}
//?第二階段：將?pushState?和?replaceState?進(jìn)行基于?AOP?思想的代碼注入
window.history.pushState?=?aop('pushState');
window.history.replaceState?=?aop('replaceState');?//?更改路由，不會(huì )留下歷史記錄
//?第三階段：捕獲pushState?和?replaceState
window.addEventListener('pushState',?function()?{
????//?上報【進(jìn)入頁(yè)面】事件
},?true)
window.addEventListener('replaceState',?function()?{
????//?上報【進(jìn)入頁(yè)面】事件
},?true)
　　window.history.pushState的實(shí)際調用關(guān)系如圖：
　　
　　至此，我們就完成了pushState和replaceState的轉換，實(shí)現了路由切換的有效捕獲?？梢钥闯?，我們在不侵入業(yè)務(wù)代碼的情況下擴展了window.history.pushState，調用時(shí)會(huì )主動(dòng)dispatchEvent一個(gè)pushState。
　　但是這里我們也可以看到一個(gè)缺點(diǎn)，就是如果AOP代理函數出現JS錯誤，會(huì )阻塞后續的調用關(guān)系，導致無(wú)法調用實(shí)際的window.history.pushState。所以在使用這種方式的時(shí)候，應該對AOP代理功能的內容做一個(gè)完整的try catch，防止業(yè)務(wù)出現異常。
　　_*_Tips：如果要自動(dòng)捕捉頁(yè)面停留時(shí)間，只需要計算下一頁(yè)進(jìn)入事件觸發(fā)時(shí)上一頁(yè)的tick時(shí)間與當前時(shí)間的差值即可。這時(shí)候可以舉報【離開(kāi)頁(yè)面】事件。
　　錯誤
　　在前端項目中，由于JavaScript本身是弱類(lèi)型語(yǔ)言，加上瀏覽器環(huán)境的復雜、網(wǎng)絡(luò )問(wèn)題等，容易出現錯誤。因此，做好網(wǎng)頁(yè)錯誤的監控，不斷優(yōu)化代碼，提高代碼的健壯性是非常重要的。
　　JsError的捕獲可以幫助我們分析和監控在線(xiàn)問(wèn)題，與我們在Chrome瀏覽器的調試工具Console中看到的一致。
　　1. window.onerror
　　我們一般使用 window.onerror 來(lái)捕獲 JS 錯誤的異常信息。有兩種方法可以捕獲 JS 錯誤，window.onerror 和 window.addEventListener('error')。一般情況下，不推薦使用addEventListener('error')來(lái)捕捉JS異常，主要是它沒(méi)有棧信息，需要區分捕捉到的信息，因為它會(huì )捕捉到所有的異常信息，包括資源加載錯誤等等。
　　window.onerror?=?function?(msg,?url,?lineno,?colno,?stack)?{
????//?上報?【js錯誤】事件
}
　　2. 未捕獲（承諾）
　　當Promise發(fā)生JS錯誤或者業(yè)務(wù)沒(méi)有處理reject信息時(shí)，會(huì )拋出unhandledrejection，window.onerror和window.addEventListener('error')不會(huì )捕捉到這個(gè)錯誤。這里需要一個(gè)特殊的窗口。addEventListener('unhandledrejection') 用于捕獲處理：
　　window.addEventListener('unhandledrejection',?function?(e)?{
????var?reg_url?=?/\(([^)]*)\)/;
????var?fileMsg?=?e.reason.stack.split('\n')[1].match(reg_url)[1];
????var?fileArr?=?fileMsg.split(':');
????var?lineno?=?fileArr[fileArr.length?-?2];
????var?colno?=?fileArr[fileArr.length?-?1];
????var?url?=?fileMsg.slice(0,?-lno.length?-?cno.length?-?2);},?true);
????var?msg?=?e.reason.message;
????//?上報?【js錯誤】事件
}
　　我們注意到，因為 unhandledrejection 繼承自 PromiseRejectionEvent 和 PromiseRejectionEvent 繼承自 Event，msg、url、lineno、colno、stack 以字符串的形式放在 e.reason.stack 中。我們需要解析出上面的參數來(lái)與 onerror 參數對齊。為后續監測平臺各項指標的統一奠定基礎。
　　3.常見(jiàn)問(wèn)題
　　如果抓到的msg都是“Script error.”，問(wèn)題是你的JS地址和當前網(wǎng)頁(yè)不在同一個(gè)域。因為我們經(jīng)常需要對網(wǎng)絡(luò )版做靜態(tài)資源CDN化，會(huì )導致經(jīng)常訪(fǎng)問(wèn)的頁(yè)面和腳本文件來(lái)自不同的域名。如果此時(shí)不進(jìn)行額外的配置，瀏覽器很容易出現“腳本錯誤”。由于安全設計。我們可以使用目前流行的Webpack打包工具來(lái)處理此類(lèi)問(wèn)題。
　　//?webpack?config?配置
//?處理?html?注入?js?添加跨域標識
plugins:?[
????new?HtmlWebpackPlugin({
??????filename:?'html/index.html',
??????template:?HTML_PATH,
??????attributes:?{
????????crossorigin:?'anonymous'
??????}
????}),
????new?HtmlWebpackPluginCrossorigin({
??????inject:?true
????})
]
//?處理按需加載的?js?添加跨域標識
output:?{
????crossOriginLoading:?true
}
　　大多數場(chǎng)景下，生產(chǎn)環(huán)境中的代碼都是經(jīng)過(guò)壓縮和合并的，這使得我們捕捉到的錯誤很難映射到具體的源代碼上，給我們解決問(wèn)題帶來(lái)了很大的麻煩。這里簡(jiǎn)單介紹2個(gè)解決思路。
　　在生產(chǎn)環(huán)境中，我們需要添加sourceMap的配置，這會(huì )造成安全隱患，因為外網(wǎng)可以通過(guò)sourceMap映射源代碼。為了降低風(fēng)險，我們可以做到以下幾點(diǎn)：
　　設置sourceMap生成的.map文件訪(fǎng)問(wèn)公司內網(wǎng)，降低源代碼安全風(fēng)險
　　將代碼發(fā)布到CDN時(shí)，將.map文件存放在公司內網(wǎng)下
　　這時(shí)候我們已經(jīng)有了 .map 文件。后面我們要做的就是調用mozilla/source-map庫，通過(guò)抓到的lineno、colno、url來(lái)映射源碼，然后我們就可以得到真正的源碼錯誤信息了。
　　表現
　　性能指標的獲取比較簡(jiǎn)單，只需要在onload后讀取window.performance，里面收錄性能、內存等信息。這部分內容在很多現有的文章中都有介紹。限于篇幅，本文不會(huì )展開(kāi)過(guò)多。稍后我們將在相關(guān)話(huà)題文章中進(jìn)行相關(guān)討論。感興趣的朋友可以添加“馬蜂窩技術(shù)”公眾號繼續關(guān)注。
　　資源錯誤
　　首先需要明確資源錯誤捕獲的使用場(chǎng)景，更多的是感知DNS劫持、CDN節點(diǎn)異常等，具體方法如下：
　　window.addEventListener('error',?function?(e)?{
????var?target?=?e.target?||?e.srcElement;
????if?(target?instanceof?HTMLScriptElement)?{
????????//?上報?【資源錯誤】事件
????}
},?true)
　　這里只是一個(gè)基本的演示。在實(shí)際環(huán)境中，我們會(huì )關(guān)心更多的Element錯誤，比如css、img、woff等，可以根據不同的場(chǎng)景添加。
　　_*資源錯誤的使用場(chǎng)景更多地依賴(lài)于其他幾個(gè)維度，例如：_region、operator等，我們將在后面的頁(yè)面中詳細說(shuō)明。
　　應用程序接口
　　在市面上的主流框架（如Axios、jQuery.ajax等）中，基本上所有的API請求都是基于xmlHttpRequest或者fetch，所以捕獲全局接口錯誤的方式是封裝xmlHttpRequest或者fetch。在這里，我們的SDK還是采用了上面提到的AOP思想來(lái)攔截API。 查看全部

　　文章采集api(今日未采集資產(chǎn)列表：已訪(fǎng)問(wèn)過(guò)得加密，明天加上)
　　獲取今天不是 采集 的資產(chǎn)列表：
　　關(guān)鍵點(diǎn)：
　　1、server表增加了兩個(gè)字段：latest_date（可以為空）；服務(wù)器狀態(tài)信息；
　　2、什么情況下會(huì )獲取采集服務(wù)器信息？
　?、賚atest_date為空時(shí)，如未上報的資產(chǎn)的初始創(chuàng )建；
　?、诮裉爝€沒(méi)到采集，關(guān)注latest_date__date__lt
　?、鄯?wù)器狀態(tài)在線(xiàn)
　　3、設置current_date=datetime.datetime.now(); 當服務(wù)器更新資產(chǎn)時(shí)
　　4、get_host_list 函數：
　　注：內容放在response.text部分（response=request.get(url)）
　　代碼區：
　　###############服務(wù)端###############
@csrf_exempt
def server(request):
'''
requests不能發(fā)送字典類(lèi)型數據，縱觀(guān)我們學(xué)的form表單提交數據，
ajax發(fā)送數據，均是不支持字典類(lèi)型數據的發(fā)送的。
具體原因百度知曉。
:param request:
:return:
'''
if request.method == 'GET':
# 獲取今日未采集主機列表[latest_date為None或者latest_date不為今日且服務(wù)器狀態(tài)為在線(xiàn)]
current_date = date.today()
host_list = models.Server.objects.filter(
Q(Q(latest_date=None) | Q(latest_date__date__lt=current_date)) & Q(server_status_id=2)).values('hostname')
'''
['hostname':'c1.com']
'''
host_list = list(host_list)
print(host_list)
return HttpResponse(json.dumps(host_list))
　　#############客戶(hù)端#############
class SshSaltClient(BaseClient):
def get_host_list(self):
response=requests.get(self.api) #
# print(response.text) # [{"hostname": "c1.com"}]注意這種用法
return json.loads(response.text)
　　接口驗證
　　要點(diǎn)：過(guò)三關(guān)
　　第一關(guān)：時(shí)間限制（超出客戶(hù)端時(shí)間和服務(wù)器之間的時(shí)間間隔，我們團隊要求限制）
　　第二關(guān)：加密規則限制（主要應用MD5加密）
　　第三遍：我們?yōu)橐言L(fǎng)問(wèn)過(guò)的加密str設置訪(fǎng)問(wèn)列表。普通用戶(hù)不可能再用這個(gè)訪(fǎng)問(wèn)過(guò)的數據向服務(wù)器請求。如果列表中沒(méi)有str，則證明是普通用戶(hù)訪(fǎng)問(wèn)，記得將此數據加入到訪(fǎng)問(wèn)列表中。
　　這個(gè)內容會(huì )越來(lái)越大，實(shí)際會(huì )應用到memcache和redis上。
　　后三個(gè)級別基本可以達到防止黑客攻擊的效果，但不排除黑客的網(wǎng)速比我們快。我們不妨對要發(fā)送的數據進(jìn)行加密，然后盡快將黑客的網(wǎng)速提交給服務(wù)器。這不是一個(gè)壞主意嗎？
　　代碼區：
　　##############客戶(hù)端##############
import requests
import time
import hashlib
def md5(arg):
md5 = hashlib.md5()
md5.update(arg.encode('utf-8'))
return md5.hexdigest()
key = 'asdfghjklmnbvcxz'
ctime = str(time.time())
client_str = '%s|%s' % (key, ctime)
client_md5_str = md5(client_str)
client_header_str = '%s|%s' % (client_md5_str, ctime)
print(client_header_str)
response = requests.get(url='http://127.0.0.1:8000/api/tests.html', headers={'auth-api': 'cae76146bfa06482cfee7e4f899cc414|1506956350.973326'})
print(response.text)
　　##############服務(wù)端##############
def md5(arg):
md5 = hashlib.md5()
md5.update(arg.encode('utf-8'))
return md5.hexdigest()
key = 'asdfghjklmnbvcxz'
vistied_str_dict={}
def tests(request):
client_header_str = request.META.get('HTTP_AUTH_API')
print(client_header_str)
client_md5_str, client_ctime = client_header_str.split('|', maxsplit=1)
client_float_ctime = float(client_ctime)
server_float_ctime = float(time.time())
# 第一關(guān)
if (client_float_ctime + 20) < server_float_ctime:
return HttpResponse("太慢了")
# 第二關(guān)
server_str = '%s|%s' % (key, client_ctime)
server_md5_str = md5(server_str)
if client_md5_str != server_md5_str:
return HttpResponse('休想')
# 第三關(guān)
if vistied_str_dict.get(client_md5_str):
return HttpResponse('放棄吧')
else:
vistied_str_dict[client_md5_str] = client_ctime
return HttpResponse('你得到我了')
　　最后，沒(méi)有使用裝飾器，明天將添加。 查看全部

　　文章采集api(基于A(yíng)paChe-Tomcat+JAVA+MySql全網(wǎng)獨家+全新二開(kāi)的API開(kāi)獎數據采集接口源碼)
　　本次分享的是我們基于A(yíng)paChe-Tomcat+JAVA+MySql全網(wǎng)獨家+全新開(kāi)放API抽獎數據采集接口源碼，穩定運行一年多，我們的源碼同時(shí)使用。許多修訂和功能性的兩個(gè)開(kāi)口。對于大家關(guān)心的安全性和運行穩定性，那就是博一Thinkphp5版的源碼。手術(shù); 在界面美化方面，我們從最初的版本到現在的改進(jìn)不下10倍。模板已優(yōu)化，運行穩定，近期不再優(yōu)化；用戶(hù)中心的功能包括：個(gè)人中心、IP白名單、修改密碼、贊助我們、我的界面，您可以看下面的截圖或到我們的演示站點(diǎn)查看；對于顏色類(lèi)型，您可以添加或刪除某種類(lèi)型的界面或某種顏色類(lèi)型，也可以自行定義顏色類(lèi)型的縮寫(xiě)沒(méi)有限制；系統背景介紹等一些方面，可以查看截圖演示或我們的演示站點(diǎn)；此外，所有修改后的.jar采集 包也已經(jīng)打包了源碼。購買(mǎi)前請再次確認，本源代碼為我們獨家二流資源，并非部分用于充值的二流、三流資源；最后，如果你只需要這個(gè)源碼，可以在本頁(yè)右上角下單購買(mǎi)。然后就可以看到解壓出來(lái)的密碼了！或者你可以自己定義顏色類(lèi)型的縮寫(xiě)沒(méi)有限制；系統背景介紹等一些方面，可以查看截圖演示或我們的演示站點(diǎn)；此外，所有修改后的.jar采集 包也已經(jīng)打包了源碼。購買(mǎi)前請再次確認，本源代碼為我們獨家二流資源，并非部分用于充值的二流、三流資源；最后，如果你只需要這個(gè)源碼，可以在本頁(yè)右上角下單購買(mǎi)。然后就可以看到解壓出來(lái)的密碼了！或者你可以自己定義顏色類(lèi)型的縮寫(xiě)沒(méi)有限制；系統背景介紹等一些方面，可以查看截圖演示或我們的演示站點(diǎn)；此外，所有修改后的.jar采集 包也已經(jīng)打包了源碼。購買(mǎi)前請再次確認，本源代碼為我們獨家二流資源，并非部分用于充值的二流、三流資源；最后，如果你只需要這個(gè)源碼，可以在本頁(yè)右上角下單購買(mǎi)。然后就可以看到解壓出來(lái)的密碼了！包也與源代碼一起打包。購買(mǎi)前請再次確認，本源代碼為我們獨家二流資源，并非部分用于充值的二流、三流資源；最后，如果你只需要這個(gè)源碼，可以在本頁(yè)右上角下單購買(mǎi)。然后就可以看到解壓出來(lái)的密碼了！包也與源代碼一起打包。購買(mǎi)前請再次確認，本源代碼為我們獨家二流資源，并非部分用于充值的二流、三流資源；最后，如果你只需要這個(gè)源碼，可以在本頁(yè)右上角下單購買(mǎi)。然后就可以看到解壓出來(lái)的密碼了！
　　示范站：目前所有高頻都停止服務(wù)，所以只有低頻、海外和極速是正常的
　　后臺演示：操作現場(chǎng)不提供，請查看演示截圖。
　　更多信息有待更新...
　　本源碼附有視頻詳細安裝說(shuō)明：
　　Kaku親測環(huán)境：ApaChe-Tomcat+JAVA+MySql5.7（必填）
　　付費安裝范圍包括：將您購買(mǎi)的程序安裝到您的服務(wù)器上??！
　　不包括：修改程序中的文字/版權/圖片/或某些特定信息，我們將根據您的修改程度適當收取費用！
　　需要注意的是，系統開(kāi)通賬戶(hù)使用權限后，所有接口都有調用權限，而不是單個(gè)接口。
　　注意：我們打包的.jar采集 包中收錄自定義接口，您可以按照說(shuō)明連接第三方接口。
　　注意：由于源代碼開(kāi)發(fā)環(huán)境的特殊性，請嚴格按照我們的安裝說(shuō)明進(jìn)行安裝。如果沒(méi)有，請找我們付費安裝。
　　注：雖然程序壓縮包中有詳細的安裝說(shuō)明，但還是推薦給有一定建站基礎的朋友使用。本網(wǎng)站不想引起惡名，所以請謹慎！
　　注：源代碼僅供下載者在個(gè)人本地電腦學(xué)習研究，上傳服務(wù)器不可運行，否則后果自負。
　　有關(guān)常見(jiàn)安裝問(wèn)題的摘要，請參閱：
　　免責聲明：用戶(hù)在使用本站資源時(shí)，必須禁止將其用于國家相關(guān)法律法規范圍內的一切違法活動(dòng)。使用僅限于測試、實(shí)驗和研究目的。禁止在所有商業(yè)操作中使用。本站對用戶(hù)在使用過(guò)程中的任何違法行為不承擔任何責任。
　　爪哇
　　
　　卡庫克斯平民 查看全部

　　文章采集api(
PHP+fiddler抓包操作實(shí)例PHP編程技術(shù)本文實(shí)例講述框架數據庫操作)
　　
　　
　　2. 截取這個(gè)接口轉發(fā)到自己的服務(wù)器，點(diǎn)擊規則-自定義規則添加到OnBeforeRequest中（正式請求前執行的函數）
　　if (oSession.fullUrl.Contains("mp.weixin.qq.com/mp/getappmsgext"))
{
oSession.oRequest["Host"]= 'ccc.aaa.com' ;
}
　　
　　效果，可以看到這個(gè)接口已經(jīng)轉發(fā)了
　　
　　3.服務(wù)端緩存key，代碼以PHP為例
　　public function saveKey(Request $request)
{
$__biz = $request->param('__biz',0);
$data['uin'] = $request->param('uin',0);
$data['key'] = $request->param('key',0);
Cache::set($__biz,$data,30 * 60);
return 'ok';
}
　　4.提交文章查詢(xún)API代碼鏈接
　　public function getReadNum(Request $request)
{
$url = $request->param('url');
parse_str(parse_url($url)['query'], $param);
$__biz = $param['__biz'];
$key_data = Cache::get($__biz);
if (empty($key_data))
return 'no key';
$uin = $key_data['uin'];
$key = $key_data['key'];
$param['uin'] = $uin;
$param['key'] = $key;
$param['wxtoken'] = "777";
$wechat_url = "https://mp.weixin.qq.com/mp/getappmsgext?" . http_build_query($param);
//dump($wechat_url);
$data = array(
'is_only_read' => 1,
'is_temp_url' => 0,
'appmsg_type' => 9,
);
$res = $this->get_url($wechat_url,$data);
return $res;
}
function get_url($url,$data)
{
$ifpost = 1;//是否post請求
$datafields = $data;//post數據
$cookiefile = '';//cookie文件
$cookie = '';//cookie變量
$v = false;
//模擬http請求header頭
$header = array("Connection: Keep-Alive","Accept: text/html, application/xhtml+xml, */*", "Pragma: no-cache", "Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-US;q=0.5,en;q=0.3","User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36 QBCore/4.0.1278.400 QQBrowser/9.0.2524.400 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2875.116 Safari/537.36 NetType/WIFI MicroMessenger/7.0.5 WindowsWechat");
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, $v);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
$ifpost && curl_setopt($ch, CURLOPT_POST, $ifpost);
$ifpost && curl_setopt($ch, CURLOPT_POSTFIELDS, $datafields);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$cookie && curl_setopt($ch, CURLOPT_COOKIE, $cookie);//發(fā)送cookie變量
$cookiefile && curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);//發(fā)送cookie文件
$cookiefile && curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);//寫(xiě)入cookie到文件
curl_setopt($ch,CURLOPT_TIMEOUT,60); //允許執行的最長(cháng)秒數
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$ok = curl_exec($ch);
curl_close($ch);
unset($ch);
return $ok;
}
　　5.通知客戶(hù)端重定向頁(yè)面（這部分不寫(xiě)了，看我另外一篇關(guān)于socket的文字文章）
　　6.使用fiddler修改微信文章還有jsj腳本，
　　在OnBeforeResponse（返回客戶(hù)端之前執行的方法）中，添加跳轉到中間頁(yè)面的代碼
　　影響
　　
　　總結
　　以上就是小編為大家介紹的PHP+fiddler抓包。采集微信文章 看了幾個(gè)贊，希望對你有幫助，有什么問(wèn)題請給我留言，肖小編會(huì )及時(shí)回復大家。非常感謝您對編程寶庫網(wǎng)站的支持！
　　下一節：laravel框架數據庫操作的PHP編程技術(shù)、查詢(xún)生成器、Eloquent ORM操作實(shí)例
　　本文介紹了 Laravel 框架數據庫操作、查詢(xún)構建器和 Eloquent ORM 操作。分享給大家，供大家參考，如下：1、連接數據庫laravel連接數據庫配置文件... 查看全部