亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　文章采集api(實(shí)力大廠(chǎng)開(kāi)發(fā)的埋點(diǎn)接入方式有哪些？諸葛io)
　　頁(yè)面可視化構建工具是互聯(lián)網(wǎng)公司常用的運營(yíng)工具。使運營(yíng)商可以快速生成和發(fā)布頁(yè)面，提高頁(yè)面在線(xiàn)效率，不需要開(kāi)發(fā)者的干預，可以節省開(kāi)發(fā)者的學(xué)習成本，提高開(kāi)發(fā)效率。在線(xiàn)用戶(hù)行為數據采集電商企業(yè)是比較容易進(jìn)行在線(xiàn)數據采集的，可以通過(guò)數據嵌入技術(shù)實(shí)現，直接通過(guò)puppeteer提供的api控件chrome模擬大部分用戶(hù)操作來(lái)執行uitest或者作為爬蟲(chóng)訪(fǎng)問(wèn)頁(yè)面來(lái)采集一些數據。埋點(diǎn)系統的開(kāi)發(fā)與設計
　　但是采集到的數據將如何幫助他們優(yōu)化搜索引擎，從而更好地響應用戶(hù)的一些需求。從運營(yíng)的角度來(lái)說(shuō)，企業(yè)應該如何建立相應的銷(xiāo)售管理體系？獲取運營(yíng)數據，為不同的流程環(huán)節開(kāi)發(fā)模型支持算法，管理庫存和滯銷(xiāo)商品，另外，從用戶(hù)行為的統計和ugc內容的分類(lèi)統計，還可以發(fā)現一些非常有趣的現象，有前幾天公司內部有很多嵌入式系統，分別為58和安居客。不同嵌入式系統的訪(fǎng)問(wèn)方式也不同。
　　
　　強大廠(chǎng)商開(kāi)發(fā)的埋點(diǎn)
　　幾乎所有大廠(chǎng)商的app都會(huì )采集用戶(hù)行為，比如你瀏覽了哪些頁(yè)面，部門(mén)運營(yíng)活動(dòng)需要在公司多個(gè)平臺同時(shí)在線(xiàn)，從哪個(gè)頁(yè)面離開(kāi)，點(diǎn)擊哪個(gè)按鈕依此類(lèi)推，通常有實(shí)力的廠(chǎng)商會(huì )自己開(kāi)發(fā)sdk，沒(méi)有能力開(kāi)發(fā)的也會(huì )使用第三方公司提供的sdk。作為專(zhuān)業(yè)數據采集分析的平臺，諸葛io可以建立標準數據埋點(diǎn)點(diǎn)擊采集，結合實(shí)際業(yè)務(wù)場(chǎng)景，統一數據采集，打通兩端數據。
　　
　　公司埋點(diǎn)業(yè)務(wù)范圍
　　多平臺是指公司的業(yè)務(wù)。 58、安居客，展示不同的端app，M、PC等，開(kāi)發(fā)者可以通過(guò)系統提供的API手動(dòng)嵌入積分，自己定義不同的業(yè)務(wù)和系統。模塊需要記錄的一些條件，什么是事件，是用戶(hù)在產(chǎn)品上的一些行為。它是對用戶(hù)行為的專(zhuān)業(yè)描述。用戶(hù)上一年對產(chǎn)品的所有程序反饋都可以抽象為事件，開(kāi)發(fā)人員可以抽象為事件。通過(guò)埋點(diǎn)進(jìn)行一系列的采集。幾乎所有的大廠(chǎng)app在開(kāi)發(fā)的時(shí)候都會(huì )提前引入各種埋點(diǎn)對應的sdk文件。
　　
　　平臺判斷用戶(hù)的標準
　　判斷平臺動(dòng)態(tài)引入SDK文件，但需要平臺和環(huán)境的判斷方法，開(kāi)發(fā)成本非常高。數據指標體系設計完成后，我們可以根據用戶(hù)在不同階段的不同場(chǎng)景，通過(guò)埋點(diǎn)事件來(lái)設計數據采集計劃，這實(shí)際上是一個(gè)通過(guò)業(yè)務(wù)驅動(dòng)的設計來(lái)驅動(dòng)數據采集的過(guò)程指標。埋點(diǎn)與業(yè)務(wù)的耦合導致維護難度大。埋點(diǎn)可以根據開(kāi)發(fā)方法和埋點(diǎn)分為兩種。最常見(jiàn)的開(kāi)發(fā)方式是代碼埋點(diǎn)，也就是手工埋點(diǎn)。顧名思義，用于監控用戶(hù)行為的代碼的開(kāi)發(fā)被手動(dòng)埋在了提前觸發(fā)事件的代碼中。
　　
　　用戶(hù)操作記錄是平臺各個(gè)模塊的調用接口，記錄用戶(hù)每次操作前后的數據變化。記錄查看跟蹤就是檢索查詢(xún)頁(yè)面，然后調用對應類(lèi)型的埋藏方法。研發(fā)的主要工作是開(kāi)發(fā)埋點(diǎn)。功能是在代碼中添加監控用戶(hù)行為的代碼。開(kāi)發(fā)效率等于添加代碼的效率加上修改代碼的效率加上維護代碼的效率。 查看全部

　　文章采集api(什么是埋點(diǎn)，埋點(diǎn)怎么設計，以及埋點(diǎn)的應用？)
　　Data采集是數據分析的基礎，埋點(diǎn)是最重要的采集方法。那么采集的數據埋點(diǎn)究竟是什么呢？我們主要從三個(gè)方面來(lái)看：什么是埋點(diǎn)、埋點(diǎn)如何設計、埋點(diǎn)的應用。
　　
　　一、數據采集及常見(jiàn)數據問(wèn)題1.1數據采集
　　data采集有很多種方式，埋葬采集是其中非常重要的一部分。它是 c 端和 b 端產(chǎn)品的主要 采集 方式。 data采集，顧名思義就是采集對應的數據，是整個(gè)數據流的起點(diǎn)。 采集 不完整，對吧？它直接決定了數據的廣度和質(zhì)量，并影響到后續的所有環(huán)節。在數據采集有效性和完整性較差的公司中，業(yè)務(wù)中發(fā)現的數據通常會(huì )發(fā)生重大變化。
　　數據處理通常包括以下 5 個(gè)步驟：
　　
　　1.2常見(jiàn)數據問(wèn)題
　　大體了解了data采集及其結構之后，我們來(lái)看看我們工作中遇到的問(wèn)題，有多少是與data采集鏈接相關(guān)的：
　　1、數據與后臺差距大，數據不準確——統計口徑不同，埋點(diǎn)定義不同，采集方法帶來(lái)誤差
　　2、想用的時(shí)候，沒(méi)有我要的數據--沒(méi)有數據采集需求，埋點(diǎn)不對，不完整
　　3、事件太多，不清楚含義-埋點(diǎn)設計的方法，埋點(diǎn)更新迭代的規則和維護
　　4、分析數據，不知道看哪些數據和指標——數據定義不明確，缺乏分析思路。
　　我們要從根本上解決問(wèn)題：把采集當作一個(gè)獨立的研發(fā)企業(yè)，而不是產(chǎn)品開(kāi)發(fā)中的附屬品。
　　二、bury point 什么是2.1 什么是埋點(diǎn)
　　所謂的埋點(diǎn)是data采集領(lǐng)域的一個(gè)術(shù)語(yǔ)。它的學(xué)名應該叫事件跟蹤，對應的英文是Event Tracking，指的是捕獲、處理和發(fā)送特定用戶(hù)行為或事件的相關(guān)技術(shù)和實(shí)現過(guò)程。數據埋點(diǎn)是數據分析師、數據產(chǎn)品經(jīng)理和數據運營(yíng)。根據業(yè)務(wù)需求或產(chǎn)品需求，開(kāi)發(fā)用戶(hù)行為的每個(gè)事件的對應位置，開(kāi)發(fā)埋點(diǎn)，通過(guò)SDK上報埋點(diǎn)的數據結果，記錄匯總數據。分析、推動(dòng)產(chǎn)品優(yōu)化、指導運營(yíng)。
　　流程附有規范。通過(guò)定義，我們可以看到具體的用戶(hù)行為和事件是我們采集關(guān)注的焦點(diǎn)。我們還需要處理和發(fā)送相關(guān)的技術(shù)和實(shí)施流程；數據嵌入點(diǎn)是為產(chǎn)品服務(wù)的，它來(lái)源于產(chǎn)品，因此與產(chǎn)品息息相關(guān)。埋點(diǎn)在于具體實(shí)戰過(guò)程，關(guān)系到每個(gè)人對底層數據的理解。
　　
　　2.2為什么要埋分
　　埋點(diǎn)的目的是對產(chǎn)品進(jìn)行全方位的持續跟蹤，通過(guò)數據分析不斷引導和優(yōu)化產(chǎn)品。數據埋點(diǎn)的好壞直接影響到數據質(zhì)量、產(chǎn)品質(zhì)量、運營(yíng)質(zhì)量等。
　　1、Data Driven-Buried Points 深入分析了流量分布和流量級別。通過(guò)統計分析，對宏觀(guān)指標進(jìn)行深入分析，發(fā)現指標背后的問(wèn)題，洞察用戶(hù)行為與價(jià)值提升的關(guān)系。潛在關(guān)聯(lián)
　　2、產(chǎn)品 優(yōu)化-對于產(chǎn)品，用戶(hù)在產(chǎn)品中做了什么，在產(chǎn)品中停留了多久，有什么異常需要注意。這些問(wèn)題可以通過(guò)埋點(diǎn)來(lái)解決
　　3、Refined Operation-Buried Points 可以實(shí)現整個(gè)產(chǎn)品生命周期、流量質(zhì)量和不同來(lái)源的分布、人群的行為特征和關(guān)系，洞察用戶(hù)行為和增強之間的潛在關(guān)系商業(yè)價(jià)值。
　　2.3如何埋點(diǎn)
　　埋點(diǎn)的方法有哪些？目前，大多數公司采用客戶(hù)端和服務(wù)器相結合的方式。
　　
　　準確度：代碼埋點(diǎn)>可視化埋點(diǎn)>全埋點(diǎn)
　　三、沉點(diǎn)的框架與設計3.1沉點(diǎn)采集的頂層設計
　　所謂頂層設計，就是搞清楚怎么埋點(diǎn)，用什么方法，什么上傳機制，怎么定義，怎么實(shí)現等等；我們在遵循唯一性、可擴展性、一致性等的基礎上，我們要設計一些通用的字段和生成機制，比如：cid、idfa、idfv等
　　用戶(hù)識別：用戶(hù)識別機制的混亂會(huì )導致兩種結果：一種是數據不準確，比如UV數據不正確；另一種是漏斗分析環(huán)節異常。因此，它應該是： a．嚴格規范ID自身的識別機制；灣跨平臺用戶(hù)識別
　　相似抽象：相似抽象包括事件抽象和屬性抽象。事件抽象是指瀏覽事件和點(diǎn)擊事件的聚合；屬性抽象意味著(zhù)合并大多數重用場(chǎng)景以增加源區分
　　采集一致性：采集一致性包括兩點(diǎn)：一是跨平臺頁(yè)面的一致命名，二是按鈕命名的一致；設置埋點(diǎn)本身的過(guò)程就是對底層數據進(jìn)行標準化的過(guò)程，因此一致性尤為重要。只有這樣才能真正用起來(lái)
　　渠道配置：渠道主要是指推廣渠道、落地頁(yè)、網(wǎng)頁(yè)推廣頁(yè)、APP推廣頁(yè)等，這個(gè)落地頁(yè)的配置必須有統一的規范和標準
　　3.2 埋點(diǎn)采集事件與屬性設計
　　在設計屬性和事件時(shí)，我們需要知道哪些是經(jīng)常變化的，哪些是不變的，哪些是業(yè)務(wù)行為，哪些是基本屬性?；诨A屬性事件，我們認為屬性必須是采集items，但是屬性中的事件屬性會(huì )根據不同的業(yè)務(wù)進(jìn)行調整。因此，我們可以將埋點(diǎn)采集分為協(xié)議層埋點(diǎn)和業(yè)務(wù)層埋點(diǎn)。
　　業(yè)務(wù)分解：梳理確認業(yè)務(wù)流程、運營(yíng)路徑和不同細分場(chǎng)景，定義用戶(hù)行為路徑
　　分析指標：定義核心業(yè)務(wù)指標所需的具體事件和數據
　　事件設計：APP啟動(dòng)、退出、頁(yè)面瀏覽、事件曝光點(diǎn)擊
　　屬性設計：用戶(hù)屬性、事件屬性、對象屬性、環(huán)境屬性
　　3.3 Data采集事件與屬性設計
　　
　　EV 事件的命名也遵循一些規則。當同一類(lèi)型的函數出現在不同的頁(yè)面或位置時(shí)，根據函數名進(jìn)行命名，在ev參數中區分頁(yè)面和位置。僅點(diǎn)擊按鈕時(shí)，按按鈕名稱(chēng)命名。
　　ev事件格式：ev分為ev標識和ev參數
　　規則：
　　當埋點(diǎn)只有ev標志沒(méi)有ev參數時(shí)，不需要帶#
　　備注：
　　調整app嵌入點(diǎn)時(shí)，ev標志保持不變，只修改后續嵌入點(diǎn)參數（參數值改變或參數類(lèi)型增加）
　　一般嵌入點(diǎn)文檔中收錄的sheet的名稱(chēng)和功能：
　　A.曝光埋點(diǎn)總結；
　　B.點(diǎn)擊瀏覽埋點(diǎn)匯總；
　　C.故障埋點(diǎn)匯總：一般會(huì )記錄埋點(diǎn)的故障版本或時(shí)間；
　　D、PC、M頁(yè)面嵌入點(diǎn)對應的pageid；
　　E。各版本上線(xiàn)時(shí)間記錄；
　　在嵌入點(diǎn)文檔中，收錄了所有的列名和函數：
　　
　　3.4 基于埋點(diǎn)的統計
　　如何使用隱藏的統計數據找到隱藏的 ev 事件：
　　1、指定埋點(diǎn)類(lèi)型（點(diǎn)擊/曝光/瀏覽）-過(guò)濾類(lèi)型字段
　　2、清除按鈕所屬頁(yè)面（頁(yè)面或功能）-過(guò)濾功能模塊字段
　　3、澄清埋點(diǎn)事件的名稱(chēng)-過(guò)濾名稱(chēng)字段
　　4、知道ev標志，可以直接用ev過(guò)濾
　　如何根據ev事件查詢(xún)統計：當查詢(xún)按鈕點(diǎn)擊統計時(shí)，可以直接使用ev標志進(jìn)行查詢(xún)，有區別的時(shí)候可以限制埋點(diǎn)參數的值。由于ev參數的順序不需要可變，查詢(xún)統計時(shí)不能限制參數的順序。
　　四、Application-數據流的基礎
　　
　　4.1 指標體系
　　系統性指標可以將不同指標、不同維度串聯(lián)起來(lái)進(jìn)行綜合分析，快速發(fā)現當前產(chǎn)品和業(yè)務(wù)流程中存在的問(wèn)題。
　　
　　4.2Visualization
　　人類(lèi)對圖像信息的解釋比文本更有效?？梢暬瘜τ跀祿治鰳O其重要。使用數據可視化可以揭示數據中固有的復雜關(guān)系。
　　
　　4.3 提供的埋點(diǎn)元信息api
　　data采集服務(wù)會(huì )將采集的埋點(diǎn)寫(xiě)入Kafka。針對各個(gè)業(yè)務(wù)的實(shí)時(shí)數據消費需求，我們?yōu)楦鱾€(gè)業(yè)務(wù)提供了單獨的Kafka，流量分發(fā)模塊會(huì )定時(shí)讀取 埋點(diǎn)管理平臺提供的元信息，將流量實(shí)時(shí)分發(fā)給各個(gè)業(yè)務(wù)卡夫卡。
　　
　　Data采集就像設計一個(gè)產(chǎn)品，不能過(guò)分。不僅要留有擴展的空間，還要不斷思考數據是否完整、不完整、詳細、不穩定、快速。
　　作者丨趙小洛
　　來(lái)源丨趙小洛洛洛
　　相關(guān)文章
　　一篇了解data采集埋藏數據的文章
　　如何分析產(chǎn)品的日活躍DAU下降情況？
　　數據指標體系建立流程
　　用戶(hù)行為分析模型簡(jiǎn)介
　　![User Behavior Analysis Model.jpg][1] 原標題：幾種常用用戶(hù)行為分析模型的簡(jiǎn)單介紹一、常用用戶(hù)行為分析模型------------在數據分析大框架下，通過(guò)用戶(hù)線(xiàn)...
　　喜歡 1 查看全部

　　文章采集api(Kubernetes審計策略文件：rules字段用于非資源類(lèi)型的請求(組圖))
　　Kubernetes 審計功能提供了一組按時(shí)間順序排列的安全相關(guān)記錄，記錄了單個(gè)用戶(hù)、管理員或其他影響系統的系統組件的活動(dòng)順序。它可以幫助集群管理員處理以下問(wèn)題：
　　Kube-apiserver 執行審計。每個(gè)執行階段的每個(gè)請求都會(huì )生成一個(gè)事件，然后根據特定的策略對事件進(jìn)行預處理并寫(xiě)入后端。
　　每個(gè)請求都可以記錄一個(gè)相關(guān)的“階段”。已知的階段是：
　　注意：
　　審計日志功能會(huì )增加API服務(wù)器的內存消耗，因為它需要為每個(gè)請求存儲審計所需的某些上下文。此外，內存消耗取決于審計日志的配置。
　　審計策略
　　審核政策定義了關(guān)于應記錄哪些事件以及應收錄哪些數據的規則。在處理事件時(shí)，會(huì )按順序與規則列表進(jìn)行比較。第一個(gè)匹配規則設置事件的[auditing-level][auditing-level]。已知的審計級別是：
　　**無(wú) -** 符合此規則的日志將不會(huì )被記錄。
　　**Metadata -** 記錄請求的元數據（請求的用戶(hù)、時(shí)間戳、資源、動(dòng)詞等），但不記錄請求或響應消息體。
　　**Request -** 記錄事件的元數據和請求的消息體，但不記錄響應的消息體。這不適用于非資源類(lèi)型的請求。
　　**RequestResponse -** 記錄事件元數據、請求和響應消息正文。這不適用于非資源類(lèi)型的請求。
　　您可以使用 --audit-policy-file 標志將收錄策略的文件傳遞給 kube-apiserver。如果未設置此標志，則不會(huì )記錄任何事件。請注意，必須在審核策略文件中提供規則字段。
　　以下是審核策略文件的示例：
　　audit/audit-policy.yaml
　　apiVersion: audit.k8s.io/v1beta1 # This is required.
kind: Policy
# Don't generate audit events for all requests in RequestReceived stage.
omitStages:
- "RequestReceived"
rules:
# Log pod changes at RequestResponse level
- level: RequestResponse
resources:
- group: ""
# Resource "pods" doesn't match requests to any subresource of pods,
# which is consistent with the RBAC policy.
resources: ["pods"]
# Log "pods/log", "pods/status" at Metadata level
- level: Metadata
resources:
- group: ""
resources: ["pods/log", "pods/status"]
# Don't log requests to a configmap called "controller-leader"
- level: None
resources:
- group: ""
resources: ["configmaps"]
resourceNames: ["controller-leader"]
# Don't log watch requests by the "system:kube-proxy" on endpoints or services
- level: None
users: ["system:kube-proxy"]
verbs: ["watch"]
resources:
- group: "" # core API group
resources: ["endpoints", "services"]
# Don't log authenticated requests to certain non-resource URL paths.
- level: None
userGroups: ["system:authenticated"]
nonResourceURLs:
- "/api*" # Wildcard matching.
- "/version"
# Log the request body of configmap changes in kube-system.
- level: Request
resources:
- group: "" # core API group
resources: ["configmaps"]
# This rule only applies to resources in the "kube-system" namespace.
# The empty string "" can be used to select non-namespaced resources.
namespaces: ["kube-system"]
# Log configmap and secret changes in all other namespaces at the Metadata level.
- level: Metadata
resources:
- group: "" # core API group
resources: ["secrets", "configmaps"]
# Log all other resources in core and extensions at the Request level.
- level: Request
resources:
- group: "" # core API group
- group: "extensions" # Version of group should NOT be included.
# A catch-all rule to log all other requests at the Metadata level.
- level: Metadata
# Long-running requests like watches that fall under this rule will not
# generate an audit event in RequestReceived.
omitStages:
- "RequestReceived"
　　您還可以使用最小的審核策略文件來(lái)記錄元數據級別的所有請求：
　　# Log all requests at the Metadata level.
apiVersion: audit.k8s.io/v1beta1
kind: Policy
rules:
- level: Metadata
　　審核日志后端
　　k8s 目前提供兩種日志后端，Log 后端和 webhook 后端。 Log后端可以將日志輸出到文件，webhook后端將日志發(fā)送到遠程日志服務(wù)器。目前，只會(huì )使用 Log 后端。使用采集進(jìn)行日志配置和練習。
　　以下實(shí)用組件版本docker ce17、k8s 1.9.2
　　您可以使用以下 kube-apiserver 標志來(lái)配置日志審核后端：
　　--audit-log-path 指定用于寫(xiě)入審計事件的日志文件路徑。不指定此標志將禁用日志后端。 -手段標準化
　　--audit-log-maxage 定義保留舊審計日志文件的最大天數
　　--audit-log-maxbackup 定義要保留的審計日志文件的最大數量
　　–audit-log-maxsize 定義審計日志文件的最大大?。ㄕ鬃止潱?br /> 　　目前，我們集群中的 kube-apiserver 組件作為靜態(tài) Pod 運行。生命周期由 kubelet 直接管理。靜態(tài) pod 是由 kebelet 基于 yaml 文件創(chuàng )建的。 yaml存放路徑為/etc/kubernetes/manifests/目錄，由kubelet管理的apiserver是基于kube-apiserver.yaml創(chuàng )建的，Log后端需要在kube-apiserver的啟動(dòng)參數中添加如下參數.yaml：
　　--feature-gates=AdvancedAuditing=true
--audit-policy-file=/etc/kubernetes/pki/audit-policy.yaml
--audit-log-format=json
--audit-log-path=/var/log/kubernetes/kubernetes-audit
--audit-log-maxage=30
--audit-log-maxbackup=3
--audit-log-maxsize=100
　　說(shuō)明：
　　最終配置如下：
　　
　　修改完成后，kubelet會(huì )自動(dòng)刪除并重建kube-apiserver的pod（如果pod被刪除但幾分鐘后還沒(méi)有創(chuàng )建，可以修改-audit-log-maxbackup的值，保存并退出，并等待創(chuàng )建 pod——這可能是一個(gè)錯誤）。重啟狀態(tài)變?yōu)閞unning后，可以進(jìn)入容器查看生成的審計日志文件：
　　
　　查看日志：
　　
　　達到100M后：
　　
　　因為fluentd后面會(huì )作為代理來(lái)采集日志，所以需要將容器中的日志掛載到宿主機目錄，修改kube-apiserver.yaml如下，即/var/log容器中的/kubernetes目錄掛載到宿主機的/var/log/kubernetes目錄。
　　
　　日志采集
　　目前集群中已經(jīng)部署了fluentd elasticsearch日志解決方案，所以選擇fluentd作為L(cháng)ogging-agent，Elasticsearch作為L(cháng)ogging Backend。集群中的 fluentd-es 作為 DaemonSet 運行。根據DaemonSet的特點(diǎn)，每個(gè)Node都應該運行fluentd-es pod，但實(shí)際情況是19環(huán)境下的三個(gè)master節點(diǎn)都沒(méi)有這個(gè)pod。查看名為 fluentd-es-v1.22 的 DaemonSet yaml，可以發(fā)現 pod 只會(huì )運行在帶有 alpha.kubernetes.io/fluentd-ds-ready: "true" 標簽的節點(diǎn)上：
　　
　　查看master節點(diǎn)的節點(diǎn)yaml，發(fā)現確實(shí)沒(méi)有這個(gè)標簽。所以需要在master節點(diǎn)節點(diǎn)上加上這個(gè)標簽：
　　
　　添加標簽后，可以看到在docker-vm-6節點(diǎn)上會(huì )自動(dòng)創(chuàng )建pod。
　　Fluentd的配置文件在容器中的/etc/td-agent/td-agent.conf中進(jìn)行配置，部分配置截圖如下：
　　
　　配置由名為 fluentd 的 ConfigMap 指定：
　　
　　可以看到采集和轉發(fā)審計日志/var/log/kubernetes/kubernetes-audit不會(huì )去配置，所以需要在ConfigMap中添加如下配置：
　　
　　添加后截圖如下：
　　
　　之后需要重啟kube-apiserver節點(diǎn)的fluentd pod。當fluentd采集時(shí)，日志也會(huì )輸出到宿主機的/var/log/fluentd.log，可以看到定位問(wèn)題的錯誤日志等信息。如果文件沒(méi)有審計日志相關(guān)的錯誤，應該將日志發(fā)送到logging-backend：elasticsearch，可以通過(guò)以下命令進(jìn)行驗證：
　　
　　
　　詳細信息如下，記錄在審計日志文件中：
　　
　　后續可以使用Kibana進(jìn)行日志展示。 Elasticsearch、Fluentd、Kibana是著(zhù)名的EFK日志采集解決方案，ELK等可以根據項目需要選擇合適的組件。
　　作者簡(jiǎn)潔
　　作者：小萬(wàn)堂，愛(ài)寫(xiě)認真的小伙，目前維護原創(chuàng )公眾號：“我的小萬(wàn)堂”，專(zhuān)注寫(xiě)golang、docker、kubernetes等知識提升硬實(shí)力文章，期待你的注意力。轉載須知：務(wù)必注明出處（注：來(lái)自公眾號：我的小碗湯，作者：小碗湯） 查看全部

　　文章采集api(站內站不算是什么新型的東西，你知道嗎？)
　　最近有很多客戶(hù)很想用我們的系統更新網(wǎng)站。小米也表示很郁悶。這么多客戶(hù)都沒(méi)機會(huì )為你服務(wù)，我都快吐血了。我們不妨試試另一種方式聯(lián)系你的網(wǎng)站。
　　
　　重力加速度
　　僅支持 Rice采集 的系統：WordPress、Zblog、Empirecms、織夢(mèng)cms MIPcms站群 管理系統。老實(shí)說(shuō)，我覺(jué)得有點(diǎn)小，但是我們公司在開(kāi)發(fā)大項目，也在測試，真的沒(méi)有時(shí)間閑著(zhù)技術(shù)。我只能想到這種傻瓜式方式來(lái)聯(lián)系大家網(wǎng)站。這個(gè)方法雖然有點(diǎn)笨，但是可以加快大家主站權重的提升非常友好。這個(gè)方法就是站臺
　　其實(shí)站內站并不是什么新事物。一般SEO培訓場(chǎng)所推薦你使用這個(gè)站內站，因為它確實(shí)可以很快增加主站的權重。通過(guò)百度搜索，可以看到各種現場(chǎng)站的教程。
　　什么是站內站？給你解釋一下，其實(shí)就是在你主站的根目錄下創(chuàng )建一個(gè)/boke這樣的子目錄。然后在你的博克的這個(gè)目錄中重新安裝一個(gè)新的網(wǎng)站 程序。比如你的網(wǎng)站程序是applecms，那么你在你的boke目錄下安裝wordpress程序，然后像其他建站工具一樣安裝，這樣你打開(kāi)的背景就是【這里我用wordpress作為例如，所以背景是 wp-admin 和其他復選標記。 】安裝完成后，將微米采集器的api上傳到boke目錄下，即使是你站點(diǎn)的根目錄。然后就可以使用了。
　　總結：即使不使用微米采集器，也可以考慮在站內多加站。對您的網(wǎng)站 只有好處沒(méi)有害處。站內推薦程序：博客、論壇等對百度友好的程序。 查看全部

　　文章采集api(
WPContent比wp-autopostpro更好用的數據和文章采集插件)
　　
　　比 wp-autopost pro 更好的數據和文章采集 插件
　　WP Content Crawler 允許您將網(wǎng)站 上的幾乎所有內容自動(dòng)發(fā)布到 WordPress 上的網(wǎng)站、博客或在線(xiàn)商店！設置好參數后，插件會(huì )找到消息的URL，并在后臺自動(dòng)掃描。詳細的工具欄 - 查看后臺發(fā)生了什么?；顒?dòng)站點(diǎn)、查看的消息數、更新的消息數、上次查看和更新??的消息數、最后添加的 URL、觸發(fā)的上一個(gè)和下一個(gè) CRON 事件、當前保存的消息和 URL...
　　支持最新版本的WordPress5.3.x+和PHP7.4+
　　WP Content Crawler 的主要功能是什么？
　　保存每個(gè)帖子的詳細信息
　　標題、摘錄、內容、標簽、類(lèi)別、項目符號、日期、自定義元、分類(lèi)法、元關(guān)鍵字、元描述、特色圖片、發(fā)布圖片、狀態(tài)......一切。
　　視覺(jué)選擇器（視覺(jué)檢查器）
　　只需單擊一個(gè)元素即可找到其 CSS 選擇器。您還可以獲得可能感興趣的替代 CSS 選擇器。無(wú)需再離開(kāi)管理面板。
　　獲?。ǐ@取、獲取、保存）帖子
　　配置好設置后，插件會(huì )找到帖子的網(wǎng)址，并在后臺自動(dòng)抓取。
　　重新抓?。ǜ拢┨?br /> 　　自動(dòng)重新抓取帖子以始終保持更新。您可以限制帖子的更新次數，設置更新間隔，以及忽略舊帖子。
　　刪除帖子
　　您要刪除舊的已抓取帖子嗎？插件可以自動(dòng)刪除。
　　控制計劃
　　您可以設置網(wǎng)站每次執行URL采集和抓取事件的次數。例如，您可以每分鐘保存 3 個(gè)帖子，或者每 2 分鐘運行 5 次 URL 采集。
　　保存類(lèi)別
　　你的網(wǎng)站沒(méi)有目標類(lèi)別？沒(méi)問(wèn)題。該插件可以為您創(chuàng )建目標類(lèi)別。只需定義用于查找類(lèi)別名稱(chēng)的 CSS 選擇器。它們甚至可以創(chuàng )建為子類(lèi)別。
　　保存塊（永久鏈接）
　　您可以定義帖子的永久鏈接。您可以從目標站點(diǎn)獲取永久鏈接、輸入自定義文本，甚至可以使用短代碼為塊創(chuàng )建模板。
　　保存類(lèi)別
　　方法通過(guò)從目標站點(diǎn)檢索或手動(dòng)輸入來(lái)保存分類(lèi)值。保存自定義帖子類(lèi)型的詳細信息比以往更容易。
　　將帖子保存在自定義類(lèi)別中
　　自定義帖子類(lèi)型是否有自定義類(lèi)別？沒(méi)問(wèn)題。您可以定義自定義帖子類(lèi)型使用的自定義類(lèi)別分類(lèi)，并在定義帖子的類(lèi)別時(shí)選擇這些類(lèi)別。該插件還可以為您創(chuàng )建自定義類(lèi)別。
　　自定義帖子元
　　將任何內容保存為自定義帖子元。您可以使用 CSS 選擇器或直接輸入值。
　　內容模板
　　使用簡(jiǎn)碼準備帖子內容、標題、摘錄、列表項和圖庫項模板。此外，您可以使用選項框為每個(gè) CSS 選擇器值定義一個(gè)模板。
　　替代方案
　　即使目標站點(diǎn)的設計彼此不同，您也可以編寫(xiě)替代選擇器來(lái)獲取數據。
　　查找和替換任何內容
　　您可以使用純文本或正則表達式來(lái)查找和替換任何內容。您甚至可以修改頁(yè)面的 HTML，創(chuàng )建自己的 HTML 元素并編寫(xiě)選擇器來(lái)使用它們。您甚至可以更改圖像 URL。你有權力。
　　分頁(yè)帖子
　　目標帖子有多于一頁(yè)？不要擔心。您還可以保存分頁(yè)的帖子。
　　列表類(lèi)型帖子
　　網(wǎng)站 創(chuàng )建的一些帖子中有列表。您可以從帖子中提取列表，創(chuàng )建應應用于每個(gè)列表項的模板，甚至可以反轉列表。
　　刪除不必要的元素
　　有時(shí)你需要去掉一些元素，比如廣告、評論，然后給它們命名。只需編寫(xiě)其 CSS 選擇器即可將其刪除。
　　自動(dòng)插入分類(lèi)網(wǎng)址
　　目標站點(diǎn)上有數百個(gè)類(lèi)別？一塊蛋糕。只需編寫(xiě) CSS 選擇器，插件就會(huì )為您插入它們。
　　帖子類(lèi)型
　　設置帖子類(lèi)型。它可以是 WordPress 安裝中可用的帖子、頁(yè)面、產(chǎn)品或任何其他帖子類(lèi)型。
　　刪除鏈接
　　您可以從帖子中刪除鏈接。只需選中復選框，鏈接就會(huì )消失。就這么簡(jiǎn)單
　　密碼保護
　　您可以為帖子設置密碼，只向擁有密碼的用戶(hù)顯示帖子。
　　注釋
　　您可以自己添加注釋以提醒您有關(guān)該站點(diǎn)的信息。 CSS 選擇器、TODO 列表等
　　實(shí)時(shí)測試所有內容，實(shí)時(shí)測試
　　抓取、URL 集合、CSS 選擇器、正則表達式、即時(shí)查找和替換選項和代理。您還可以啟用緩存以更快地執行測試并減少發(fā)送到目標站點(diǎn)的請求。
　　一次
　　測試網(wǎng)站的所有設置。使用測試器，您可以測試站點(diǎn)設置中配置的所有選項，以確保在啟用自動(dòng)抓取之前一切都按需運行。
　　工具
　　使用這些工具，您可以使用帖子的網(wǎng)址手動(dòng)保存帖子、使用 ID 重新抓取帖子或刪除已保存的網(wǎng)址。
　　為每個(gè)站點(diǎn)自定義常規設置
　　您可以為每個(gè)帖子提供自定義的常規設置以覆蓋它們并使它們適合網(wǎng)站。
　　帖子狀態(tài)
　　您可以直接發(fā)布已保存的帖子，也可以將它們保留為草稿，以便在發(fā)布前進(jìn)行審核。
　　保存帖子內容中的所有圖片 保存帖子內容中的所有圖片
　　就像選中一個(gè)復選框一樣簡(jiǎn)單。
　　將圖片另存為圖庫
　　您可以將目標頁(yè)面中的圖片保存為圖庫，并為每張圖片提供一個(gè)模板，使其適合您在前端使用的圖庫。您還可以通過(guò)選中復選框將圖像保存為 WooCommerce 圖庫。
　　任何數據作為簡(jiǎn)碼
　　從目標頁(yè)面獲取任何內容作為簡(jiǎn)碼，并使用插件模板中的簡(jiǎn)碼將任何數據放置在您想要的任何位置。
　　代理
　　使用一個(gè)或多個(gè)代理從您的 IP 無(wú)法訪(fǎng)問(wèn)的站點(diǎn)獲取內容。
　　餅干
　　為每個(gè)請求附加一個(gè) cookie（例如會(huì )話(huà) cookie）。例如，通過(guò)這種方式，您可以像登錄時(shí)一樣抓取目標站點(diǎn)。
　　盡可能多地抓取帖子
　　您可以設置帖子抓取或網(wǎng)址采集 CRON 事件應運行的次數。例如，通過(guò)這種方式，您每分鐘可以保存 100 個(gè)帖子。請注意并考慮服務(wù)器的容量。
　　電子郵件通知
　　設置CSS選擇器，其分類(lèi)和帖子頁(yè)面的值不能為空。當使用這些選擇器發(fā)現空值時(shí)，您將收到一封電子郵件通知。
　　從 JSON 中獲取數據
　　當為CSS選擇器啟用JSON解析時(shí)，您可以輕松地從JSON中獲取值。
　　高級 HTML 操作
　　在響應HTML中查找內容，在元素屬性中查找和替換，交換元素屬性，刪除元素屬性，操作元素的HTML，刪除HTML元素...
　　自動(dòng)翻譯
　　使用 Google Cloud Translation API、Microsoft Translator Text API、Yandex Translate API 或 Amazon Translate API 的人工智能自動(dòng)翻譯帖子。請注意，這些服務(wù)是付費服務(wù)，Yandex Translate API 除外。付費用戶(hù)也可以限時(shí)免費提供服務(wù)。您可以查看其定價(jià)頁(yè)面以了解更多信息。
　　自動(dòng)偽原創(chuàng )
　　使用輪播自動(dòng)重寫(xiě)已抓取帖子的內容以提高搜索引擎優(yōu)化。該插件目前實(shí)現了收費的 Spin Rewriter API 和 Turkce Spin API。您可以訪(fǎng)問(wèn)他們的網(wǎng)站 了解定價(jià)詳情。
　　重復發(fā)布檢查
　　按 URL、帖子標題和/或帖子內容檢查重復帖子。如果您使用 WooCommerce，SKU 已存在的產(chǎn)品將被視為重復產(chǎn)品，不會(huì )添加到您的 網(wǎng)站。
　　預定的帖子
　　您可以添加/刪除發(fā)布日期的分鐘數。通過(guò)這種方式，您可以安排發(fā)布。
　　保存 WooCommerce 產(chǎn)品
　　保存價(jià)格、庫存、運費、屬性和高級選項。您可以將產(chǎn)品保存為簡(jiǎn)單產(chǎn)品或外部產(chǎn)品。您還可以設置可下載文件選項并將產(chǎn)品定義為虛擬產(chǎn)品。這些選項可用于大于或等于 3.3 的 WooCommerce 版本。
　　選項框
　　你有控制權！為 CSS 選擇器找到的值定義許多選項。選項包括搜索和替換、計算、模板和 JSON 解析設置。您還可以輕松導入/導出選項框中定義的選項。
　　像專(zhuān)業(yè)人士一樣處理
　　文件可輕松重命名、復制和移動(dòng)保存的文件。您還可以使用模板定義保存的媒體文件的標題、描述、標題和替代文本，其中可以使用任何短代碼。您還可以為保存的文件指定隨機名稱(chēng)。
　　專(zhuān)業(yè)
　　WordPress 處理 iframe 和腳本的方式與 WordPress 不允許顯示 iframe 和腳本的方式相同，因為它們會(huì )帶來(lái)安全風(fēng)險。您只需要選中一個(gè)復選框即可將 iframe 和 HTML 腳本元素轉換為短代碼。短代碼將顯示您定義的允許源域中的 iframe 和腳本。
　　快速保存
　　使用快速保存按鈕可以更快地保存設置。無(wú)需等待頁(yè)面重新加載。
　　正則表達式 在 find-replace 選項中定義一個(gè)正則表達式來(lái)查找任何內容。您還可以使用分隔符和修飾符進(jìn)行更精確的匹配。
　　保存“srcset”屬性
　　當其他尺寸的保存圖片可用時(shí)，插件會(huì )將它們分配給 img 元素的 srcset 屬性，以便您的頁(yè)面在不同屏幕尺寸下加載速度更快。
　　保存“alt”和“title”屬性
　　當您保存圖像時(shí)，它們的“alt”和“標題”屬性會(huì )自動(dòng)從目標站點(diǎn)檢索并分配給保存的媒體。您還可以為其定義模板以應用您的 SEO 策略。
　　警告
　　了解問(wèn)題發(fā)生的時(shí)間。該插件會(huì )向您顯示錯誤的詳細信息，以便您可以立即修復它。
　　處理字符編碼問(wèn)題
　　即使目標站點(diǎn)收錄混合編碼，插件也可以處理不同的字符編碼。您可以通過(guò)選中復選框來(lái)切換編碼。
　　輕松切換設置
　　Navigation 將導航固定到頂部！該插件在切換到新標簽之前會(huì )存儲您的位置，并在您再次激活標簽時(shí)恢復之前的位置。不再在設置之間迷失。
　　手動(dòng)抓取工具
　　使用手動(dòng)抓取工具通過(guò)輸入網(wǎng)址來(lái)保存多個(gè)帖子。您還可以輸入類(lèi)別 URL，以便該工具可以從那里獲取帖子 URL。此外，您可以將其設置為同時(shí)抓取多個(gè)帖子。
　　添加網(wǎng)址到數據庫
　　插件會(huì )自動(dòng)采集 URL。但是，如果您希望它僅抓取某些 URL，則可以使用手動(dòng)抓取工具將它們手動(dòng)添加到數據庫中。這樣，將使用您的計劃選項自動(dòng)搜索指定的 URL。
　　啟用/禁用特定網(wǎng)站的自動(dòng)抓取
　　您可以單獨啟用或禁用每個(gè)站點(diǎn)的自動(dòng)抓取。
　　導入/導出
　　您可以輕松導入和導出網(wǎng)站 設置。只需復制并粘貼插件創(chuàng )建的代碼即可。
　　無(wú)限
　　添加無(wú)限站點(diǎn)并激活您想要的站點(diǎn)數量。
　　詳細信息中心
　　了解背景?；顒?dòng)站點(diǎn)、已爬取的帖子數、已更新的帖子數、上次爬取和更新的帖子、上次添加的 URL、上次和下一次運行的 CRON 事件、當前的帖子和 URL正在保存...
　　從管理面板獲取更新
　　只要準備好更新，就可以一鍵更新插件。只需轉到管理面板中的更新頁(yè)面即可。
　　使用最安全的 PHP
　　該插件支持最新版本的 PHP。
　　使用最新的瀏覽器
　　該插件支持 Chrome、Firefox、Safari、Opera 和 Edge。
　　互動(dòng)指南
　　交互式指南向您展示如何逐步配置設置以實(shí)現某些功能，例如實(shí)時(shí)文檔。您可以隨時(shí)激活這些指南。您甚至可以從特定步驟開(kāi)始。
　　在線(xiàn)文檔
　　您可以在需要時(shí)查看在線(xiàn)文檔。
　　設置旁邊
　　中的每個(gè)設置
　　快速指南插件有一個(gè)快速指南，可以幫助您了解每個(gè)設置的作用。
　　視頻教程
　　觀(guān)看視頻教程，輕松了解如何使用插件。
　　要求
　　PHP> = 7.2、json、mbstring、curl、dom、WP-Cron。這些已經(jīng)在大多數主機中可用。即使擴展程序尚未激活，大多數托管站點(diǎn)也允許您從其控制面板啟用這些擴展程序。有關(guān)詳細信息，請參閱文檔。
　　WP 版本測試
　　5.3、5.2、5.1、5.0、4.9
　　通過(guò) WooCommerce 版本測試
　　3.9、3.8、3.7、3.6、3.5
　　本地實(shí)測截圖預覽
　　
　　WP Content Crawler v1.10.0 完美破解版 – WordPress data采集plugin
　　
　　WP Content Crawler v1.10.0 完美破解版 – WordPress data采集plugin
　　
　　WP Content Crawler v1.10.0 完美破解版 – WordPress data采集plugin
　　
　　WP Content Crawler v1.10.0 完美破解版 – WordPress data采集plugin
　　鏈接資源下載資源下載價(jià)39元或升級VIP會(huì )員后免費
　　購買(mǎi)后會(huì )顯示下載地址 查看全部

　　文章采集api(如何看出來(lái)它是否是動(dòng)態(tài)加載的呢？教大家一個(gè)可以肉眼可查
)
　　內容
　　前言
　　大家好，我叫山年。這是Python爬蟲(chóng)實(shí)戰案例持續更新的第七天。感覺(jué)很多東西不好寫(xiě)，不知道寫(xiě)什么案例。
　　你可以給我反饋采集你想要哪個(gè)網(wǎng)站，或者你需要發(fā)布哪些網(wǎng)站函數，或者腳本，或者一些基礎知識的解釋。
　　寫(xiě)好文章，拒絕各種表情換人文章，原創(chuàng )干貨現在每篇都寫(xiě)了，沒(méi)那么多時(shí)間逗你了。
　　開(kāi)始
　　Target網(wǎng)站：魚(yú)臉的錨
　　
　　嗯，沒(méi)想到會(huì )有幾個(gè)男同胞...
　　我們需要的很簡(jiǎn)單，采集cover 圖片然后進(jìn)行人臉值檢測，然后對檢測到的分數進(jìn)行排序。
　　分析（x0）
　　簡(jiǎn)單看一下網(wǎng)頁(yè)的元素，可以看到我們需要的圖片在li標簽的img標簽的src屬性中。每個(gè) li 標簽都收錄一個(gè)主機的信息。
　　
　　這樣的圖片加載我已經(jīng)講過(guò)很多次了。最有可能是動(dòng)態(tài)加載的，也就是我們拉動(dòng)滑塊的時(shí)候，圖片會(huì )自動(dòng)刷新，就像之前的【Python】完美采集某寶數據，到底YYDS A和B是哪個(gè)？ （有完整的源代碼和視頻教程）是一樣的。
　　那么如何判斷它是否是動(dòng)態(tài)加載的呢？
　　1.教你一個(gè)肉眼可以查到的方法，那就是手動(dòng)快速拉動(dòng)瀏覽器的滾動(dòng)條。你會(huì )發(fā)現很多圖片需要時(shí)間來(lái)加載。當它們第一次出現時(shí)，它是一個(gè)白板，然后它們被加載。圖片！
　　2. 即直接查看網(wǎng)頁(yè)元素。如果是動(dòng)態(tài)加載的，而我們的瀏覽器還沒(méi)有向下滑動(dòng)，則說(shuō)明下圖一定不能加載。
　　那我們直接檢查li標簽中是否有我們的圖片數據：
　　
　　顯然這張圖片格式不同，打不開(kāi)，是白板圖片。
　　好的，這意味著(zhù)這又是一個(gè)動(dòng)態(tài)加載的網(wǎng)站，那么我們開(kāi)始抓包吧。
　　分析（x1）
　　刷新網(wǎng)頁(yè)并獲取包裹。你可以看到這個(gè)東西。它有兩張圖片，rs1 和 rs6。 rs1是大圖，另一個(gè)是小圖。你可以想到采集。我在這里采集大圖。
　　
　　分析這個(gè)請求，它是一個(gè)get請求。老實(shí)說(shuō)，我沒(méi)想到它是一個(gè)get，所以它有點(diǎn)特別。我們之前只分析了網(wǎng)頁(yè)元素。按道理，我們需要的數據也應該在網(wǎng)頁(yè)源代碼中。 ...不過(guò)沒(méi)關(guān)系，自己去看看吧，不建議從源碼中獲取數據。
　　
　　原因是：你可以看到第二頁(yè)和第一頁(yè)的URL沒(méi)有變化，你注意到了嗎？如果從網(wǎng)頁(yè)的源代碼中獲取，那么就可以獲取到第二頁(yè)的數據。怎么拿到第一頁(yè)？所以不要從網(wǎng)頁(yè)的源代碼中提取數據。我們沒(méi)有辦法構造url。
　　
　　如果你是一個(gè)包，分析起來(lái)很容易。你只需要把url后面的1改成2就可以成為第二頁(yè)了。你還有這樣的熱情嗎？我不相信只是搶包裹。
　　
　　
　　是的，如果您有多個(gè)采集頁(yè)面，只需構建網(wǎng)址即可。
　　采集 的 Python 代碼
　　import requests
import jsonpath
import os
from urllib.request import urlretrieve
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}
if not os.path.exists('./pic'):
os.mkdir('./pic')
for i in range(1, 100000):
try:
url = f'https://www.douyu.com/gapi/rknc/directory/yzRec/{i}'
r = requests.get(url, headers=headers)
names = jsonpath.jsonpath(r.json(), '$..nn')
pngs = jsonpath.jsonpath(r.json(), '$..rs1')
for name, png in zip(names, pngs):
urlretrieve(png, './pic' + '/' + name + '.png')
print(names)
print(pngs)
except:
exit()
　　采集的效果
　　
　　人臉值檢測函數的結構
　　注冊百度只能云：地址
　　根據圖片選擇我們需要的服務(wù)：
　　
　　自己查看技術(shù)文檔：
　　
　　點(diǎn)擊立即使用-創(chuàng )建應用程序：
　　
　　正常填寫(xiě)即可
　　
　　創(chuàng )建后，點(diǎn)擊管理應用
　　
　　獲取 API Key 和 Secret Key
　　
　　看技術(shù)文檔，不用過(guò)多解釋就開(kāi)始構建我們的函數
　　
　　提醒：模塊安裝
　　pip install baidu-aip
　　
　　facerg.py
　　#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time : 2019/5/7 23:20
# @Author : 善念
# @Software: PyCharm
from aip import AipFace
import base64
def face_rg(file_Path):
""" 你的 api_id AK SK """
api_id = '你的id'
api_key = 'ni de aipkey'
secret_key = '你自己的key'
client = AipFace(api_id, api_key, secret_key)
with open(file_Path, 'rb') as fp:
data = base64.b64encode(fp.read())
image = data.decode()
imageType = "BASE64"
options = {}
options["face_field"] = 'beauty'
""" 調用人臉檢測 """
res = client.detect(image, imageType, options)
score = res['result']['face_list'][0]['beauty']
return score
　　排序源代碼
　　from facerg import face_rg
path = r'圖片文件夾路徑'
images = os.listdir(path)
print(images)
yz = []
yz_dict = {}
for image in images:
try:
name = image[0:-4]
score = face_rg(path + '\\' + image)
yz_dict[score] = name
yz.append(score)
except:
pass
yz.sort(reverse=True)
for a, b in enumerate(yz):
print('小姐姐的名字是：{}丨顏值名次是：第{}名丨她的顏值分數為：{}'.format(yz_dict[b], a+1, b))
　　結果展示
　　
　　完成所有源代碼
　　import requests
import jsonpath
import os
from urllib.request import urlretrieve
# headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}
#
# if not os.path.exists('./pic'):
# os.mkdir('./pic')
# for i in range(1, 100000):
# try:
# url = f'https://www.douyu.com/gapi/rknc/directory/yzRec/{i}'
# r = requests.get(url, headers=headers)
# names = jsonpath.jsonpath(r.json(), '$..nn')
# pngs = jsonpath.jsonpath(r.json(), '$..rs1')
# for name, png in zip(names, pngs):
# urlretrieve(png, './pic' + '/' + name + '.png')
# print(names)
# print(pngs)
# except:
# exit()
from facerg import face_rg
path = r'C:\Users\admin\PycharmProjects\pythonProject\1A演示\斗魚(yú)\pic'
images = os.listdir(path)
print(images)
yz = []
yz_dict = {}
for image in images:
try:
name = image[0:-4]
score = face_rg(path + '\\' + image)
yz_dict[score] = name
yz.append(score)
except:
pass
yz.sort(reverse=True)
for a, b in enumerate(yz):
print('小姐姐的名字是：{}丨顏值名次是：第{}名丨她的顏值分數為：{}'.format(yz_dict[b], a+1, b))
　　只需將 facerg.py 作為自寫(xiě)模塊調用即可。
　　視頻教程地址
　　程序員相親：一張Python老大采集相親網(wǎng)的合影，打造排行榜！
　　我有話(huà)要說(shuō)
　　——當你毫無(wú)保留地信任一個(gè)人時(shí)，最終只會(huì )有兩種結果。不是生活中的那個(gè)人，也不是生活中的一課。
　　文章的話(huà)現在就寫(xiě)好了，每一個(gè)文章我都會(huì )說(shuō)的很詳細，所以需要很長(cháng)時(shí)間，通常兩個(gè)多小時(shí)。每一個(gè)贊和評論集都是我每天更新的動(dòng)力。
　　原創(chuàng )不易，再次感謝您的支持。
　?、?000多本Python電子書(shū)（主流經(jīng)典書(shū)籍應有）
　?、赑ython標準庫資料（最全中文版）
　?、垌椖吭创a（四十或五十個(gè)有趣經(jīng)典的動(dòng)手項目及源碼）
　?、躊ython基礎、爬蟲(chóng)、Web開(kāi)發(fā)、大數據分析視頻（適合小白學(xué)習）
　?、?Python 學(xué)習路線(xiàn)圖（告別不受影響的學(xué)習）
　　在我的Q.，Q技術(shù)交流群可以自己拿走。如果在學(xué)習或工作中遇到問(wèn)題，群里會(huì )有大神幫忙解答。有時(shí)你會(huì )想一天。編號928946953。
　　 查看全部

　　文章采集api(優(yōu)采云采集支持調用5118一鍵智能改寫(xiě)API接口(組圖)
)
　　優(yōu)采云采集支持調用5118一鍵智能重寫(xiě)API接口，處理采集數據標題和內容等，可以產(chǎn)生對搜索引擎更有吸引力的文章；
　　具體步驟如下：
　　1.5118 一鍵智能換字API接口配置
　　我。 API配置入口：
　　點(diǎn)擊控制臺左側列表中的【第三方服務(wù)配置】==》點(diǎn)擊【第三方內容API訪(fǎng)問(wèn)】==》點(diǎn)擊【第三方API配置管理】==》最后點(diǎn)擊[+5118 一鍵智能原創(chuàng )API]創(chuàng )建接口配置；
　　
　　二。配置API接口信息：
　　【API-Key值】是從5118后臺獲取對應的5118一鍵智能重寫(xiě)APIKey值，填寫(xiě)優(yōu)采云；
　　
　　
　　2. 創(chuàng )建 API 處理規則
　　API處理規則，可設置調用API接口處理哪些字段的內容；
　　我。 API 處理規則條目：
　　點(diǎn)擊控制臺左側列表中的【第三方服務(wù)配置】==》點(diǎn)擊【第三方內容API訪(fǎng)問(wèn)】==》進(jìn)入【API處理規則管理】頁(yè)面，最后點(diǎn)擊【添加API處理規則】創(chuàng )建API處理規則；
　　
　　二、API處理規則配置：
　　
　　規則名稱(chēng)：用戶(hù)可以自己命名；
　　字段名：填寫(xiě)的字段名的內容會(huì )被API接口處理。默認為title和content字段，可以修改、添加或刪除； （可以添加其他字段，點(diǎn)擊添加內容字段，修改字段名稱(chēng)，但必須在[Detail Extractor]中定義，如作者、關(guān)鍵字、描述字段）
　　API used：選擇已經(jīng)設置好的API接口配置，執行時(shí)會(huì )調用該接口，不同的API接口配置可以選擇多個(gè)字段。 5118一鍵智能改寫(xiě)；
　　處理順序：執行順序是按照數量從小到大執行；
　　3. API 處理規則使用
　　API處理規則的使用方式有兩種：手動(dòng)執行和自動(dòng)執行：
　　手動(dòng)執行：數據采集后，在【Result Data & Release】中使用第三方API執行；
　　自動(dòng)執行：配置自動(dòng)化后，任務(wù)采集data完成后，系統會(huì )自動(dòng)執行指定的API處理規則，無(wú)需人工操作。
　　我。手動(dòng)執行 API 處理規則：
　　點(diǎn)擊采集任務(wù)的【結果&發(fā)布】選項卡中的【SEO&API&翻譯工具】按鈕==》選擇【第三方API執行】欄==》選擇對應的API處理規則==》執行(數據范圍有兩種執行方式，根據發(fā)布狀態(tài)批量執行和根據列表中選擇的數據執行）；
　　
　　二。自動(dòng)執行 API 處理規則：
　　
　　啟用 API 處理的自動(dòng)執行。任務(wù)完成采集后，會(huì )自動(dòng)執行API處理。一般搭配定時(shí)采集和自動(dòng)發(fā)布功能使用非常方便；
　　在任務(wù)的【自動(dòng)化：發(fā)布&SEO&翻譯】選項卡中，【自動(dòng)執行第三方API配置】==》勾選【采集，自動(dòng)執行API】選項==》選擇要執行的API處理規則==》選擇API接口處理的數據范圍（一般選擇“待發(fā)布”，都會(huì )導致所有數據被多次執行），最后點(diǎn)擊保存；
　　4.API處理結果及發(fā)布 I，查看API接口處理結果：
　　
　　
　　API接口處理的內容會(huì )生成API接口對應的新字段，如：
　　標題處理后添加字段：
　　title_5118 rewrite（對應5118一鍵智能重寫(xiě)API接口）
　　內容處理后添加字段：
　　content_5118 rewrite（對應5118一鍵智能重寫(xiě)API接口）
　　在【結果數據&發(fā)布】和數據預覽界面均可查看。
　　提醒：API處理規則執行需要一段時(shí)間，執行后頁(yè)面會(huì )自動(dòng)刷新，API接口處理的新字段會(huì )出現；
　　二后內容發(fā)布，API接口處理
　　發(fā)布文章前，修改發(fā)布目標第二步的映射字段，API接口處理后將title和content改成新的對應字段。
　　例如執行5118一鍵智能改詞API后，選擇title_5118改詞和content_5118改詞發(fā)布；
　　
　　5.5118-API接口常見(jiàn)問(wèn)題及解決方案 我，API處理規則和SEO規則如何搭配使用？
　　系統默認對title和content字段進(jìn)行SEO功能，需要在SEO規則中修改對應新增的字段，如title_5118換詞和content_5118換詞字段；
　　 查看全部

　　文章采集api(destoon采集器最新版采集新聞資訊文章，配套destoon免登陸發(fā)布接口)
　　答：可以使用優(yōu)采云采集器新版采集新聞資訊文章，支持desoon免費登錄發(fā)布接口，實(shí)現news文章的采集數據。
　　3、Q：采集軟件支持從Excel導入數據嗎？批量導入現有數據信息？
　　答：可以，可以使用優(yōu)采云采集器按照一定格式批量導入數據，然后批量發(fā)布提交到你的網(wǎng)站后臺。批量發(fā)布和導入數據都是軟件操作，可以節省大量的人力和財力。
　　4、Q：desoon news采集發(fā)布免費登錄界面有什么特點(diǎn)？
　　答案：這個(gè)采集器完全模擬了dt程序代碼的執行流程，以非暴力的方式插入到數據庫中，可以實(shí)現各種復雜的需求。
　　目前免登錄界面的功能如下：
　?、?，支持遠程圖片自動(dòng)保存下載
　?、?，支持將下載圖片的第一張圖片自動(dòng)提取為縮略圖
　?、?、支持設置release文章review狀態(tài)
　?、?。支持自定義字段，如作者、點(diǎn)擊次數等
　?、?、支持自動(dòng)定時(shí)采集release
　?、?支持按需清洗數據格式，去除冗余內容
　?、?，支持從Excel導入數據，批量導出到excel或本地文件
　?、?、支持今日頭條、微信文章等單篇文章采集
　?、?，支持批量采集數據庫發(fā)布前查看編輯
　　等等等等，這個(gè)不方便詳述，下載使用即可！
　　5、Q：這么通用嗎，采集器+文章資訊無(wú)電訊報訊界面是免費的嗎？
　　答：免費，大家共享同一個(gè)版本，采集器持續更新中，文章資訊接口免費提供，請免費聯(lián)系作者jieling的QQ。
　　其他采集publishing 接口可以聯(lián)系和定制。 查看全部

　　文章采集api(JTopCMS站群內容管理系統v3.0更新日志及改進(jìn))
　　JTopcms是基于JavaEE標準自主開(kāi)發(fā)的。它是一個(gè)開(kāi)源的內容管理軟件（cms），用于管理站群 的內容?？梢愿咝П憬莸剡M(jìn)行內容編輯、審核、模板制作、用戶(hù)交互管理和文件、業(yè)務(wù)文檔等資源的維護。性能優(yōu)良、穩定、安全、易擴展，適用于政府、教育部門(mén)、企事業(yè)單位建設站群系統。 JTopcms 站群內容管理系統v3.0 更新日志新特性：1）支持集群部署和業(yè)務(wù)分布式部署2）file發(fā)布點(diǎn)增加OSS COS七牛云存儲支持3）Department -級權限支持消息和表單分層管理4）高級搜索功能支持擴展字段模糊搜索5）管理員維護內容支持部門(mén)管理6）高級搜索支持搜索所有擴展文本字段7）高級搜索支持新聞內容權重排序8）推薦位內容增加擴展字段支持9）增加通用靜態(tài)分頁(yè)功能，支持用戶(hù)擴展模塊分頁(yè)10）優(yōu)化敏感詞自動(dòng)匹配性能，支持批量導入詞匯11）sensitive單詞匹配 支持自定義字段文本檢查12）采集功能支持采集Attachment13）添加僅限會(huì )員登錄限制功能14）增加管理員登錄時(shí)間間隔限制1 5）支持編輯器資源路徑一鍵切換到云地址16）單站點(diǎn)模板多渠道移動(dòng)端發(fā)布，支持一個(gè)站點(diǎn)同時(shí)發(fā)布多種模板類(lèi)型。 17）相關(guān)欄目自動(dòng)同步內容，可以實(shí)現只維護一個(gè)主站的內容，其他站點(diǎn)的相關(guān)欄目自動(dòng)同步更新。
　　18）采集支持自定義字段擴展，加強采集規則，不再局限于新聞類(lèi)型，支持自定義模型字段建立采集規則。 19）采集支持按發(fā)布時(shí)間排序，實(shí)現與目標采集系統內容的無(wú)縫對接。 20）Advanced 搜索支持按時(shí)間范圍搜索和排序。 21) 加強系統操作日志，記錄完整參數。 22）內容編輯功能增加了可編輯的添加時(shí)間。 23）站群 節點(diǎn)可以排序。改進(jìn)1）將編輯器替換為UEditor2），支持站點(diǎn)resources3)的相對路徑模式將數據展示圖替換為echarts4），提高廣告攔截軟件5)下廣告模塊的性能優(yōu)化模型內容維護頁(yè)面交互6）修復幾個(gè)BUGJTopcmsFeatures1.支持集群管理系統支持集群部署，可以任意增減cmsservice節點(diǎn)，根據業(yè)務(wù)需求獨立部署service節點(diǎn)，加強系統容錯、并發(fā)和擴展能力。 2. 站點(diǎn)支持內容的靜態(tài)發(fā)布。不僅支持html的生成，還可以生成shtml，精準控制頁(yè)面的本地靜態(tài)化，最大限度的提高站點(diǎn)的并發(fā)訪(fǎng)問(wèn)性能和可維護性。 3.Content 模型自定義支持 支持自定義模型功能，內置完整的字段類(lèi)型，定義的字段還可以參與聯(lián)合查詢(xún)、高級搜索，讓您的站點(diǎn)具有高度的擴展性，方便響應各種業(yè)務(wù)需要。 4.強大且可擴展的權限體系，支持按部門(mén)劃分的子站點(diǎn)分級管理，下級不能越權，明確權責。
　　支持粗（菜單級）和細（業(yè)務(wù)數據）粒度權限控制，可按組織、角色、用戶(hù)進(jìn)行授權，有效劃分權限范圍，可自由伸縮，職責明確。還支持集成二次開(kāi)發(fā)功能5.安全防護能力。系統可自動(dòng)攔截記錄并分析各種非法訪(fǎng)問(wèn)，及時(shí)通知站點(diǎn)管理員處理，自動(dòng)攔截惡意訪(fǎng)問(wèn)者，黑名單系統為您的站點(diǎn)安全保駕護航。 6.Advanced 搜索支持類(lèi)似百度的高級搜索功能，支持大數據下的快速搜索，可配置，結合自定義模型功能，可以快速創(chuàng )建符合您需求的信息模型搜索。 7.網(wǎng)站群架構支持一套cms產(chǎn)品，可以支持多個(gè)站點(diǎn)的部署，由JTopcms管理，但是每個(gè)站點(diǎn)在數據和邏輯上完全獨立，可以共享數據彼此。為用戶(hù)提供最大的價(jià)值8.implementation網(wǎng)站developer 簡(jiǎn)單的JTopcms提供了完整的標簽系統。用戶(hù)只需要有html和美術(shù)知識儲備。在cms標簽的幫助下，可以高效地制作它們創(chuàng )建一個(gè)可管理的動(dòng)態(tài)站點(diǎn)。 9.靈活的數據組織方式，支持基本的列和主題分類(lèi)，TAG標簽分類(lèi)，還支持頁(yè)塊碎片管理，自定義推薦位，靈活強大的數據組合方式，滿(mǎn)足各種數據組織需求。 10.二次開(kāi)發(fā)高效 JTopcms基于J2EE核心模型自主研發(fā)。項目一開(kāi)始就考慮二次開(kāi)發(fā)支持。新模塊的擴展只需要具備Java Web開(kāi)發(fā)基礎和SQL能力，即可快速高效上手。以侵入性的方式開(kāi)發(fā)功能。 11. 支持資源發(fā)布點(diǎn) 支持自動(dòng)發(fā)布圖片、視頻文件和靜態(tài)發(fā)布html到各個(gè)資源服務(wù)器，動(dòng)靜態(tài)分離，靜態(tài)前端訪(fǎng)問(wèn)和動(dòng)態(tài)后端訪(fǎng)問(wèn)獨立處理，提高性能和安全性. JTopcms截圖相關(guān)閱讀類(lèi)似推薦：站長(cháng)常用源碼 查看全部

　　文章采集api(優(yōu)采云偽原創(chuàng )插件api接口代碼怎么用?偽插件來(lái)api)
　　seo偽原創(chuàng )generator,織夢(mèng)偽原創(chuàng )plugin,English偽原創(chuàng )哪有
　　只要你知道如何用中文進(jìn)行偽原創(chuàng )，就可以使用在線(xiàn)翻譯將其翻譯成英文。提醒你，在翻譯英文的時(shí)候，多用幾個(gè)翻譯工具，（如果你不懂英文），然后找懂英文的人幫你看句子是否流暢，然后選擇最好的翻譯。做網(wǎng)站，一定要注重客戶(hù)體驗。
　　·優(yōu)采云偽原創(chuàng )如何使用插件api接口代碼
　　偽原創(chuàng )plugin to api 使用了目前可靠的優(yōu)采云AI+，一個(gè)基于人工智能的偽原創(chuàng )軟件，生成的內容原創(chuàng )比較高，有教程1、修改優(yōu)采云的PHP環(huán)境由于優(yōu)采云采集器內置的PHP環(huán)境有問(wèn)題，需要在使用PHP插件之前修改優(yōu)采云的PHP環(huán)境。修改方法很簡(jiǎn)單，打開(kāi)優(yōu)采云網(wǎng)站采集軟件安裝目錄“System/PHP”，找到要打開(kāi)的文件，找到如下代碼。找到php_去掉前面的分號改成：修改前：;extension=php_修改后：extension=php_即去掉前面的分號“;”并保存，這樣優(yōu)采云數據采集器就可以正常運行這個(gè)PHP仿插件了。 2、Plugins 應該放在優(yōu)采云plugin 目錄中。比如我的機器是：D:\優(yōu)采云采集器V9\Plugins Q：這個(gè)插件的主要功能是什么？
　　答案：優(yōu)采云 是采集器。 采集之后，如果打開(kāi)了插件，采集收到的內容會(huì )通過(guò)插件進(jìn)行處理，然后保存。我們的插件是偽原創(chuàng )，所以偽原創(chuàng )之后會(huì )保存采集的內容。 3、debugging方法 首先按照原方法，首先保證采集規則可以正常運行。然后，在正常運行的基礎上，選擇偽原創(chuàng )plugin。 查看全部

　　文章采集api(短視頻直播數據采集趨于穩定，可以抽出時(shí)間來(lái)整理
)
　　抖音API接口資料采集教程，初級版，抖音視頻搜索，抖音用戶(hù)搜索，抖音直播間彈幕，抖音評論列表
　　這段時(shí)間一直在處理data采集的問(wèn)題。目前平臺data采集趨于穩定?？梢曰c(diǎn)時(shí)間整理一下最近的成果，順便介紹一些最近用到的技術(shù)。
　　本文文章biased技術(shù)需要讀者有一定的技術(shù)基礎，主要介紹采集數據處理過(guò)程中用到的神器mitmproxy，以及平臺的一些技術(shù)設計。
　　以下是數據采集的整體設計?？蛻?hù)在左邊。不同的采集器 放在里面。 采集器發(fā)起請求后，通過(guò)mitmproxy訪(fǎng)問(wèn)抖音，數據返回后，通過(guò)中間的解析器解析數據，最后以不同的類(lèi)別存儲在數據庫中。為了提高性能，中間添加了一個(gè)緩存，將采集器與解析器分開(kāi)。兩個(gè)模塊之間的工作互不影響，可以最大限度地將數據存儲在數據庫中。下圖為第一代架構設計。后續文章將介紹平臺架構設計的三代演進(jìn)歷史。
　　
　　短視頻直播數據采集interface SDK，請點(diǎn)擊查看接口文檔
　　準備工作
　　開(kāi)始準備data采集，第一步自然是搭建環(huán)境。這次我們在windows環(huán)境下使用python3.6.6，抓包代理工具是mitmproxy。使用Fiddler抓包，使用夜神模擬器模擬Android運行環(huán)境（也可以使用真機）。這一次，你主要使用手動(dòng)滑動(dòng)應用程序來(lái)捕獲數據。下次我們會(huì )介紹Appium自動(dòng)化工具，實(shí)現全數據采集自動(dòng)（解放雙手）。
　　1、install python3.6.6 環(huán)境，安裝過(guò)程可以自行百度，需要注意的是centos7自帶python2.7，需要升級到python3.6.6環(huán)境，升級前安裝ssl模塊，否則升級后的版本無(wú)法訪(fǎng)問(wèn)https請求。
　　2、Install mitmproxy，安裝好python環(huán)境后，在命令行執行pip install mitmproxy安裝mitmproxy。注意：windows下只能使用mitmdump和mitmweb。安裝好后在命令行輸入mitmdump啟動(dòng)，默認會(huì )啟動(dòng)。代理端口為8080。
　　3、安裝夜神模擬器，可以到官網(wǎng)下載安裝包，安裝教程可以百度，基本上下一步。安裝夜神模擬器后，需要配置夜神模擬器。首先需要將模擬器的網(wǎng)絡(luò )設置為手動(dòng)代理，IP地址為windows的IP，端口為mitmproxy的代理端口。
　　
　　4、 接下來(lái)就是安裝證書(shū)了。在模擬器中打開(kāi)瀏覽器，輸入地址mitm.it，選擇對應版本的證書(shū)。安裝完成后就可以抓包了。
　　
　　5、安裝app，app安裝包可以從官網(wǎng)下載，然后拖入模擬器安裝，或者在app市場(chǎng)安裝。至此，本次的采集環(huán)境已經(jīng)完成。
　　數據接口分析與抓包
　　環(huán)境搭建好后，我們就開(kāi)始抓取抖音app的數據，分析各個(gè)函數使用的接口。本次以采集視頻數據接口為例進(jìn)行介紹。
　　關(guān)閉之前打開(kāi)的mitmdump，重新打開(kāi)mitmweb工具，mitmweb是圖形版的，不用找黑框，如下圖：
　　
　　啟動(dòng)后打開(kāi)模擬器的抖音app，可以看到已經(jīng)有數據包解析出來(lái)了，然后進(jìn)入用戶(hù)主頁(yè)，開(kāi)始向下滑動(dòng)視頻，可以在里面找到請求視頻數據的界面數據包列表
　　/aweme/v1/aweme/post/
　　
　　右側可以看到接口的請求數據和響應數據。我們復制響應數據，進(jìn)入下一步分析。
　　
　　數據分析
　　通過(guò)mitmproxy和python代碼的結合，我們可以在代碼中拿到mitmproxy中的數據包，然后我們就可以根據需要進(jìn)行處理了。創(chuàng )建一個(gè)新的 test.py 文件并在其中放入兩個(gè)方法：
　　def request(flow):
pass
def response(flow):
pass
　　顧名思義，這兩種方法，一種在請求時(shí)執行，一種在響應時(shí)執行，數據包存在于流中。請求url可以通過(guò)flow.request.url獲取，請求頭信息可以通過(guò)flow.request.headers獲取，flow.response.text中的數據為響應數據。
　　def response(flow):
if str(flow.request.url).startswith("https://aweme.snssdk.com/aweme/v1/aweme/post/"):
index_response_dict = json.loads(flow.response.text)
aweme_list = index_response_dict.get('aweme_list')
if aweme_list:
for aweme in aweme_list:
print(aweme)
　　這個(gè)aweme是一個(gè)完整的視頻資料，你可以根據自己的需要提取其中的信息，這里提取一些信息做介紹。
　　"statistics":{
"aweme_id":"6765058962225204493",
"comment_count":24,
"digg_count":1465,
"download_count":1,
"play_count":0,
"share_count":3,
"forward_count":0,
"lose_count":0,
"lose_comment_count":0
}
　　統計信息是該視頻的點(diǎn)贊、評論、下載、轉發(fā)等數據。 share_url 是視頻的分享地址。通過(guò)這個(gè)地址可以在PC端觀(guān)看抖音分享的視頻，也可以通過(guò)這個(gè)鏈接解析無(wú)水印視頻。
　　play_addr 是視頻的播放信息。 url_list 是沒(méi)有水印的地址。但是，官方處理已經(jīng)完成。這個(gè)地址不能直接播放，而且有時(shí)間限制。超時(shí)后，鏈接將失效。有了這個(gè)aweme，你可以把里面的信息解析出來(lái)保存到自己的數據庫中，或者下載無(wú)水印視頻保存到自己的電腦上。
　　寫(xiě)完代碼，保存test.py文件，cmd進(jìn)入命令行，進(jìn)入保存test.py文件的目錄，在命令行輸入mitmdump -s test.py，mitmdump就會(huì )啟動(dòng)。此時(shí)打開(kāi)應用程序。開(kāi)始滑動(dòng)模擬器，進(jìn)入用戶(hù)主頁(yè)：
　　
　　開(kāi)始連續下降，test.py文件可以解析所有捕獲的視頻數據。以下是我截獲的部分數據信息：視頻信息：
　　
　　視頻統計：
　　 查看全部

　　文章采集api(做英文垃圾站用的比較多的WP-AutoPost-pro破解版)
<p>wp-autopost-pro 破解版是一款功能強大的wordpress自動(dòng)采集插件，可以從任何網(wǎng)站內容中采集并自動(dòng)發(fā)布到你的WordPress站點(diǎn)，用戶(hù)可以使用采集WeChat public號、頭條號等自媒體內容，采集流程全自動(dòng)無(wú)需人工干預，輕松獲取優(yōu)質(zhì)“原創(chuàng )”文章，增加百度收錄量和網(wǎng)站權重。 查看全部

　　文章采集api(Java開(kāi)發(fā)不會(huì )Android囧),二來(lái)插件模擬點(diǎn)擊網(wǎng)頁(yè)版
)
　　學(xué)過(guò)微信文章reading和點(diǎn)贊數的同學(xué)都知道怎么獲取這兩個(gè)數，關(guān)鍵是獲取一個(gè)有效的微信key。這個(gè)鍵的有效時(shí)間是2小時(shí)左右，而且對訪(fǎng)問(wèn)頻率也有限制，訪(fǎng)問(wèn)頻率可以通過(guò)密碼控制，速度不會(huì )每10秒被封鎖一次。接下來(lái)，我們來(lái)談?wù)勅绾瓮耆詣?dòng)獲取有效密鑰。
　　想必大部分同學(xué)都會(huì )去手機上鑰匙吧。一是不知道怎么做（Java開(kāi)發(fā)不懂Android囧），二是打算直接在PC端實(shí)現這個(gè)爬蟲(chóng)過(guò)程。于是開(kāi)始研究微信Web客戶(hù)端。其實(shí)這個(gè)key很容易獲取，轉發(fā)一個(gè)公眾號文章到web客戶(hù)端，從客戶(hù)端打開(kāi)就可以看到鏈接里的key了。
　　
　　我意識到的想法是：
　　使用chrome瀏覽器插件在網(wǎng)頁(yè)版客戶(hù)端模擬點(diǎn)擊公眾號微信文章，獲取本鏈接中key和uin兩個(gè)參數。通過(guò)websocket傳遞給本機的Java（抓取到時(shí)候通過(guò)websocket向chrome發(fā)送消息，然后返回key和uin）
　　chrome的插件已經(jīng)寫(xiě)好了。具體使用步驟是打開(kāi)你的服務(wù)器（啟動(dòng)你的websocket服務(wù)器），點(diǎn)擊微信圖標，插件圖標（這一步是連接websocket客戶(hù)端到服務(wù)器）。確保文件轉發(fā)助手里有公眾號文章（任意一個(gè)），然后程序就可以調用了。
　　
　　Java 獲取的密鑰
　　
　　現在整個(gè)爬取過(guò)程都寫(xiě)完了，可以使用了（我的爬取量很小，請研究其他方法。）。我覺(jué)得整個(gè)爬蟲(chóng)過(guò)程中還有一個(gè)很重要的點(diǎn)就是獲取微信文章的列表（抓到搜狗被屏蔽了...）。因為我有公眾號的賬號密碼，一開(kāi)始我只是直接從公眾號的素材管理里抓取了，但是那是不允許的，一個(gè)是上面的時(shí)間編輯時(shí)間不是發(fā)布時(shí)間。第二個(gè)是文章的mid和sn這兩個(gè)參數從中抓取的點(diǎn)贊數都是0，閱讀數都是2.所以我猜在發(fā)布之前，發(fā)布之后，有是兩組mid和sn。感謝大神，云煙分享了微信查詢(xún)歷史界面（他在手機上搶了包）。反正是http，所以直接用。這邊走。就是這樣。
　　調用微信查詢(xún)歷史數據接口獲取發(fā)布地址文章。每個(gè)公眾號的biz參數是固定的，可以從鏈接中獲取。只有key和uin才能獲得過(guò)去一周文章某個(gè)公眾號。接口地址：
　　
　　獲取文章列表，取出biz、mid、sn、idx等參數，加上key和uin，然后就可以調整界面()獲取點(diǎn)贊數和閱讀數了。需要說(shuō)明的是，UA的UA使用的是手機。
　　 查看全部

　　哪里有finecms采集接口可以下載？建站時(shí)比較糾結
　　finecms采集接口在哪里下載？我們在使用finecms建站的時(shí)候比較糾結的是怎么采集文章，finecms商城有售采集插件，價(jià)格50元，有的朋友感覺(jué)比較貴也不太愿意買(mǎi)，權衡了很久也決定買(mǎi)了。有需要的朋友可以聯(lián)系ytkah了解一下。價(jià)格比官方漂亮多了。添加微信咨詢(xún)
　　
　　finecms采集接口插件使用方法：聯(lián)系ytkah咨詢(xún)下載finecms采集plug-in
　　1、覆蓋到根目錄
　　2、finecms5.wpm 文件是優(yōu)采云release 模塊
　　3、本采集接口支持所有自定義字段，
　　data[status]為內容狀態(tài)，1為待審核，9為通過(guò)
　　xiaazai = 1 下載附件配置，1 表示下載，0 表示不下載
　　多文件字段發(fā)布標簽如下：
　　具有多個(gè)文件字段的文件數據[字段名稱(chēng)][文件]
　　多個(gè)文件字段數據的文件標題[字段名稱(chēng)][標題]
　　多個(gè)文件使用[|]作為間隔如下
　　*.com/file/upload/201609/09/16-26-06-11-362.jpg[|]*.com/file/upload/201609/08/14-23-20-41 -362.jpg[|]*.com/file/upload/201609/09/14-22-42-61-362.jpg
　　復選框字段如下
　　數據[字段名稱(chēng)] = [1,2,3]
　　聯(lián)動(dòng)菜單字段為區域。直接寫(xiě)區域名稱(chēng)，比如北京，會(huì )自動(dòng)匹配區域id進(jìn)入數據庫。 查看全部

　　
WordPress5.X優(yōu)采云免登陸發(fā)布接口+模塊(增強版)
　　
　　WordPress5.X優(yōu)采云免登錄發(fā)布界面+模塊（增強版）使用說(shuō)明
　　適用于優(yōu)采云采集器7.6-9.6
　　優(yōu)化驗證標題重復
　　優(yōu)化附件、圖片、縮略圖的上傳生成
　　增加了多種分類(lèi)方法的發(fā)布參數（post_taxonomy_list），使用方法請參考功能特性
　　修正BUG：如果分類(lèi)名稱(chēng)收錄數字，會(huì )導致分類(lèi)錯誤。
　　重新設計老版本發(fā)布界面，新版本號為T(mén)1，老版本后續不再升級維護。老版本支持3.X-4.8.2
　　修復BUG：當模塊中的某個(gè)參數沒(méi)有在規則中發(fā)布時(shí)，會(huì )導致發(fā)布的數據異常（db:標簽名會(huì )顯示）
　　優(yōu)化strtoarray函數
　　特點(diǎn)
　　1.category(category):
　　分類(lèi)支持分類(lèi)名稱(chēng)和分類(lèi)ID，系統自動(dòng)判斷
　　多分類(lèi)處理（多分類(lèi)請用逗號隔開(kāi)）
　　自動(dòng)創(chuàng )建一個(gè)類(lèi)別。如果網(wǎng)站中沒(méi)有這個(gè)分類(lèi)，會(huì )自動(dòng)創(chuàng )建一個(gè)分類(lèi)。
　　自動(dòng)創(chuàng )建父類(lèi)，適用于設置網(wǎng)站中不存在的父類(lèi)。使用方法：WEB發(fā)布模塊/高級功能/內容發(fā)布參數/->添加post_parent_cate
　　添加分類(lèi)描述使用方法：WEB發(fā)布模塊/高級功能/內容發(fā)布參數/->添加category_description
　　2.標簽：
　　多標簽處理（多個(gè)標簽請用逗號隔開(kāi)）
　　3.作者：
　　多作者處理，可以設置多個(gè)作者隨機發(fā)文章，發(fā)帖參數中指定post_author
　　自定義作者功能，如果提交的數據是用戶(hù)名，會(huì )自動(dòng)檢測系統中是否存在該用戶(hù)，如果已經(jīng)存在則以用戶(hù)身份發(fā)布，如果不存在則將自動(dòng)新建用戶(hù)（界面以中文用戶(hù)名為準。處理）
　　4.圖片和縮略圖：
　　網(wǎng)頁(yè)圖片上傳，根據主題或網(wǎng)站背景設置自動(dòng)生成縮略圖，并自動(dòng)將第一張圖片設置為文章的特色圖片。使用方法：WEB發(fā)布模塊/高級功能/文件上傳設置/->增加圖片所在標簽，表格名稱(chēng)：福建自增號
　　自定義縮略圖（特色圖片） 使用方法：WEB發(fā)布模塊/高級功能/文件上傳設置/添加縮略圖所在標簽，表單名稱(chēng)：縮略圖增量編號
　　標準的php.ini單次最大文件上傳數為20個(gè)，如果發(fā)布的內容附件超過(guò)20個(gè)，會(huì )報錯。如果遇到這個(gè)問(wèn)題，請修改php.ini的max_file_uploads/2018/03參數?；蚋纳蟼鞣绞綖镕TP
　　5.時(shí)間和預約發(fā)布：
　　正確的時(shí)間格式是 2017-10-01 23:45:55 或 2017-10-01 23:45
　　自動(dòng)處理服務(wù)器時(shí)間和博客時(shí)間的時(shí)差
　　隨機排期和排期發(fā)布功能：可以設置排期，啟用排期排期功能。開(kāi)啟定時(shí)發(fā)布后，如果POST的數據中收錄時(shí)間，則立即根據時(shí)間發(fā)布，否則時(shí)間由接口文件Publish配置。
　　6.評論：
　　發(fā)表評論，支持評論時(shí)間、評論作者、評論內容，需要在優(yōu)采云->網(wǎng)頁(yè)發(fā)布模塊/內容發(fā)布參數/->添加三個(gè)參數，comment、commentdate、commentauthor，與評論對應內容和評論分別時(shí)間，評論作者。三個(gè)參數缺一不可
　　7.其他：
　　判斷標題是否重復，在參數配置中打開(kāi)$checkTitle，可以判斷標題是否重復，重復的結果不會(huì )發(fā)布
　　發(fā)布文章后自動(dòng)ping，需要后臺設置->撰寫(xiě)->更新服務(wù)并填寫(xiě)ping地址
　　‘pending review’更新文章STATUS pending（審查）發(fā)布（所有人可見(jiàn)）
　　使用說(shuō)明
　　將 locoy.php 放在 wordpress 網(wǎng)站的根目錄下
　　編輯任務(wù)/選擇“網(wǎng)絡(luò )發(fā)布配置管理”下的“第3步：發(fā)布內容設置”
　　
　　將“WordPress免登錄發(fā)布界面.wpm”放入優(yōu)采云采集器下的“Module”文件夾，參考下圖創(chuàng )建web發(fā)布配置
　　
　　回到第三步，選擇“添加發(fā)布配置”，選擇剛才保存的配置文件。
　　完成以上步驟后，就可以正常發(fā)布數據了，可以發(fā)布的內容有：
　　標題、內容（圖片和文件可以在這個(gè)標簽上傳）、類(lèi)別、作者、時(shí)間、摘要、縮略圖（系統默認會(huì )調用內容的第一張圖片作為縮略圖，這個(gè)標簽是可選的）”
　　如果您不需要某些標簽，您可以在“內容發(fā)布參數”中編輯發(fā)布模塊并刪除它們。
　　WordPress優(yōu)采云advanced 免登錄界面教程
　　關(guān)于安全配置、多分類(lèi)、多標簽、自定義字段（post_meta）、自定義分類(lèi)（category）、自定義文章類(lèi)型（post_type）、自定義文章表單（post_format）、自定義定義分類(lèi)方法（taxonomy） , 自定義分類(lèi)信息（add_term_meta）請往下閱讀
　　模塊參數列表：
　　//以下是代碼體...
　　post_title 必填標題
　　post_contentRequired 內容
　　標簽可選標簽
　　post_category 可選類(lèi)別
　　post_date 可選時(shí)間
　　post_excerpt 可選摘要
　　post_author 可選作者
　　category_description 可選類(lèi)別信息
　　post_cate_meta[name] 可選，自定義分類(lèi)信息
　　post_meta[name] 可選自定義字段
　　post_type 是可選的文章type 默認是‘post’
　　post_taxonomy 可選的自定義分類(lèi)方法
　　post_format 可選文章FORM
　　參考函數說(shuō)明：
　　自定義字段的使用方法：WEB發(fā)布模塊/高級功能/內容發(fā)布參數/->添加post_meta[‘field name’]
　　自定義文章type(post_type)用法：WEB發(fā)布模塊/高級功能/內容發(fā)布參數/->添加post_type
　　自定義文章表單（post_format）使用該功能，需要修改配置參數$postformat=true；并且在優(yōu)采云->Web發(fā)布模塊/內容發(fā)布參數/->新發(fā)布參數post_format中，標簽內容必須為：Image：post-format-image Video：post-format-video
　　自定義分類(lèi)（taxonomy）：使用方法：WEB發(fā)布模塊/高級特性/內容發(fā)布參數/ -> 增加post_taxonomy，使用taxonomy后文章只能在taxonomy所屬的category下發(fā)布，category name or ID 請填寫(xiě)類(lèi)別
　　如何使用自定義分類(lèi)信息（add_term_meta）：WEB發(fā)布模塊/高級功能/內容發(fā)布參數/->添加post_cate_meta['meta_key']，標簽內容可以是文本或數組，數組必須引用格式：key$$ value|||key$$value|||key$$value
　　如何同時(shí)發(fā)布屬于多個(gè)類(lèi)別和多個(gè)標簽的文章？
　　多類(lèi)別和多標簽必須用逗號分隔。支持name和id兩種方法，模塊自動(dòng)判斷。例如名稱(chēng)：科幻、動(dòng)作、動(dòng)漫 id：1,3,6,2
　　如何發(fā)布自定義字段？
　　進(jìn)入發(fā)布界面的編輯模式
　　
　　新建post_meta[]表單，中間的[]是自定義字段的名稱(chēng)
　　如何配置安全性？
　　文件會(huì )過(guò)濾數據，但為了數據安全，建議：
　　1.更改通信密鑰，更改locoy.php文件的第61行“$secretWord = ‘LilySoftware’;” （注意！這個(gè)key必須和Web發(fā)布配置中的全局變量一致）
　　2.將文件重命名為更復雜的名稱(chēng)。重命名后需要修改release模塊的以下參數以保持一致性
　　
　　關(guān)于文件上傳：
　　1.發(fā)布模塊/高級功能/在網(wǎng)頁(yè)上添加標簽名稱(chēng)
　　
　　2.Tag Editing，“File Download”設置如圖：
　　
　　其他自定義的用法與自定義字段類(lèi)似，只是表單的名稱(chēng)有所改變。一些自定義屬性支持數組。
　　采取打賞、點(diǎn)贊和微博分享
　　猜你要找
　　免責聲明1. 本站所有資源均來(lái)自用戶(hù)上傳和互聯(lián)網(wǎng)。如有侵權請聯(lián)系網(wǎng)站客服！
　　2.所有資源僅供大家學(xué)習交流使用。請不要將它們用于商業(yè)或非法目的。由此產(chǎn)生的后果與本站無(wú)關(guān)！
　　3.如果你有閑置的源碼或者教程，可以在個(gè)人中心貢獻區發(fā)布，會(huì )有金幣獎勵和額外收益！
　　4. 本站提供的源代碼、模板、插件等資源不收錄技術(shù)服務(wù)。請原諒我！
　　5.如出現無(wú)法下載、無(wú)效或有廣告的鏈接，請聯(lián)系網(wǎng)站客服！
　　6.本站資源價(jià)格僅為贊助，收取的費用僅用于維持本站日常運營(yíng)！
　　7.如果遇到加密壓縮包，默認解壓密碼為“”，如無(wú)法解壓請聯(lián)系客服！
　　8.如遇到支付或充值失敗或充值未到，請不要著(zhù)急，請及時(shí)聯(lián)系網(wǎng)站客服！
　　65源碼網(wǎng)?WordPress5.X優(yōu)采云免登錄發(fā)布界面+模塊（含優(yōu)采云采集器7.6版）
　　常見(jiàn)問(wèn)題 常見(jiàn)問(wèn)題
　　免費下載或VIP會(huì )員專(zhuān)屬資源可以直接商業(yè)化嗎？
　　本站所有資源版權歸原作者所有。此處提供的資源僅供參考和學(xué)習使用，請勿直接商用。如因商業(yè)用途產(chǎn)生版權糾紛，一切責任由用戶(hù)自行承擔。更多說(shuō)明請參考VIP介紹。
　　提示下載完成但無(wú)法解壓或打開(kāi)？
　　最常見(jiàn)的情況是下載不完整：可以將下載的壓縮包容量與網(wǎng)盤(pán)容量進(jìn)行對比。如果小于網(wǎng)盤(pán)指示的容量，就是這個(gè)原因。這是瀏覽器下載bug，建議使用百度網(wǎng)盤(pán)軟件或迅雷下載。如果排除這種情況，您可以在相應資源底部留言，或者聯(lián)系我們。
　　在資源介紹文章中找不到示例圖片？
　　對于PPT、KEY、Mockups、APP、網(wǎng)頁(yè)模板等類(lèi)型的素材，文章中用于介紹的圖片通常不收錄在相應的可下載素材包中。這些相關(guān)的商業(yè)圖片需要單獨購買(mǎi)，本站不負責（也沒(méi)有辦法）查找出處。部分字體文件也是如此，但部分素材在素材包中會(huì )有字體下載鏈接列表。
　　65源網(wǎng)
　　自助共享下載平臺
　　
　　貴賓
　　分享到： 查看全部

　　創(chuàng )建LoggingAdmin項目ApiBootLogging項目依賴(lài)使用idea(組圖)
　　可以通過(guò)ApiBoot Logging獲取每個(gè)請求的詳細信息。在分布式部署模式下，一個(gè)請求可能經(jīng)過(guò)多個(gè)服務(wù)。如果每個(gè)服務(wù)獨立保存請求日志信息，我們是做不到的。統一控制，日志庫和業(yè)務(wù)庫會(huì )出現不一致（可能會(huì )使用多個(gè)數據源配置），因為這個(gè)問(wèn)題ApiBoot Logging提供了Admin的概念，客戶(hù)端采集到每個(gè)日志都報給管理員，管理員會(huì )分析、保存等操作。
　　創(chuàng )建日志管理項目
　　ApiBoot Logging Admin可以匯總各個(gè)業(yè)務(wù)服務(wù)的請求日志（ApiBoot Logging），所以我們需要將各個(gè)業(yè)務(wù)服務(wù)的日志采集單上報給Admin，所以我們應該使用獨立的方式進(jìn)行部署。創(chuàng )建單獨的服務(wù)專(zhuān)門(mén)采集請求日志然后保存。
　　初始化日志管理項目依賴(lài)
　　使用idea創(chuàng )建一個(gè)SpringBoot項目，pom.xml配置文件中的依賴(lài)如下：
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
　　


org.springframework.boot
spring-boot-starter-web



org.minbox.framework
api-boot-starter-logging-admin



mysql
mysql-connector-java


com.zaxxer
HikariCP



org.minbox.framework
api-boot-starter-mybatis-enhance

　　我們需要將采集收到的請求日志保存到數據庫中，所以需要在項目中添加數據庫驅動(dòng)和數據庫連接池相關(guān)的依賴(lài)。 ApiBoot Logging Admin 通過(guò)DataSource 操作數據，依賴(lài)ApiBoot MyBatis Enhance?？梢宰詣?dòng)創(chuàng )建DataSource，擺脫手動(dòng)創(chuàng )建，加入Spring IOC容器。
　　添加ApiBoot統一版本依賴(lài)
　　1
2
3
4
5
6
7
8
9
10
11
12
　　



org.minbox.framework
api-boot-dependencies
2.1.4.RELEASE
import
pom


　　最新版本的ApiBoot請訪(fǎng)問(wèn)::api-boot-dependencies查詢(xún)。
　　啟用日志管理
　　添加ApiBoot Logging Admin依賴(lài)后，無(wú)法完全使用Admin功能。我們需要通過(guò)@EnableLoggingAdmin 注釋來(lái)啟用它。這個(gè)注解會(huì )自動(dòng)將Logging Admin中需要的一些類(lèi)注冊到Spring IOC中，并在入口類(lèi)中添加注解如下圖：
　　1
2
3
4
5
6
7
8
9
10
11
12
　　/**
* ApiBoot Logging Admin入口類(lèi)
*/
@SpringBootApplication
@EnableLoggingAdmin
public class ApibootReportLogsByLoggingToAdminApplication {
public static void main(String[] args) {
SpringApplication.run(ApibootReportLogsByLoggingToAdminApplication.class, args);
}
}
　　配置日志數據源
　　application.yml 配置文件中的數據源配置如下：
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
　　# 服務(wù)名稱(chēng)
spring:
application:
name: apiboot-report-logs-by-logging-to-admin
# 數據源相關(guān)配置
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
url: jdbc:mysql://localhost:3306/test
username: root
password: 123456
type: com.zaxxer.hikari.HikariDataSource
# 服務(wù)端口號
server:
port: 8081
　　控制臺打印報告日志
　　ApiBoot Logging Admin可以通過(guò)配置文件控制是否在控制臺打印采集收到的請求日志信息，并在application.yml配置文件中添加如下內容：
　　1
2
3
4
5
6
7
　　api:
boot:
logging:
# Logging Admin相關(guān)配置
admin:
# 控制臺顯示采集的日志信息
show-console-report-log: true
　　注意：這不應與 ApiBoot Logging 提供的 api.boot.logging.show-console-log 配置混淆。
　　美化控制臺打印的報告日志
　　1
2
3
4
5
6
7
　　api:
boot:
logging:
# Logging Admin相關(guān)配置
admin:
# 控制臺輸出時(shí)美化采集到的日志
format-console-log-json: true
　　注意：不要與這里的 api.boot.logging.format-console-log-json 配置混淆。
　　初始化日志表結構
　　ApiBoot Logging Admin 使用固定的表結構來(lái)存儲請求日志和服務(wù)信息。建表語(yǔ)句如下：
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
　　SET NAMES utf8mb4 ;
--
-- Table structure for table `logging_request_logs`
--
CREATE TABLE `logging_request_logs` (
`lrl_id` varchar(36) COLLATE utf8mb4_general_ci NOT NULL COMMENT '主鍵，UUID',
`lrl_service_detail_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '服務(wù)詳情編號，關(guān)聯(lián)logging_service_details主鍵',
`lrl_trace_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '鏈路ID',
`lrl_parent_span_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上級跨度ID',
`lrl_span_id` varchar(36) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '跨度ID',
`lrl_start_time` mediumtext COLLATE utf8mb4_general_ci COMMENT '請求開(kāi)始時(shí)間',
`lrl_end_time` mediumtext COLLATE utf8mb4_general_ci COMMENT '請求結束時(shí)間',
`lrl_http_status` int(11) DEFAULT NULL COMMENT '請求響應狀態(tài)碼',
`lrl_request_body` longtext COLLATE utf8mb4_general_ci COMMENT '請求主體內容',
`lrl_request_headers` text COLLATE utf8mb4_general_ci COMMENT '請求頭信息',
`lrl_request_ip` varchar(30) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '發(fā)起請求客戶(hù)端的IP地址',
`lrl_request_method` varchar(10) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '請求方式',
`lrl_request_uri` varchar(200) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '請求路徑',
`lrl_response_body` longtext COLLATE utf8mb4_general_ci COMMENT '響應內容',
`lrl_response_headers` text COLLATE utf8mb4_general_ci COMMENT '響應頭信息',
`lrl_time_consuming` int(11) DEFAULT NULL COMMENT '請求耗時(shí)',
`lrl_create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '日志保存時(shí)間',
`lrl_request_params` text COLLATE utf8mb4_general_ci,
`lrl_exception_stack` text COLLATE utf8mb4_general_ci,
PRIMARY KEY (`lrl_id`),
KEY `logging_request_logs_LRL_SERVICE_DETAIL_ID_index` (`lrl_service_detail_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='請求日志信息表';
--
-- Table structure for table `logging_service_details`
--
CREATE TABLE `logging_service_details` (
`lsd_id` varchar(36) COLLATE utf8mb4_general_ci NOT NULL,
`lsd_service_id` varchar(200) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上報服務(wù)的ID，對應spring.application.name配置值',
`lsd_service_ip` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '上報服務(wù)的IP地址',
`lsd_service_port` int(11) DEFAULT NULL COMMENT '上報服務(wù)的端口號',
`lsd_last_report_time` timestamp NULL DEFAULT NULL COMMENT '最后一次上報時(shí)間，每次上報更新',
`lsd_create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '首次上報時(shí)創(chuàng )建時(shí)間',
PRIMARY KEY (`lsd_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci COMMENT='上報日志的客戶(hù)端服務(wù)詳情';
　　ApiBoot Logging Admin 到目前為止已經(jīng)準備就緒。接下來(lái)，我們需要修改業(yè)務(wù)服務(wù)以將請求日志報告給 Logging Admin。
　　向指定的日志管理員報告日志
　　我們將修改使用ApiBoot Logging統一管理請求日志文章的源碼，并將Logging Admin的地址添加到application.yml中，如下圖：
　　1
2
3
4
5
6
7
　　api:
boot:
# ApiBoot Logging 日志組件配置
logging:
# 配置Logging Admin地址
admin:
server-address: 127.0.0.1:8081
　　api.boot.logging.admin-service-address 的配置格式是：Ip:Port，我們只需要修改這一個(gè)地方，其他的所有任務(wù)內部交給ApiBoot Logging。
　　測試
　　我們以應用程序的形式啟動(dòng) ApiBoot 日志管理和業(yè)務(wù)服務(wù)。
　　使用curl訪(fǎng)問(wèn)測試地址如下：
　　1
2
　　~ curl http://localhost:8080/test\?name\=admin
你好：admin
　　我們檢查 ApiBoot Logging 管理控制臺日志如下：
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
　　Receiving Service: 【apiboot-unified-manage-request-logs -> 127.0.0.1】, Request Log Report，Logging Content：[
{
"endTime":1571641723779,
"httpStatus":200,
"requestBody":"",
"requestHeaders":{
"server-region":"JiNan",
"host":"localhost:8080",
"user-agent":"curl/7.64.1",
"accept":"*/*"
},
"requestIp":"0:0:0:0:0:0:0:1",
"requestMethod":"GET",
"requestParam":"{\"name\":\"admin\"}",
"requestUri":"/test",
"responseBody":"你好：admin",
"responseHeaders":{},
"serviceId":"apiboot-unified-manage-request-logs",
"serviceIp":"127.0.0.1",
"servicePort":"8080",
"spanId":"95a73ca0-831b-45df-aa43-2b5887e8d98d",
"startTime":1571641723776,
"timeConsuming":3,
"traceId":"25a7de96-b3dd-48e5-9854-1a8069a4a681"
}
]
　　我們已經(jīng)看到了Logging Admin控制臺打印的報告請求日志，這個(gè)請求的日志是否已經(jīng)保存到數據庫中還不確定。接下來(lái)，我將使用命令行查看數據庫的日志信息。
　　查看logging_service_details表中的數據
　　1
2
3
4
5
6
7
8
　　mysql> select * from logging_service_details\G;
*************************** 1. row ***************************
lsd_id: b069366a-25dc-41ec-8f09-242d81755cd0
lsd_service_id: apiboot-unified-manage-request-logs
lsd_service_ip: 10.180.98.112
lsd_service_port: 8080
lsd_last_report_time: 2019-10-21 02:14:26
lsd_create_time: 2019-10-21 15:14:26
　　logging_service_details 存儲了每個(gè)上報請求日志的業(yè)務(wù)服務(wù)的基本信息。每個(gè)服務(wù)的基本信息都會(huì )緩存在Logging Admin內存中，方便獲取service_id用于存儲日志，根據ip+port+service_id確定唯一性。同一個(gè)服務(wù)只保存一次。
　　查看logging_request_logs表中的數據
　　1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
　　mysql> select * from logging_request_logs\G;
*************************** 1. row ***************************
lrl_id: c42761f6-b072-4744-8a17-d8e6097b85de
lrl_service_detail_id: b069366a-25dc-41ec-8f09-242d81755cd0
lrl_trace_id: 055329a0-cfc1-4606-baf0-4fb0cc905ba2
lrl_parent_span_id: NULL
lrl_span_id: aab83092-7749-4f88-8cb6-a949cc060197
lrl_start_time: 1571642065262
lrl_end_time: 1571642065286
lrl_http_status: 200
lrl_request_body:
lrl_request_headers: {"server-region":"JiNan","host":"localhost:8080","user-agent":"curl/7.64.1","accept":"*/*"}
lrl_request_ip: 0:0:0:0:0:0:0:1
lrl_request_method: GET
lrl_request_uri: /test
lrl_response_body: 你好：admin
lrl_response_headers: {}
lrl_time_consuming: 24
lrl_create_time: 2019-10-21 15:14:26
lrl_request_params: {"name":"admin"}
lrl_exception_stack: NULL
　　敲黑板畫(huà)重點(diǎn)
　　本章我們集成了ApiBoot Logging Admin，將業(yè)務(wù)服務(wù)的每一個(gè)請求日志上報給Logging Admin，并通過(guò)數據庫保存請求日志，然后通過(guò)其他方法，并通過(guò)spanId和traceId查看日志——每個(gè)請求鏈路的從屬關(guān)系以及每個(gè)請求中消耗時(shí)間最多的跨度，以準確優(yōu)化服務(wù)性能。
　　代碼示例
　　如果你喜歡這篇文章文章請為源代碼倉庫點(diǎn)個(gè)Star，謝謝！ ！ ！
　　這個(gè)文章例子的源碼可以通過(guò)以下方式獲取，目錄為apiboot-report-logs-by-logging-to-admin：
　　本文由恒宇青年-于啟宇撰寫(xiě)，遵循CC4.0BY-SA版權協(xié)議。轉載請注明文章source。如需公眾號轉載請聯(lián)系“微信” 查看全部

　　
自主研發(fā)的EC-8001模擬量數字量采集卡
　　
　　
　　采集卡的絕大多數數據都集中在采集模擬、數字、熱電阻和熱電偶上。熱電阻可視為非電性。事實(shí)上，它仍然需要由當前的采集來(lái)驅動(dòng)。模擬數據采集卡和數字采集卡使用最廣泛。比如開(kāi)發(fā)生產(chǎn)的8001系列采集卡就是這樣的采集卡。典型的data采集卡的功能包括模擬輸入、模擬輸出、數字I/O、計數器/定時(shí)器等，模擬輸入是采集卡最基本的功能。它通常由多路復用器、放大器、采樣保持電路和模數轉換器實(shí)現。模擬信號經(jīng)過(guò)上述部分后可以轉換為數字信號。 ADC 的性能和參數直接影響采集 數據的質(zhì)量。應根據實(shí)際測量所需的精度選擇合適的ADC。
　　
　　選擇data采集card主要關(guān)注三個(gè)方面，分別是通道數、采樣率和分辨率。選擇的關(guān)鍵是采集卡的數據是干什么用的。這一定是有目的的，這樣數據采集卡才能被選中。因為不同的數據采集cards 用在不同的地方，如果你不確定用途，沒(méi)有辦法做出更準確的選擇。因此，在確定用途后，找到對應的匹配數據采集card，并檢查其參數是否符合要求，并比較不同類(lèi)型的采集cards，以便選擇合適的產(chǎn)品。
　　
　　通常，在信號采集之后，必須進(jìn)行適當的信號處理，例如FFT。這里還有一個(gè)對樣本數量的要求。一般不可能只提供一個(gè)信號周期的數據樣本，而是希望有五到十個(gè)周期，甚至更多的樣本。并希望提供的樣本總數是整個(gè)周期的數量。這里出現了另一個(gè)困難。我不知道或確切知道被采集的信號的頻率。因此，不僅采樣率不一定是信號頻率的整數倍，也不能保證提供整數個(gè)周期的樣本。其實(shí)data采集card、data采集module、data采集儀等等，都是data采集tools。
　　
　　今天介紹一款自主研發(fā)的EC-8001模擬數字采集卡。是一款基于DSP和FPGA的EtherCat主控卡，最多可同時(shí)支持512個(gè)DI點(diǎn)和512個(gè)DO點(diǎn)，支持模擬采集和模擬輸出。最高總線(xiàn)通信周期可達250μs。驅動(dòng)安裝完成后，提供了函數API和動(dòng)態(tài)鏈接庫。提供的API和驅動(dòng)自帶的調試軟件可以幫助用戶(hù)更好的上手，加快項目調試進(jìn)度。
　　核心優(yōu)勢：
　　操作系統可以支持：
　　函數庫：
　　規格：
　　
　　凌辰科技專(zhuān)注自動(dòng)化領(lǐng)域14年。擁有自主知識產(chǎn)權的自動(dòng)化系統開(kāi)發(fā)平臺，實(shí)現軟硬件無(wú)縫對接，整個(gè)系統穩定、安全、可擴展。同時(shí)長(cháng)期從事工業(yè)計算機和嵌入式產(chǎn)品。 、測量自動(dòng)化產(chǎn)品、工業(yè)機器人、機器視覺(jué)等的研發(fā)與銷(xiāo)售
　　兄弟公司訊亞自動(dòng)化是臺灣優(yōu)質(zhì)TOYO模塊總代理，ABB機器人價(jià)值合作伙伴。機器人+多軸運動(dòng)平臺/視覺(jué)系統/智能安全服，專(zhuān)業(yè)為您提供機器人解決方案
　　 查看全部

　　
自主研發(fā)的EC-8001模擬量數字量采集卡
　　
　　
　　采集卡的絕大多數數據都集中在采集模擬、數字、熱電阻和熱電偶上。熱電阻可視為非電性。事實(shí)上，它仍然需要由當前的采集來(lái)驅動(dòng)。模擬數據采集卡和數字采集卡使用最廣泛。比如開(kāi)發(fā)生產(chǎn)的8001系列采集卡就是這樣的采集卡。典型的data采集卡的功能包括模擬輸入、模擬輸出、數字I/O、計數器/定時(shí)器等，模擬輸入是采集卡最基本的功能。它通常由多路復用器、放大器、采樣保持電路和模數轉換器實(shí)現。模擬信號經(jīng)過(guò)上述部分后可以轉換為數字信號。 ADC 的性能和參數直接影響采集 數據的質(zhì)量。應根據實(shí)際測量所需的精度選擇合適的ADC。
　　選擇data采集card主要關(guān)注三個(gè)方面，分別是通道數、采樣率和分辨率。選擇的關(guān)鍵是采集卡的數據是干什么用的。這一定是有目的的，這樣數據采集卡才能被選中。因為不同的數據采集cards 用在不同的地方，如果你不確定用途，沒(méi)有辦法做出更準確的選擇。因此，在確定用途后，找到對應的匹配數據采集card，并檢查其參數是否符合要求，并比較不同類(lèi)型的采集cards，以便選擇合適的產(chǎn)品。
　　通常，在信號采集之后，必須進(jìn)行適當的信號處理，例如FFT。這里還有一個(gè)對樣本數量的要求。一般不可能只提供一個(gè)信號周期的數據樣本，而是希望有五到十個(gè)周期，甚至更多的樣本。并希望提供的樣本總數是整個(gè)周期的數量。這里出現了另一個(gè)困難。我不知道或確切知道被采集的信號的頻率。因此，不僅采樣率不一定是信號頻率的整數倍，也不能保證提供整數個(gè)周期的樣本。其實(shí)data采集card、data采集module、data采集儀等等，都是data采集tools。
　　
　　今天介紹一款自主研發(fā)的EC-8001模擬數字采集卡。是一款基于DSP和FPGA的EtherCat主控卡，最多可同時(shí)支持512個(gè)DI點(diǎn)和512個(gè)DO點(diǎn)，支持模擬采集和模擬輸出。最高總線(xiàn)通信周期可達250μs。驅動(dòng)安裝完成后，提供了函數API和動(dòng)態(tài)鏈接庫。提供的API和驅動(dòng)自帶的調試軟件可以幫助用戶(hù)更好的上手，加快項目調試進(jìn)度。
　　核心優(yōu)勢：
　　操作系統可以支持：
　　函數庫：
　　規格：
　　
　　凌辰科技專(zhuān)注自動(dòng)化領(lǐng)域14年。擁有自主知識產(chǎn)權的自動(dòng)化系統開(kāi)發(fā)平臺，實(shí)現軟硬件無(wú)縫對接，整個(gè)系統穩定、安全、可擴展。同時(shí)長(cháng)期從事工業(yè)計算機和嵌入式產(chǎn)品。 、測量自動(dòng)化產(chǎn)品、工業(yè)機器人、機器視覺(jué)等的研發(fā)與銷(xiāo)售
　　兄弟公司訊亞自動(dòng)化是臺灣優(yōu)質(zhì)TOYO模塊總代理，ABB機器人價(jià)值合作伙伴。機器人+多軸運動(dòng)平臺/視覺(jué)系統/智能安全服，專(zhuān)業(yè)為您提供機器人解決方案 查看全部

　　Chukwa開(kāi)源的數據收集和分析系統——Chukwa來(lái)處理
　　文章系列的前三篇文章介紹了分布式存儲計算系統Hadoop和Hadoop集群的構建、Zookeeper集群的構建、HBase的分布式部署。當 Hadoop 集群數量達到 1000+ 時(shí)，集群本身的信息會(huì )大大增加。 Apache 開(kāi)發(fā)了一個(gè)開(kāi)源的數據采集和分析系統——Chukwa 來(lái)處理來(lái)自 Hadoop 集群的數據。 Chukwa 有幾個(gè)非常吸引人的特點(diǎn)：結構清晰，部署簡(jiǎn)單；采集的數據類(lèi)型廣泛，可擴展性強；它與 Hadoop 無(wú)縫集成，可以采集和組織海量數據。
　　1 Chukwa 簡(jiǎn)介
　　在 Chukwa 的官網(wǎng)上，Chukwa 是這樣描述的： Chukwa 是一個(gè)開(kāi)源的數據采集系統，用于監控大規模分布式系統。它建立在 HDFS 和 Map/Reduce 框架之上，并繼承了 Hadoop 出色的可擴展性和健壯性。在數據分析方面，楚科瓦擁有一套靈活而強大的工具，可用于監控和分析結果，以更好地利用采集到的數據結果。
　　為了更簡(jiǎn)單直觀(guān)地展示楚克瓦，我們先來(lái)看一個(gè)假想的場(chǎng)景。假設我們有一個(gè)很大的規模（它總是涉及到Hadoop...）網(wǎng)站，網(wǎng)站每天生成大量的日志文件，采集和分析這些日志文件并不容易，讀者可能會(huì )認為，Hadoop是挺適合做這種事情的，很多大的網(wǎng)站都在用，那么問(wèn)題是如何采集散落在各個(gè)節點(diǎn)上的數據，如果采集到的數據有重復數據如何處理，如何與Hadoop集成如果自己編寫(xiě)代碼來(lái)完成這個(gè)過(guò)程，會(huì )耗費很多精力，難免會(huì )引入bug?，F在是我們楚克瓦發(fā)揮作用的時(shí)候了。 Chukwa 是一個(gè)開(kāi)源軟件，有很多聰明的開(kāi)發(fā)者貢獻了他們的智慧。它可以幫助我們實(shí)時(shí)監控各個(gè)節點(diǎn)上日志文件的變化，將文件內容增量寫(xiě)入HDFS，還可以去除數據重復、排序等，此時(shí)Hadoop從HDFS獲取的文件已經(jīng)是SequenceFile了。沒(méi)有任何轉換過(guò)程，Chukwa 幫助我們完成了中間復雜的過(guò)程。是不是很省心？這里我們只是舉一個(gè)應用實(shí)例，它也可以幫助我們監控來(lái)自Socket的數據，甚至執行指定的命令獲取輸出數據等，具體請參考Chukwa官方文檔。如果這些還不夠，我們還可以定義自己的適配器來(lái)完成更高級的功能。
　　2 Chukwa 架構
　　Chukwa 旨在為分布式數據采集和大數據處理提供靈活而強大的平臺。該平臺不僅現在可用，而且能夠與時(shí)俱進(jìn)地使用更新的存儲技術(shù)（如 HDFS、HBase 等）。當這些存儲技術(shù)成熟時(shí)。為了保持這種靈活性，Chukwa 被設計為采集和處理分層管道，每個(gè)級別之間有一個(gè)非常清晰和狹窄的接口。下圖是Chukwa架構示意圖：
　　
　　主要組件有：
　　1.Agents：負責采集最原創(chuàng )的數據發(fā)送給Collectors
　　2. Adaptors：采集數據的直接接口和工具，一個(gè)Agent可以管理多個(gè)Adaptors采集的數據
　　3. Collectors：負責采集Agent發(fā)送的數據并定期寫(xiě)入集群
　　4.Map/Reduce Jobs：定時(shí)啟動(dòng)，負責集群內數據的分類(lèi)、排序、去重、合并
　　5.HICC（Hadoop基礎設施維護中心）負責數據展示
　　3 主要部件的具體設計
　　3.1 適配器、代理
　　在每條數據的生成端（基本上在集群中的每一個(gè)節點(diǎn)上），Chukwa使用一個(gè)Agent來(lái)采集它感興趣的數據。每一種數據都由一個(gè)Adaptor來(lái)實(shí)現，數據的類(lèi)型（數據模型）在相應的配置中指定。 Chukwa 默認為以下常用數據源提供了相應的適配器：命令行輸出、日志文件和 httpSender 等，這些適配器會(huì )定期運行（例如每分鐘讀取 df 結果）或事件驅動(dòng)執行（例如內核中的錯誤日志）。如果這些 Adapter 不夠用，用戶(hù)可以很容易地自己實(shí)現一個(gè) Adapter 來(lái)滿(mǎn)足他們的需求。
　　為了防止數據采集上的Agent出現故障，Ahukwa的Agent使用了所謂的“看門(mén)狗”機制，自動(dòng)重啟終止的數據采集進(jìn)程，防止原創(chuàng )數據丟失。
　　另一方面，對于重復的采集 數據，它們會(huì )在 Chukwa 的數據處理過(guò)程中自動(dòng)去重。這樣，對于關(guān)鍵數據，同一個(gè)Agent可以部署在多臺機器上，從而實(shí)現容錯功能。
　　3.2 采集器
　　agent采集收到的數據存儲在hadoop集群上。 hadoop集群擅長(cháng)處理少量大文件，而處理大量小文件不是它的強項。針對這種情況，chukwa 設計了采集器的角色，將數據部分合并，然后寫(xiě)入集群，防止大量小文件。文件寫(xiě)入。
　　另一方面，為了防止采集器成為性能瓶頸或單點(diǎn)，導致故障，chukwa允許和鼓勵設置多個(gè)采集器，代理從采集器列表中隨機選擇一個(gè)采集器來(lái)傳輸數據如果一個(gè)采集器失敗或忙碌，只需切換到下一個(gè)采集器。這樣可以實(shí)現負載均衡。實(shí)踐證明，多個(gè)采集器的負載幾乎是均勻的。
　　3.3 解復用器，存檔
　　集群上的數據通過(guò) map/reduce 作業(yè)進(jìn)行分析。在 map/reduce 階段，chukwa 提供了兩種內置的作業(yè)類(lèi)型，demux 和歸檔任務(wù)。
　　demux 作業(yè)負責數據的分類(lèi)、排序和去重。在代理部分，我們提到了數據類(lèi)型（DataType？）的概念。采集器寫(xiě)入集群的數據有自己的類(lèi)型。 demux 在作業(yè)執行過(guò)程中，通過(guò)配置文件中指定的數據類(lèi)型和數據處理類(lèi)進(jìn)行相應的數據分析工作。一般對非結構化數據進(jìn)行結構化，提取其中的數據屬性。因為demux的本質(zhì)是map/reduce job，所以我們可以根據自己的需要開(kāi)發(fā)自己的demux job，進(jìn)行各種復雜的邏輯分析。 chukwa 提供的 demux 接口可以很容易地用 java 語(yǔ)言進(jìn)行擴展。
　　歸檔作業(yè)負責合并相同類(lèi)型的數據文件。一方面，它確保相同類(lèi)型的數據都放在一起以供進(jìn)一步分析。另一方面減少了文件數量，減輕了hadoop集群的存儲壓力。
　　3.4 數據庫管理員
　　放置在集群上的數據可以滿(mǎn)足數據的長(cháng)期存儲和大數據量的計算，但不便于展示。為此，楚科瓦做了兩個(gè)努力：
　　1. 使用mdl語(yǔ)言將集群上的數據提取到mysql數據庫中。對于過(guò)去一周的數據，數據完全保存。一周以上的數據按照現在數據的時(shí)間長(cháng)短進(jìn)行稀釋。數據越長(cháng)。 , 保存數據的時(shí)間間隔越長(cháng)。使用mysql作為數據源顯示數據。
　　2.使用hbase或類(lèi)似技術(shù)將索引數據直接存儲在集群上
　　直到chukwa0.4.0版本，chukwa使用第一種方法，但第二種方法更優(yōu)雅，更方便。
　　3.5 hicc
　　hicc 是chukwa 的數據顯示終端的名稱(chēng)。在顯示方面，chukwa 提供了一些默認的數據顯示小部件?？梢允褂谩傲斜怼?、“曲線(xiàn)圖”、“多曲線(xiàn)圖”、“直方圖”、“面積圖”來(lái)顯示一種或多種類(lèi)型的數據，供用戶(hù)直觀(guān)的數據趨勢顯示。而且，在hicc顯示端，對不斷產(chǎn)生的新數據和歷史數據采用robin策略，防止數據的不斷增長(cháng)增加服務(wù)器壓力，在時(shí)間軸上可以“稀釋”數據。長(cháng)期數據顯示
　　本質(zhì)上hicc是jetty實(shí)現的web服務(wù)器，內部使用jsp技術(shù)和javascript技術(shù)。各種需要顯示的數據類(lèi)型和頁(yè)面布局都可以通過(guò)簡(jiǎn)單的拖拽實(shí)現，對于更復雜的數據顯示方式，可以使用sql語(yǔ)言來(lái)組合各種需要的數據。如果這不符合需求，不要害怕，只需手動(dòng)修改其jsp代碼即可。
　　3.6 其他數據接口
　　如果對原創(chuàng )數據有新的需求，用戶(hù)也可以通過(guò)map/reduce作業(yè)或者pig語(yǔ)言直接訪(fǎng)問(wèn)集群上的原創(chuàng )數據，生成想要的結果。 Chukwa 還提供了命令行界面，可以直接訪(fǎng)問(wèn)集群上的數據。
　　3.7 默認數據支持
　　對于集群中每個(gè)節點(diǎn)的CPU使用率、內存使用率、硬盤(pán)使用率、整個(gè)集群的平均CPU使用率、整個(gè)集群的內存使用率、整個(gè)集群的存儲使用率、數量的變化集群文件的數量，作業(yè)數量的變化等hadoop相關(guān)數據，從采集到展示的整套進(jìn)程，chukwa提供了內置支持，你只需要配置一下就可以使用了?？梢哉f(shuō)是相當方便了。
　　由此可見(jiàn)，chukwa 為數據生成、采集、存儲、分析、展示的整個(gè)生命周期提供了全面的支持。下圖展示了 Chukwa 的完整架構：
　　
　　4 Chukwa 到底是什么？
　　4.1 chukwa 不是什么
　　1. chukwa 不是一個(gè)獨立的系統。在單個(gè)節點(diǎn)上部署chukwa系統基本上沒(méi)有用。 Chukwa 是一個(gè)基于 Hadoop 構建的分布式日志處理系統。也就是說(shuō)，在搭建chukwa環(huán)境之前，需要先搭建一個(gè)Hadoop環(huán)境，然后在Hadoop的基礎上搭建chukwa環(huán)境。這種關(guān)系也可以從后來(lái)的chukwa推導出來(lái)，從架構圖可以看出。這也是因為chukwa的假設是要處理的數據量在T級別。
　　2. chukwa 不是實(shí)時(shí)錯誤監控系統。在解決這個(gè)問(wèn)題上，ganglia、nagios等系統都做得很好，這些系統對數據的敏感度可以達到二級。 chukwa 分析的是 數據處于分鐘級別。它認為集群整體CPU使用率等數據，幾分鐘后獲取就不是問(wèn)題。
　　3. chukwa 不是一個(gè)封閉的系統。雖然chukwa自帶了很多針對hadoop集群的分析項，但這并不是說(shuō)它只能監控和分析hadoop。chukwa提供了大量數據的日志數據采集，一套完整的存儲、分析解決方案和框架和顯示。在這種類(lèi)型的數據生命周期的各個(gè)階段，chukwa 提供了近乎完美的解決方案，這也可以從其架構上看出。
　　4.2 什么是chukwa
　　上一節說(shuō)了很多 chukwa 不是什么，我們來(lái)看看 chukwa 是專(zhuān)門(mén)用來(lái)做什么的？具體來(lái)說(shuō)，chukwa致力于以下幾個(gè)方面：
　　1. 一般來(lái)說(shuō)，chukwa可以用來(lái)監控大規模（2000多個(gè)節點(diǎn)，每天產(chǎn)生的數據量在T級）hadoop集群的整體運行情況，并分析它們的日志
　　2. 對于集群用戶(hù)：chukwa 顯示他們的作業(yè)運行了多長(cháng)時(shí)間，它們占用了多少資源，有多少資源可用，作業(yè)失敗的原因以及讀寫(xiě)操作在哪個(gè)節點(diǎn)上退出問(wèn)題.
　　3.集群運維工程師：chukwa展示集群硬件錯誤、集群性能變化、集群資源瓶頸。
　　4. 對于集群管理者：chukwa 顯示了集群的資源消耗和集群操作的整體執行情況，可以用來(lái)輔助預算和集群資源協(xié)調。
　　5. 集群開(kāi)發(fā)者：chukwa 展示了集群中的主要性能瓶頸和頻繁出現的錯誤，讓您可以專(zhuān)注于解決重要問(wèn)題。
　　5 Chukwa 部署和配置
　　5.1 前期準備
　　Chukwa是部署在Hadoop集群上的，所以前期需要安裝部署Hadoop集群，包括SSH無(wú)密碼登錄、JDK安裝等，具體可以參考本系列其他博文“一Hadoop系列叢書(shū)：Hadoop集群構建》等。
　　Hadoop集群架構如下：1個(gè)Master，1個(gè)Backup（主機備用），3個(gè)Slaves（由虛擬機創(chuàng )建）。節點(diǎn)IP地址：
　　rango(Master) 192.168.56.1 namenode
　　vm1(Backup) 192.168.56.101 secondarynode
　　vm2(Slave1)192.168.56.102 數據節點(diǎn)
　　vm3(Slave2)192.168.56.103 數據節點(diǎn)
　　vm4(Slave3)192.168.56.104 數據節點(diǎn)
　　5.2 安裝 Chukwa
　　從官網(wǎng)只能下載chukwa-incubating-src-0.5.0.tar.gz，最新版本的Chukwa可以到~eyang/chukwa-0.@下載5.0-rc0/ 版本 chukwa-incubating-0.5.0.tar.gz。
　　解壓并重命名并移動(dòng)到 /usr 目錄：
　　tar zxvf chukwa-incubating-0.5.0.tar.gz; mv chukwa-incubating-0.5.0 /usr/chukwa
　　需要在每個(gè)被監控的節點(diǎn)上維護一份 Chukwa 的副本（采集數據信息），每個(gè)節點(diǎn)都會(huì )運行一個(gè)采集器。配置完成后，可以通過(guò)scp命令復制到集群的各個(gè)節點(diǎn)。
　　5.3 配置 Chukwa
　　5.3.1 配置環(huán)境變量
　　編輯 /etc/profile 并添加以下語(yǔ)句：
　　#設置chukwa路徑
　　導出 CHUKWA_HOME=/usr/chukwa
　　導出 CHUKWA_CONF_DIR=/usr/chukwa/etc/chukwa
　　導出路徑=$PATH:$CHUKWA_HOME/bin:$CHUKWA_HOME/sbin:$CHUKWA_CONF_DIR
　　5.3.2 配置Hadoop和HBase集群
　　首先將 Chukwa 文件復制到 hadoop：
　　mv $HADOOP_HOME/conf/log4j.properties $HADOOP_HOME/conf/log4j.properties.bak
　　mv $HADOOP_HOME/conf/hadoop-metrics2.properties $HADOOP_HOME/conf/hadoop-metrics2.properties.bak
　　cp $CHUKWA_CONF_DIR/hadoop-log4j.properties $HADOOP_HOME/conf/log4j.properties
　　cp $CHUKWA_CONF_DIR/hadoop-metrics2.properties $HADOOP_HOME/conf/hadoop-metrics2.properties
　　cp $CHUKWA_HOME/share/chukwa/chukwa-0.5.0-client.jar $HADOOP_HOME/lib
　　cp $CHUKWA_HOME/share/chukwa/lib/json-simple-1.1.jar $HADOOP_HOME/lib
　　然后啟動(dòng)HBase集群，設置HBase，在HBase中創(chuàng )建數據存儲所需的表，表模式已經(jīng)搭建完成，直接通過(guò)hbase shell導入即可：
　　bin/hbase 外殼
　　5.3.3 配置采集器
　　設置 Chukwa 的環(huán)境變量，編輯 $CHUKWA_CONF_DIR/chukwa-env.sh 文件：
　　導出JAVA_HOME=/usr/java/jdk1.7.0_45
　　#export HBASE_CONF_DIR="${HBASE_CONF_DIR}"
　　#export HADOOP_CONF_DIR="${HADOOP_CONF_DIR}"
　　#export CHUKWA_LOG_DIR=/tmp/chukwa/log
　　#export CHUKWA_DATA_DIR="${CHUKWA_HOME}/data"
　　注意：設置第一個(gè)java的home目錄，然后注釋掉后面四個(gè)。備注HBASE_CONF_DIR和HADOOP_CONF_DIR，因為agent只用來(lái)采集數據，所以不需要HADOOP的參與。注釋掉 CHUKWA_PID_DIR 和 CHUKWA_LOG_DIR。如果沒(méi)有注釋?zhuān)瑒t指定位置在/tmp臨時(shí)目錄下，會(huì )導致PID和LOG文件無(wú)故被刪除。會(huì )導致后續操作異常。注釋后系統會(huì )使用默認路徑，PID和LOG文件默認創(chuàng )建在Chukwa安裝目錄下。
　　當需要多臺機器作為采集器時(shí)，需要編輯$CHUKWA_CONF_DIR/collectors文件：
　　192.168.56.1
　　192.168.56.101
　　192.168.56.102
　　192.168.56.103
　　192.168.56.104
　　$CHUKWA_CONF_DIR/initial_Adaptors 文件主要用于設置 Chukwa 監控哪些日志，以及監控的方式和頻率。使用默認配置即可，如下
　　添加 sigar.SystemMetrics SystemMetrics 60 0
　　添加 SocketAdaptor HadoopMetrics 9095 0
　　添加 SocketAdaptor Hadoop 9096 0
　　添加 SocketAdaptor ChukwaMetrics 9097 0
　　添加 SocketAdaptor JobSummary 9098 0
　　$CHUKWA_CONF_DIR/chukwa-collector-conf.xml 維護著(zhù) Chukwa 的基本配置信息。我們需要使用這個(gè)文件來(lái)確定HDFS的位置：如下：
　　writer.hdfs.filesystem
　　hdfs://192.168.56.1:9000/
　　要轉儲到的 HDFS
　　然后可以通過(guò)以下設置指定sink數據的地址：
　　chukwaCollector.outputDir
　　/chukwa/logs/
　　chukwa 數據接收器目錄
　　chukwaCollector.http.port
　　8080 查看全部

　　Java開(kāi)發(fā)工程師：Controllerfunction看完接下來(lái)我們看Class部分
　　作為BAT的Java開(kāi)發(fā)工程師，分享一下我在公司寫(xiě)的項目（脫敏）的封裝api接口部分。
　　我們使用的是SSM框架，但其實(shí)不管是SSM還是SSH，還是SPRING BOOT，下面的介紹都是籠統的，因為主要是通過(guò)介紹注解（annotations），而不是xml文件。
　　控制器類(lèi)
　　首先，API接口需要出現在控制器層。因此，在類(lèi)名的頂部，至少需要兩個(gè)注解，@controller，用于在項目啟動(dòng)時(shí)告訴spring這個(gè)類(lèi)在controller層，需要加載； @requestMapping，這個(gè)注解相當于指定了api的一部分url。
　　如果服務(wù)綁定的域名是
　　那么requestMapping里面的內容就是那個(gè)url是
　　/.... 格式的請求將被轉發(fā)到當前類(lèi)。
　　
　　控制器.函數
　　看完后，我們來(lái)看看功能部分。首先，我們必須添加一個(gè) responseBody 注解。這個(gè)注解的意思就是通過(guò)converter將controller層函數的返回對象轉換成指定的格式，寫(xiě)到http響應中返回對象的body，即返回的String下面的函數作為響應的正文內容直接返回給用戶(hù)。
　　接下來(lái)還是requestMapping注解，相信你也能看懂，復用上面的例子，當url為
　　在
　　的情況下
　　，相當于調用了validateParams函數，請求的body會(huì )作為body參數傳入這個(gè)函數。
　　
　　您可能已經(jīng)注意到這里。上面函數的參數名使用requestBody，下面使用formParam。雖然都是post請求，但是參數接收方式不同。這意味著(zhù)在代碼中指定了不同的接收方法，必須在請求體中使用相應的方法才能將數據傳遞給函數。上圖中的body可以作為raw使用，下圖需要application/x-www-form-urlencoded格式的body。
　　
　　最后，上面介紹了所有post請求的api，下圖展示了如何編寫(xiě)GET請求的api?？梢钥闯?，在注解方面，requestMethod可以在requestMapping中指定為GET。函數參數方面，需要使用requestParma注解來(lái)接收，如下圖所示。當你發(fā)送
　　/dispatch/getMyContract?username=xiaomin&password=123 這個(gè)請求相當于調用了下面的getMyContract函數，傳入的username參數為xiaomin，password參數為123.
　　
　　以上是我的簡(jiǎn)單看法。歡迎大家在下方評論區分享和點(diǎn)贊。
　　我是蘇蘇思良，BAT 的 Java 開(kāi)發(fā)工程師。我每天分享科技知識。歡迎關(guān)注我，和我一起進(jìn)步。 查看全部