亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　通過(guò)關(guān)鍵詞采集文章采集api(手把手教你通過(guò)關(guān)鍵詞采集文章采集api(組圖))
　　通過(guò)關(guān)鍵詞采集文章采集api，其實(shí)通過(guò)平臺這么多種方式，只要你會(huì )api就能找到你想要的資源。手把手教你通過(guò)關(guān)鍵詞找到相應的素材手把手教你通過(guò)關(guān)鍵詞找到相應的素材：會(huì )爬蟲(chóng)的都可以直接上手，別看我簡(jiǎn)單，簡(jiǎn)單是因為掌握的人少，要抓取最新資源（特別是一些國外的網(wǎng)站）最近開(kāi)始瘋狂接單，文章會(huì )有時(shí)間的跨度。還有就是對你來(lái)說(shuō)有用的資源你才會(huì )想要。希望能幫到你。
　　誰(shuí)都想爬取各大平臺上的熱門(mén)新聞，那如何爬??？其實(shí)抓取新聞，并不難，普通的抓取工具都能實(shí)現，今天推薦一款好用的爬蟲(chóng)app：瀏覽器自帶的api，包括多款熱門(mén)新聞網(wǎng)站，抓取一兩個(gè)新聞網(wǎng)站還是沒(méi)問(wèn)題的，大部分網(wǎng)站是可以輕松取得！利用瀏覽器的自帶api，其實(shí)獲取新聞并不難，好用的有限，需要有：【1】安裝最新版本谷歌瀏覽器【2】安裝多抓魚(yú)瀏覽器多抓魚(yú)瀏覽器是2018年4月9日谷歌官方推出的，只需要一鍵就能實(shí)現去重，抓取新聞，返回傳統爬蟲(chóng)爬取一大堆網(wǎng)站，累死人累死人累死人！說(shuō)了半天，就是要大家會(huì )抓取，會(huì )抓取那就要一起學(xué)習一起擼了~一直有推薦過(guò)不少免費學(xué)習網(wǎng)站，感興趣的朋友可以關(guān)注一下，【1】自學(xué)學(xué)習有各種免費資源。
　　網(wǎng)站是兩年前弄的，api有些久遠，現在就一直再用，有不少自學(xué)學(xué)習的網(wǎng)站，也有些資源，喜歡的朋友可以在后臺留言交流哈~獲取網(wǎng)站的方法，可以前往下載中心獲取，蘋(píng)果用戶(hù)還需要付費安裝，服務(wù)器還在美國，不支持在國內訪(fǎng)問(wèn)！api2.0已經(jīng)發(fā)布，關(guān)注公眾號【topone應用商店】回復【接口】即可免費獲??！。

　　通過(guò)關(guān)鍵詞采集文章采集api(【干貨】亞馬遜搜索框所推薦的關(guān)鍵詞采集工具（一）)
　　前言
　　本周末國慶值班期間，無(wú)事可做，整理發(fā)布之前寫(xiě)的亞馬遜搜索框推薦的關(guān)鍵詞采集工具?？偟膩?lái)說(shuō)，它是一個(gè)簡(jiǎn)單的小爬蟲(chóng)。
　　因為比較小，所以寫(xiě)在一個(gè)模塊里，一個(gè)模塊分成五個(gè)方法來(lái)完成整個(gè)爬取過(guò)程。
　　網(wǎng)頁(yè)下載方法 網(wǎng)頁(yè)解析方法 將解析結果存入txt文件的方法 整合網(wǎng)頁(yè)下載的方法及存入txt文件的方法 主要功能 組織整個(gè)流程的方法 主要內容一、 中涉及的類(lèi)庫
　　import requests
import datetime
import time
　　以上類(lèi)庫，除requests第三方類(lèi)庫外，均為Python標準庫。第三方類(lèi)庫可以在cmd中通過(guò)pip install +類(lèi)庫名自動(dòng)安裝——前提是已經(jīng)配置好python環(huán)境變量-windows
　　requests 是一個(gè)網(wǎng)頁(yè)下載庫 datetime 是一個(gè)日期庫。本例中用于根據不同的日期設置采集文件txt的不同名稱(chēng)。時(shí)間時(shí)間庫，主要使用sleep方式，用于采集糟糕時(shí)暫停程序的庫二、網(wǎng)頁(yè)下載方式
　　def get_suggestion(url, sleep=5, retry=3):
try:
r = requests.get(url, timeout=10)
if r.json:
return r.json()
else:
print('網(wǎng)站返回信息為空，當前檢索失敗')
if retry>=0:
print('正在重新請求')
time.sleep(sleep)
retry -= 1
return get_suggestion(url, retry)
except (requests.ConnectTimeout,requests.ReadTimeout, requests.ConnectionError) as e:
print('超時(shí): %s' % str(e))
if retry>=0:
print('正在重試')
time.sleep(sleep)
retry -= 1
return get_suggestion(url, retry)

　　對于網(wǎng)頁(yè)下載方式，簡(jiǎn)單設置了錯誤捕獲和錯誤重試的功能，使得爬蟲(chóng)在下載網(wǎng)頁(yè)的過(guò)程中能夠順利運行。
　　另外，經(jīng)過(guò)多次嘗試，這個(gè)接口的抗爬升程度很弱。只要不是大型的采集，一般都不是問(wèn)題。如果遇到Robot Check等驗證，除了更改IP（https類(lèi)型）外，還可以使用Pause和rest來(lái)緩解Robot Check的概率。
　　而且亞馬遜推薦的關(guān)鍵詞，經(jīng)過(guò)觀(guān)察，更新頻率不是很高，個(gè)人普通的采集速度完全可以滿(mǎn)足需求。
　　三、網(wǎng)頁(yè)解析方法，解析出我們需要的內容
　　def parse_suggestion(js_html):
try:
suggestions = js_html.get('suggestions')
keywords_list = [keyword.get('value') for keyword in suggestions]
return keywords_list
except Exception as e:
return

　　解析網(wǎng)頁(yè)返回的信息，所以類(lèi)信息是json格式的，本體已經(jīng)通過(guò)requests庫的json方法轉換為字典類(lèi)型，所以可以直接以字典的形式訪(fǎng)問(wèn)。
　　增加了一層判斷。當解析出現錯誤時(shí)，會(huì )返回empty，以保證程序不會(huì )因為錯誤而影響整體運行。
　　返回的內容存儲方法，存儲我們的 采集to 和過(guò)去的權重的 關(guān)鍵詞
　　def save_suggestion(keyword):
# 以天為單位分離采集結果
with open('Amazon Suggest Keywords_{}.txt'.format(datetime.now().date()), 'a+') as f:
f.write(keyword+'\n')

　　比較簡(jiǎn)單，不用多說(shuō)。打開(kāi)或者新建一個(gè)txt文件，調用write方法寫(xiě)入對應的關(guān)鍵詞，在每個(gè)關(guān)鍵詞后面加一個(gè)換行符
　　四、集成網(wǎng)頁(yè)下載并保存為txt文件，方便以后調用
　　def get_and_save(url, suggested_keywords):
rq_json = get_suggestion(url)
suggestion_list = parse_suggestion(rq_json)
if suggestion_list:
for suggestion in suggestion_list:
print('#' * 80)
print('正在判斷當前關(guān)鍵詞：%s' % suggestion)
if suggestion in suggested_keywords:
print('當前關(guān)鍵詞：%s 重復' % suggestion)
continue
else:
save_suggestion(suggestion)
print('當前關(guān)鍵詞：%s 存儲成功' % suggestion)
suggested_keywords.append(suggestion)
else:
print('亞馬遜返回信息為空，當前關(guān)鍵詞長(cháng)尾詞采集失敗')
　　因此，部分代碼會(huì )在主程序中被多次調用，所以單獨組織為一個(gè)方法。
　　增加了if判斷，保證只在顯式返回關(guān)鍵詞時(shí)才調用存儲方法
　　這一步還加了一個(gè)判斷，判斷當前檢索到的關(guān)鍵詞是否已經(jīng)是采集，如果已經(jīng)是采集，則放棄
　　五、組織整個(gè)程序的主函數
　　def main(prefix_or_prefix_list):
url = 'https://completion.amazon.com/api/2017/suggestions?&client-info=amazon-search-ui&' \
'mid=ATVPDKIKX0DER&alias=aps&b2b=0&fresh=0&ks=83&prefix={}&suggestion-type=keyword&fb=1'
suggested_keywords = []
# 定義一個(gè)空列表，以存儲已采集過(guò)的關(guān)鍵詞
if isinstance(prefix_or_prefix_list, str):
# 傳入的是一個(gè)詞
final_url = url.format(prefix_or_prefix_list)
get_and_save(final_url, suggested_keywords)
for depth_keywords in suggested_keywords:
# 將已采集過(guò)的 keywords 做再次采集，依舊是重復的剔除
get_and_save(url.format(depth_keywords),suggested_keywords)
elif isinstance(prefix_or_prefix_list, list):
# 傳入的是一個(gè)由許多單詞組成的列表| tuple 也是可以的，只要是一個(gè)可以迭代的有序序列都可以。但是如果是一個(gè) orderedDict的話(huà)，那就需要改寫(xiě)部分代碼了。
for prefix in prefix_or_prefix_list:
final_url = url.format(prefix)
get_and_save(final_url, suggested_keywords)
for depth_keywords in suggested_keywords:
get_and_save(url.format(depth_keywords), suggested_keywords)
else:
print('參數傳入錯誤，本程序只接受單個(gè)關(guān)鍵詞或者關(guān)鍵詞序列為參數'）
if __name__ == '__main__':
_prefix = 'iphone case'
_prefix_list = ['iphone case', 'iphone charger']
main(_prefix)
　　main函數接收一個(gè)prefix_or_prefix_list參數，這意味著(zhù)這個(gè)程序可以采集單個(gè)關(guān)鍵詞長(cháng)尾詞，或者采集一系列關(guān)鍵詞。
　　內置isinstance方法用于判斷傳入參數類(lèi)型，根據類(lèi)型使用不同的采集配置。
　　這個(gè)程序運行了很長(cháng)時(shí)間，需要輪詢(xún)每一個(gè)關(guān)鍵詞消息。但是實(shí)時(shí)采集，采用實(shí)時(shí)存儲策略，所以程序的運行可以隨時(shí)中斷，并且采集字樣已經(jīng)存儲在對應的txt文件中。
　　有人說(shuō)能不能用多線(xiàn)程，當然可以，但是項目小沒(méi)必要，亞馬遜的關(guān)鍵詞推薦更新也沒(méi)有那么頻繁。而且，亞馬遜的反爬能力極其強大。如果你有興趣，你可以自己試試。
　　結尾
　　這是我分享的第一個(gè)與亞馬遜賣(mài)家相關(guān)的爬蟲(chóng)工具。配置好python程序后，復制粘貼即可使用。
　　亞馬遜賣(mài)家相關(guān)的朋友如果看過(guò)這篇博文，有興趣開(kāi)發(fā)亞馬遜賣(mài)家相關(guān)工具的朋友，可以私信交流。

　　通過(guò)關(guān)鍵詞采集文章采集api(
全平臺發(fā)布全CMS發(fā)布器功能特點(diǎn)及特點(diǎn)
)
　　
　　SEO人員在平時(shí)的SEO優(yōu)化中會(huì )使用大量的SEO工具來(lái)智能診斷網(wǎng)站SEO問(wèn)題。SEO工具主要是為了方便SEOer做采集、發(fā)布、收錄查詢(xún)、主動(dòng)推送、SEO診斷等日常工作。提高效率，簡(jiǎn)化操作，解放雙手，查詢(xún)一些網(wǎng)站問(wèn)題，監控關(guān)鍵詞排名收錄等。
　　一、免費采集
　　免費采集特色seo關(guān)鍵詞優(yōu)化軟件：
　　
　　1、只需將關(guān)鍵詞導入到采集相關(guān)的關(guān)鍵詞文章，同時(shí)創(chuàng )建幾十或幾百個(gè)采集任務(wù)（一個(gè)任務(wù)可以be 支持上傳1000個(gè)關(guān)鍵詞)，支持過(guò)濾關(guān)鍵詞
　　2、支持多種新聞來(lái)源：各平臺資訊、知悉經(jīng)驗、重大新聞等（可同時(shí)設置多個(gè)采集來(lái)源采集）
　　3、可設置關(guān)鍵詞采集文章條數，軟件可直接查看多任務(wù)狀態(tài)采集-支持本地預覽-支持采集鏈接預覽
　　4、自動(dòng)批量掛機采集，與各大cms發(fā)布者無(wú)縫對接，采集后自動(dòng)發(fā)布——實(shí)現采集發(fā)布全自動(dòng)掛機。
　　二、全平臺發(fā)布
　　全平臺cms發(fā)布者的特點(diǎn)：
　　
　　1、cms發(fā)布：目前市面上唯一同時(shí)支持Empire、易友、ZBLOG、織夢(mèng)、WP、PB、Apple、搜外等專(zhuān)業(yè)cms，可以同時(shí)批量管理和發(fā)布工具
　　2、對應欄目：對應的文章可以發(fā)布對應欄目
　　3、定期發(fā)布：可控發(fā)布間隔/每天發(fā)布總數
　　4、監控數據：直接監控已經(jīng)發(fā)布、待發(fā)布的軟件，是否是偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等。
　　三、收錄詳細數據查詢(xún)
　　收錄鏈接查詢(xún)功能：
　　
　　1、收錄Rank, 收錄Title, 收錄Link, 收錄Time, Real Title, Real Link, Real關(guān)鍵詞, 一下子統計
　　2. 輸入關(guān)鍵詞或site命令查詢(xún)優(yōu)秀同行網(wǎng)頁(yè)收錄的數量和排名。在百度/搜狗/今日頭條的收錄中可以直觀(guān)的看到一個(gè)網(wǎng)站同行網(wǎng)站的排名，通過(guò)關(guān)鍵詞布局體驗確定自己的網(wǎng)站布局海量?jì)?yōu)秀同行，以及優(yōu)化方向seo關(guān)鍵詞優(yōu)化軟件！您也可以通過(guò)關(guān)鍵詞查詢(xún)了解您的網(wǎng)站關(guān)鍵詞排名和收錄情況！
　　3.查詢(xún)工具還可以做什么：防止網(wǎng)站被黑（通過(guò)觀(guān)察收錄的情況，檢查收錄是否有不良信息）-網(wǎng)站修訂（工具提?。┦珍涙溄酉虬俣荣Y源搜索平臺提交新的鏈接URL路徑更改）-關(guān)鍵詞排名（通過(guò)關(guān)鍵詞查看網(wǎng)站的排名，關(guān)注 關(guān)鍵詞 排名） - 網(wǎng)站 推送（通過(guò)查詢(xún) 收錄 鏈接 - 只推送而不是 收錄網(wǎng)站）
　　4、通過(guò)site:域名，查詢(xún)網(wǎng)站的條目有多少收錄，收錄的關(guān)鍵詞做了多少seo關(guān)鍵詞優(yōu)化軟件@> 有嗎？Excel表格可以直接在軟件上導出，做進(jìn)一步分析，進(jìn)行整體分析?。⊿EO站長(cháng)必須收錄鏈接數據分析工具）
　　
　　四、全平臺推送工具
　　全平臺推送功能：
　　
　　工具代替手動(dòng)主動(dòng)推送，效率提升數倍，收錄數倍提升，解放雙手！
　　批量搜狗推送：
　　1、驗證站點(diǎn)提交（官方限制單個(gè)站點(diǎn)每天推送200，軟件可以突破限制，單個(gè)站點(diǎn)每天可以推送幾十萬(wàn)）
　　2、非認證網(wǎng)站提交（軟件可以每天一直推送）
　　批量百度推送：
　　采用百度最快的API推送方式，一次可大批量推送到百度
　　批量360推送：
　　自動(dòng)批量完成360主動(dòng)推送軟件，每天提交上萬(wàn)個(gè)鏈接
　　批量神馬推送：
　　使用神馬最快的MIP推送方式，一次可以大批量推送到神馬
　　以上功能都集成在一個(gè)SEO工具中，SEO工具還配備：批量搜狗快照更新/批量搜狗投訴/批量搜狗綁定站點(diǎn)/鏈接生成/鏈接抓取/在線(xiàn)偽原創(chuàng )等功能！SEO工具是SEO人員做網(wǎng)站輔助的必備工具。
　　

　　通過(guò)關(guān)鍵詞采集文章采集api(
基于微服務(wù)的日志中心架構設計三、中心的流程與實(shí)現
)
　　
　　轉載本文須注明出處：微信公眾號EAWorld，違者必究。
　　介紹：
　　日志一直是運維和開(kāi)發(fā)人員最關(guān)心的問(wèn)題。運維人員可以通過(guò)相關(guān)日志信息及時(shí)發(fā)現系統隱患和系統故障，安排人員及時(shí)處理和解決問(wèn)題。沒(méi)有日志信息的幫助，開(kāi)發(fā)者無(wú)法解決問(wèn)題。沒(méi)有日志就等于沒(méi)有眼睛，沒(méi)有方向。
　　微服務(wù)越來(lái)越流行，在享受微服務(wù)架構帶來(lái)的好處的同時(shí)，也不得不承擔微服務(wù)帶來(lái)的麻煩。日志管理就是其中之一。微服務(wù)有一個(gè)很大的特點(diǎn)：分布式。由于分布式部署，日志信息分散在各處，給采集日志的存儲帶來(lái)了一定的挑戰：
　　本文文章將討論與日志管理相關(guān)的問(wèn)題。
　　內容：
　　一、日志的重要性和復雜性
　　二、基于微服務(wù)的日志中心架構設計
　　三、日志中心的流程及實(shí)現
　　四、日志中心關(guān)鍵配置
　　五、總結
　　一、日志的重要性和復雜性
　　要說(shuō)管理日志，在管理日志之前有一個(gè)先決條件。我們需要知道日志是什么，它們能做什么，以及它們有什么用處。根據百度百科，是記錄系統操作事件的記錄信息。
　　在日志文件中，記錄著(zhù)當前系統的各種生命體征，就像我們在醫院體檢后得到的體檢表，反映了我們的肝功能、腎功能、血常規等具體指標。日志文件在應用系統中的作用就像一個(gè)體檢清單，反映了系統的健康狀況、系統的運行事件、系統的變化情況。
　　
　　日志充當系統中的守護者。它是保證服務(wù)高度可靠的基礎，記錄系統的一舉一動(dòng)。有運維級別、業(yè)務(wù)級別、安全級別的日志。系統監控、異常處理、安全、審計都離不開(kāi)日志的輔助。
　　有各種類(lèi)型的日志，一個(gè)健壯的系統可能有各種日志消息。
　　
　　這么復雜多樣的日志，有必要一口氣抓嗎？我們需要哪些？這些都是我們在設計日志中心架構時(shí)需要考慮的問(wèn)題。
　　二、基于微服務(wù)
　　日志中心架構設計
　　日志中心是微服務(wù)生態(tài)中不可或缺的一部分，是監控的第二大師。在這里分享我們的產(chǎn)品級設計實(shí)踐，了解日志中心在基于微服務(wù)架構的技術(shù)架構中的位置，以及如何部署。
　　
　　在本設計中，微服務(wù)結構由以下部分組成：
　　圖中沒(méi)有log center四個(gè)關(guān)鍵詞，因為它是由多個(gè)獨立的組件組成的。這些組件分別是 Filebeat、Kafka、Logstash 和 Elasticsearch，它們共同構成了日志中心。
　　
　　經(jīng)過(guò)考慮和研究，我們確定了一套適合當前微服務(wù)架構的日志管理流程。
　　1. 日志選擇----確定選擇哪些日志記錄進(jìn)行分析
　　2. 日志采集 ---- filebeat 輕采集
　　3. 日志緩沖---- kafka 緩存在本地緩沖
　　4. 日志過(guò)濾 ---- logstash 過(guò)濾
　　5. 日志存儲----elasticsearch索引存儲
　　6. 日志檢索----使用elasticsearch本身的檢索功能
　　7. 日志展示----參考kibana風(fēng)格實(shí)現日志數據可視化
　　在傳統的 ELK 上，Logstash 日志 采集 被 Filebeat 取代，在日志存儲前增加了 kafka 緩沖和 logstash 過(guò)濾。這組流程確保功能完整，同時(shí)提高性能并使部署盡可能輕量級。
　　三、日志中心的流程及實(shí)現
　　選型：根據業(yè)務(wù)場(chǎng)景
　　日志內容復雜多樣，如何采集有價(jià)值的日志是我們關(guān)注的重點(diǎn)。日志的價(jià)值實(shí)際上取決于業(yè)務(wù)運營(yíng)。同一種日志在不同業(yè)務(wù)場(chǎng)景中的價(jià)值會(huì )完全不同。根據以往的業(yè)務(wù)實(shí)踐，結合一些企業(yè)級的業(yè)務(wù)需求，我們選擇重點(diǎn)關(guān)注以下幾類(lèi)日志。? Trace log [trace.log] 服務(wù)器引擎的調試日志，供系統維護人員定位系統運行問(wèn)題。? 系統日志[system.log] 大粒度引擎運行進(jìn)出日志，用于調用棧分析，可用于性能分析。? 部署日志[deploy.log] 記錄系統啟動(dòng)、停止、組件包部署、集群通知等信息的日志。? 引擎日志[引擎。log] 一個(gè)細粒度的引擎運行日志，可以打印上下文數據，定位業(yè)務(wù)問(wèn)題。? 組件包日志[contribution.log] 組件包記錄的業(yè)務(wù)日志（使用基礎組件庫的日志輸出API寫(xiě)日志）
　　通過(guò)以上幾類(lèi)日志，可以明確我們在分析問(wèn)題時(shí)要查找的位置，通過(guò)分類(lèi)縮小查找范圍，提高效率。
　　采集（Filebeat）：專(zhuān)注于輕量級
　　微服務(wù)應用分布在各個(gè)領(lǐng)域的各個(gè)系統中。應用程序的日志在各個(gè)域的各個(gè)系統中相應生成。日志管理首先要做好日志的采集工作。對于日志采集 作業(yè)，我們選擇 Elastic Stack 中的 Filebeat。
　　
　　Filebeat與應用程序掛鉤，因為我們需要知道如何采集每個(gè)位置的日志信息，所以輕量級其實(shí)是我們考慮的主要因素。
　　Filebeat 會(huì )有一個(gè)或多個(gè)探測器，稱(chēng)為 Prospector，可以實(shí)時(shí)監控指定文件或指定文件目錄的變化狀態(tài)，并將變化狀態(tài)及時(shí)傳送到下一層——Spooler 進(jìn)行處理。
　　Filebeat還有一個(gè)特性我們介紹給日志過(guò)濾，這是定位源頭的關(guān)鍵。
　　這兩點(diǎn)正好滿(mǎn)足了我們實(shí)時(shí)采集實(shí)現日志的需要。新增的日志通過(guò) Filebeat 動(dòng)態(tài)存儲和及時(shí)采樣。至此，如何采集記錄信息的問(wèn)題就完美解決了。
　　緩沖（Kafka）：高吞吐量、易擴展、高上限
　　在日志存儲之前，我們引入了一個(gè)組件，Kafka，作為日志緩沖層。Kafka 充當緩沖區，避免高峰應用對 ES 的影響。由于 ES 瓶頸問(wèn)題導致數據丟失問(wèn)題。同時(shí)，它還具有數據聚合的功能。
　　使用 kafka 進(jìn)行日志緩沖有幾個(gè)優(yōu)點(diǎn)：
　　
　　
　　篩選（Logstash）：提前埋點(diǎn)，便于定位
　　日志信息是通過(guò)filebeat、kafka等工具采集和傳輸的，給日志事件增加了很多額外的信息。使用Logstash實(shí)現二次處理，可以在過(guò)濾器中進(jìn)行過(guò)濾或處理。
　　Filebeat 在采集信息時(shí)，我們通過(guò)將同一臺服務(wù)器上的日志信息發(fā)送到同一個(gè) Kafka 主題來(lái)實(shí)現日志聚合。主題名稱(chēng)是服務(wù)器的關(guān)鍵信息。在更細粒度的層面上，您還可以將每個(gè)應用的信息聚合為一個(gè)主題。Kafka 中 Filebeat 接收到的日志信息中收錄一個(gè)標識符——日志來(lái)自哪里。Logstash的作用是在日志導入到ES之前，通過(guò)標識符過(guò)濾匯總相應的日志信息，然后發(fā)送給ES，為后續查找提供依據。方便我們清晰定位問(wèn)題。
　　
　　存儲（ES）：易于擴展，易于使用
　　Elastic 是 Lucene 的一個(gè)包，提供開(kāi)箱即用的 REST API 操作接口。
　　
　　選擇 ElasticSearch 的主要原因是：分布式部署，易于擴展；處理海量數據，滿(mǎn)足各種需求；強大的搜索功能，基于Lucene可以實(shí)現快速搜索；活躍的開(kāi)發(fā)社區，更多信息，易于上手。
　　搜索 (ES)：分類(lèi)
　　Elasticsearch 本身是一個(gè)強大的搜索引擎，支持按系統、應用、應用實(shí)例組、應用實(shí)例IP、關(guān)鍵字、日志級別、時(shí)間間隔來(lái)檢索所需的日志信息。
　　
　　顯示（Kibana）：配置簡(jiǎn)單，一目了然
　　在查看密密麻麻的日志信息時(shí)，往往會(huì )有一種頭暈目眩的感覺(jué)。需要對日志信息進(jìn)行簡(jiǎn)化提取，對日志信息進(jìn)行整合分析，并以圖表的形式展示日志信息。在展示的過(guò)程中，我們可以借鑒和吸收 Kibana 在日志可視化方面的努力，實(shí)現日志的可視化處理。通過(guò)簡(jiǎn)單的配置，我們可以清晰、可視化的看到某個(gè)服務(wù)或應用的日志分析結果。.
　　

　　通過(guò)關(guān)鍵詞采集文章采集api(推薦10個(gè)最好用的數據采集工具10款用)
　　推薦10個(gè)最好的數據采集工具
　　10個(gè)最好的數據采集工具，免費采集工具，網(wǎng)站網(wǎng)頁(yè)采集工具，各種行業(yè)采集工具，目前最好的一些免費數據< @采集 工具，希望對大家有幫助。
　　,優(yōu)采云采集器優(yōu)采云是基于運營(yíng)商網(wǎng)上實(shí)名制的網(wǎng)頁(yè)數據采集、移動(dòng)互聯(lián)網(wǎng)數據和API接口服務(wù)的數據服務(wù)。 -name 系統平臺。它最大的特點(diǎn)就是不用懂網(wǎng)絡(luò )爬蟲(chóng)技術(shù)就可以輕松搞定采集。
　　2、優(yōu)采云采集器 優(yōu)采云采集器是目前使用最多的互聯(lián)網(wǎng)數據采集軟件。以其靈活的配置和強大的性能領(lǐng)先于國內同類(lèi)產(chǎn)品，贏(yíng)得了眾多用戶(hù)的一致認可。只是各大平臺都設置了嚴格的反爬，很難獲取有價(jià)值的數據。
　　3、金壇中國 金壇中國的數據服務(wù)平臺有多種專(zhuān)業(yè)的數據采集工具，包括很多開(kāi)發(fā)者上傳的采集工具，其中很多都是免費的。無(wú)論是采集國內外網(wǎng)站、行業(yè)網(wǎng)站、政府網(wǎng)站、app、微博、搜索引擎、公眾號、小程序等數據還是其他數據，幾乎覆蓋了業(yè)界99%的采集軟件，可以通過(guò)近距離檢測采集來(lái)完成。對技術(shù)含量要求高的高強度抗爬或抗裂有專(zhuān)業(yè)的技術(shù)方案。在專(zhuān)業(yè)性方面，金壇的專(zhuān)業(yè)性是毋庸置疑的，其中不少也是針對高難度采集軟件的定制開(kāi)發(fā)服務(wù)。
　　4、大飛采集器大飛采集器可以采集多個(gè)網(wǎng)頁(yè)，準確率比較高，跟復制粘貼一樣準確，它最大的特點(diǎn)是網(wǎng)頁(yè) 采集 的代詞是單數，因為焦點(diǎn)。
　　5、Import.io 使用Import.io適配任何網(wǎng)站，只要進(jìn)入網(wǎng)站，就可以整齊的抓取網(wǎng)頁(yè)的數據，操作很簡(jiǎn)單，自動(dòng)采集，< @采集 結果可視化。但是，無(wú)法選擇特定數據并自動(dòng)翻頁(yè)采集。對于一些防爬設置強的網(wǎng)站來(lái)說(shuō)，是無(wú)能為力的。
　　6、ParseHub ParseHub 分為免費版和付費版。從數百萬(wàn)個(gè)網(wǎng)頁(yè)中獲取數據。輸入數千個(gè)鏈接和關(guān)鍵字，ParseHub 會(huì )自動(dòng)搜索它們。使用我們的休息 API。以 Excel 和 JSON 格式下載提取的數據。將您的結果導入 Google 表格和 Tableau。
　　7、Content Grabber Content Grabber是國外大神制作的神器，可以從網(wǎng)頁(yè)中抓取內容（視頻、圖片、文字），并提取成Excel、XML、CSV等大部分數據庫。該軟件基于網(wǎng)頁(yè)抓取。獲取和 Web 自動(dòng)化。
　　8、ForeSpider ForeSpider 是一個(gè)非常有用的網(wǎng)絡(luò )數據工具采集。用戶(hù)可以使用此工具幫助您自動(dòng)檢索網(wǎng)頁(yè)中的各種數據信息。這個(gè)軟件使用起來(lái)很簡(jiǎn)單，但是也有一個(gè)網(wǎng)站在面對一些高難度和高強度的反爬設置時(shí)無(wú)能為力。
　　9、阿里巴巴數據采集阿里巴巴數據采集大平臺運行穩定不死機，可實(shí)現實(shí)時(shí)查詢(xún)。
　　10、優(yōu)采云采集器 優(yōu)采云采集器操作很簡(jiǎn)單，按照流程很容易上手，

　　通過(guò)關(guān)鍵詞采集文章采集api(幾百上千個(gè)不同的CMS網(wǎng)站都能實(shí)現統一管理？
)
　　[內容]！
　　其他功能，不用擔心！這就是 zblog 可以訪(fǎng)問(wèn) 文章 的方式！然后，單擊以保存配置并進(jìn)行預覽。如果之前的列表規則和內容規則都寫(xiě)對了，現在可以采集文章!
　　二、通過(guò)關(guān)鍵詞采集文章
　　
　　無(wú)需學(xué)習更多專(zhuān)業(yè)技能，簡(jiǎn)單幾步輕松搞定采集網(wǎng)頁(yè)數據，精準數據發(fā)布，關(guān)鍵詞用戶(hù)只需在軟件中進(jìn)行簡(jiǎn)單設置，完成后系統根據用戶(hù)設置關(guān)鍵詞進(jìn)行采集，匹配內容和圖片準確率高，自動(dòng)執行文章采集發(fā)布，提供方便快捷的數據服務(wù)！ ！
　　
　　相關(guān)規則采集門(mén)檻低，無(wú)需花大量時(shí)間學(xué)習軟件操作，無(wú)需配置采集規則即可一分鐘上手，輸入關(guān)鍵詞采集.無(wú)需人工干預，將任務(wù)設置為自動(dòng)執行采集releases。幾十萬(wàn)個(gè)不同的cms網(wǎng)站可以統一管理。一個(gè)人維護數百個(gè) 網(wǎng)站文章 更新也不是問(wèn)題。
　　這類(lèi)工具還是很強大的，只要輸入關(guān)鍵詞采集，就可以自動(dòng)采集通過(guò)軟件采集@發(fā)布文章 > .
　　
　　您還可以設置自動(dòng)下載圖片以保存本地或第三方。配備自動(dòng)內鏈、前后插入內容或標題，以及網(wǎng)站內容插入或隨機作者、隨機閱讀等，形成“偽原創(chuàng )”。軟件還有監控功能，可以直接通過(guò)軟件查看文章采集的發(fā)布狀態(tài)。
　　
　　看完這篇文章，如果覺(jué)得不錯，不妨采集一下或者發(fā)給有需要的朋友同事！你的一舉一動(dòng)都會(huì )成為博主源源不斷的動(dòng)力！
　　

　　通過(guò)關(guān)鍵詞采集文章采集api(10個(gè)很棒的Python特性，你不能使用了嗎？)
　　Python部落()組織翻譯，禁止轉載，歡迎轉發(fā)
　　注：本文翻譯自同名PPT，所以文章有很多重復的段落標題。這些標題就是頁(yè)面上PPT的標題，而且PPT的標題經(jīng)常重復出現。
　　10 個(gè)因為拒絕升級到 Python 3 而無(wú)法使用的很棒的 Python 特性，你也可以認為有 11 個(gè)特性。
　　
　　序章功能 0：矩陣乘法
　　功能 0，因為您還不能實(shí)際使用它的目錄
　　政治人物 465
　　在 Python3.5 中，您將能夠使用
　　
　　代替：
　　
　　任何對象都可以覆蓋 __matmul__ 以使用 @。
　　功能一：高級拆包
　　你曾經(jīng)能夠做到這一點(diǎn)：
　　
　　現在你可以這樣做：
　　
　　*rest 可以出現在任何地方：
　　
　　功能一：高級解包獲取文件的第一行和最后一行
　　
　　重構你的功能
　　
　　特性 2：關(guān)鍵詞 唯一參數
　　
　　選項出現在 *args 之后。訪(fǎng)問(wèn)它的唯一方法是顯式調用 f(a, b, option=True) 如果你不想采集 *args，你可以只寫(xiě)一個(gè) *：
　　
　　特性 2：關(guān)鍵詞 唯一參數
　　不再有“糟糕，我不小心向函數傳遞了太多參數，其中一個(gè)將作為關(guān)鍵字參數接收”。
　　
　　特性 2：關(guān)鍵詞 唯一參數
　　將其更改為：
　　
　　特性 2：關(guān)鍵詞 唯一參數
　　或者，“我重新排序了函數的 關(guān)鍵詞 參數，但有些是隱式傳遞的”
　　例子：
　　
　　特性 2：關(guān)鍵詞 唯一參數
　　max 內置函數支持 max(a, b, c)。我們也應該允許這樣做。
　　
　　我們只是打破了前面的代碼，不使用 關(guān)鍵詞 作為第二個(gè)參數來(lái)將值傳遞給鍵。
　　
　?。ㄊ聦?shí)上??在 Python 2 中它會(huì )返回 ["a", "ab", "ac"]，參見(jiàn)特性 6)。
　　順便說(shuō)一句，max 表明它在 Python2 中已經(jīng)是可能的，但前提是你用 C 編寫(xiě)函數。
　　顯然，我們應該使用 maxall(iterable, *, key=None) 來(lái)開(kāi)始。
　　特性 2：關(guān)鍵詞 唯一參數
　　您可以使您的 API 保持“最新”。
　　傻瓜式例子
　　
　　好吧，也許將更長(cháng)的時(shí)間放在更短的時(shí)間之前會(huì )更有意義。. .
　　太糟糕了，你會(huì )破壞代碼。
　　特性 2：關(guān)鍵詞 唯一參數
　　在 Python 3 中，您可以使用：
　　
　　現在，a 和 b 必須像 extendto(10, short=a, long=b) 一樣傳入。
　　或者如果您愿意，可以像這樣 extendto(10, long=b, short=a) 。
　　特性 2：關(guān)鍵詞 唯一參數
　　在不破壞 API 的情況下添加新的 關(guān)鍵詞 參數。
　　Python3 在標準庫中執行此操作。
　　例如， os 模塊中的函數具有 follow_symlinks 選項。
　　因此，您可以只使用 os.stat(file, follow_symlinks=False) 而不是 os.lstat。
　　如果這聽(tīng)起來(lái)更冗長(cháng)，你可以做
　　
　　代替
　　
　　但是， os.stat(file, some_condition) 沒(méi)有。
　　不要將其視為兩個(gè)參數的函數。
　　特征二：關(guān)鍵詞唯一參數特征三：連接異常
　　情況：你用except捕獲異常，做某事，然后觸發(fā)不同的異常。
　　
　　問(wèn)題：您丟失了先前異常的回溯。
　　
　　剛才OSError怎么了？
　　特點(diǎn)三：連接異常
　　Python3 向您展示了整個(gè)異常鏈：
　　
　　您也可以使用 raise from 手動(dòng)執行此操作：
　　
　　特性四：細分 OSError 子類(lèi)
　　我剛才顯示的代碼是錯誤的。
　　它捕獲 OSError 異常并假定它是權限錯誤。
　　但是 OSError 異?？赡苁怯啥喾N情況引起的（文件未找到、目錄、不是目錄、管道損壞等）
　　你確定你需要這樣做：
　　
　　哇?？膳?。
　　
　　特性四：細分 OSError 子類(lèi)
　　Python3 通過(guò)添加一系列新的異常來(lái)解決這個(gè)問(wèn)題。
　　你只需要這樣做：
　　
　?。▌e擔心，PermissionError 是 OSError 的子類(lèi)，舊的 .errno 狀態(tài)碼仍然有效）。
　　特征 5：一切都是迭代器 特征 5：一切都是迭代器
　　如果你這樣做：
　　
　　特征 5：一切都是迭代器
　　
　　特征 5：一切都是迭代器 特征 5：一切都是迭代器 特征 6：并非一切都可以比較
　　在 Python2 中，您可以執行以下操作：
　　
　　干杯。我只反駁數學(xué)。
　　
　　特點(diǎn)6：不是所有的東西都可以比較
　　因為在 Python 2 中，您可以比較所有內容。
　　
　　在 Python3 中，你不能這樣做：
　　
　　這避免了一些微妙的錯誤，例如所有類(lèi)型的非強制轉換，從 int 到 str，反之亦然。
　　尤其是當您隱式使用 > 時(shí)，例如 max 或 sorted。
　　在 Python2 中：
　　
　　特征 7：產(chǎn)量來(lái)自
　　如果您使用生成器，那就太好了。
　　不要這樣寫(xiě)：
　　
　　寫(xiě)就好了：
　　
　　只需將生成器重構為子生成器。
　　特征 7：產(chǎn)量來(lái)自
　　把所有東西都變成發(fā)電機更容易。參見(jiàn)上面提到的“特征 5：一切都是迭代器”，你就會(huì )明白為什么要這樣做。
　　不要堆疊來(lái)生成列表，只需 yield 或 yield from。
　　不好：
　　
　　行：
　　
　　更好的一個(gè)：
　　
　　特征 7：產(chǎn)量來(lái)自
　　如果您不知道，生成器很棒，因為：
　　特性8：異步IO（asyncio）
　　使用新的協(xié)程功能和保存的生成器狀態(tài)進(jìn)行異步 IO。
　　
　　不會(huì )騙你的。我還是不明白這一點(diǎn)。
　　但是這沒(méi)關(guān)系。甚至大衛比茲利也很難理解這一點(diǎn)。
　　
　　特性 9：標準庫添加故障處理程序
　　顯示（有限的）回溯，即使 Python 死得很慘。
　　使用 kill -9 時(shí)不起作用，但就像 segfaults 一樣。
　　
　　或者使用 kill -6 （程序請求異常終止）
　　它也可以通過(guò) python -X faulthandler 激活。
　　特性九：標準庫新增ipaddress
　　確切地。IP地址。
　　
　　另一件事你不希望自己靜止不動(dòng)。
　　特性九：標準庫新增 functools.lru_cache
　　為你的函數提供一個(gè) LRU 緩存裝飾器。
　　從文檔中。
　　
　　特性 9：標準庫添加枚舉
　　最后是標準庫中的枚舉類(lèi)型。
　　僅限 Python 3.4。
　　
　　使用一些魔法僅在 Python3 中有用（由于元類(lèi)更改）：
　　
　　功能 10：有趣的 Unicode 變量名
　　
　　功能注釋
　　
　　注釋可以是任意 Python 對象。
　　除了將注釋放入 __annotations__ 字典之外，Python 對注釋不做任何事情。
　　
　　但它為圖書(shū)館作者做有趣的事情開(kāi)辟了可能性。
　　例如，IPython 2.0 小工具。
　　特點(diǎn)11：Unicode和字節流英文原文：
　　譯者：leisants

　　通過(guò)關(guān)鍵詞采集文章采集api(微軟研究員為Azure認知搜索“加持”了語(yǔ)義搜索功能)
　　編者按：作為云搜索服務(wù)，Azure 認知搜索集成了強大的 API 和工具，幫助開(kāi)發(fā)人員構建豐富的搜索體驗。不止于現狀，微軟研究人員還為 Azure 認知搜索的語(yǔ)義搜索功能“加冕”，讓搜索引擎具備了語(yǔ)義排序、語(yǔ)義摘要、語(yǔ)義高亮、語(yǔ)義問(wèn)答、自動(dòng)拼寫(xiě)糾正等能力。本文將揭示這些驚人功能背后的核心技術(shù)，涉及關(guān)鍵詞包括預訓練、圖網(wǎng)絡(luò )、多任務(wù)處理等。本文編譯自 Microsoft Research 博客“語(yǔ)義搜索背后的科學(xué)：Bing 的 AI 如何為 Azure 認知搜索提供動(dòng)力”。
　　智能語(yǔ)義搜索是搜索引擎追求的終極目標。多年來(lái)，微軟研究人員一直在探索實(shí)現智能語(yǔ)義搜索的途徑，最近將相關(guān)研究成果集成到微軟Azure云計算平臺的認知服務(wù)——Azure認知搜索（Azure Cognitive Search）中，為所有人提供語(yǔ)義搜索能力。預覽版中的 Azure 用戶(hù)。該技術(shù)核心部分涉及的多項研究成果均來(lái)自微軟亞洲研究院。
　　Azure 認知搜索是一種云搜索服務(wù)，它為開(kāi)發(fā)人員提供 API 和工具，以基于 Web、移動(dòng)和企業(yè)應用程序中的專(zhuān)門(mén)異構內容構建豐富的搜索體驗。Azure 認知搜索具有多個(gè)組件，包括用于檢索和查詢(xún)的 API、通過(guò) Azure 數據提取的無(wú)縫集成、與 Azure 認知服務(wù)的深度集成以及用戶(hù)擁有的檢索內容的持久存儲。默認情況下，Azure 認知搜索使用 BM25 算法，該算法通常用于信息檢索。
　　為了提高微軟必應搜索的相關(guān)性，微軟研究和開(kāi)發(fā)人員此前通過(guò)基于 Transformer 的語(yǔ)言模型改進(jìn)了必應搜索。這些改進(jìn)讓搜索引擎不僅可以匹配關(guān)鍵詞，還可以利用詞和內容背后的語(yǔ)義進(jìn)行搜索，轉化的能力就是語(yǔ)義搜索。
　　
　　將語(yǔ)義搜索功能集成到 Azure 認知搜索中的效果
　　語(yǔ)義搜索顯著(zhù)提高了必應搜索的搜索結果質(zhì)量。但微軟研發(fā)團隊在此過(guò)程中發(fā)現，為了最大限度發(fā)揮 AI 的威力，需要大量的專(zhuān)業(yè)人員來(lái)集成和部署 AI 規模的相關(guān)技術(shù)和產(chǎn)品，例如大規模的基于 Transformer 的語(yǔ)言模型。 . 預訓練、跨不同任務(wù)的多任務(wù)微調、將大型模型提煉成質(zhì)量損失最小的可部署模型等。而這樣的專(zhuān)業(yè)團隊并不是每個(gè)公司都能負擔得起的。微軟秉承賦能每一個(gè)人、每一組織的公司理念，通過(guò)將相關(guān)研究成果整合到 Azure 認知搜索中，降低了人們使用 AI 規模技術(shù)的門(mén)檻。
　　Azure 認知搜索中的語(yǔ)義搜索功能
　　讓我們仔細看看 Azure 認知搜索中的語(yǔ)義搜索功能。
　　語(yǔ)義排序：顯著(zhù)提高相關(guān)性。傳統的搜索方式是基于關(guān)鍵詞排序結果，基于Transformer的語(yǔ)義排序引擎可以理解文本背后的含義。在A(yíng)/B測試中，語(yǔ)義搜索功能提升了搜索結果的點(diǎn)擊率（2.0%），三個(gè)詞以上的搜索結果點(diǎn)擊率也提升了4.@ >5%。
　　
　　通過(guò)語(yǔ)義排序提高相關(guān)性的示例（右）
　　語(yǔ)義摘要：提取關(guān)鍵信息。相關(guān)性只是一方面，搜索結果中的標題和片段也很重要。好的標題和摘要讓用戶(hù)一眼就能看出結果是否是他們想要的。
　　語(yǔ)義突出顯示：機器閱讀理解。語(yǔ)義高亮的簡(jiǎn)單理解是關(guān)注一個(gè)搜索結果并以粗體顯示。通過(guò)語(yǔ)義高亮，用戶(hù)可以直接得到他們需要的答案，或者通過(guò)快速掃描結果頁(yè)面找到他們需要的文檔，甚至可以直接得到摘要。使用機器閱讀理解可以幫助找到段落的重點(diǎn)，從而大大提高閱讀效率。
　　
　　使用語(yǔ)義搜索提取摘要、語(yǔ)義強調的示例
　　語(yǔ)義問(wèn)答：快速解答。疑問(wèn)式查詢(xún)是搜索引擎經(jīng)常遇到的一種搜索方法，其背后用戶(hù)往往希望優(yōu)先考慮簡(jiǎn)短而準確的答案，而不是文檔。語(yǔ)義搜索可以使用機器學(xué)習來(lái)讀取語(yǔ)料庫中的所有文檔，然后總結并在頂部顯示答案。
　　
　　語(yǔ)義搜索提取文檔亮點(diǎn)并提供快速答案
　　自動(dòng)拼寫(xiě)更正。據統計，用于輸入的句子中有10%~15%存在拼寫(xiě)錯誤，拼寫(xiě)錯誤會(huì )極大地影響搜索結果的質(zhì)量，集成語(yǔ)義搜索的搜索引擎可以實(shí)現自動(dòng)拼寫(xiě)糾正。
　　背后的技術(shù)：預訓練、圖網(wǎng)絡(luò )、多任務(wù)......
　　上述功能的實(shí)現離不開(kāi)微軟研究院在NLP和語(yǔ)義搜索方面取得的突破性進(jìn)展。研究人員與微軟內部其他 AI 團隊合作開(kāi)發(fā)了一系列神經(jīng)網(wǎng)絡(luò )模型，不僅在 SQuAD、GLUE、SuperGLUE 等多個(gè)行業(yè)基準測試中取得了最佳成績(jì)，而且還積極部署應用，實(shí)現了微軟相關(guān)產(chǎn)品。性能改進(jìn)。
　　以下是 Microsoft 用于實(shí)現語(yǔ)義搜索的具體技術(shù)：
　　統一的預訓練語(yǔ)言模型：UniLM 和 UniLM v2
　　在 Azure 認知搜索中，預訓練語(yǔ)言模型利用了微軟亞洲研究院的統一預訓練語(yǔ)言模型 UniLM（Unified Language Model Pre-training），這是第一個(gè)統一的語(yǔ)言理解和語(yǔ)言生成模型。在基準測試中表現良好的預訓練模型。UniLM 涵蓋了兩個(gè)關(guān)鍵的技術(shù)創(chuàng )新：一是提出了統一的預訓練框架，使得同一個(gè)模型可以同時(shí)支持自然語(yǔ)言理解和自然語(yǔ)言生成任務(wù)，而之前的大部分預訓練模型主要是針對自然語(yǔ)言的。語(yǔ)言理解任務(wù)。第二大創(chuàng )新是提出了部分自回歸預訓練范式和偽掩碼語(yǔ)言模型，可以更高效地訓練出更好的自然語(yǔ)言預訓練模型。
　　在 ICML 2020 上，來(lái)自微軟亞洲研究院的研究人員還提出了一種新的訓練 UniLM 的訓練框架，Pseudo-Masked Language Models for Unified Language Model Pre-Training，簡(jiǎn)稱(chēng)“Unified Pre-training Pseudo-Mask Language Model”，簡(jiǎn)稱(chēng) UniLM v2。UniLM v2 使用傳統掩碼通過(guò)自動(dòng)編碼來(lái)學(xué)習掩碼標記與上下文之間的關(guān)系，并使用偽掩碼通過(guò)部分自回歸來(lái)學(xué)習掩碼標記之間的關(guān)系。必應搜索中的技術(shù)于 2019 年初在 BERT 上實(shí)現，并通過(guò)使用 UniLM v2 提高了其搜索質(zhì)量。
　　
　　統一的預訓練語(yǔ)言模型架構
　　機器閱讀理解：一個(gè)多粒度的閱讀理解框架
　　機器閱讀理解 (MRC) 的任務(wù)是從文檔中找到給定問(wèn)題的簡(jiǎn)短答案（例如短語(yǔ)）或長(cháng)答案（例如段落）。由于最大長(cháng)度的限制，大多數現有的 MRC 方法在答案提取過(guò)程中將文檔視為單獨的段落，而沒(méi)有考慮它們之間的內在關(guān)系。
　　為了更好地對 MRC 進(jìn)行建模，微軟亞洲研究院的研究人員提出了一種基于圖注意力網(wǎng)絡(luò )和預訓練語(yǔ)言模型的多粒度閱讀理解框架，并聯(lián)合訓練對兩個(gè)粒度答案之間的聯(lián)系進(jìn)行建模。在這個(gè)框架中，首先根據文檔的層次性質(zhì)，例如段落、句子和符號，為每個(gè)文檔構建一個(gè)圖網(wǎng)絡(luò )，然后使用一個(gè)圖注意力網(wǎng)絡(luò )來(lái)學(xué)習不同層次的表示，最后是一個(gè)序列的結構獲得。轉換后的表示被聚合到答案選擇模塊中以獲得答案。其中，長(cháng)答案和短答案的抽取任務(wù)可以一起訓練，從而相互促進(jìn)。
　　上述研究論文是《Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension》，已獲得 ACL 2020 收錄 的認可，并已用于 Bing Search 中的大部分問(wèn)答任務(wù)。
　　論文鏈接：
　　多任務(wù)深度神經(jīng)網(wǎng)絡(luò )：MT-DNN
　　微軟研究院和 Microsoft Dynamics 365 AI 團隊合作提出了一種新的多任務(wù)深度神經(jīng)網(wǎng)絡(luò )模型——MT-DNN。該模型是第一個(gè)在 GLUE 排行榜上超越人類(lèi)表現的 AI 模型，它結合了 BERT 的優(yōu)勢，并在 10 個(gè)自然語(yǔ)言理解任務(wù)上優(yōu)于 BERT，在多個(gè)流行的基準 SOTA 結果上創(chuàng )造了新的基準。
　　MT-DNN 結合了多任務(wù)學(xué)習和語(yǔ)言模型預訓練，用于跨多個(gè)自然語(yǔ)言理解任務(wù)學(xué)習語(yǔ)言表示。MT-DNN 不僅利用了大量的跨任務(wù)數據，而且受益于正則化效應，提高了模型的泛化能力，使其在新的任務(wù)和領(lǐng)域中表現出色。語(yǔ)義搜索中的模型利用跨各種搜索任務(wù)的多任務(wù)學(xué)習來(lái)最大化它們的性能。
　　研究論文“用于自然語(yǔ)言理解的多任務(wù)深度神經(jīng)網(wǎng)絡(luò )”發(fā)表在 ACL 2019 上。
　　論文鏈接：
　　深度自注意力知識蒸餾：MiniLM
　　大規模預訓練模型在自然語(yǔ)言理解和生成任務(wù)中表現良好，但龐大的參數和計算成本使其難以直接部署到在線(xiàn)產(chǎn)品中。為此，微軟亞洲研究院提出了通用方法 MiniLM - Deep Self-Attention Distillation，將基于 Transformer 的預訓練大模型壓縮成預訓練小模型。核心思想是將預訓練好的Transformer模型中非常重要的Self-Attention知識最大程度的轉移到小模型上。
　　MiniLM 在單語(yǔ)言和多語(yǔ)言模型上進(jìn)行了壓縮實(shí)驗，取得了不錯的效果。Azure Cognitive Search 的語(yǔ)義搜索解決方案采用了 MiniLM 技術(shù)，具有以原創(chuàng )大模型 20% 的成本保持 95% 準確率的效果。
　　
　　MiniLM：深度自注意力蒸餾
　　Semantic Search 背后的 AI 模型非常強大，并且已經(jīng)在基準測試和 Bing Search 上得到驗證。通過(guò)將語(yǔ)義搜索集成到 Azure 認知搜索中，微軟在普及先進(jìn)的機器學(xué)習技術(shù)和讓人工智能普及方面又向前邁出了一大步。

　　通過(guò)關(guān)鍵詞采集文章采集api(優(yōu)化（ASO）實(shí)戰輔導書(shū)《沖榜》)
　　白鯨公開(kāi)課08《你的APP出海必須掌握哪些ASO策略？》，我們邀請了優(yōu)化（ASO）實(shí)用教程書(shū)《沖榜》的作者之一霍曉亮老師來(lái)分享。
　　小亮先生是高級ASOer?，F任某知名互聯(lián)網(wǎng)公司ASO產(chǎn)品經(jīng)理。擅長(cháng)App Store算法分析和大數據挖掘。他對iOS推廣有深入的研究。小亮先生與資深互聯(lián)網(wǎng)營(yíng)銷(xiāo)顧問(wèn)李景航先生合著(zhù)《粉碎榜單》，全面介紹了App Store優(yōu)化的“正確打開(kāi)方式”，幫助移動(dòng)營(yíng)銷(xiāo)人員有效提升投放產(chǎn)出比。在平臺上出售。
　　小編簡(jiǎn)單總結了本次公開(kāi)課的精髓，分享給大家。詳情及部分課堂問(wèn)答，可掃描下方二維碼前往直播間觀(guān)看直播。
　?。ㄩL(cháng)按識別二維碼前往直播間學(xué)習）
　　本次公開(kāi)課大綱：
　　
　　一、App Store 搜索優(yōu)化
　　1. 搜索優(yōu)化原理
　　在 iTC 后端（即 iTunes Connect，2018 年 6 月更名為 App Store Connect）中，每個(gè) App 可以用 關(guān)鍵詞 填充，總共 100 個(gè)字符。搜索時(shí)的搜索詞。一個(gè)App只能填100個(gè)字符，但是關(guān)鍵詞的覆蓋率可以達到10000+，這和關(guān)鍵詞的搜索原理有關(guān)。
　　尤其是在海外推廣的應用，推廣渠道比國內更有限，應用商店搜索帶來(lái)的自然流量非常重要。要想最大程度地優(yōu)化搜索流量，首先要了解App Store的搜索優(yōu)化原理。
　　
　　分詞
　　App Store會(huì )將開(kāi)發(fā)者在iTC后臺填寫(xiě)的商家名稱(chēng)、副標題和關(guān)鍵詞拆分成多個(gè)詞，然后重新組合以匹配用戶(hù)的搜索詞，不同位置的詞可以交叉字符組合. 下面我們以中文單詞為例，詳細分析搜索優(yōu)化的原理。
　　例如，如果我們添加“網(wǎng)易音樂(lè )汽車(chē)新聞”這8個(gè)字符，搜索引擎會(huì )根據我們的語(yǔ)言習慣將其組合成“網(wǎng)易”、“音樂(lè )”、“汽車(chē)”和“新聞”4個(gè)詞。將這 4 個(gè)單詞排列組合起來(lái)會(huì )形成 64 個(gè)新的 關(guān)鍵詞，也就是上面列表中列出的 關(guān)鍵詞。
　　需要注意的是，一些關(guān)鍵詞比如“音樂(lè )車(chē)”、“新聞車(chē)”，這樣的詞一般不會(huì )被用戶(hù)搜索到，或者搜索量很小，這些詞不需要被收錄到Apple 詞庫收錄 的。也就是說(shuō)，我們無(wú)法在第三方平臺的關(guān)鍵詞下找到對應的App。
　　Q1：我在A(yíng)pp中添加了某個(gè)關(guān)鍵詞，但是我的App并沒(méi)有出現在這個(gè)詞的搜索結果中，是什么原因？
　　A1：關(guān)鍵詞的覆蓋率有一定的概率，App Store只會(huì )顯示某一個(gè)關(guān)鍵詞的前2300條搜索結果。如果你的 App 產(chǎn)品權重比較低，或者被 App Store 處罰，添加某個(gè)關(guān)鍵詞后，搜索結果很容易出現在 2300 之外。
　　擴大詞
　　此外，App Store 會(huì )根據 App 關(guān)鍵詞 字段中的一些詞擴展一些相關(guān)詞匯。這些詞只有一部分在我們填寫(xiě)的字符中，另一部分是蘋(píng)果為我們匹配的。例如，如果關(guān)鍵詞中有“網(wǎng)易”，則很有可能匹配到網(wǎng)易音樂(lè )、網(wǎng)易新聞、網(wǎng)易購物等關(guān)鍵詞。需要注意的是，擴詞是有一定概率的，要注意哪些詞可以覆蓋，哪些不能。
　　比賽
　　App Store 還會(huì )根據 App 的類(lèi)別和屬性自動(dòng)為 App 匹配一些詞匯。這些詞匯不會(huì )出現在填寫(xiě)的 100 個(gè)字符中，但用戶(hù)可以通過(guò)這些字符搜索我們的 App。但是這些字符的搜索索引和搜索排名都比較低，被蘋(píng)果處罰后比較容易被刪除。
　　2. 關(guān)鍵詞優(yōu)化
　　關(guān)鍵詞優(yōu)化有三個(gè)基本步驟，分別是選詞、排序和去重。
　　
　　單詞選擇
　　首先，根據App的類(lèi)型，可以為App建立一個(gè)關(guān)鍵詞詞庫，把你想要覆蓋的詞都添加進(jìn)去，作為優(yōu)化的替代。選詞時(shí)要考慮以下幾個(gè)方面：
　　1）相關(guān)性
　　相關(guān)性是指關(guān)鍵詞與應用和目標用戶(hù)的關(guān)聯(lián)程度。不相關(guān)的 關(guān)鍵詞 很難產(chǎn)生有效的轉化。
　　2）搜索索引
　　搜索指數越高，用戶(hù)的搜索量就越大，給應用帶來(lái)的曝光率也越高。但這也意味著(zhù)這些詞的搜索排名和競爭也非常激烈。請注意，搜索索引低于 4605 的 關(guān)鍵詞 不會(huì )被用戶(hù)搜索。
　　3）搜索結果數
　　反映 關(guān)鍵詞 競爭的激烈程度。某個(gè)關(guān)鍵詞下的搜索結果越多，該關(guān)鍵詞的競爭就越激烈，你的應用進(jìn)入搜索結果榜首的難度就越大。
　　種類(lèi)
　　按 關(guān)鍵詞 重要性對 關(guān)鍵詞 進(jìn)行排序。關(guān)鍵詞字符中的第一個(gè)位置保留給最重要的關(guān)鍵詞。因為位置越高，位置權重越高，可以加強關(guān)鍵詞的覆蓋。
　　重復數據刪除
　　App Store會(huì )將關(guān)鍵詞拆分組合成一個(gè)新的關(guān)鍵詞，所以名稱(chēng)、副標題、關(guān)鍵詞字符中的每個(gè)單詞只需要出現一次。刪除一些不相關(guān)的，搜索4605以下的索引，重復關(guān)鍵詞，避免占用關(guān)鍵詞個(gè)字符。
　　Q2：如果 100 個(gè) 關(guān)鍵詞 字符不夠怎么辦？
　　A2：這個(gè)問(wèn)題可以通過(guò)多區域關(guān)鍵詞覆蓋來(lái)解決，即關(guān)鍵詞定位。例如，除了簡(jiǎn)體中文，在中國生效的語(yǔ)言還包括English Australia、English UK和English US。這樣，關(guān)鍵詞 字符可以擴展為 200 甚至 300 個(gè)字符。
　　二、Apple 搜索廣告優(yōu)化 ASM
　　在做 Apple Search Ads 優(yōu)化之前，我們有必要先了解一下 Apple Search Ads 歸因。
　　
　　1. Apple Search Ads 歸因介紹
　　App Store 搜索廣告歸因原理是當用戶(hù)點(diǎn)擊蘋(píng)果搜索廣告后，用戶(hù)在接下來(lái)的 30 天內通過(guò)任何方式下載了該應用，將歸因于蘋(píng)果搜索廣告。
　　Q3：通過(guò)歸因 API 統計的獲取量與 Apple Search Ads 報告中統計的數據之間存在差異的原因是什么？
　　A3：第一個(gè)原因是用戶(hù)可能開(kāi)啟了廣告追蹤限制功能。在這種情況下，attribution API 的返回值為 'error'，但 Apple Search Ads Report 可以統計這部分數據。因此，Attribution API 統計的數據往往低于 Report 中的數據。第二個(gè)原因是統計方法的不同。只要用戶(hù)下載，報告就會(huì )被算作一次獲取，而API要求用戶(hù)下載并打開(kāi)APP才會(huì )被算作一次獲取。第三個(gè)原因是數據延遲。用戶(hù)下載后，需要一段時(shí)間進(jìn)行打開(kāi)等操作。這個(gè)時(shí)候API還沒(méi)有處理完點(diǎn)擊，所以延遲請求幾秒，數據會(huì )更準確。
　　2. Apple 搜索廣告優(yōu)化和 ASO 補充
　　蘋(píng)果搜索廣告于2016年9月上線(xiàn)，面向歐美部分國家開(kāi)放，而國內iOS優(yōu)化主要基于A(yíng)SO。那么在蘋(píng)果搜索廣告這個(gè)開(kāi)放的市場(chǎng)，有必要做ASO嗎？答案是肯定的。就像 SEO 和 SEM 一樣，Apple Search Ads 和 ASO 相輔相成。
　　在蘋(píng)果的搜索廣告幫助中也明確指出，App 的文字信息對 App 與關(guān)鍵詞 的相關(guān)性也有影響。與 ASO 不同的是，除了 App 的名稱(chēng)、字幕、關(guān)鍵詞、類(lèi)別和應用內購買(mǎi)項目名稱(chēng)之外，App 描述的優(yōu)化還可以提高 App 與 關(guān)鍵詞 之間的相關(guān)性。
　　
　　Apple Search Ads 的展示形式是基于 App 的源數據，所以不能單獨為廣告上傳素材，也不能指定一定的展示形式，所以最終廣告是否可以被用戶(hù)點(diǎn)擊下載用戶(hù)，轉化率很重要。而ASO的一個(gè)非常重要的部分就是轉化率優(yōu)化。因此，ASO有利于提高下載轉化率，降低廣告成本。反之，蘋(píng)果搜索廣告帶來(lái)的一些用戶(hù)行為也會(huì )影響應用在商店中的表現，主要影響列表和搜索結果排名。
　　蘋(píng)果搜索廣告帶來(lái)的下載量對應用的排名有顯著(zhù)影響。以我在美國推出的一款天氣應用為例。投放搜索廣告后，該應用在類(lèi)別列表中從 1330 位上升至 40 位左右，停止運行后的第 4 天，其排名仍保持在 400 位左右。
<p>蘋(píng)果搜索廣告對搜索結果的影響主要體現在搜索結果的排名和關(guān)鍵詞的數量上。它給app帶來(lái)的獲取量來(lái)自于用戶(hù)搜索某個(gè)關(guān)鍵詞，這和搜索結果的排名原理是一樣的——即利用搜索下載量來(lái)提升app在某個(gè)

　　通過(guò)關(guān)鍵詞采集文章采集api(
requests模塊和Ajax分析法采集微博關(guān)鍵詞的方法分析及效果展示
)
　　基于Requests和Ajax分析方法的新浪微博關(guān)鍵詞采集
　　1 項目介紹
　　本項目介紹requests模塊的使用方法和ajax解析方法采集微博關(guān)鍵詞.
　　本項目?jì)H使用“楊冪”、“鄭爽”、“趙麗穎”三個(gè)關(guān)鍵詞挖掘實(shí)例。如果有需要在微博上挖其他關(guān)鍵詞，可以替換關(guān)鍵詞繼續采集。
　　目標：
　　-搜索關(guān)鍵詞，如#趙麗英#，微博下采集
　　- 采集微博用戶(hù)的性別、位置、機構、標簽、行業(yè)、公司、簡(jiǎn)介等
　　-采集關(guān)鍵詞搜索結果的微博內容（以電影為例），可以分析電影的輿論評價(jià)，拍影迷畫(huà)像等。
　　2技術(shù)點(diǎn)3實(shí)施步驟3.1搜索微博內容爬取
　　
import requests
def get_hot_info(kw, page):
"""
獲取熱搜文章信息
:param kw: 搜索關(guān)鍵字
:return: 搜索的文章
"""
# 使用在線(xiàn)URL解碼器進(jìn)行解碼, 如下:
# https://m.weibo.cn/api/contain ... chall
# 微博的url基本地址
url = "https://m.weibo.cn/api/container/getIndex"
# url訪(fǎng)問(wèn)需要添加的參數
params = {
&#39;containerid&#39;: &#39;100103type=1&q=%s&#39; % (kw),
&#39;page&#39;: page
}
# 獲取頁(yè)面內容，并通過(guò)ijson解析返回一個(gè)字典;
hot_infos = requests.get(url, params).json()
# 提取需要的微博熱搜正文內容
hot_cards = hot_infos[&#39;data&#39;][&#39;cards&#39;]
infos = []
for card in hot_cards:
for text in card[&#39;card_group&#39;]:
if text.get(&#39;mblog&#39;):
infos.append(text[&#39;mblog&#39;][&#39;text&#39;])
return infos
　　3.2 數據清洗
　　def data_cleaning(text):
"""
微博數據的清洗
:param text: 需要清洗的內容, 提取需要的中文
:return:
"""
import re
pattern = &#39;([\u4e00-\u9fa5])&#39;
cleanData = "".join(re.findall(pattern, text))
return cleanData
　　3.3 持久保存數據
　　def persistent_data(kw=&#39;996&#39;, filename=&#39;./data/996.txt&#39;, page=5):
"""
持久化保存爬取數據到文件中， 便于數據清洗于數據分析;
:param kw: 搜索的關(guān)鍵字
:param filename: 存儲的文件位置
:param page: 爬取關(guān)鍵字微博信息的個(gè)數
:return:
"""
f = open(filename, &#39;w&#39;)
for page in range(page):
print(str(page).center(50, &#39;*&#39;))
print("正在爬取第%d頁(yè)" % (page + 1))
infos = get_hot_info(kw, page + 1)
for info in infos:
info = data_cleaning(info)
f.write(info + &#39;\n&#39;)
　　3.4 詞云展示分析
　　
def wordcloud_analyze(filename, pngFile=&#39;./data/mao.jpg&#39;, savePngFile=&#39;./data/程序員.png&#39;):
"""
詞云分析
:param filename:
:return:
"""
import jieba
import wordcloud
import numpy as np
from PIL import Image
# 打開(kāi)圖片
imageObj = Image.open( pngFile)
cloud_mask = np.array(imageObj)
wc = wordcloud.WordCloud(
background_color=&#39;snow&#39;, # 背景顏色
font_path=&#39;/usr/share/fonts/wqy-microhei/wqy-microhei.ttc&#39;, # 處理中文數據時(shí)
min_font_size=5, # 圖片中最小字體大??；
max_font_size=100, # 圖片中最大字體大??；
margin=2,
mask=cloud_mask,
)
f = open(filename)
results = &#39;&#39;
for line in f:
line = line.strip()
result = jieba.lcut(line)
results += (",".join(result))
# print(results)
wc.generate(results)
wc.to_file( savePngFile)
　　4 完整代碼及效果展示
　　import requests
def get_hot_info(kw, page):
"""
獲取熱搜文章信息
:param kw: 搜索關(guān)鍵字
:return: 搜索的文章
"""
# 使用在線(xiàn)URL解碼器進(jìn)行解碼, 如下:
# https://m.weibo.cn/api/contain ... chall
# 微博的url基本地址
url = "https://m.weibo.cn/api/container/getIndex"
# url訪(fǎng)問(wèn)需要添加的參數
params = {
&#39;containerid&#39;: &#39;100103type=1&q=%s&#39; % (kw),
&#39;page&#39;: page
}
# 獲取頁(yè)面內容，并通過(guò)ijson解析返回一個(gè)字典;
hot_infos = requests.get(url, params).json()
# 提取需要的微博熱搜正文內容
hot_cards = hot_infos[&#39;data&#39;][&#39;cards&#39;]
infos = []
for card in hot_cards:
for text in card[&#39;card_group&#39;]:
if text.get(&#39;mblog&#39;):
infos.append(text[&#39;mblog&#39;][&#39;text&#39;])
return infos
def persistent_data(kw=&#39;996&#39;, filename=&#39;./data/996.txt&#39;, page=5):
"""
持久化保存爬取數據到文件中， 便于數據清洗于數據分析;
:param kw: 搜索的關(guān)鍵字
:param filename: 存儲的文件位置
:param page: 爬取關(guān)鍵字微博信息的個(gè)數
:return:
"""
f = open(filename, &#39;w&#39;)
for page in range(page):
print(str(page).center(50, &#39;*&#39;))
print("正在爬取第%d頁(yè)" % (page + 1))
infos = get_hot_info(kw, page + 1)
for info in infos:
info = data_cleaning(info)
f.write(info + &#39;\n&#39;)
def data_cleaning(text):
"""
微博數據的清洗
:param text: 需要清洗的內容, 提取需要的中文
:return:
"""
import re
pattern = &#39;([\u4e00-\u9fa5])&#39;
cleanData = "".join(re.findall(pattern, text))
return cleanData
def wordcloud_analyze(filename, pngFile=&#39;./data/mao.jpg&#39;, savePngFile=&#39;./data/程序員.png&#39;):
"""
詞云分析
:param filename:
:return:
"""
import jieba
import wordcloud
import numpy as np
from PIL import Image
# 打開(kāi)圖片
imageObj = Image.open( pngFile)
cloud_mask = np.array(imageObj)
wc = wordcloud.WordCloud(
background_color=&#39;black&#39;, # 背景顏色
font_path=&#39;/usr/share/fonts/wqy-microhei/wqy-microhei.ttc&#39;, # 處理中文數據時(shí)
min_font_size=5, # 圖片中最小字體大??；
max_font_size=100, # 圖片中最大字體大??；
margin=2,
mask=cloud_mask,
)
f = open(filename)
results = &#39;&#39;
for line in f:
line = line.strip()
result = jieba.lcut(line)
results += (",".join(result))
# print(results)
wc.generate(results)
wc.to_file( savePngFile)
if __name__ == &#39;__main__&#39;:
kw = &#39;程序員&#39;
filename = &#39;./data/%s.txt&#39; % (kw)
page = 100
# persistent_data(filename=filename, page=page)
wordcloud_analyze(filename)

　　通過(guò)關(guān)鍵詞采集文章采集api(如何將Mall平臺運行SpringBoot應用部署到函數計算平臺)
　　簡(jiǎn)介：Spring Boot 是一個(gè)基于 Java Spring 框架的套件。它預裝了一系列 Spring 組件，允許開(kāi)發(fā)人員以最少的配置創(chuàng )建獨立的應用程序。在云原生環(huán)境中，有大量的平臺可以運行 Spring Boot 應用程序，例如虛擬機、容器等，但其中最吸引人的還是以 Serverless 的方式運行 Spring Boot 應用程序。
　　通過(guò)一系列文章，我將從架構、部署、監控、性能、安全五個(gè)方面分析在Serverless平臺上運行Spring Boot應用的優(yōu)缺點(diǎn)。在之前的文章《Spring Boot 上 FC 架構》中，我們對 Mall 應用架構和 Serverless 平臺進(jìn)行了基本的介紹。在本文中，我將告訴您如何將商城應用部署到函數計算平臺。為了讓分析更具代表性，我選擇了 Github 上 Star 超過(guò) 50k 的電商應用商城作為例子。
　　前提
　　準備階段：
　　注意，如果您使用云主機，請先檢查主機對應的安全組配置是否允許入站網(wǎng)絡(luò )請求。通用主機創(chuàng )建后，入方向的網(wǎng)口訪(fǎng)問(wèn)受到嚴格限制。我們需要手動(dòng)允許訪(fǎng)問(wèn) MySQL 的 3306 端口，Redis 的 6379 端口等。如下圖所示，我手動(dòng)設置了安全組以允許所有傳入的網(wǎng)絡(luò )請求。
　　部署依賴(lài)軟件
　　Mall應用依賴(lài)于MySQL、Redis、MongoDB、ElasticSearch、RabbitMQ等軟件。這些軟件在云端都有相應的云產(chǎn)品。在生產(chǎn)環(huán)境中，建議使用云產(chǎn)品以獲得更好的性能和可用性。在個(gè)人開(kāi)發(fā)或者POC原型演示場(chǎng)景中，我們選擇一個(gè)VM來(lái)容器化和部署所有依賴(lài)的軟件。
　　1.1 克隆代碼倉庫
　　git clone https://github.com/hryang/mall
　　在中國訪(fǎng)問(wèn)Github網(wǎng)絡(luò )不是很好。如果克隆太慢，可以使用 Gitee 地址。
　　git clone https://gitee.com/aliyunfc/mall.git
　　1.2 構建并運行 Docker 鏡像
　　在代碼根目錄的docker文件夾中，有每個(gè)依賴(lài)軟件對應的Dockerfile。運行代碼根目錄下的run.sh腳本，會(huì )自動(dòng)構建所有依賴(lài)軟件的Docker鏡像并在本地運行。
　　sudo bash docker.sh
　　1.3 驗證依賴(lài)軟件的運行狀態(tài)
　　運行 Docker ps 命令檢查依賴(lài)軟件是否正常運行。
　　sudo docker ps
　　部署商城應用
　　2.1 修改商城應用配置
　　修改以下三個(gè)yaml文件，將host字段修改為步驟1中安裝MySQL等軟件的節點(diǎn)的公網(wǎng)ip，如圖：
　　mall-admin/src/main/resources/application-prod.yml
　　商城門(mén)戶(hù)/src/main/resources/application-prod.yml
　　商場(chǎng)搜索/src/main/resources/application-prod.yml
　　
　　2.2 生成商城應用容器鏡像
　　執行maven package命令生成Docker鏡像，本地Java8或Java11環(huán)境均可。
　　sudo -E mvn package
　　成功后會(huì )顯示如下成功信息。
　　
　　執行 sudo docker images，應該可以看到 1.0-SNAPSHOT 版本的 mall/mall-admin、 mall/mall-portal 和 mall/mall-search 的鏡像。
　　
　　2.3 將鏡像推送到阿里云鏡像倉庫
　　首先登錄阿里云鏡像倉庫控制臺，選擇個(gè)人版實(shí)例，按照提示讓docker登錄阿里云鏡像倉庫。
　　
　　然后創(chuàng )建命名空間。如下圖所示，我們創(chuàng )建了一個(gè)名為 quanxi-hryang 的命名空間。
　　
　　按照前面的步驟，我們已經(jīng)在本地生成了 mall/mall-admin、 mall/mall-portal、 mall/mall-search 的圖片。
　　執行以下命令，將 mall-admin 鏡像推送到杭州地區 quanxi-hryang 命名空間下的鏡像倉庫。
　　請將以下命令中的 cn-hangzhou 和 quanxi-hryang 修改為自己的鏡像倉庫區域和命名空間。商城/商城門(mén)戶(hù)、商城/商城搜索等。
　　sudo docker tag mall/mall-admin:1.0-SNAPSHOT registry.cn-hangzhou.aliyuncs.com/quanxi-hryang/mall-admin:1.0-SNAPSHOT
sudo docker push registry.cn-hangzhou.aliyuncs.com/quanxi-hryang/mall-admin:1.0-SNAPSHOT
　　2.4 修改Serverless Devs工具的應用定義
　　我們使用無(wú)服務(wù)器開(kāi)發(fā)工具來(lái)定義和部署應用程序。項目根目錄下有s.yaml文件，是Serverless Devs工具的項目定義文件。這定義了函數計算的資源。
　　如下圖所示，我們在函數計算上定義了一個(gè)名為 mall-admin 的服務(wù)及其下的 mall-admin 函數。該函數定義了端口、內存大小、超時(shí)和運行時(shí)間等屬性。紅框內的內容是需要根據自己的配置進(jìn)行修改的。
　　
　?。ńㄗh：以上鏡像地址最好使用/fc-demo/mall-admin:1.0-SNAPSHOT形式）
　　2.5 將商城應用部署到函數計算平臺
　　執行 s 部署命令。部署成功后，會(huì )看到對應的訪(fǎng)問(wèn)URL。
　　
　　在瀏覽器中輸入生成的 URL。如果顯示“尚未登錄或token已過(guò)期”，則服務(wù)部署成功。
　?。ㄗⅲ篠erverless的特點(diǎn)是系統默認會(huì )在請求到達后創(chuàng )建實(shí)例，所以第一次啟動(dòng)時(shí)間比較長(cháng)，稱(chēng)為冷啟動(dòng)。一般需要30s左右才能啟動(dòng)Mall應用。稍后，我們將重點(diǎn)關(guān)注性能調優(yōu)文章回來(lái)復習這個(gè)問(wèn)題，用一系列手段進(jìn)行優(yōu)化。）
　　訪(fǎng)問(wèn)對應的swagger api調試頁(yè)面host/swagger-ui.html，調試相關(guān)的后端API。
　　
　　2.6 查看應用程序日志
　　我們在 s.yaml 中為每個(gè)服務(wù)設置了 logConfig:auto，也就是說(shuō) serverless-devs 工具會(huì )自動(dòng)為服務(wù)創(chuàng )建一個(gè)日志存儲（LogStore），所有服務(wù)共享一個(gè)日志存儲。應用程序的所有日志都輸出到 .
　　s 日志有助于您了解服務(wù)的運行情況和診斷問(wèn)題。比如我們執行s mall-admin logs -t 進(jìn)入follow模式，然后在瀏覽器中訪(fǎng)問(wèn) mall-admin 服務(wù)的端點(diǎn)，就可以看到整個(gè)應用的啟動(dòng)和請求處理日志。
　　
　　2.7 部署商城前端項目
　　Mall 還提供了基于 Vue+Element 實(shí)現的前端接口。主要包括商品管理、訂單管理、會(huì )員管理、促銷(xiāo)管理、運營(yíng)管理、內容管理、統計報表、財務(wù)管理、權限管理、設置等功能。該項目還可以在函數計算上無(wú)縫運行。
　　首先在你的機器上安裝nodejs12和npm，并下載項目源代碼。
　　git clone https://github.com/hryang/mall-admin-web
　　國內訪(fǎng)問(wèn)github網(wǎng)絡(luò )不太好。如果克隆太慢，可以使用下面的代理地址。
　　git clone https://gitee.com/aliyunfc/mall-admin-web.git
　?。ㄗ⒁猓罕仨毷莕odejs 12或者14，太新的node版本會(huì )編譯失?。?br /> 　　修改 config/prod.env.js 并將 BASE_API 更改為在函數計算上成功部署的 mall-admin 端點(diǎn)。
　　
　　在項目根目錄下執行如下命令構建前端項目。
　　npm install
npm run build
　　運行成功后會(huì )生成dist目錄。運行項目根目錄下的docker.sh腳本生成鏡像。
　　sudo bash docker.sh
　　運行 docker images 命令，可以看到 mall/mall-admin-web 鏡像已經(jīng)成功生成。將鏡像推送到阿里云鏡像倉庫。
　　同理，請將以下命令中的 cn-hangzhou 和 quanxi-hryang 修改為自己的鏡像倉庫區域和命名空間。
　　sudo docker tag mall/mall-admin-web:1.0-SNAPSHOT registry.cn-hangzhou.aliyuncs.com/quanxi-hryang/mall-admin-web:1.0-SNAPSHOT
sudo docker push registry.cn-hangzhou.aliyuncs.com/quanxi-hryang/mall-admin-web:1.0-SNAPSHOT
　　修改項目根目錄下的s.yaml，和部署mal-admin類(lèi)似，根據自己的配置調整訪(fǎng)問(wèn)權限和區域，將鏡像改成上一步推送成功的鏡像地址。
　　
　　執行s deploy，部署成功后可以看到 mall-admin-web 服務(wù)的URL。通過(guò)瀏覽器訪(fǎng)問(wèn)，您將看到登錄頁(yè)面。填寫(xiě)密碼macro123查看完整效果。
　?。ㄗ⒁猓旱卿涰?yè)面可能會(huì )因為第一次冷啟動(dòng)而報超時(shí)錯誤，刷新頁(yè)面即可，我們稍后會(huì )在性能調優(yōu)文章中優(yōu)化冷啟動(dòng)性能。）
　　總結
　　由于 serverless 平臺內置網(wǎng)關(guān)，負責路由、實(shí)例拉取/運行/容錯/自動(dòng)伸縮等功能，開(kāi)發(fā)者上傳應用代碼包或鏡像后，就已經(jīng)有了一個(gè)彈性高可用的服務(wù)。釋放。綜上所述，只要完成以下5個(gè)步驟，Mall應用就完全部署在了功能計算平臺上。后續對應用的更新只需要重復第4步和第5步即可?？梢?jiàn)Serverless省去了環(huán)境配置和運維等重復性工作，大大提高了開(kāi)發(fā)和運維的效率。
　　Clone項目代碼找到VM，運行腳本一鍵安裝MySQL、Redis等依賴(lài)軟件。修改應用配置中的host項，將值填入步驟2中的VM公網(wǎng)ip，生成應用鏡像并推送到阿里云鏡像倉庫部署和應用到功能計算平臺URL匯總
　　1）春季啟動(dòng)：
　　2）商城：
　　3）Serverless Devs 安裝文檔：
　　原文鏈接：

　　通過(guò)關(guān)鍵詞采集文章采集api(蘋(píng)果采集插件接口資源庫的方法及解決教程(組圖))
　　近年來(lái)，隨著(zhù)互聯(lián)網(wǎng)時(shí)代的發(fā)展，做電影的站長(cháng)越來(lái)越多網(wǎng)站，加入這個(gè)行列的人數也在與日俱增！但是很多站長(cháng)都跟風(fēng)辦電影站，不知道怎么辦。不知道哪里來(lái)的電影資源。今天教大家如何制作電影臺。文章有點(diǎn)長(cháng)，請耐心觀(guān)看，快解決電影臺遇到的所有問(wèn)題！
　　
　　一、蘋(píng)果采集插件接口配置
　　1、今天教大家如何添加一個(gè)采集自定義資源庫；我們以資源站為例，進(jìn)入后臺時(shí)，可以從你想要的網(wǎng)站獲取界面采集好的，一般在網(wǎng)站的幫助中心：添加方法如下圖（如果添加后測試不成功，需要填寫(xiě)附加參數 &amp;ct=1)
　　2、這里我沒(méi)填，只要測試界面成功，直接保存即可。如果測試失敗，補上附加參數&amp;ct=1)如果還是不行，檢查采集接口是否填寫(xiě)錯誤
　　3、添加資源接口成功后，需要對資源進(jìn)行分類(lèi)綁定：點(diǎn)擊高清資源鏈接進(jìn)入綁定頁(yè)面進(jìn)行分類(lèi)綁定
　　4、進(jìn)入分類(lèi)綁定頁(yè)面后，點(diǎn)擊未綁定頁(yè)面，分類(lèi)綁定會(huì )自動(dòng)彈出。如果找不到對應的，可以先綁定一個(gè)類(lèi)似的分類(lèi)或者添加自定義分類(lèi)
　　5、綁定后，剩下的就是采集了。拉到頁(yè)面底部有一個(gè)采集按鈕可以選擇當天采集的采集（需要采集的時(shí)候視頻）和采集所有三個(gè)選項
　　6、選擇后進(jìn)入自動(dòng)采集頁(yè)面。如果綁定采集成功并且顯示綠色和紅色，說(shuō)明綁定不成功，跳過(guò)采集，所以綁定的時(shí)候要小心綁定。
　　結束語(yǔ)：采集finished網(wǎng)站的最后應該有視頻數據，這也是很多人困惑的地方采集finished，不能播放！為什么是這樣？因為你沒(méi)有添加播放器。
　　
　　二、蘋(píng)果采集插件后無(wú)法播放問(wèn)題及解決教程
　　蘋(píng)果采集插件故障排除后無(wú)法播放黑屏，先判斷是否導入播放器，采集如果資源后沒(méi)有添加對應的播放器，則無(wú)法解析正常播放，正確的采集流程是先添加一個(gè)播放器再執行采集，這樣每個(gè)資源都能識別對應的播放器正常播放，每個(gè)資源站都有自己獨立的播放器
　　第一步是查看視頻數據，看看使用哪些播放器播放資源數據。如果您看到下圖中的播放器列，則可以確定該資源使用的是 wlm3u8 編碼的播放器。
　　第二步檢查是否有導入的播放器，可以通過(guò)查看視頻詳情來(lái)判斷。
　　沒(méi)有默認播放器沒(méi)有視頻數據丟失播放器
　　第三步，確保沒(méi)有玩家添加對應的玩家。這是資源站給出的玩家添加步驟。同時(shí)，藍色字體為資源站提供的播放器文件，需要下載導入。
　　第四步，（視頻&gt;&gt;播放器）查看我們是否成功添加了wlm3u8編碼的播放器。如果我們添加了播放器還是不能播放，先清除緩存，最好換個(gè)瀏覽器再測試一下。
　　2.首先看你的采集是什么類(lèi)型的播放地址；如果是騰訊、優(yōu)酷、愛(ài)奇藝等，需要通過(guò)解析接口解析地址才能播放。
　　如果不能播放，說(shuō)明解析接口不支持解析；如果你還有其他可以解析播放的接口，換成可以播放的解析接口即可。
　　然后查看采集數據的播放地址。如果是完整的http地址，需要打開(kāi)播放器的解析狀態(tài)，使用解析來(lái)播放；如果采集的數據ID可以直接用本地播放器播放。最后，刪除系統默認自帶的解析接口。默認解析接口已失效。刪除步驟如下
　　剛開(kāi)始分析蘋(píng)果的cms電影網(wǎng)站，網(wǎng)上像我這樣的電影網(wǎng)站數不勝數，內容一模一樣，模板一樣，采集為什么是我的收錄 什么？當然，我馬上意識到采集每天更新內容只會(huì )浪費域名和服務(wù)器資源。萬(wàn)一出事了，你會(huì )不甘心的！于是我開(kāi)始分析原創(chuàng )要改進(jìn)哪些角度來(lái)制作我的電影網(wǎng)站收錄。終于把我的蘋(píng)果cms電影架收錄弄好了。
　　三、蘋(píng)果cms網(wǎng)站怎么樣？一個(gè)電影站如何快速收錄關(guān)鍵詞排名和消耗流量
　　1：如果把蘋(píng)果cms網(wǎng)站當作采集站，是采集的其他電影站更新的好頁(yè)面，影片排名也不錯，我'現在就添加它采集，你能收錄嗎？能帶來(lái)流量嗎？所以我決定走一條不同的、差異化的路線(xiàn)。
　　A. 電影片名加品牌詞
　　B.劇情介紹加網(wǎng)站歡迎詞
　　C.演員名字加上喜歡的、親愛(ài)的等隨機插入的詞
　　D.圖集修改MD5并添加水印
　　E. 新增熱門(mén)評論功能，全靠采集影視評論
　　F.修改底部文件，添加其他電影站沒(méi)有的信息

　　通過(guò)關(guān)鍵詞采集文章采集api(
智能診斷出網(wǎng)站SEO出現的問(wèn)題，你知道嗎？
)
　　
　　SEO人員在平時(shí)的SEO優(yōu)化中會(huì )使用很多SEO工具，智能診斷網(wǎng)站SEO問(wèn)題。SEO工具主要是為了方便SEOer做采集、發(fā)布、收錄查詢(xún)、主動(dòng)推送、SEO診斷等日常工作。提高效率，簡(jiǎn)化操作，解放雙手，查詢(xún)一些網(wǎng)站問(wèn)題，監控關(guān)鍵詞排名收錄等。
　　一、免費采集
　　免費采集特點(diǎn)：
　　
　　1、只需將關(guān)鍵詞導入到采集相關(guān)的關(guān)鍵詞文章，同時(shí)創(chuàng )建幾十或幾百個(gè)采集任務(wù)（一個(gè)任務(wù)可以be 支持上傳1000個(gè)關(guān)鍵詞)，支持過(guò)濾關(guān)鍵詞
　　2、支持多種新聞來(lái)源：各平臺資訊、知悉經(jīng)驗、重大新聞等（可同時(shí)設置多個(gè)采集來(lái)源采集）
　　3、可設置關(guān)鍵詞采集文章條數，軟件可直接查看多任務(wù)狀態(tài)采集-支持本地預覽-支持采集鏈接預覽
　　4、自動(dòng)批量掛機采集，與各大cms發(fā)布者無(wú)縫對接，采集后自動(dòng)發(fā)布——實(shí)現采集發(fā)布全自動(dòng)掛機。
　　二、全平臺發(fā)布
　　全平臺cms發(fā)布者的特點(diǎn)：
　　
　　1、cms發(fā)布：目前市面上唯一同時(shí)支持Empire、易友、ZBLOG、織夢(mèng)、WP、PB、Apple、搜外等專(zhuān)業(yè)cms，可以同時(shí)批量管理和發(fā)布工具
　　2、對應欄目：對應的文章可以發(fā)布對應欄目
　　3、定期發(fā)布：可控發(fā)布間隔/每天發(fā)布總數
　　4、監控數據：直接監控已經(jīng)發(fā)布、待發(fā)布的軟件，是否是偽原創(chuàng )、發(fā)布狀態(tài)、URL、程序、發(fā)布時(shí)間等。
　　三、收錄詳細數據查詢(xún)
　　收錄鏈接查詢(xún)功能：
　　
　　1、收錄Rank, 收錄Title, 收錄Link, 收錄Time, Real Title, Real Link, Real關(guān)鍵詞, 一下子統計
　　2. 輸入關(guān)鍵詞或site命令查詢(xún)優(yōu)秀同行網(wǎng)頁(yè)收錄的數量和排名。在百度/搜狗/今日頭條的收錄中可以直觀(guān)的看到一個(gè)網(wǎng)站同行網(wǎng)站的排名，通過(guò)關(guān)鍵詞布局體驗確定自己的網(wǎng)站布局一大批優(yōu)秀同行，以及優(yōu)化的方向！您也可以通過(guò)關(guān)鍵詞查詢(xún)了解您的網(wǎng)站關(guān)鍵詞排名和收錄情況！
　　3.查詢(xún)工具還可以做什么：防止網(wǎng)站被黑（通過(guò)觀(guān)察收錄的情況，檢查收錄是否有不良信息）-網(wǎng)站修訂（工具提?。┦珍涙溄酉虬俣荣Y源搜索平臺提交新的鏈接URL路徑更改）-關(guān)鍵詞排名（通過(guò)關(guān)鍵詞查看網(wǎng)站的排名，關(guān)注 關(guān)鍵詞 排名） - 網(wǎng)站 推送（通過(guò)查詢(xún) 收錄 鏈接 - 只推送而不是 收錄網(wǎng)站）
　　4、 通過(guò)站點(diǎn)：域名，查詢(xún)網(wǎng)站有多少個(gè)收錄，收錄有多少個(gè)關(guān)鍵詞？Excel表格可以直接在軟件上導出，做進(jìn)一步分析，進(jìn)行整體分析?。⊿EO站長(cháng)必須收錄鏈接數據分析工具）
　　
　　四、全平臺推送工具
　　全平臺推送功能：
　　
　　工具代替手動(dòng)主動(dòng)推送，效率提升數倍，收錄數倍提升，解放雙手！
　　批量搜狗推送：
　　1、驗證站點(diǎn)提交（官方限制單個(gè)站點(diǎn)每天推送200，軟件可以突破限制，單個(gè)站點(diǎn)每天可以推送幾十萬(wàn)）
　　2、非認證網(wǎng)站提交（軟件可以每天一直推送）
　　批量百度推送：
　　采用百度最快的API推送方式，一次可大批量推送到百度
　　批量360推送：
　　自動(dòng)批量完成360主動(dòng)推送軟件，每天提交上萬(wàn)個(gè)鏈接
　　批量神馬推送：
　　使用神馬最快的MIP推送方式，一次可以大批量推送到神馬
　　以上功能都集成在一個(gè)SEO工具中，SEO工具還配備：批量搜狗快照更新/批量搜狗投訴/批量搜狗綁定站點(diǎn)/鏈接生成/鏈接抓取/在線(xiàn)偽原創(chuàng )等功能！SEO工具是SEO人員做網(wǎng)站輔助的必備工具。
　　

　　通過(guò)關(guān)鍵詞采集文章采集api(新媒體的迅速崛起讓互聯(lián)網(wǎng)流量競爭越來(lái)越激烈，現在我們不但要能找到流量還要能以到流量)
　　新媒體的迅速崛起，使得互聯(lián)網(wǎng)流量的競爭越來(lái)越激烈?，F在我們不僅要能夠找到流量，而且要能夠以最快的速度獵取流量。此時(shí)，手動(dòng)采集、匯總和組織數據已經(jīng)不夠了。建議每天選擇5118大數據采集海量新關(guān)鍵詞和大量信息，從中挖掘新詞匯。，然后對內容進(jìn)行處理以獲得流量。
　　
　　1、海量流量數據快速獲取
　　通過(guò)每天5118個(gè)長(cháng)尾詞挖掘，系統自動(dòng)抓取每天千萬(wàn)搜索引擎用戶(hù)查詢(xún)的關(guān)鍵詞和問(wèn)題，并按照一定的規則過(guò)濾出有價(jià)值的關(guān)鍵詞，然后進(jìn)行區分哪些是最新的熱詞，哪些是互聯(lián)網(wǎng)的新詞匯。這些是手動(dòng)聚合數據無(wú)法完成的事情。
　　越早發(fā)現用戶(hù)感興趣的流量爆發(fā)，越早抓住流量的大方向。通過(guò)前期掌握流量情況，我們可以通過(guò)制作內容源源不斷地將最新的流量帶入我們的網(wǎng)站。比同行更早搶占各平臺流量數據。
　　2、深入交通方向
　　有了上面挖掘的海量關(guān)鍵詞，我們需要圍繞這個(gè)關(guān)鍵詞弄清楚用戶(hù)對什么感興趣，圍繞關(guān)鍵詞的各種需求做長(cháng)尾詞匹配。
　　使用5118關(guān)鍵詞挖礦工具獲取長(cháng)尾關(guān)鍵詞和核心相關(guān)問(wèn)題關(guān)鍵詞，對流量進(jìn)行排序，然后寫(xiě)原創(chuàng )，&lt;針對不同的問(wèn)題和長(cháng)尾詞@偽原創(chuàng )文章，滿(mǎn)足用戶(hù)需求。
　　在掌握了用戶(hù)需求后，為了進(jìn)一步詳細深入地了解用戶(hù)需求，使用5118長(cháng)尾關(guān)鍵詞挖掘工具，發(fā)現用戶(hù)如何搜索自己想找的問(wèn)題，從而帶來(lái)挖掘相關(guān)的長(cháng)尾問(wèn)題。
　　3、標題標題是SEO優(yōu)化的重點(diǎn)
　　標題不僅要收錄核心詞，還要用問(wèn)題來(lái)引導用戶(hù)的好奇心。標題引起用戶(hù)共鳴，將大大提高用戶(hù)的點(diǎn)擊率。
　　通過(guò) 5118 瀏覽器插件獲取標題泛點(diǎn)擊和全點(diǎn)擊搜索結果。
　　相關(guān)內容：5118站長(cháng)工具箱Chrome瀏覽器插件安裝教程
　　5118站長(cháng)工具箱360安全瀏覽器插件手動(dòng)安裝更新教程
　　當5118搜索結果顯示標題命中時(shí)，說(shuō)明用戶(hù)搜索的詞沒(méi)有完全收錄在標題中，而只是收錄分詞或部分收錄。
　　只要標題全部命中搜索結果，排名就會(huì )很好，由此產(chǎn)生的流量也會(huì )很多。
　　5118雙12折扣高達50%的行業(yè)詞庫，為期3年。使用優(yōu)惠券代碼 vpsss123 享受最低折扣。
　　5118是站長(cháng)必備的SEO優(yōu)化工具和新媒體大數據挖掘平臺。
　　更多關(guān)于5118的信息，請看5118專(zhuān)題4、高效生產(chǎn)內容
　　為了獲得大量的互聯(lián)網(wǎng)流量，您的內容必須在大多數 網(wǎng)站 完全命中 關(guān)鍵詞 之前產(chǎn)生高質(zhì)量的內容。那么最好的辦法就是學(xué)習頭條等新媒體內容，知乎，公眾號等平臺會(huì )比網(wǎng)站更新更快。
　　使用5118媒體文章搜索功能，快速獲取相關(guān)內容，找到高度滿(mǎn)足用戶(hù)需求的段落，學(xué)習理解后再加工。
　　還可以使用5118智能原創(chuàng )工具進(jìn)行更深層次的原創(chuàng )工作，5118大數據的支持可以節省大量時(shí)間和精力。
　　5、堅持會(huì )帶來(lái)流量
　　我們都知道，單純靠幾篇文章的文章根本無(wú)法獲得大量的流量，還有一個(gè)逐漸積累的過(guò)程。使用5118大數據工具快速獲取和處理流量，使其獲取流量的可能性越來(lái)越大。

　　通過(guò)關(guān)鍵詞采集文章采集api(
做網(wǎng)站seo對于個(gè)人來(lái)說(shuō)做一個(gè)大站是很難的)
　　
　　Phpcmsv9采集，它基于 Phpcmsv9 派生的 網(wǎng)站batch采集，可以使用 Phpcmsv9做站長(cháng)，解決網(wǎng)站內容填充采集的問(wèn)題。做網(wǎng)站seo對于個(gè)人來(lái)說(shuō)很難做一個(gè)大網(wǎng)站，有什么難度？也就是內容，一個(gè)seo團隊一天可以更新幾百份。而一個(gè)人一天更新幾十篇文章，這是無(wú)法比擬的。 phpcmsv9采集允許網(wǎng)站保持每天生成一個(gè)新的文章，保持不斷更新的狀態(tài)。所以如果你的網(wǎng)站想要一天上萬(wàn)IP，你需要大量的關(guān)鍵詞，大量的關(guān)鍵詞需要大量的文章內容支持。所以，如果我想快速做一個(gè)大站，非常簡(jiǎn)單實(shí)用的就是采集。
　　
　　Phpcmsv9采集可以制作出色的采集站。如果你想成為一個(gè)采集站，那么你需要更高的seo技術(shù)和策略。否則，如果你想做一個(gè) 采集 站，你要么干脆不 收錄，要么降級 K 站。 phpcmsv9采集的實(shí)踐：
　　1、展開(kāi)采集的源，很多時(shí)候，采集因為源太單一而死掉了。 采集時(shí)，建議記錄對方文件的發(fā)布時(shí)間
　　2、內容多樣性、問(wèn)答、文章、圖片
　　
　　3、頁(yè)面多樣性，N個(gè)單頁(yè)，N個(gè)聚合，N個(gè)頻道
　　4、內容格式要干凈整潔，圖片要清晰（建議500-600字配圖）。有能力的話(huà)，建議使用phpcmsv9采集一次性碼（包括營(yíng)銷(xiāo)碼，各種標簽等，比原來(lái)更干凈）
　　
　　5、做好頁(yè)面內容相關(guān)性匹配
　　6、頁(yè)面調用一定要豐富，才能達到虛偽的效果
　　7、如果有能力，可以制作一些結構化的數據進(jìn)行編輯，達到一定比例的原創(chuàng )度
　　
　　8、舊域名效果更好
　　9、發(fā)布時(shí)，建議在采集源發(fā)布時(shí)間之前修改你的發(fā)布時(shí)間，同時(shí)也發(fā)布一些當天
　　10、建議發(fā)布前先設置好站點(diǎn)，再上線(xiàn)。上線(xiàn)后最好不要在網(wǎng)站沒(méi)有達到一定程度收錄
　　的情況下改變任何網(wǎng)站結構和鏈接
　　11、釋放量級，建議每天發(fā)送1W+。當然，最好擁有更多并推動(dòng)它們。建議每天配合幾十次手動(dòng)更新，效果更好。
　　12、基本上堅持1-3個(gè)月就會(huì )見(jiàn)效。如果條件允許，可以適當配合蜘蛛池和外鏈運營(yíng)
　　13、沒(méi)有100%完成的網(wǎng)站，建議您可以同時(shí)多訪(fǎng)問(wèn)幾個(gè)，以保證您的準確性
　　14、模板盡量做成war的模板，原創(chuàng )度數高的模板列盡量多。
　　phpcmsv9采集文章都是基于長(cháng)尾關(guān)鍵詞采集，也就是說(shuō)每個(gè)文章都有關(guān)鍵詞，你可以想象一下，如果有100萬(wàn)個(gè)關(guān)鍵詞頁(yè)面，那真是倒霉，網(wǎng)站每天可以有幾萬(wàn)個(gè)IP。關(guān)鍵是你可以在不被K的情況下合理布局內頁(yè)。 海量網(wǎng)站內容，做好站點(diǎn)布局，即升級這個(gè)網(wǎng)站頁(yè)面的權限，用當前網(wǎng)站索引的數據，網(wǎng)站的日IP增長(cháng)了5倍，很簡(jiǎn)單。

　　通過(guò)關(guān)鍵詞采集文章采集api(說(shuō)起erperp商品采集功能全面解析電商平臺發(fā)展)
　　說(shuō)起東南亞的跨境電商，相信大家都不陌生。近年來(lái)，Shopee和Lazada平臺的發(fā)展越來(lái)越好，不少新手朋友也進(jìn)入了東南亞市場(chǎng)。除了處理訂單、挑選新品，還需要采集產(chǎn)品對店鋪進(jìn)行精細化運營(yíng)，而采集產(chǎn)品也是業(yè)務(wù)運營(yíng)中非常重要的一環(huán)，所以這個(gè)時(shí)候，您將需要使用一些工具來(lái)幫助商家。在之前的文章中，簡(jiǎn)單的提到了店梯erp產(chǎn)品采集的功能，功能全面，可以幫助商家做好產(chǎn)品采集，下面就詳細聊聊關(guān)于它的這個(gè)功能模塊是如何運作的。
　　
　　首先店鋪天梯erp的產(chǎn)品采集模塊是從各大電商平臺獲取產(chǎn)品相關(guān)信息數據，包括產(chǎn)品標題、產(chǎn)品描述、產(chǎn)品主圖及詳細圖、價(jià)格、規格信息、銷(xiāo)量、評論數等相關(guān)信息；通過(guò)三種方式對產(chǎn)品進(jìn)行采集：?jiǎn)纹凡杉?、關(guān)鍵字采集和插件采集；
　　單品采集
　　這是產(chǎn)品 采集 的鏈接；打開(kāi)電商網(wǎng)站，找到你想要的產(chǎn)品采集，復制產(chǎn)品鏈接；然后打開(kāi)店鋪天梯erp采集中心模塊商品采集，菜單項采集模塊，粘貼產(chǎn)品鏈接，點(diǎn)擊采集按鈕；采集產(chǎn)品將自動(dòng)認領(lǐng)成功；單品也可以一鍵發(fā)布或刪除；
　　關(guān)鍵詞采集
　　該功能是商家在采集中心的關(guān)鍵詞模塊進(jìn)入關(guān)鍵詞，直接通過(guò)云大數據中心采集各種電商的商品平臺；進(jìn)入關(guān)鍵詞，選擇采集平臺，啟動(dòng)采集產(chǎn)品，然后返回采集列表數據；然后將商品添加到采集框內，一鍵發(fā)布到授權店鋪平臺；也可以選擇商品，批量添加到采集框內；
　　
　　插件采集
　　該功能需要先下載插件。采集中心產(chǎn)品的采集模塊會(huì )顯示采集插件。點(diǎn)擊下載完成后，雙擊打開(kāi)安裝在網(wǎng)站。安裝步驟可以在幫助中心查看；安裝插件后，可以直接采集購物網(wǎng)站中的商品，采集成功會(huì )有提示。
　　采集盒子
　　以上三種方式收到的產(chǎn)品采集會(huì )被添加到采集框里，這里是采集收到的產(chǎn)品的管理中心，采集里面的產(chǎn)品可以添加到我的商品庫中，也可以直接將采集框中的商品一鍵發(fā)布到各電商平臺的指定店鋪，一鍵列出的商品將添加到我的商品中默認庫。
　　
　　店鋪天梯erp的采集功能非常全面，采集方法也多種多樣。商家可以根據自己的習慣選擇合適的采集方式，在采集完成后，一鍵發(fā)布也非常高效，方便商家操作，讓商家全面提升運營(yíng)效率.

　　通過(guò)關(guān)鍵詞采集文章采集api(面向豆瓣網(wǎng)站的信息采集與可視化分析系統(組圖))
　　豆瓣信息采集和可視化網(wǎng)站
　　摘要：豆瓣網(wǎng)站是中國最受歡迎的社交網(wǎng)站之一。本文為豆瓣網(wǎng)站設計了一個(gè)信息采集和可視化分析系統，基于Python語(yǔ)言實(shí)現了信息采集、信息分析和可視化三個(gè)功能模塊，實(shí)現了如下功能：可根據用戶(hù)指定的關(guān)鍵詞實(shí)現自動(dòng)采集和豆瓣網(wǎng)站信息的可視化展示。
　　關(guān)鍵詞：信息采集；可視化；豆瓣網(wǎng)站
　　CLC 編號：TP311 證件識別碼：A 文章 編號：1009-3044 (2018）13-0003-02
　　1 背景
　　目前，隨著(zhù)Web2.0和移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)民數量屢創(chuàng )新高，社交互聯(lián)網(wǎng)平臺應運而生。但是，布查達的言論很容易成為社會(huì )不穩定因素，所以要及時(shí)了解和掌握社交網(wǎng)站網(wǎng)友發(fā)布的信息，對網(wǎng)站的信息有一個(gè)全面的了解。 ，避免大規模的網(wǎng)絡(luò )輿論攻擊、網(wǎng)絡(luò )謠言等惡性事件。
　　豆瓣網(wǎng)站作為社交網(wǎng)站的典型代表，積累了大量的人氣，是國內最具影響力的社交網(wǎng)站。大量網(wǎng)友可以在豆瓣上發(fā)帖網(wǎng)站各種信息，其中收錄豐富的個(gè)人情感，尤其是一些觀(guān)點(diǎn)所表達的觀(guān)點(diǎn)具有很強的主觀(guān)性和武斷性[1]。為此，本文開(kāi)發(fā)了豆瓣網(wǎng)站的信息采集及分析系統，可以全面掌握豆瓣網(wǎng)站的社交網(wǎng)絡(luò )信息，并可對爬取的豆瓣網(wǎng)站@進(jìn)行分析。 &gt;數據直觀(guān)直觀(guān)展示，有助于及時(shí)全面了解豆瓣網(wǎng)友的思想表達、熱點(diǎn)話(huà)題等。
　　2 系統架構設計
　　該系統使用基于Python的Scrapy開(kāi)源爬蟲(chóng)框架開(kāi)發(fā)。Scrapy 框架為網(wǎng)絡(luò )爬蟲(chóng)相關(guān)功能提供了豐富的 API 接口[2]。在此基礎上，本文實(shí)現了面向豆瓣網(wǎng)站的信息抓取、數據處理和可視化，系統功能如圖1所示。
　　豆瓣網(wǎng)站的信息采集和可視化系統架構主要分為三個(gè)關(guān)鍵功能模塊：
　　1）采集模塊主要根據用戶(hù)指定的關(guān)鍵詞或URL爬取豆瓣網(wǎng)站的相關(guān)信息；
　　2）處理模塊的主要任務(wù)是對采集模塊爬取的海量數據進(jìn)行處理和分析，并將其格式化并存儲起來(lái)，以供后續可視化展示；
　　3）可視化模塊，該部分是系統分析功能的主要實(shí)現部分，實(shí)現處理后信息的可視化展示。
　　3 豆瓣信息采集網(wǎng)站及可視化系統主要功能的實(shí)現
　　3.1 信息采集模塊
　　信息采集模塊的主要作用是根據系統用戶(hù)指定的關(guān)鍵詞通過(guò)網(wǎng)絡(luò )采集豆瓣網(wǎng)站啟動(dòng)爬蟲(chóng)程序，并發(fā)送采集 to 信息被持久化到本地數據庫。此外，系統還部署了去重去噪的信息爬取策略，保證采集信息的準確性。最后對采集的信息進(jìn)行格式化轉換，并保存格式化后的數據。
　　為了保證豆瓣網(wǎng)站采集上信息的全面性，系統采用廣度優(yōu)先的爬取搜索策略[3-4]。主要過(guò)程是選擇起始URL作為種子URL放入等待隊列，爬蟲(chóng)根據URL隊列選擇要爬取解析的URL，將爬取的URL放入爬取集合中，選擇解析后的URL和將它們放入待爬取的URL隊列中，直到待爬取的URL隊列為空，如圖2所示。
　　鑒于豆瓣網(wǎng)站的主動(dòng)反爬策略[5]，系統使用cookies模擬瀏覽器訪(fǎng)問(wèn)。當豆瓣網(wǎng)站返回bin cookie時(shí)，后續的爬取過(guò)程會(huì )攜帶cookie進(jìn)行訪(fǎng)問(wèn)。，為了防止頻繁定向觸發(fā)反爬蟲(chóng)機制，在系統中設置了一定的時(shí)間閾值，即1分鐘，進(jìn)行間隔爬取。
　　3.2 信息分析模塊
　　系統分析

　　通過(guò)關(guān)鍵詞采集文章采集api(DogUI上的數據就是單薄了很多，你知道嗎？)
　　MySQL：通過(guò)Mybatis攔截器；
　　Redis：通過(guò)javassist增強RedisTemplate的方式；
　　跨應用調用：通過(guò)代理feign客戶(hù)端，dubbo、grpc等方法可能需要通過(guò)攔截器；
　　http調用：通過(guò)javassist給HttpClient和OkHttp添加攔截器；
　　日志管理：通過(guò)plugin方式上報日志中打印的錯誤。
　　管理的技術(shù)細節這里就不展開(kāi)了，主要是使用各種框架提供的一些接口，以及使用javassist進(jìn)行字節碼增強。
　　這些打點(diǎn)數據就是我們需要做統計的，當然因為打點(diǎn)有限，我們的tracing功能比專(zhuān)業(yè)的Traces系統要薄很多。
　　介紹
　　下面是DOG的架構圖?？蛻?hù)端將消息傳遞給 Kafka，狗服務(wù)器使用消息。Cassandra 和 ClickHouse 用于存儲。具體要存儲的數據后面會(huì )介紹。
　　
　　1、還有不使用消息中間件的 APM 系統。例如，在 Cat 中，客戶(hù)端通過(guò) Netty 連接到服務(wù)器以發(fā)送消息。
　　2、服務(wù)端采用Lambda架構模式。Dog UI 上查詢(xún)的數據是從每個(gè) Dog-server 的內存數據和下游存儲的數據中聚合而成的。
　　下面，我們簡(jiǎn)單介紹一下 Dog UI 上比較重要的一些功能，然后我們將分析如何實(shí)現相應的功能。
　　注：以下圖片均為本人繪制，非實(shí)頁(yè)截圖，數值可能不準確
　　下圖顯示了一個(gè)示例交易報告：
　　
　　
　　當然，點(diǎn)擊上圖中的具體名稱(chēng)，以及下一級狀態(tài)的統計數據，這里就不會(huì )有映射了。Dog一共設計了type、name、status三個(gè)屬性。上兩圖中的最后一列是sample，它通向sample視圖：
　　
　　樣本意味著(zhù)抽樣。當我們看到一個(gè)高故障率或者高P90的接口，你就知道有問(wèn)題了，但是因為它只有統計數據，你不知道哪里出了問(wèn)題。這時(shí)候，你需要一些樣本數據。對于類(lèi)型、名稱(chēng)和狀態(tài)的不同組合，我們每分鐘最多保存 5 個(gè)成功、5 個(gè)失敗和 5 個(gè)處理緩慢的樣本數據。
　　
　　通過(guò)上面的trace視圖，可以很快的知道是哪個(gè)環(huán)節出了問(wèn)題。當然，我們之前也說(shuō)過(guò)，我們的 Trace 依賴(lài)于我們埋點(diǎn)的豐富程度，但是 Dog 是一個(gè)基于 Metrics 的系統，所以它的 Traces 能力是不夠的，但在大多數情況下，對于排查問(wèn)題應該足夠了。
　　對于應用程序開(kāi)發(fā)人員，以下問(wèn)題視圖應該非常有用：
　　
　　它顯示了各種錯誤統計信息，并為開(kāi)發(fā)人員提供了解決問(wèn)題的示例。
　　最后簡(jiǎn)單介紹一下Heartbeat視圖，它和前面的功能沒(méi)有任何關(guān)系，而是大量的圖表。我們有g(shù)c、heap、os、thread等各種數據，以便我們觀(guān)察系統的健康狀況。
　　
　　本節主要介紹APM系統通常收錄哪些功能。其實(shí)很簡(jiǎn)單，對吧？接下來(lái)，我們從開(kāi)發(fā)者的角度來(lái)談?wù)劸唧w的實(shí)現細節。
　　客戶(hù)數據模型
　　每個(gè)人都是開(kāi)發(fā)者，所以我會(huì )更直接。下圖描述了客戶(hù)端的數據模型：
　　
　　對于Message來(lái)說(shuō)，用于統計的字段有type、name、status，所以我們可以根據type、type+name、type+name+status這三個(gè)維度進(jìn)行統計。
　　Message中的其他字段：timestamp表示事件發(fā)生的時(shí)間；如果成功為假，該事件將被計入問(wèn)題報告；數據不具有統計意義，僅對鏈路跟蹤和故障排除有用；businessData 用于向業(yè)務(wù)系統上報業(yè)務(wù)數據，需要手動(dòng)管理，然后用于業(yè)務(wù)數據分析。
　　Message 有兩個(gè)子類(lèi) Event 和 Transaction。不同的是Transaction有一個(gè)duration屬性，用來(lái)標識事務(wù)需要多長(cháng)時(shí)間?？梢杂糜趍ax time、min time、avg time、p90、p95等，而event指的是發(fā)生了某事發(fā)生的時(shí)候，只能用來(lái)統計發(fā)生了多少次，沒(méi)有概念的時(shí)間長(cháng)度。
　　Transaction有一個(gè)屬性children，可以嵌套Transaction或者Event，最后形成一個(gè)樹(shù)形結構進(jìn)行trace，后面會(huì )介紹。
　　下表顯示了一個(gè)虛線(xiàn)數據的示例，更直觀(guān)：
　　
　　只是幾件事：
　　類(lèi)型為URL、SQL、Redis、FeignClient、HttpClient等數據，屬于自動(dòng)跟蹤的范疇。通常，在A(yíng)PM系統上工作的時(shí)候，一定要完成一些自動(dòng)埋點(diǎn)工作，這樣應用開(kāi)發(fā)者不用做任何埋點(diǎn)工作就可以看到很多有用的數據。Type=Order 像最后兩行一樣屬于人工埋藏的數據。
　　打點(diǎn)需要特別注意類(lèi)型、名稱(chēng)和狀態(tài)的維度的“爆炸”。它們的組合太多會(huì )消耗大量資源，并且可能直接拖累我們的Dog系統。type的維度可能不會(huì )太多，但是我們可能需要注意開(kāi)發(fā)者可能會(huì )濫用name和status，所以一定要進(jìn)行normalize（比如url可能有動(dòng)態(tài)參數，需要格式化）。
　　表中最后兩項是開(kāi)發(fā)者手動(dòng)埋藏的數據，通常用于統計具體場(chǎng)景。比如我想知道某個(gè)方法是怎么調用的，調用次數，耗時(shí)，是否拋出異常，輸入參數，返回值。等待。因為自動(dòng)埋點(diǎn)是業(yè)務(wù)不想關(guān)閉的冷數據，開(kāi)發(fā)者可能想埋一些自己想統計的數據。
　　當開(kāi)發(fā)者手動(dòng)埋點(diǎn)時(shí)，也可以上報更多業(yè)務(wù)相關(guān)的數據。請參閱表格的最后一列。這些數據可用于業(yè)務(wù)分析。比如我是一個(gè)支付系統，通常一個(gè)支付訂單涉及到很多步驟（國外支付和你平時(shí)使用的微信和支付寶略有不同）。通過(guò)上報各個(gè)節點(diǎn)的數據，我終于可以在Dog上使用bizId串起整個(gè)鏈接，在排查問(wèn)題時(shí)非常有用（我們做支付業(yè)務(wù)的時(shí)候，支付成功率并沒(méi)有大家想象的那么高，而且節點(diǎn)很多可能有問(wèn)題）。
　　客戶(hù)設計
　　上一節介紹了單條消息的數據，本節介紹其他內容。
　　首先我們介紹一下客戶(hù)端的API使用：
　　上面的代碼說(shuō)明了如何使用嵌套的事務(wù)和事件。當最外層的Transaction在finally代碼塊中調用finish()時(shí)，樹(shù)的創(chuàng )建就完成了，消息就被傳遞了。
　　我們交付給 Kafka 的不是 Message 實(shí)例，因為一個(gè)請求會(huì )產(chǎn)生很多 Message 實(shí)例，但應該組織成一個(gè) Tree 實(shí)例以便以后交付。下圖描述了 Tree 的各種屬性：
　　樹(shù)的屬性很好理解。它持有對根事務(wù)的引用，并用于遍歷整個(gè)樹(shù)。另外，需要攜帶機器信息messageEnv。
　　treeId應該有保證全局唯一性的算法，簡(jiǎn)單介紹Dog的實(shí)現：$-$-$-$。
　　下面簡(jiǎn)單介紹幾個(gè)tree id相關(guān)的內容。假設一個(gè)請求從A-&gt;B-&gt;C-&gt;D經(jīng)過(guò)4個(gè)應用，A是入口應用，那么會(huì )有：
　　1、總共有 4 個(gè) Tree 對象實(shí)例將從 4 個(gè)應用程序交付給 Kafka?？鐟谜{用時(shí)，需要傳遞treeId、parentTreeId、rootTreeId三個(gè)參數；
　　2、一個(gè)應用的treeId是所有節點(diǎn)的rootTreeId；
　　3、B應用的parentTreeId就是A的treeId，同理C的parentTreeId就是B應用的treeId；
　　4、跨應用調用時(shí)，比如從A調用B時(shí)，為了知道A的下一個(gè)節點(diǎn)是什么，在A(yíng)中提前為B生成treeId，B收到請求后，如果找到A 已經(jīng)為它生成了一個(gè)treeId，直接使用那個(gè)treeId。
　　大家也應該很容易知道，通過(guò)這些tree id，我們要實(shí)現trace的功能。
　　介紹完樹(shù)的內容后，我們來(lái)簡(jiǎn)單討論一下應用集成解決方案。
　　集成無(wú)非是兩種技術(shù)。一種是通過(guò)javaagent。在啟動(dòng)腳本中，添加相應的代理。這種方式的好處是開(kāi)發(fā)者無(wú)意識，運維級別可以做到。當然，如果開(kāi)發(fā)者想要手動(dòng)做一些嵌入，可能需要給開(kāi)發(fā)者提供一個(gè)簡(jiǎn)單的客戶(hù)端jar包來(lái)橋接代理。
　　另一種是提供jar包，開(kāi)發(fā)者可以引入這個(gè)依賴(lài)。
　　這兩種方案各有優(yōu)缺點(diǎn)。Pinpoint 和 Skywalking 使用 javaagent 方案，Zipkin、Jaeger 和 Cat 使用第二種方案，Dog 也使用手動(dòng)添加依賴(lài)項的第二種方案。
　　一般來(lái)說(shuō)，做Traces的系統會(huì )選擇使用javaagent方案，因為這類(lèi)系統代理已經(jīng)完成了所有需要的埋點(diǎn)，沒(méi)有應用開(kāi)發(fā)者的感知。
　　最后簡(jiǎn)單介紹一下Heartbeat的內容。這部分其實(shí)是最簡(jiǎn)單的，但是可以制作很多五顏六色的圖表，實(shí)現面向老板的編程。
　　
　　前面我們介紹過(guò)Message有兩個(gè)子類(lèi)Event和Transaction。這里我們添加一個(gè)子類(lèi) Heartbeat 來(lái)報告心跳數據。
　　我們主要采集thread、os、gc、heap、client的運行狀態(tài)（生成了多少棵樹(shù)、數據大小、發(fā)送失敗次數）等。同時(shí)我們也提供api供開(kāi)發(fā)者自定義數據進(jìn)行上報. 狗客戶(hù)端會(huì )啟動(dòng)一個(gè)后臺線(xiàn)程，每分鐘運行一次心跳采集程序，上報數據。
　　介紹更多細節。核心結構是一個(gè)Map\，key類(lèi)似于“os.systemLoadAverage”、“thread.count”等。前綴os、thread、gc等實(shí)際上是用于頁(yè)面上的分類(lèi)，后綴為顯示的折線(xiàn)圖的名稱(chēng)。
　　關(guān)于客戶(hù)，這就是我在這里介紹的全部?jì)热?。其?shí)在實(shí)際的編碼過(guò)程中，還是有一些細節需要處理的，比如樹(shù)太大怎么辦，比如沒(méi)有rootTransaction的情況怎么處理（開(kāi)發(fā)者只叫了Dog. logEvent(...))，比如如何在不調用finish的情況下處理內部嵌套事務(wù)等。
　　狗服務(wù)器設計
　　下圖說(shuō)明了服務(wù)器的整體設計。值得注意的是，我們這里對線(xiàn)程的使用非?？酥?，圖中只有3個(gè)工作線(xiàn)程。
　　
　　首先是Kafka Consumer線(xiàn)程，負責批量消費消息。它使用 kafka 集群中的 Tree 實(shí)例。接下來(lái)，考慮如何處理它。
　　這里，我們需要對樹(shù)狀結構的消息進(jìn)行扁平化，我們稱(chēng)這一步為deflate，并做一些預處理，形成如下結構：
　　接下來(lái)，我們將 DeflateTree 分別傳遞給兩個(gè) Disruptor 實(shí)例。我們將 Disruptor 設計為單線(xiàn)程生產(chǎn)和單線(xiàn)程消費，主要是出于性能考慮。
　　消費者線(xiàn)程根據 DeflateTree 的屬性使用綁定的 Processor 進(jìn)行處理。比如DeflateTree中的List problmes不為空，ProblemProcessor是自己綁定的，所以需要調用ProblemProcessor進(jìn)行處理。
　　科普時(shí)間：Disruptor是一個(gè)高性能隊列，性能優(yōu)于JDK中的BlockingQueue
　　這里我們使用了 2 個(gè) Disruptor 實(shí)例，當然我們可以考慮使用更多的實(shí)例，這樣每個(gè)消費者線(xiàn)程就綁定到更少的處理器上。
　　我們在這里將處理器綁定到 Disruptor 實(shí)例。其實(shí)原因很簡(jiǎn)單。出于性能原因，我們希望每個(gè)處理器僅在單個(gè)線(xiàn)程中使用它。單線(xiàn)程操作可以減少線(xiàn)程切換帶來(lái)的開(kāi)銷(xiāo)，可以充分利用系統。緩存，在設計處理器時(shí)，不要考慮并發(fā)讀寫(xiě)的問(wèn)題。
　　這里要考慮負載均衡的情況。有些處理器消耗CPU和內存資源，必須合理分配。壓力最大的任務(wù)不能分配給同一個(gè)線(xiàn)程。
　　核心處理邏輯在每個(gè)處理器中，負責數據計算。接下來(lái)，我將介紹每個(gè)處理器需要做的主要內容。畢竟能看到這里的開(kāi)發(fā)者，應該對APM數據處理真的很感興趣。
　　事務(wù)處理器
　　事務(wù)處理器是系統壓力最大的地方。負責報表統計。雖然 Message 有兩個(gè)主要子類(lèi) Transaction 和 Event，但在實(shí)際的樹(shù)中，大多數節點(diǎn)都是事務(wù)類(lèi)型數據。
　　
　　下圖是事務(wù)處理器內部的主要數據結構。最外層是時(shí)間。我們在幾分鐘內組織它。當我們堅持時(shí)，它也以分鐘為單位存儲。
　　第二層的HostKey代表了哪個(gè)應用程序和來(lái)自哪個(gè)IP的數據，第三層是類(lèi)型、名稱(chēng)和狀態(tài)的組合。最里面的統計是我們的數據統計模塊。
　　此外，我們還可以看到這個(gè)結構會(huì )消耗多少內存。其實(shí)主要看我們的類(lèi)型、名字、狀態(tài)的組合，也就是會(huì )不會(huì )有很多的ReportKey。也就是我們在談客戶(hù)管理的時(shí)候，要避免維度爆炸。
　　最外層的結構代表時(shí)間的分鐘表示。我們的報告是按每分鐘統計的，然后持久化到 ClickHouse，但是我們的用戶(hù)在看數據的時(shí)候，并不是每分鐘都看到的。，所以你需要做數據聚合。下面顯示了如何聚合這兩個(gè)數據。當組合很多數據時(shí)，它們的組合方式相同。
　　仔細想想，你會(huì )發(fā)現前面數據的計算是可以的，但是P90、P95、P99的計算是不是有點(diǎn)騙人？事實(shí)上，這個(gè)問(wèn)題真的是無(wú)解的。我們只能想出一個(gè)合適的數據計算規則，然后再想這個(gè)計算規則，計算出來(lái)的值可能就差不多可用了。
　　此外，還有一個(gè)細節問(wèn)題。我們需要為內存中的數據提供最近 30 分鐘的統計信息，只有超過(guò) 30 分鐘的數據才從 DB 中讀取。然后進(jìn)行上述的合并操作。
　　討論：我們能不能丟掉一部分實(shí)時(shí)性能，每分鐘都持久化，讀取的數據全部來(lái)自DB，這樣可行嗎？
　　不，因為我們的數據是從kafka消費的，有一定的滯后性。如果我們在一分鐘開(kāi)始時(shí)將數據持久化一分鐘，我們可能會(huì )在稍后收到上一次的消息。這種情況無(wú)法處理。
　　比如我們要統計最后一小時(shí)，那么每臺機器獲取30分鐘的數據，從DB獲取30分鐘的數據，然后合并。
　　這里值得一提的是，在交易報告中，count、failCount、min、max、avg是比較容易計算的，但是P90、P95、P99其實(shí)并不好計算，我們需要一個(gè)數組結構，記錄這一分鐘內所有事件的時(shí)間，然后計算，我們這里用的是Apache DataSketches，非常好用，這里就不展開(kāi)了，有興趣的同學(xué)可以自己看看。
　　此時(shí)，您可以考慮一下 ClickHouse 中存儲的數據量。app_name、ip、type、name、status的不同組合，每分鐘一個(gè)數據。
　　樣品處理器
　　示例處理器使用來(lái)自放氣樹(shù)中列表事務(wù)和列表事件的數據。
　　我們還按分鐘采樣，最后每分鐘采樣，對于類(lèi)型、名稱(chēng)和狀態(tài)的每種組合，采集 最多 5 次成功、5 次失敗和 5 次慢處理。
　　相對來(lái)說(shuō)，這還是很簡(jiǎn)單的，其核心結構如下：
　　結合Sample的功能更容易理解：
　　
　　問(wèn)題處理器
　　在進(jìn)行 deflate 時(shí)，所有成功 = false 的消息都將放入 List problmes 以進(jìn)行錯誤統計。
　　Problem的內部數據結構如下：
　　如果你看這張圖，你其實(shí)已經(jīng)知道該怎么做了，所以我就不啰嗦了。我們每分鐘保存 5 個(gè) treeId 的樣本。
　　順便提一下Problem的觀(guān)點(diǎn)：
　　
　　關(guān)于持久化，我們將其存儲在 ClickHouse 中，其中 sample 用逗號連接到一個(gè)字符串，problem_data 的列如下：
　　event_date, event_time, app_name, ip, type, name, status, count, sample
　　心跳處理器
　　Heartbeat 處理 List 心跳的數據。順便說(shuō)一句，在正常情況下，一棵樹(shù)中只有一個(gè) Heartbeat 實(shí)例。
　　前面我也簡(jiǎn)單提到過(guò)，Heartbeat 中用來(lái)顯示圖表的核心數據結構是 Map。
　　采集到的key-value數據如下：
　　前綴是分類(lèi)，后綴是圖的名稱(chēng)?？蛻?hù)端每分鐘采集數據進(jìn)行報告，然后可以制作很多圖表。例如下圖展示了堆分類(lèi)下的各種圖：
　　
　　Heartbeat處理器要做的事情很簡(jiǎn)單，就是數據存儲。Dog UI 上的數據直接從 ClickHouse 讀取。
　　heartbeat_data的列如下：
　　消息樹(shù)處理器
　　我們之前已經(jīng)多次提到過(guò) Sample 的功能。這些采樣數據幫助我們還原場(chǎng)景，這樣我們就可以通過(guò)trace視圖來(lái)追蹤調用鏈。
　　
　　做上面的trace view，我們需要所有上下游樹(shù)的數據，比如上圖就是3個(gè)樹(shù)實(shí)例的數據。
　　正如我們之前在介紹客戶(hù)端時(shí)所說(shuō)，這些樹(shù)是由父treeId和根treeId組織的。
　　要做到這一點(diǎn)，我們面臨的挑戰是我們需要保存全部數據量。
　　你可以想想這個(gè)問(wèn)題。為什么我們需要保存全部數據？如果我們直接保存采樣的數據不是更好嗎？
　　這里我們使用 Cassandra 的功能。Cassandra在這種kv場(chǎng)景下性能非常好，運維成本非常低。
　　我們使用treeId作為主鍵，并添加一列數據。它是整個(gè)樹(shù)的實(shí)例數據。數據類(lèi)型是blob。我們先做gzip壓縮，然后扔給Cassandra。
　　業(yè)務(wù)處理器
　　我們在介紹客戶(hù)端的時(shí)候說(shuō)過(guò)，每條Message都可以攜帶Business Data，但只有應用開(kāi)發(fā)者手動(dòng)埋藏的時(shí)候。當我們發(fā)現有業(yè)務(wù)數據時(shí)，我們會(huì )做另一件事，就是將這些數據存儲在 ClickHouse 中進(jìn)行業(yè)務(wù)分析。
　　我們其實(shí)不知道應用開(kāi)發(fā)者會(huì )在什么場(chǎng)景下使用它，因為每個(gè)人負責不同的項目，所以我們只能做一個(gè)通用的數據模型。
　　
　　回頭看這張圖，在BusinessData中，我們定義了更通用的userId和bizId，我們認為可能會(huì )用到每一個(gè)業(yè)務(wù)場(chǎng)景。userId不用說(shuō)，bizId可以用來(lái)記錄訂單id、支付訂單id等。
　　然后我們提供三個(gè)String類(lèi)型的列ext1、ext2、ext3和兩個(gè)數值類(lèi)型的列extVal1和extVal2，可以用來(lái)表達你的業(yè)務(wù)相關(guān)參數。
　　當然，我們的處理也很簡(jiǎn)單。將這些數據存儲在 ClickHouse 中就足夠了。表中主要有這幾列：
　　這些數據對于我們的Dog系統來(lái)說(shuō)肯定是不熟悉的，因為我們不知道你在表達什么業(yè)務(wù)。類(lèi)型、名稱(chēng)和狀態(tài)由開(kāi)發(fā)人員自己定義。我們不知道 ext1、ext2 和 ext3 分別是什么意思。，我們只負責存儲和查詢(xún)。
　　這些業(yè)務(wù)數據非常有用，基于這些數據，我們可以做很多數據報表。因為本文討論的是APM，所以這里不再贅述。
　　其他
　　ClickHouse 需要批量編寫(xiě)，否則肯定是不可持續的。通常，一個(gè)批次至少有 10,000 行數據。
　　我們在 Kafka 層控制它。app_name + ip 的數據只會(huì )被同一個(gè) dog-server 消費。當然，這并不意味著(zhù)多個(gè)狗服務(wù)器消費時(shí)會(huì )出現問(wèn)題，但寫(xiě)入ClickHouse的數據會(huì )更準確。許多。
　　還有一個(gè)關(guān)鍵點(diǎn)。我們說(shuō)每個(gè)處理器都是單線(xiàn)程訪(fǎng)問(wèn)的，但是有一個(gè)問(wèn)題，那就是Dog UI的請求呢？這里我想了一個(gè)辦法，就是把請求放到一個(gè)Queue中，Kafka Consumer的線(xiàn)程會(huì )消費，它會(huì )把任務(wù)丟給兩個(gè)Disruptor。例如，如果這個(gè)請求是一個(gè)交易報告請求，那么其中一個(gè) Disruptor 消費者會(huì )發(fā)現這是他們想要做的，并且會(huì )執行這個(gè)任務(wù)。
　　概括
　　如果你知道 Cat，你可以看到 Dog 在很多地方與 Cat 有相似之處，或者只是說(shuō)“復制”。我們也考慮過(guò)直接使用Cat或者在Cat的基礎上做二次開(kāi)發(fā)。
　　但是看了Cat的源碼后，我放棄了這個(gè)想法。仔細想了想，正好借用了Cat的數據模型，然后我們自己寫(xiě)一套APM也不難，于是有了這個(gè)項目。
　　寫(xiě)的需要，很多地方重要的我都避而遠之，因為這不是源碼分析文章，細節就不多說(shuō)了，主要是給讀者一個(gè)全貌，讀者可以大致思考哪些需要處理通過(guò)我的描述，需要寫(xiě)哪些代碼，然后當我表達清楚。
　　歡迎您提出自己的問(wèn)題或想法。如果有不明白的地方或者我有錯誤和遺漏的地方，請指正~

　　通過(guò)關(guān)鍵詞采集文章采集api(大數據、人工智能等新技術(shù)給新媒體產(chǎn)業(yè)帶來(lái)新沖擊)
　　大數據、人工智能等新技術(shù)給新媒體行業(yè)帶來(lái)了新的影響和新的機遇。新媒體行業(yè)內部也將進(jìn)一步分化。技術(shù)實(shí)力雄厚、團隊競爭力強、生態(tài)協(xié)同良好的互聯(lián)網(wǎng)平臺將搶占越來(lái)越多的市場(chǎng)份額。BAT三巨頭的老套路，極有可能被字節跳動(dòng)打敗。、快手等后來(lái)者破局，形成了新的媒體產(chǎn)業(yè)格局。
　　如今，對于新媒體運營(yíng)商來(lái)說(shuō)，作品的質(zhì)量變得越來(lái)越重要。好的作品自然會(huì )得到更多的關(guān)注，但面對各大平臺的海量媒體內容，如何讓自己的優(yōu)質(zhì)作品脫穎而出，是很多新媒體運營(yíng)商思考的主要問(wèn)題之一。
　　近年來(lái)興起的DaaS+RPA“數據智能機器人”，在政府、金融、醫療、人力資源、制造等多個(gè)領(lǐng)域都有很多典型的應用場(chǎng)景?，F在它也在新媒體行業(yè)開(kāi)辟了新的應用路徑。它可以幫助運營(yíng)商提高運營(yíng)效率，提高工程質(zhì)量。
　　
　　一、新媒體行業(yè)痛點(diǎn)
　　1、有很多重復的任務(wù)，占用時(shí)間長(cháng)；
　　2、優(yōu)質(zhì)內容很難獲得高流量關(guān)注；
　　3、無(wú)法深入分析用戶(hù)行為指導操作。
　　
　　面對這些痛點(diǎn)，我們可以通過(guò)使用外部軟件工具進(jìn)一步提高我們的運營(yíng)效率?！皵底止芗摇薄獢祿ヂ?lián)數據智能機器人（以下簡(jiǎn)稱(chēng)“數據互聯(lián)”）是一款非常流行的采用DaaS+RPA技術(shù)的過(guò)程自動(dòng)化軟件?！皵祿B接”可以根據用戶(hù)設置的任務(wù)流程和規則實(shí)現自動(dòng)化操作。通過(guò)非侵入、免協(xié)調技術(shù)，快速安全生成系統業(yè)務(wù)數據訪(fǎng)問(wèn)（API）接口，實(shí)時(shí)連接多個(gè)應用系統，跨系統采集和報表.
　　媒體運營(yíng)商只需要預先設置好任務(wù)流程，“數據連接”可以模擬人工操作，比如復制、粘貼、點(diǎn)擊、輸入等，輔助我們完成那些大型的“規則相對固定，重復的和額外的。較低的價(jià)值”。
　　二、解決方案及應用場(chǎng)景
　　1、多平臺一鍵分發(fā)
　　對于媒體工作者來(lái)說(shuō)，時(shí)間就是金錢(qián)。日常的分發(fā)過(guò)程非常繁瑣枯燥，需要大量寶貴的創(chuàng )作時(shí)間，而同行每天更新的內容越來(lái)越多，競爭也越來(lái)越激烈，卻沒(méi)有更多的時(shí)間去創(chuàng )作，這導致了一個(gè)惡性循環(huán)。，無(wú)法輸出高質(zhì)量的內容。
　　使用“Digital Connect”可以實(shí)現文章和視頻的多平臺一鍵分發(fā)，完美解決了內容分發(fā)的繁瑣問(wèn)題，節省了大量時(shí)間。以前需要 2-3 個(gè)小時(shí)才能完成的發(fā)布工作，現在幾分鐘就可以完成，大大提高了工作效率。自媒體競爭非常激烈。更多的內容創(chuàng )作必然會(huì )獲得更多的曝光和品牌傳播，更多的優(yōu)質(zhì)內容制作可以提升領(lǐng)域綜合排名、賽事獎勵和更多收入。
　　
　　2、提高用戶(hù)發(fā)布內容的流行度
　　媒體人員在操作各大文章和視頻平臺時(shí)，往往會(huì )發(fā)現自己花了很多時(shí)間和精力制作文章或視頻內容，瀏覽量、點(diǎn)贊數、評論數等數據都低，導致無(wú)法讓更多用戶(hù)看到并獲得更多曝光，導致運營(yíng)數據和結果不盡人意。
　　“數據連接”可以在平臺允許的范圍內，通過(guò)任務(wù)流程和組件的合理配置，有效優(yōu)化發(fā)布的文章和視頻數據，有效優(yōu)化平臺輸出內容。推廣效率，提高內容曝光度，形成良性運營(yíng)狀態(tài)。
　　
　　3、網(wǎng)站SEO智能優(yōu)化
　　如今的市場(chǎng)競爭非常激烈，網(wǎng)民越來(lái)越多，使用搜索引擎的頻率非常高。目前，最大的中文搜索引擎百度日均PV達到30億。如果網(wǎng)站不做SEO優(yōu)化，不利于搜索引擎采集收錄，會(huì )影響網(wǎng)站網(wǎng)站的流量很容易被網(wǎng)友忽略。因此，無(wú)論是為了公司形象還是為了市場(chǎng)，SEO都非常重要。
　　“數據連接”可以為網(wǎng)站提供生態(tài)自營(yíng)銷(xiāo)解決方案，為網(wǎng)站頁(yè)面關(guān)鍵詞提供SEO智能優(yōu)化方法，讓網(wǎng)站在行業(yè)，從而獲得更高的品牌收入和影響力。
　　
　　“數據連接”結合了DaaS+RPA+AI技術(shù)。作為一款流程自動(dòng)化軟件，不受標準化具體場(chǎng)景的約束，部署流程也比較短，特別是對于復雜的場(chǎng)景。該解決方案高度定制且易于使用。此外，“數字連接”可以更好地適應軟件環(huán)境的變化，降低運維成本，滿(mǎn)足客戶(hù)智能需求，在復雜應用場(chǎng)景中搭建高壁壘。

　　通過(guò)關(guān)鍵詞采集文章采集api(一下這款軟件生成一篇6000字的長(cháng)文,軟件)
　　最近有一款軟件很火。給它一個(gè)關(guān)鍵詞，它會(huì )直接為你生成一個(gè)6000字的長(cháng)文本。不過(guò)文章的內容比較啰嗦，這個(gè)軟件的名字也不錯。有趣：《廢話(huà)文章Generator》~接下來(lái)導演帶你深入了解這款軟件~
　　首先，我們來(lái)看看這款軟件的網(wǎng)頁(yè)版。網(wǎng)頁(yè)版的界面很簡(jiǎn)單，有一個(gè)輸入框和一個(gè)生成按鈕，一目了然：
　　
　　那我們接下來(lái)試試。以“科技學(xué)院之最”為例，輸入后點(diǎn)擊生成，biu~會(huì )瞬間生成一個(gè)超長(cháng)的文章，每次點(diǎn)擊可以獲得不同的文章，效率超高有木有！
　　
　　但是仔細看會(huì )發(fā)現，雖然每次生成的文章都不一樣，但是好像有些句子出現了很多次。這是怎么回事？
　　
　　導演按照網(wǎng)頁(yè)上的說(shuō)明跳轉到知乎，然后跳轉到Github，終于找到了軟件的源代碼，大家下載下來(lái)研究一下~
　　
　　經(jīng)過(guò)一些簡(jiǎn)單的研究，導演發(fā)現文章大致是由名言、填充詞、關(guān)鍵詞和一些“廢話(huà)”等組成，通過(guò)一定的算法。
　　
　　作者提供了100多個(gè)名言，10多個(gè)俚語(yǔ)，30多個(gè)“廢話(huà)”。這些內容隨意組合拼接，可以形成多種結果。因此，每次生成的內容不完全相同！
　　
　　
　　如果下載源代碼，也可以自己修改一些參數，比如段落長(cháng)度、句子長(cháng)度、文章的總字數：
　　
　　另外，還可以修改文本部分，比如把名言修改成你想要的內容，生成你獨有的文章~修改文本部分時(shí)，只需要修改數據中的內容即可.json 文件就可以了。這個(gè)文件可以用記事本，文本編輯器，或者類(lèi)似功能的軟件打開(kāi)~
　　
　　本軟件作者強調，本軟件生成的文章確實(shí)不合理，只能作為玩笑，請勿用于正式用途！所以就玩得開(kāi)心吧~另外，作者還有進(jìn)一步的開(kāi)發(fā)計劃：
　　
　　除了以上，導演還想介紹一個(gè)比較有意思的網(wǎng)站，叫做《彩虹屁發(fā)生器》。不知道什么時(shí)候用~
　　
　　這個(gè)原理也比較簡(jiǎn)單。每次點(diǎn)擊【下一步】，都會(huì )通過(guò)API調用一條新的內容，并顯示在網(wǎng)頁(yè)上：
　　
　　其實(shí)類(lèi)似功能的軟件或者網(wǎng)頁(yè)還有很多，這里就不一一列舉了。最后，導演再次提醒，這種軟件是娛樂(lè )性的，千萬(wàn)不要在正式場(chǎng)合使用！