谷歌數據集搜索正式版出爐：全面升級，覆蓋2500萬(wàn)數據集

　　機器之心報道

　　參與：李澤南、一鳴

　　公開(kāi)數據集往往存在于論文和網(wǎng)站數據庫中，想要找到它們需要花費一番功夫。除了 以外，搜索公開(kāi)數據集的搜索引擎仍然比較少——除了谷歌的數據集搜索工具以外。

　　近日，谷歌宣布，它們的數據集搜索引擎不再是 beta 版了。這意味著(zhù)該產(chǎn)品已經(jīng)正式向用戶(hù)們開(kāi)放使用。Jeff Dean 和谷歌官方都在推特上宣布了這一消息。

　　谷歌數據集搜索的 beta 版本早在 2018 年 9 月就上線(xiàn)了，該引擎面向「科學(xué)家、開(kāi)發(fā)者、數據極客等人群」，一直以來(lái)都是人們尋找數據集的主要方式之一。

　　在網(wǎng)絡(luò )中，任何你感興趣的主題都可能有無(wú)數種數據集。如果你想買(mǎi)一只小狗，你可以在數據集搜索中找到小狗買(mǎi)家評價(jià)的數據集。如果你喜歡滑雪，也可以找到有關(guān)著(zhù)名滑雪地盈利和受傷概率數字的數據集。今天，谷歌數據集搜索已經(jīng)涵蓋了超過(guò) 2500 萬(wàn)種不同類(lèi)型的數據集，它可以幫助你輕松地找到所有數據集的下載鏈接。

　　谷歌表示，經(jīng)過(guò)一年多的努力，數據集搜索功能的階段性測試已經(jīng)完成。

　　如果你在數據集搜索上輸入「skiing」，會(huì )出現的結果：出現了從最快的滑雪運動(dòng)員到滑雪地的收入數據集等不同類(lèi)型。

　　正式版更新了什么？

　　谷歌從用戶(hù)在 Beta 版的使用中獲得了很多經(jīng)驗。在正式版中，你可以根據所需的數據集類(lèi)型（表格、圖片、文本等），或者數據集是否可以免費獲取等條件來(lái)進(jìn)行搜索。如果數據集是關(guān)于某個(gè)地區的，你也可以通過(guò)地圖進(jìn)行查找。另外，現在搜索也做了移動(dòng)端的適配，并大幅改善了數據及描述的質(zhì)量。任何數據集發(fā)布者都可以通過(guò) 開(kāi)放標準在自己的網(wǎng)站上進(jìn)行規范性描述，以提高搜索結果的質(zhì)量。

　　對于不同的學(xué)科來(lái)說(shuō)，人們進(jìn)行的搜索是完全不同的：科學(xué)家會(huì )尋找研究目標（如搜索催產(chǎn)素），學(xué)生會(huì )搜索包含自己作業(yè)主題的關(guān)鍵字，業(yè)務(wù)分析師和數據科學(xué)家會(huì )尋找移動(dòng) app 或快餐店銷(xiāo)售的數據……今天，所有這些內容都有數據集。

　　谷歌表示，目前人們在數據集搜索上查詢(xún)頻率最高的詞是「教育」、「天氣」、「癌癥」、「*敏*感*詞*」、「足球」以及「狗」。

　　搜索「快餐店」出現的結果索引。

　　哪些數據集可以找到？

　　數據集搜索引擎可以提供數據集的快照信息，特別是有關(guān)地理信息、生物和農業(yè)方面的信息。很多信息都來(lái)自于 ，只要網(wǎng)絡(luò )上存在的數據集符合 schema 的開(kāi)放標準，搜索引擎就可以搜索到。

　　除了公開(kāi)數據之外，數據集搜索引擎還包括了很多政府公開(kāi)數據，包括美國政府超過(guò)兩百萬(wàn)的數據集。絕大部分的公開(kāi)數據都是以表格形式存儲的，可以很容易地下載并進(jìn)行處理。

　　使用體驗

　　機器之心嘗試了這一數據集搜索工具。例如，我們在搜索欄里輸入了 CIFAR，搜索引擎很容易就提供了 CIFAR-10 和 CIFAR-100 兩個(gè)數據集的搜索結果，并附帶數據集全名、被引用數量、更新時(shí)間、提供者、下載方式、介紹和信息來(lái)源等。

　　如果我們不知道數據集叫什么名字，但是想看看有沒(méi)有某種數據的數據集呢？機器之心嘗試了一些不常用關(guān)鍵詞，如「Chinese Poem」（中國詩(shī)歌）。

　　搜索結果也還不錯，提供了相當多的數據集，包括數據集所在的論文等。

　　下一步計劃

　　項目團隊表示，他們會(huì )繼續優(yōu)化數據集搜索這項產(chǎn)品，并歡迎用戶(hù)提出進(jìn)一步改進(jìn)建議。

　　參考鏈接：