亚洲a在线视频,黃色一级一片免费播放,国产又黄又爽免费观看,人人射人人操,女人高潮a毛片在线看,日韩无码啪啪啪,99精品视频在线播放免费,黑逼逼无码区


來源：大數(shù)據DT

本文約2680字，干貨滿滿，建議閱讀5分鐘
了解如何以及在何處查找要使用的數(shù)據集是很好的。在AI的廣闊領域和它可以應用到的大量問題中，這兩者都是非常主觀的，但是存在一些通用的真理和建議。

01 去哪里找

對于常見問題，有很多地方可以開始你的搜索。

就像谷歌學術（Google Scholar）用于研究論文那樣，Google Dataset Search用于數(shù)據集。谷歌搜索的應用是無處不在的。這是了解特定主題的絕佳起點。谷歌還管理自己的通用公共數(shù)據存儲庫，稱為Google Public Data，亞馬遜也擁有自己的AWS數(shù)據注冊中心。

Kaggle.com是致力于數(shù)據科學的在線社區(qū)。它具有由社區(qū)和組織貢獻的大型數(shù)據集存儲庫，其中包含大量主題，任你選擇。該站點還是以比賽或討論方式學習數(shù)據分析細節(jié)的重要資源。

研究機構通常會發(fā)布科學數(shù)據供公眾使用。如果你需要敏感的人類數(shù)據（如果可以確信已經適當匿名），這將特別有用。在澳大利亞，我們擁有諸如澳大利亞統(tǒng)計局、聯(lián)邦科學與工業(yè)研究組織（CSIRO）之類的機構，甚至還有一個用于訪問所有政府數(shù)據的在線門戶，名為data.gov.au。

在世界其他地方，著名的機構包括NASA、NOAA NIST、CDC、WHO、UNICEF、CERN、Max Planck Institute、CNR、EPA等。

同樣，許多國家或地區(qū)都有中央政府數(shù)據存儲庫，例如data.gov（美國）、open.canada.ca、data.govt.nz、data.europa.eu和data.gov.uk等。

一些具有非科學目的的公司，如果達到了自己能夠進行內部研究或被要求進行內部研究的規(guī)模，甚至會發(fā)布數(shù)據存儲庫。世界銀行和國際貨幣基金組織（IMF）就是一個很好的例子，它們已經成為開放的金融和大眾數(shù)據的主要來源。

在允許的情況下，從信譽良好的組織采購數(shù)據是確保準確性、覆蓋范圍以及適用的價值類型和格式的絕佳方法。

FiveThirtyEight和BuzzFeed這樣的新聞網站，提供了從公眾調查中獲得的數(shù)據以及關鍵文章收集的數(shù)據，從可能涉及公眾福祉的重要社會和政治數(shù)據（網絡審查、政府監(jiān)控、槍支、醫(yī)療保健等），到體育等一切內容的分數(shù)或民意測驗。

Reddit的/r/datasets是一個信息共享的好地方。你可以瀏覽人們發(fā)布的有趣的東西，或者在特定的問題上尋求幫助。甚至還有一些很好的元信息，比如有人發(fā)布了一個詳盡的每個開放數(shù)據門戶的列表。當你瀏覽Reddit的時候，/r/MachineLearning也是一個好選擇。

有時，隨機發(fā)燒友也會真正為你服務。作者個人最喜歡的網站是Jonathan’s Space Home Page，其中一位來自哈佛大學史密森天體物理學中心的天體物理學家，在網站上保存著發(fā)射到太空的所有物體的廣泛列表。只是作為附帶項目，太奇妙了。

稍微不尋常的數(shù)據的另一個重要來源是整數(shù)數(shù)列在線大全（OEIS），它是各種數(shù)字數(shù)列及其附加信息（例如圖或用于生成數(shù)列的公式）的龐大集合。因此，如果你對卡塔蘭數(shù)感到好奇或想了解忙碌的海貍問題，OEIS幫你排序了。

還有無數(shù)的網站致力于成為諸如開放政府、重要研究出版物中使用的學術數(shù)據等領域數(shù)據集的中央注冊中心。

這或許說明了這一點：數(shù)據無處不在。我們每時每刻都在創(chuàng)造更多的東西，而且很多人和組織都致力于讓這對我們所有人都有用。個人對數(shù)據源的喜好是靠時間和經驗建立起來的，因此要廣泛地進行探索和實驗。

02 尋找什么

在開始搜索之前要有一個清晰的計劃，知道你需要什么來對你要解決的問題建模。在要包括的潛在數(shù)據中，考慮以下因素：

數(shù)據中顯示的值及其類型
收集數(shù)據的個人或組織
收集數(shù)據所使用的方法（如果知道的話）
收集數(shù)據的時間范圍
該集合單獨是否足以解決你的問題。如果不能，那么是否容易合并其他的來源

預準備的數(shù)據集經常需要進行修改以適合其他用途。通過這種方式，即使可以假設數(shù)據已經是干凈的（應該進行驗證以防萬一），仍然可能需要進行一些數(shù)據轉換。為了確保輸出質量，你應該從這里開始觀察通常的數(shù)據準備步驟。

請記住，在某種程度上，可能需要一些額外的或不同格式的信息才能產生預期的結果。一個預構建的數(shù)據集是一個很好的起點，但是它絕不應該被免除審查：即使在短期內需要做大量的工作，也要修改或替換不合適的數(shù)據集。

03 構建數(shù)據集

要從頭創(chuàng)建數(shù)據集，你必須從某個地方獲取原始數(shù)據。這些工作通常分為三個主要的維度：記錄數(shù)據、整理數(shù)據和收集數(shù)據。

免責聲明

每個國家都有自己關于數(shù)據集收集、存儲和維護的法律法規(guī)。本節(jié)中描述的一些方法在一個地區(qū)可能是合法的，但在下一個地區(qū)則是非法的。在沒有首先檢查數(shù)據集合法性的情況下，你決不能采取任何行動來獲取數(shù)據集。通過數(shù)據抓取或追蹤的方法觀察你不擁有的在線內容，在世界上的某些地方會招致嚴重的懲罰，不管你是不知道，也不管你這么做的目的是什么。這是不值得做的。

其他方法在法律中可能不明確，例如從公共場所收集照片或錄像，或出于其他目的提供數(shù)據的所有權。

即使數(shù)據集有一個許可證說明你可以使用所需的數(shù)據，在你擁有數(shù)據之后，也要仔細考慮收集它的方法和職責。你所在地區(qū)的法律總是優(yōu)先于授予你數(shù)據權限的許可。

根據經驗，如果不是你自己創(chuàng)建的數(shù)據，你就不擁有它（即使你確實創(chuàng)建了它，仍然可能不擁有它）。所以，除非你得到明確的許可，否則不能收集或使用它。

1. 數(shù)據記錄

數(shù)據記錄是一流的數(shù)據收集：你自己在做一些現(xiàn)象和屬性的觀察，記錄屬于你自己的獨特數(shù)據。這可以通過物理設備（如傳感器或相機）或數(shù)字觀測設備（如網絡追蹤器或爬蟲）來完成。

你可以收集關于在特定位置發(fā)生的動作或環(huán)境條件的數(shù)據，記錄你想要識別的不同對象的圖像，或者記錄Web服務的流量以預測用戶行為。

針對以前可能沒有觀察到的主題，你可以使用這些方法創(chuàng)建高度針對性的數(shù)據集，但這是最耗時的方法。收集的數(shù)據的質量也取決于收集數(shù)據的設備或方法，因此建議你具備一些專業(yè)知識。

2. 數(shù)據整理

數(shù)據整理是將多個信息源組合起來，以創(chuàng)建要分析的新數(shù)據的實踐過程。可以通過從報告中提取數(shù)據、從不同的在線來源合并數(shù)據或查詢API等方法來構建。它將存在于許多地方的數(shù)據以一種有用的方式整合在一起。

在某些情況下，整理數(shù)據幾乎和記錄或生成自己的數(shù)據一樣耗時，但更有可能會創(chuàng)建一組關于發(fā)生在難以觸及的地方（如海外或私人組織內部）的現(xiàn)象的數(shù)據。

不共享某個問題初始數(shù)據集的公司可能會發(fā)表多篇包含所有數(shù)據的論文。或者，一個站點不允許你下載每個做過Y操作的用戶的記錄，可能會允許你無數(shù)次查詢用戶X是否做過Y？

整理的數(shù)據的質量取決于在合并來源時你的關注程度。某些數(shù)據整理錯誤可能危及整個項目，例如合并了使用不同測量單位的來源或發(fā)生簡單的轉錄錯誤等。

3. 數(shù)據抓取

數(shù)據抓取是一種收集大量信息的方法，這些信息已經存在，但可能沒有被觀察到，它們可以生成適合使用的結構化數(shù)據。這是過去社交媒體分析的主要方式（尤其是由第三方進行），但許多平臺都限制了人們獲取數(shù)據或使用從其服務中獲取的數(shù)據的能力。

抓取是用軟件來執(zhí)行的，該軟件可以加載、觀察和下載大量的內容，這些內容通常是不加區(qū)別地從Web目標上下載的，然后就可以對其進行調整以供使用。數(shù)據抓取要有目的性。

本文轉載自公眾號大數(shù)據DT（ID：hzdashuju）

作者：Mars Geldard, Jonathon Manning, Paris Buttfield-Addison, Tim Nugent

本文摘編自《Swift人工智能實戰(zhàn)：從基礎理論到AI驅動的應用程序開發(fā)》，經出版方授權發(fā)布。

作者信息：

Mars Geldard，來自澳大利亞塔斯馬尼亞州的研究者和計算機科學家。

Jonathon Manning，Secret 實驗室的聯(lián)合創(chuàng)始人兼技術主管，該實驗室位于澳大利亞塔斯馬尼亞州，已成立十幾年了。

Paris Buttfield-Addison，計算機科學家和歷史學家，也是Secret 實驗室的聯(lián)合創(chuàng)始人和產品研發(fā)負責人。

Tim Nugent，移動應用程序開發(fā)者、游戲設計師和計算機研究者。

編輯：王菁

校對：汪雨晴

機器學習 | 數(shù)據從哪里找？手把手教你構建數(shù)據集

1. 數(shù)據記錄

2. 數(shù)據整理

3. 數(shù)據抓取