國(guó)內(nèi)外經(jīng)典開源數(shù)據(jù)大全！

獲取地址：https://www.graviti.cn/open-datasets/

2.CityScapes數(shù)據(jù)集

CityScapes是由奔馳自動(dòng)駕駛實(shí)驗(yàn)室、馬克思·普朗克研究所、達(dá)姆施塔特工業(yè)大學(xué)聯(lián)合發(fā)布的公開數(shù)據(jù)集，專注于對(duì)城市街景的語義理解。該數(shù)據(jù)集包含50個(gè)不同的城市，在不同的季節(jié)和天氣條件下的街景中記錄的各種立體視頻序列，Cityscapes數(shù)據(jù)集共有fine和coarse兩套評(píng)測(cè)標(biāo)準(zhǔn)，前者提供5000張精細(xì)標(biāo)注的圖像，后者提供5000張精細(xì)標(biāo)注外加20000張粗糙標(biāo)注的圖像。

數(shù)據(jù)集大小：74.15GB

獲取地址：https://gas.graviti.cn/dataset/graviti-open-dataset/CityScapes

3.BDD100K數(shù)據(jù)集

2018年5月伯克利大學(xué)AI實(shí)驗(yàn)室（BAIR）發(fā)布了公開駕駛數(shù)據(jù)集BDD100K，同時(shí)設(shè)計(jì)了一個(gè)圖片標(biāo)注系統(tǒng)。BDD100K 數(shù)據(jù)集包含10萬段高清視頻，每個(gè)視頻約40秒\720p\30 fps 。每個(gè)視頻的第10秒對(duì)關(guān)鍵幀進(jìn)行采樣，得到10萬張圖片（圖片尺寸：1280*720 ），并進(jìn)行標(biāo)注。10萬張圖片中，包含了不同天氣、場(chǎng)景、時(shí)間的圖片，而且高清、模糊的圖片都有，具有規(guī)模大，多樣化的特點(diǎn)。

數(shù)據(jù)集大小：6.42GB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/BDD100K

4.nuScenes數(shù)據(jù)集

nuScenes數(shù)據(jù)集是由Motional（以前為nuTonomy）的團(tuán)隊(duì)開發(fā)的用于自動(dòng)駕駛的公共大型數(shù)據(jù)集。Motional致力于實(shí)現(xiàn)安全，可靠和可達(dá)的無人駕駛環(huán)境。通過向公眾發(fā)布部分?jǐn)?shù)據(jù)，Motional旨在推進(jìn)計(jì)算機(jī)視覺和自動(dòng)駕駛的研究。

nuScenes數(shù)據(jù)集在波士頓和新加坡這兩個(gè)城市收集了1000個(gè)駕駛場(chǎng)景，這兩個(gè)城市交通繁忙,駕駛狀況極具挑戰(zhàn)性。nuScenes手動(dòng)選擇20秒長(zhǎng)的場(chǎng)景，以顯示各種駕駛操作，交通狀況和意外行為。nuScenes收集了不同大洲的數(shù)據(jù)，能讓我們進(jìn)一步研究計(jì)算機(jī)視覺算法在不同位置，天氣狀況，車輛類型，植被，道路標(biāo)記以及左右手交通之間的通用性。nuScenes完整的數(shù)據(jù)集包括約40萬個(gè)關(guān)鍵幀中的140萬個(gè)攝像機(jī)圖像，39萬個(gè)LIDAR掃描數(shù)據(jù)，1.4 M個(gè)RADAR掃描數(shù)據(jù)和1.4萬個(gè)對(duì)象邊界框。其擴(kuò)展包nuScenes-lidarseg的40,000個(gè)點(diǎn)云和1000個(gè)場(chǎng)景（用于訓(xùn)練和驗(yàn)證的850個(gè)場(chǎng)景以及用于測(cè)試的150個(gè)場(chǎng)景）中包含了14億個(gè)標(biāo)注點(diǎn)。

數(shù)據(jù)集大小：547.98GB

獲取地址：https://gas.graviti.cn/dataset/motional/nuScenes

二、目標(biāo)檢測(cè)數(shù)據(jù)集

圖像語義分割是計(jì)算機(jī)視覺領(lǐng)域的經(jīng)典任務(wù)之一，目的是將圖像分割成幾組具有某種特定語義含義的像素區(qū)域，并識(shí)別出每個(gè)區(qū)域的類別，最終獲得具有像素語義標(biāo)注的圖像。下面為大家介紹幾個(gè)常見的語義分割數(shù)據(jù)集。

1.COCO數(shù)據(jù)集

COCO的全稱是Common Objects in Context，是微軟團(tuán)隊(duì)提供的用來進(jìn)行目標(biāo)識(shí)別、圖像分割等任務(wù)的數(shù)據(jù)集。

有如下幾個(gè)特點(diǎn)：目標(biāo)分割、上下文識(shí)別、超像素分割、330K圖像（已標(biāo)記> 200K）、150萬個(gè)對(duì)象實(shí)例、80個(gè)對(duì)象類別、91個(gè)物品類別、每個(gè)圖像5個(gè)字幕、250,000包含關(guān)鍵點(diǎn)的人。

COCO數(shù)據(jù)集支持目標(biāo)檢測(cè)、實(shí)例分割、全景分割、Stuff Segmentation、關(guān)鍵點(diǎn)檢測(cè)、看圖說話等任務(wù)類型。圖片格式均為JPG格式，其中目標(biāo)檢測(cè)，實(shí)例分割任務(wù)對(duì)應(yīng)的圖像類別為80類；Stuff Segmentation，全景分割任務(wù)新增圖像類別53類。

數(shù)據(jù)大小：83.39GB

獲取地址：https://gas.graviti.cn/dataset/shannont/COCO

2.PASCAL VOC數(shù)據(jù)集

PASCAL VOC挑戰(zhàn)賽 （The PASCAL Visual Object Classes ）是一個(gè)世界級(jí)的計(jì)算機(jī)視覺挑戰(zhàn)賽, 很多優(yōu)秀的計(jì)算機(jī)視覺模型比如分類，定位，檢測(cè)，分割，動(dòng)作識(shí)別等模型都是基于PASCAL VOC挑戰(zhàn)賽及其數(shù)據(jù)集上推出的，尤其是一些目標(biāo)檢測(cè)模型（比如大名鼎鼎的R CNN系列，以及后面的YOLO，SSD等）。

從2005年到2012年，VOC挑戰(zhàn)賽每年組織一次。每年的內(nèi)容都有所不同，從最開始的分類，到后面逐漸增加目標(biāo)分類、目標(biāo)檢測(cè)、目標(biāo)分割、人體布局、動(dòng)作識(shí)別等內(nèi)容，數(shù)據(jù)集的容量以及種類也在不斷的增加和改善。

對(duì)于現(xiàn)在的研究者來說比較重要的兩個(gè)年份的數(shù)據(jù)集是 PASCAL VOC 2007 與 PASCAL VOC 2012。PASCAL VOC 2012數(shù)據(jù)集是在2007年的基礎(chǔ)上增加而來的，包含4個(gè)大類和20個(gè)小類。

3.OpenImage數(shù)據(jù)集

Open Image是一個(gè)由Google發(fā)布的包含約900萬張圖像URL的數(shù)據(jù)集，里面的圖片通過標(biāo)簽注釋被分為6000多類。該數(shù)據(jù)集中的標(biāo)簽要比ImageNet（1000類）包含更真實(shí)生活的實(shí)體存在，它足夠讓我們從頭開始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。

數(shù)據(jù)大小：671.41GB

獲取地址：https://gas.graviti.cn/dataset/shannont/OpenImages_v6

三、人臉識(shí)別類數(shù)據(jù)集

1.YouTube Face DB數(shù)據(jù)集

YouTube Face是一個(gè)人臉視頻數(shù)據(jù)庫，旨在研究視頻中，非受限情況下的人臉識(shí)別的問題。數(shù)據(jù)集包含1,595個(gè)不同人的3,425個(gè)視頻，都是從YouTube下載的。每個(gè)主題平均包含2.15個(gè)視頻。視頻剪輯持續(xù)時(shí)間最短為48幀，最長(zhǎng)為6,070幀，平均長(zhǎng)度為181.3幀。

數(shù)據(jù)集大小：671.41GB

獲取地址：https://gas.graviti.cn/dataset/shannont/YouTubeFacesDB

2.CelebA數(shù)據(jù)集

CelebFaces屬性數(shù)據(jù)集（CelebA）是一個(gè)大規(guī)模的面部屬性數(shù)據(jù)集，其中包含超過20萬名人圖像，每個(gè)圖像都有40個(gè)屬性注釋。該數(shù)據(jù)集中的圖像涵蓋了較大的姿勢(shì)變化和背景雜波。

CelebA具有多種多樣，數(shù)量眾多且注釋豐富的特點(diǎn)，包括:

• 10,177個(gè)不同的ID
• 202,599張人臉圖像
• 該數(shù)據(jù)集可用作以下計(jì)算機(jī)視覺任務(wù)的訓(xùn)練和測(cè)試集：面部屬性識(shí)別，面部檢測(cè)，五官（或面部部分）定位以及面部編輯和合成。

數(shù)據(jù)集大小：9.55 GB

獲取地址：https://gas.graviti.cn/dataset/shannont/CelebA

3.IMDB-WIKI數(shù)據(jù)集

IMDB-WIKI人臉數(shù)據(jù)庫是有IMDB數(shù)據(jù)庫和Wikipedia數(shù)據(jù)庫組成，其中IMDB人臉數(shù)據(jù)庫包含了460,723張人臉圖片，而Wikipedia人臉數(shù)據(jù)庫包含了62,328張人臉數(shù)據(jù)庫，總共523,051張人臉數(shù)據(jù)庫，IMDB-WIKI人臉數(shù)據(jù)庫中的每張圖片都被標(biāo)注了人的年齡和性別，對(duì)于年齡識(shí)別和性別識(shí)別的研究有著重要的意義。

數(shù)據(jù)集大小：276.23GB

獲取地址：https://gas.graviti.cn/dataset/hello-dataset/IMDbWiki

4.LFW數(shù)據(jù)集

LFW (Labeled Faces in the Wild) 人臉數(shù)據(jù)庫是由美國(guó)馬薩諸塞州立大學(xué)阿默斯特分校計(jì)算機(jī)視覺實(shí)驗(yàn)室整理完成的數(shù)據(jù)庫，主要用來研究非受限情況下的人臉識(shí)別問題。是目前人臉識(shí)別的常用測(cè)試集，其中提供的人臉圖片均來源于生活中的自然場(chǎng)景，因此識(shí)別難度會(huì)增大，尤其由于多姿態(tài)、光照、表情、年齡、遮擋等因素影響導(dǎo)致即使同一人的照片差別也很大。并且有些照片中可能不止一個(gè)人臉出現(xiàn)，對(duì)這些多人臉圖像僅選擇中心的人臉作為目標(biāo)，其他區(qū)域的視為背景干擾。

LFW數(shù)據(jù)集主要是從互聯(lián)網(wǎng)上搜集圖像，共有13233張人臉圖像，每張圖像均給出對(duì)應(yīng)的人名，共有5749人，且絕大部分人僅有一張圖片，其中有1680 人包含兩個(gè)以上的人臉圖像。每張圖片的尺寸為250X250，絕大部分為彩色圖像，也存在少許黑白人臉圖片。

數(shù)據(jù)集大小：1.29GB

獲取地址：https://gas.graviti.cn/dataset/graviti-open-dataset/LFW

四、人體姿態(tài)估計(jì)類數(shù)據(jù)集

1.LSP數(shù)據(jù)集

Leeds Sports Pose 是由利茲大學(xué)計(jì)算機(jī)學(xué)院于 2010 年發(fā)布的一個(gè)體育姿勢(shì)數(shù)據(jù)集。被分為競(jìng)技、羽毛球、棒球、體操、跑酷、足球、排球和網(wǎng)球幾類，共包含約 2000 個(gè)姿勢(shì)注釋，圖像均來自于 Flickr 。通過對(duì)圖像進(jìn)行縮放，聚焦的人物長(zhǎng)度約 150 像素，并且每個(gè)圖像都帶有14個(gè)關(guān)節(jié)位置的注釋，其左側(cè)和右側(cè)關(guān)節(jié)始終“以本人的視角”進(jìn)行標(biāo)記。

數(shù)據(jù)集標(biāo)注情況，截取自Graviti數(shù)據(jù)可視化功能

數(shù)據(jù)大小：33.78MB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/LeedsSportsPose

2.FLIC數(shù)據(jù)集

FLIC（Frames Labeled In Cinema）數(shù)據(jù)集由賓夕法尼亞大學(xué)-工程與應(yīng)用科學(xué)學(xué)院 GRASP 實(shí)驗(yàn)室于 2013 年發(fā)布。該數(shù)據(jù)集是從好萊塢流行電影中自動(dòng)收集的圖像數(shù)據(jù)集，包含5003張圖像。這些圖像截取了30部電影的整十倍的幀數(shù)，通過最先進(jìn)的人物檢測(cè)器獲得。每個(gè)圖像由五個(gè)人標(biāo)注10個(gè)上半身關(guān)節(jié)。此外，圖像中擁有 5 個(gè)中值標(biāo)記以保證異常值注釋具有魯棒性。最后，如果該人被遮擋或嚴(yán)重不正面，將被手動(dòng)刪除。

數(shù)據(jù)集大小：1.38GB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/FLIC

3.MPII Human Pose數(shù)據(jù)集

MPII Human Pose人體姿勢(shì)數(shù)據(jù)集是人體姿勢(shì)預(yù)估的一個(gè) benchmark。數(shù)據(jù)集中包含約25000張標(biāo)注圖像，標(biāo)注人數(shù)超過 4萬人，涵蓋了410中人類活動(dòng)。這些圖像是從 YouTube video 中抽取出來的。此外，在測(cè)試集中還收錄了身體部位遮擋、3D 軀干、頭部方向的標(biāo)注。

數(shù)據(jù)集大小：11.26GB

獲取地址：https://gas.graviti.cn/dataset/shannont/MPIIHumanPose

五、文本檢測(cè)類數(shù)據(jù)集

1.MNIST數(shù)據(jù)集

MNIST是深度學(xué)習(xí)領(lǐng)域的“Hello World!”。MNIST是一個(gè)手寫數(shù)字?jǐn)?shù)據(jù)庫，有60000個(gè)訓(xùn)練樣本集和10000個(gè)測(cè)試樣本集，每個(gè)樣本圖像的寬高為28*28。此數(shù)據(jù)集是以二進(jìn)制存儲(chǔ)的，不能直接以圖像格式查看，不過很容易找到將其轉(zhuǎn)換成圖像格式的工具。

數(shù)據(jù)集大小：12MB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/MNIST

2.SVHN數(shù)據(jù)集

SVHN是從Google街景圖像中的門牌號(hào)獲得的一個(gè)來自現(xiàn)實(shí)世界的圖像數(shù)據(jù)集，用于開發(fā)機(jī)器學(xué)習(xí)和對(duì)象識(shí)別算法，同時(shí)對(duì)數(shù)據(jù)預(yù)處理和格式化的要求最低。它的風(fēng)格與MNIST相似，但有更多數(shù)量級(jí)的標(biāo)記數(shù)據(jù)（超過600,000位數(shù)字圖像），并且希望解決一個(gè)更加困難，難以解決的現(xiàn)實(shí)問題（識(shí)別自然場(chǎng)景圖像中的數(shù)字）。

數(shù)據(jù)集中包含10個(gè)類別，數(shù)字1～9對(duì)應(yīng)標(biāo)簽1～9，而“0”的標(biāo)簽則為10。訓(xùn)練集中共有73257張圖像，測(cè)試集中有26032張圖像。

數(shù)據(jù)集格式：帶有字符級(jí)邊界框的原始圖像。

數(shù)據(jù)集大小：3.92GB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/SVHN

3.CCPD數(shù)據(jù)集

CCPD（Chinese City Parking Dataset）數(shù)據(jù)集是一個(gè)用于車牌識(shí)別的大型國(guó)內(nèi)停車場(chǎng)車牌數(shù)據(jù)集，是由中科大團(tuán)隊(duì)建立的。該數(shù)據(jù)集在合肥市的停車場(chǎng)采集得來，采集時(shí)間早上7:30到晚上10:00。停車場(chǎng)采集人員手持Android POS機(jī)對(duì)停車場(chǎng)的車輛拍照并手工標(biāo)注車牌位置。拍攝的車牌照片涉及多種復(fù)雜環(huán)境，包括模糊、傾斜、陰雨天、雪天等等。CCPD數(shù)據(jù)集一共包含將近30萬張圖片，每種圖片大小720x1160x3。一共包含8項(xiàng)，具體如下：

數(shù)據(jù)集大小：23.48GB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/CCPD

六、NLP數(shù)據(jù)集

1.common voice數(shù)據(jù)集【ASR】

Common Voice 是 Mozilla 發(fā)起的一項(xiàng)倡議，旨在推進(jìn)語音識(shí)別技術(shù)，更廣泛地為大眾服務(wù)。Common Voice 也是一套龐大的數(shù)據(jù)庫，收錄了全球各地貢獻(xiàn)的語音數(shù)據(jù)，讓任何人都可以更快更輕松地訓(xùn)練支持所有語言的語音識(shí)別程序。除了應(yīng)用最廣泛的語言，common voice還收集了使用人數(shù)較少的語種語音樣本。一套豐富而又公開的語音數(shù)據(jù)集能夠幫助開發(fā)者、創(chuàng)業(yè)者以及各個(gè)社區(qū)縮小語言規(guī)模的鴻溝。

該數(shù)據(jù)集當(dāng)前有 5,671 小時(shí)，54 種語言的語音數(shù)據(jù)。數(shù)據(jù)集中的每一條都包含了一組獨(dú)立 MP3 錄音及相應(yīng)的文本文件。數(shù)據(jù)集所記錄的 7,226 小時(shí)的錄音中，有許多條數(shù)據(jù)同時(shí)包含了年齡、性別、口音等人口統(tǒng)計(jì)元數(shù)據(jù)，能夠訓(xùn)練語音識(shí)別引擎提升其準(zhǔn)確性。

數(shù)據(jù)集大小：50.06GB

獲取地址：https://gas.graviti.cn/dataset/hello-dataset/CommonVoiceCN

2.LibriSpeechASR 數(shù)據(jù)集【ASR】

公開數(shù)據(jù)集中最常用的英文語料，其中包含了1000小時(shí)的16kHz有聲書錄音，這些數(shù)據(jù)來自LibriVox項(xiàng)目的有聲讀物。數(shù)據(jù)都經(jīng)過切割和整理成每條10秒左右的、經(jīng)過文本標(biāo)注的音頻文件，非常適合入門使用。

數(shù)據(jù)集大小：140.02GB

獲取地址：https://gas.graviti.cn/dataset/hello-dataset/LibriSpeechASR

3. 20NewsGroups 數(shù)據(jù)集【文本分類】

20newsgroups數(shù)據(jù)集是用于文本分類、文本挖據(jù)和信息檢索研究的國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)集之一。數(shù)據(jù)集收集了大約20,000左右的新聞組文檔，均勻分為20個(gè)不同主題的新聞組集合。一些新聞組的主題特別相似，還有一些卻完全不相關(guān)。

20newsgroups數(shù)據(jù)集有三個(gè)版本。第一個(gè)版本19997是原始的并沒有修改過的版本。第二個(gè)版本bydate是按時(shí)間順序分為訓(xùn)練(60%)和測(cè)試(40%)兩部分?jǐn)?shù)據(jù)集，不包含重復(fù)文檔和新聞組名（新聞組，路徑，隸屬于，日期）。第三個(gè)版本18828不包含重復(fù)文檔，只有來源和主題。

• 20news-19997.tar.gz –原始20 Newsgroups數(shù)據(jù)集

• 20news-bydate.tar.gz –按時(shí)間分類; 不包含重復(fù)文檔和新聞組名(18846 個(gè)文檔)

• 20news-18828.tar.gz–  不包含重復(fù)文檔，只有來源和主題 (18828 個(gè)文檔)

數(shù)據(jù)集大小：44.31MB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/Newsgroups20

4. Mandarin Chinese Scripted Speech Corpus 數(shù)據(jù)集【ASR】

此數(shù)據(jù)集包含了755個(gè)小時(shí)的中文普通話朗讀音頻和轉(zhuǎn)寫文本，由1080名說話人提供。

總時(shí)長(zhǎng)為755小時(shí)的中文普通話朗讀語音音頻和轉(zhuǎn)寫文本，語料內(nèi)容為日常用語、命令控制和短信。由 Magichub 社區(qū)開源。

獲取地址：https://gas.graviti.cn/dataset/magichub/MAGICDATAMandarinChineseReadSpeechCorpus_1

七、醫(yī)學(xué)類數(shù)據(jù)集

COVID-CT數(shù)據(jù)集

該數(shù)據(jù)集的圖像是從medRxiv，bioRxiv，NEJM，JAMA，Lancet等與COVID19相關(guān)的論文中收集的。COVID-CT-Dataset包含來自216位COVID-19患者的349張CT圖像和439張非患者的CT。圖像中，還收集了從論文中提取的元信息，如患者年齡、性別、位置、病史、掃描時(shí)間、COVID-19的嚴(yán)重程度和放射學(xué)報(bào)告。

數(shù)據(jù)集大小：370.82MB

獲取地址：https://gas.graviti.cn/dataset/data-decorators/COVID_CT