Notebook與計(jì)算機(jī)視覺的未來

點(diǎn)擊上方“AI算法與圖像處理”，選擇加"星標(biāo)"或“置頂”
重磅干貨，第一時(shí)間送達(dá)

• FiftyOne：http://fiftyone.ai/

CV / ML社區(qū)需要比Jupyter Notebook更多的東西來進(jìn)行視覺研究和分析。

• Google’s Colab：https://colab.research.google.com/github/voxel51/fiftyone-examples/blob/master/examples/digging_into_coco.ipynb

科學(xué)狀態(tài)

科學(xué)論文的協(xié)同效率已經(jīng)到達(dá)了瓶頸。

• 文章地址：https://www.theatlantic.com/science/archive/2018/04/the-scientific-paper-is-obsolete/556676/

Wolfram的圍墻花園

Python，Jupyter

Jupyter并非在“技術(shù)層面”上而是在“社會(huì)層面”上勝過Mathematica。

理解數(shù)據(jù)質(zhì)量需要對(duì)數(shù)據(jù)趨勢(shì)有深刻的了解。

FiftyOne和Jupyter

讓機(jī)器為我們做出智能和自動(dòng)化決策的機(jī)會(huì)促使我們進(jìn)行了大量的人工工作。

我們用來分析計(jì)算機(jī)視覺模型的方法和工具的質(zhì)量，應(yīng)該與用于構(gòu)建它們的方法和工具的質(zhì)量相匹配。

與FiftyOne一起挖掘COCO

!pip install fiftyone

import fiftyone as fo
import fiftyone.zoo as foz

dataset = foz.load_zoo_dataset("coco-2017", split="validation")
session = fo.launch_app(dataset)

• FiftyOne Model zoo：https://voxel51.com/docs/fiftyone/user_guide/model_zoo/index.html

model = foz.load_zoo_model("faster-rcnn-resnet50-fpn-coco-torch")
dataset.apply_model(model, label_field="predictions", confidence_thresh=0.6)

from fiftyone import ViewField as F

vehicle_labels = ["bus","car", "truck"]
only_vehicles = F("label").is_in(vehicle_labels)

vehicles = (
    dataset
    .filter_labels("predictions", only_vehicles, only_matches=True)
    .filter_labels("ground_truth", only_vehicles, only_matches=True)
)

session.view = vehicles

from fiftyone.utils.eval import evaluate_detections

evaluate_detections(vehicles, "predictions",  gt_field="ground_truth", iou=0.75)

filter_vehicles = F("ground_truth_eval.matches.0_75.gt_id") == -1

unmatched_vehicles = (
    vehicles
    .filter_labels("predictions", filter_vehicles, only_matches=True)
    .sort_by(F("predictions.detections").map(F("confidence")).max(), reverse=True)
)

session.view = unmatched_vehicles

• COCO 2017檢測(cè)數(shù)據(jù)集：https://cocodataset.org/#detection-2017

vehicle_labels = {
    label: "vehicle" for label in ["bus","car", "truck"]
}

merged_vehicles_dataset = (
    vehicles
    .map_labels("ground_truth", vehicle_labels)
    .map_labels("predictions", vehicle_labels)
    .exclude_fields(["tp_iou_0_75", "fp_iou_0_75", "fn_iou_0_75"])
    .clone("merged_vehicles_dataset")
)

evaluate_detections(
    merged_vehicles_dataset, "predictions", gt_field="ground_truth", iou=0.75)

session.dataset = merged_vehicles_dataset

original_tp_count = vehicles.sum("tp_iou_0_75")
merged_tp_count = merged_vehicles_dataset.sum("tp_iou_0_75")

print("Original Vehicles True Positives: %d" % original_tp_count)
print("Merged Vehicles True Positives: %d" % merged_tp_count)

Original Vehicles True Positives: 1431
Merged Vehicles True Positives: 1515

session.freeze() # Screenshot the active App window for sharing

總結(jié)

• https://github.com/voxel51/fiftyone

個(gè)人微信（如果沒有備注不拉群！）
請(qǐng)注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱



下載1：何愷明頂會(huì)分享

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析

下載2：終身受益的編程指南：Google編程風(fēng)格指南

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：c++，即可下載。歷經(jīng)十年考驗(yàn)，最權(quán)威的編程規(guī)范！

下載3 CVPR2021

在「AI算法與圖像處理」公眾號(hào)后臺(tái)回復(fù)：CVPR，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文