日本欧美性爱视频一区二区,俺也去色网络,青青草在线视频无码,国产极度色诱视频在线观看,操逼视频网页,国产18女人高潮,亚洲日本欧美中文幕,午夜高清性爱视频

為幫助廣大企業(yè)和開發(fā)者更加便捷和快速地創(chuàng)建深度學(xué)習(xí)應(yīng)用，百度飛槳正不斷地提升平臺(tái)的訓(xùn)練和推理能力，并與英特爾緊密合作，在至強(qiáng)? 平臺(tái)集成的AI加速能力的支持下，以 INT8 量化方案，在不影響預(yù)測(cè)準(zhǔn)確度的情況下，將多個(gè)深度學(xué)習(xí)模型的推理速度加速到使用 FP32 時(shí)的 2-3 倍，大大提升了用戶深度學(xué)習(xí)應(yīng)用的工作效能。

在圖像分類等深度學(xué)習(xí)應(yīng)用中，使用 INT8 替代 FP32 來提升推理效率、降低功耗和部署復(fù)雜度，是目前 AI 技術(shù)發(fā)展的重要方向。飛槳基于第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器的高性能算力以及英特爾? 深度學(xué)習(xí)加速( VNNI 指令集)的技術(shù)，對(duì)應(yīng)的 INT8 方案在不影響推理準(zhǔn)確度的情況下，推理速度實(shí)現(xiàn)顯著的提升。
-- 高鐵柱高級(jí)經(jīng)理百度深度學(xué)習(xí)平臺(tái)部

作為一家持續(xù)創(chuàng)新，致力于“用科技讓復(fù)雜世界更簡(jiǎn)單”的高科技公司，百度* 正不遺余力地推進(jìn)人工智能（Artificial Intelligence， AI）最前沿技術(shù)的發(fā)展與探索，并為各行業(yè) 與 AI 的無(wú)縫對(duì)接提供基礎(chǔ)支撐。其中，飛槳*（PaddlePaddle*）作百度推出的開源深度學(xué)習(xí)平臺(tái)，就能幫助企業(yè)與開發(fā)者快速、便捷地創(chuàng)建自己的深度學(xué)習(xí)應(yīng)用。

隨著飛槳在 AI應(yīng)用領(lǐng)域的不斷拓展，百度發(fā)現(xiàn)， AI 訓(xùn)練與推理所需的巨大計(jì)算量和部署復(fù)雜度，給其在企業(yè)市場(chǎng)上的商用部署造成了較高的門檻，對(duì)可用性造成了影響。同時(shí)，它也看到，在用于圖像識(shí)別、圖像分類等場(chǎng)景的深度學(xué)習(xí)模型中， INT8 等低精度的定點(diǎn) 計(jì)算在推理準(zhǔn)確度上與傳統(tǒng)的 32 位浮點(diǎn)計(jì)算相差無(wú)幾，但在計(jì)算速度、功率消耗上卻有著更大的優(yōu)勢(shì)。

通過與英特爾開展緊密合作，百度在其飛槳深度學(xué)習(xí)平臺(tái)中發(fā)布了 INT8 離線量化方案。實(shí)際驗(yàn)證表明，基于第二代英特爾? 至強(qiáng)?可擴(kuò)展處理器平臺(tái)，并利用其集成的、對(duì) INT8 有優(yōu)化支持的英特爾? 深度學(xué)習(xí)加速技術(shù)（VNNI指令集），可在不影響預(yù)測(cè)準(zhǔn)確度的情況下，使多個(gè)深度學(xué)習(xí)模型在使用 INT8 時(shí)的推理速度，加速到使用 FP32 時(shí)的 2-3 倍之多¹，大大提升了用戶深度學(xué)習(xí)應(yīng)用的工作效能。

百度飛槳開源深度學(xué)習(xí)平臺(tái)實(shí)現(xiàn)的解決方案優(yōu)勢(shì)：

? 在圖像分類等場(chǎng)景所用的深度學(xué)習(xí)模型中，采用 INT8 等低精度定點(diǎn)計(jì)算方式，可以更高效地利用高速緩存，減少帶寬瓶頸，并更大限度地利用計(jì)算資源，降低功率消耗；

? 在 ResNet-50* 和 MobileNet-V1* 等多個(gè)深度學(xué)習(xí)模型上的實(shí)踐表明，基于第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器，特別是它所集成的英特爾? 深度學(xué)習(xí)技術(shù)的支持，INT8可以實(shí)現(xiàn)與 FP32 相近的深度學(xué)習(xí)模型推理準(zhǔn)確度，兩者差值在 1% 以內(nèi)²；

? 在這些深度學(xué)習(xí)模型上的實(shí)踐，同時(shí)還表明，基于第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器及英特爾?深度學(xué)習(xí)技術(shù)的支持，INT8 可實(shí)現(xiàn)更快的深度學(xué)習(xí)模型推理速度，其推理速度約為 FP32 的 2.2 倍~2.79倍³。

飛槳深度學(xué)習(xí)框架

作為一個(gè)易學(xué)易用、安全高效的分布式深度學(xué)習(xí)平臺(tái)，百度飛槳具備優(yōu)異的訓(xùn)練和推理性能。它在核心框架基礎(chǔ)上，提供了 VisualDL*、PARL*、AutoDL*、EasyDL* 以及 AI Studio* 等全流程深度學(xué)習(xí)工具組件和服務(wù)平臺(tái)，能夠滿足不同開發(fā)者和企業(yè)學(xué)習(xí)、開發(fā)及部署 AI 應(yīng)用與服務(wù)的需求。目前，該框架已在智能推薦、機(jī)器視覺、自然語(yǔ)言處理等一系列 AI 應(yīng)用場(chǎng)景的探索中，獲取了豐碩的實(shí)踐成果，得到了眾多 AI 開發(fā)者的青睞。

為了進(jìn)一步提升飛槳在商業(yè)部署中的可用性，百度團(tuán)隊(duì)從多個(gè)維度著手，進(jìn)一步探索提升其工作效率、降低其部署門檻和復(fù)雜度的“捷徑”。傳統(tǒng)上，深度學(xué)習(xí)的訓(xùn)練和推理過程都采用精度較高的浮點(diǎn)數(shù)值，例如 FP32。高精度數(shù)值意味著 AI 系統(tǒng)會(huì)承載更大的計(jì)算、存儲(chǔ)壓力，有更高的功率消耗以及更復(fù)雜的系統(tǒng)設(shè)計(jì)。而隨著 AI 應(yīng)用部署的“戰(zhàn)場(chǎng)”越來越廣，網(wǎng)絡(luò)邊緣節(jié)點(diǎn)乃至移動(dòng)終端都開始接入 AI 應(yīng)用，這對(duì) AI 系統(tǒng)的計(jì)算、存儲(chǔ)能力和功耗提出了更為苛刻的要求。為此，飛槳也在尋求更多樣、更適合的方式來提升自身的可用性和資源利用效率。

在圖像識(shí)別、圖像分類等場(chǎng)景的深度學(xué)習(xí)場(chǎng)景中，采用 INT8 等較低精度的數(shù)值替代 FP32 是一種可行的方案。低精度數(shù)值可以更好地使用高速緩存，增加內(nèi)存數(shù)據(jù)傳輸效率，減少帶寬瓶頸，從而能夠更為充分地利用計(jì)算和存儲(chǔ)資源，并降低系統(tǒng)功率。這意味著，在同樣資源的支持下，INT8 可為深度學(xué)習(xí)的推理帶來更多的每秒操作數(shù)（Operations Per Second，OPS）。

為幫助用戶便捷地采用 INT8 構(gòu)建其深度學(xué)習(xí)應(yīng)用，并取得與 FP32同樣優(yōu)異的推理性能，百度與英特爾開展了深入的技術(shù)合作，利用第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器集成的英特爾? 深度學(xué)習(xí)加速技術(shù)對(duì) INT8 更優(yōu)的支持，在最新版本的飛槳中，為用戶提供了離線 INT8 深度學(xué)習(xí)推理能力，并在隨后進(jìn)行的一系列驗(yàn)證測(cè)試中，印證了這一方案的應(yīng)用優(yōu)勢(shì)。

更具效能的 INT8 推理方案

與 FP32 相比，INT8 有著更小的數(shù)值精度和動(dòng)態(tài)范圍，因此在深度學(xué)習(xí)中采用 INT8 推理方式，需要著重解決計(jì)算執(zhí)行時(shí)的信息損失問題。在飛槳新版中，離線 INT8 推理功能通過校準(zhǔn)的方式來形成待推理的 INT8 模型，實(shí)現(xiàn)了在將 FP32 轉(zhuǎn)換為INT8 時(shí)盡可能減少其信息損失的目標(biāo)。

以圖像分析應(yīng)用為例，從高精度數(shù)值向低精度數(shù)據(jù)轉(zhuǎn)換，實(shí)際是一個(gè)邊計(jì)算邊縮減的過程。換言之，如何確認(rèn)縮減的范圍是盡可能減少信息損失的關(guān)鍵。在 FP32 向 INT8 映射的過程中，根據(jù)數(shù)據(jù)集校準(zhǔn)的方式，來確定映射縮減的參數(shù)。在確定參數(shù)后，平臺(tái)再根據(jù)所支持的 INT8 操作列表，對(duì)圖形進(jìn)行分析并執(zhí)行量化/反量化等操作。量化操作用于 FP32 向 S8（有符號(hào) INT8）或 U8（無(wú)符號(hào) INT8）的量化，反量化操作則執(zhí)行反向操作。

基于以上概念，如圖一所示，飛槳將校準(zhǔn)過程分成了張量統(tǒng)計(jì)收集和圖形轉(zhuǎn)換兩個(gè)步驟。前者會(huì)輸入預(yù)設(shè)的校準(zhǔn)數(shù)據(jù)集（可根據(jù)用戶需求來確定校準(zhǔn)數(shù)據(jù)集的 Batch Size 大小和迭代次數(shù)）和經(jīng)優(yōu)化的 FP32 模型及權(quán)重，平臺(tái)會(huì)在校準(zhǔn)數(shù)據(jù)集上執(zhí)行 FP32 推理，并獲得激活張量（Ac tivation Tensor）和權(quán)重張量（Weight Tensor）兩個(gè)參數(shù)。

圖一飛槳離線 INT8 推理校準(zhǔn)流程

在隨后的圖形轉(zhuǎn)換過程中，平臺(tái)首先會(huì)通過用戶所指定的量化算法，并根據(jù)上述兩個(gè)參數(shù)來確定量化比例。其次，在對(duì)需要計(jì)算的圖形進(jìn)行分析后，平臺(tái)會(huì)根據(jù)所支持的 INT8 操作列表（飛槳定義了兩個(gè)新的 Kernel：Conv2D* 和 Pool2D*）進(jìn)行量化/反量化的插入操作，從而將量化比例添加到 Conv 作為 OP 屬性。最后，平臺(tái)將量化后的 INT8 模型保存，以便進(jìn)行后續(xù)推理部署。

除了量化和反量化操作，飛槳還定義了 INT8 Kernel Conv 和 INT8Kernel Pool 兩種操作，前者輸入 S8/U8 數(shù)值，采用 S8 的權(quán)重；輸出為 S8/U8/FP32 三類數(shù)值，用于支持 INT8 Conv2D 計(jì)算;后者輸入輸出均為 S8/U8 數(shù)值，用于支持 INT8 Pool2D 計(jì)算。

來自英特爾新一代至強(qiáng)的技術(shù)助力

在新版飛槳中，百度導(dǎo)入了英特爾? 深度學(xué)習(xí)加速技術(shù)——這一集成在第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器中的全新 AI 技術(shù)的支持。英特爾這款全新處理器不僅以優(yōu)化的微架構(gòu)、更多及更快的內(nèi)核和內(nèi)存通道帶來了計(jì)算性能的提升，更面向 AI 應(yīng)用提供了更為全面的硬件加速能力。

英特爾? 深度學(xué)習(xí)加速技術(shù)通過 VNNI 指令集提供了多條全新的寬融合乘加 (FMA) 內(nèi)核指令，可用于支持 8 位或 16 位低精度數(shù)值相乘，這對(duì)于需要執(zhí)行大量矩陣乘法的深度學(xué)習(xí)計(jì)算而言尤為重要。它的導(dǎo)入，使得用戶在執(zhí)行 INT8 推理時(shí)，對(duì)系統(tǒng)內(nèi)存的要求最大可減少75%⁴，而對(duì)內(nèi)存和所需帶寬的減少，也加快了低數(shù)值精度運(yùn)算的速度，從而使系統(tǒng)整體性能獲得大幅提升。

利用第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器提供的強(qiáng)勁算力，以及英特爾? 深度學(xué)習(xí)技術(shù)提供的加速能力，百度團(tuán)隊(duì)已在 ResNet-50 和 MobileNet-V1 兩種圖像分類應(yīng)用常用的網(wǎng)絡(luò)模型上，對(duì)離線 INT8推理進(jìn)行了縝密的測(cè)試驗(yàn)證。在推理準(zhǔn)確度驗(yàn)證中，平臺(tái)采用了英特爾? 至強(qiáng)? 金牌 6271 處理器，測(cè)試在擁有 50,000⁵張圖像的 Full ImageNet Val* 完整驗(yàn)證數(shù)據(jù)集上完成。如表 1 所示，從測(cè)試結(jié)果來看，在 ResNet-50 和 MobileNet-V1 兩種模型的 TOP-1 準(zhǔn)確率（預(yù)測(cè)出最大概率的分類是正確的概率）上，INT8 分別只有 0.4％和 0.31％的準(zhǔn)確度損失⁶，基本可視為沒有準(zhǔn)確度損失。

表一 FP32 和 INT8 推理準(zhǔn)確度結(jié)果比較⁶

在接下來的推理吞吐量（速度）性能測(cè)試中，平臺(tái)采用英特爾? 至強(qiáng)? 金牌 6271 處理器單核部署，并根據(jù)百度的業(yè)務(wù)部署要求，Batch Size 配置為 1 來衡量吞吐量。如表 2 所示，測(cè)試結(jié)果表明，在 Full ImageNet Val 完整驗(yàn)證數(shù)據(jù)集上，ResNet-50 和 MobileNet-V1 兩種模型的 INT8 推理吞吐量是 FP32 的 2.2 倍到 2.79 倍⁷。由此可見，在不影響預(yù)測(cè)準(zhǔn)確度的情況下，使用 INT8，可讓多種深度學(xué)習(xí)模型的推理速度得到顯著提升，這就意味著能有效提升用戶深度學(xué)習(xí)應(yīng)用的工作效能。

表二 FP32 和 INT8 推理吞吐量結(jié)果比較⁷

總結(jié)與展望

在過去數(shù)年中，百度與英特爾就深度學(xué)習(xí)等先進(jìn)技術(shù)與平臺(tái)的發(fā)展，一直在開展緊密的技術(shù)協(xié)作。在飛槳平臺(tái)開發(fā)過程中，英特爾工程師以豐富的硬件調(diào)優(yōu)經(jīng)驗(yàn)，助力解決了許多關(guān)鍵問題，例如并行性能問題、處理器緩存競(jìng)爭(zhēng)帶來的性能問題等，從而在框架層次上整體提升了飛槳的預(yù)測(cè)性能。同時(shí)，在英特爾的支持下，百度也基于英特爾? 數(shù)學(xué)核心函數(shù)庫(kù)（Intel? Math Kernel Library，英特爾? MKL）和面向深度神經(jīng)網(wǎng)絡(luò)的英特爾? 數(shù)學(xué)核心函數(shù)庫(kù)（Intel? Math Kernel Library for Deep Neural Network, 英特爾? MKL-DNN）提供的特性，對(duì)不同類型的深度學(xué)習(xí)模型進(jìn)行了特定的性能優(yōu)化，并已在自然語(yǔ)言處理、圖像處理等模型上獲得了顯著的進(jìn)展。

而在基于英特爾? 架構(gòu)處理器的推理效率提升方面，雙方的技術(shù)協(xié)作更是結(jié)出了豐碩的成果。目前，百度內(nèi)部業(yè)務(wù)和開源平臺(tái)上的一些深度學(xué)習(xí)模型已實(shí)現(xiàn)了英特爾? 架構(gòu)處理器資源利用率與性能的提升。

同時(shí)，針對(duì)特定型號(hào)的服務(wù)器經(jīng)優(yōu)化后，已在平臺(tái)中實(shí)現(xiàn)了現(xiàn)有最佳（State Of The Art，SOTA）效率并逐步上線。同時(shí)，在最新的飛槳中，還集成了面向各種設(shè)備和框架的英特爾? nGraph 深度學(xué)習(xí)模型編譯器，大大提升了用戶部署深度學(xué)習(xí)環(huán)境的效率。

未來，百度與英特爾在AI方面的合作，還將圍繞四個(gè)方向持續(xù)展開。首先，百度計(jì)劃將英特爾的量化和壓縮方面的技術(shù)，集成到飛槳的整體工具鏈中；其次，英特爾? MKL-DNN 作為英特爾面向深度學(xué)習(xí)的核心數(shù)學(xué)函數(shù)庫(kù)，也將進(jìn)一步提供低精度數(shù)值函數(shù)支持，可作為處理器上的高性能 Kernel，成為更多飛槳 OP 的首選；第三，英特爾? nGraph 編譯器也將靈活地作為子圖，參與飛槳在英特爾? 架構(gòu)平臺(tái)上的高性能執(zhí)行；最后，雙方團(tuán)隊(duì)還計(jì)劃在百度內(nèi)部和外部完成更多飛槳部署實(shí)例的優(yōu)化，攜手為用戶帶去更多、更優(yōu)異的深度學(xué)習(xí)平臺(tái)能力。

1,2,3,7 數(shù)據(jù)源自 2019 年 4 月 4 日，百度基于第二代英特爾? 至強(qiáng)? 可擴(kuò)展處理器開展的測(cè)試。

測(cè)試平臺(tái)配置：雙路英特爾? 至強(qiáng)? 金牌 6271 處理器，主頻為 2.6GHz， 24 核心/48 線程，啟用睿頻，啟用超線程，搭載 512 GB 內(nèi)存（16 slots/ 32GB/ 2666 MHz）。

操作系統(tǒng)為 CentOS 6.3， 5.16 (ucode 0x4000013), 測(cè)試基于深度學(xué)習(xí)框架飛槳 1.4.0 版本， Kernel 版本為 3.10.0，編譯器版本為 GCC4.8.2，使用英特爾? MKL-DNN 庫(kù) 0.18 版本;工作負(fù)載：在 Full ImageNet Val 完整驗(yàn)證數(shù)據(jù)集上使用 ResNet50 and MobileNet-V1, Batch Size=1, Datatype: INT8

基準(zhǔn)配置: 雙路英特爾? 至強(qiáng)? 金牌 6271 處理器，主頻為 2.6GHz， 24 核心/48 線程，啟用睿頻，啟用超線程，搭載 512 GB 內(nèi)存（16 slots/ 32GB/ 2666 MHz）。

操作系統(tǒng)為 CentOS 6.3， 5.16 (ucode 0x4000013), 測(cè)試基于深度學(xué)習(xí)框飛槳 1.4.0 版本， Kernel 版本為 3.10.0，編譯器版本為 GCC4.8.2，使用英特爾? MKL-DNN 庫(kù)0.18版本;工作負(fù)載：在 Full ImageNet Val 完整驗(yàn)證數(shù)據(jù)集上使用ResNet50 and MobileNet-V1, Batch Size=1, Datatype: FP32

4 數(shù)據(jù)源引自 https://software.intel.com/en-us/articles/lower-numerical-precision-deep-learning-inference-and-training

5http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_val.tar

6 數(shù)據(jù)援引自“以數(shù)據(jù)為中心加速數(shù)字經(jīng)濟(jì)落地——2019 英特爾? 創(chuàng)新產(chǎn)品發(fā)布會(huì)”上的百度分享環(huán)節(jié) 以上性能測(cè)試結(jié)果可能并未反映所有公開可用的安全更新。詳情請(qǐng)參閱配置信息披露。

沒有任何產(chǎn)品或組件是絕對(duì)安全的。英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請(qǐng)您審查該內(nèi)容，咨詢其他來源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。

性能測(cè)試中使用的軟件和工作負(fù)荷可能僅在英特爾微處理器上進(jìn)行了性能優(yōu)化。

諸如SYSmark和MobileMark等測(cè)試均系基于特定計(jì)算機(jī)系統(tǒng)、硬件、軟件、操作系統(tǒng)及功能。上述任何要素的變動(dòng)都有可能導(dǎo)致測(cè)試結(jié)果的變化。請(qǐng)參考其他信息及性能測(cè)試（包括結(jié)合其他產(chǎn)品使用時(shí)的運(yùn)行性能）以對(duì)目標(biāo)產(chǎn)品進(jìn)行全面評(píng)估。更多信息，詳見www.intel.com/benchmarks。

英特爾技術(shù)特性和優(yōu)勢(shì)取決于系統(tǒng)配置，并可能需要支持的硬件、軟件或服務(wù)才能激活。更多信息，請(qǐng)見 Intel.com，或從原始設(shè)備制造商或零售商處獲得更多信息。描述的成本降低情景均旨在在特定情況和配置中舉例說明特定英特爾產(chǎn)品如何影響未來成本并提供成本節(jié)約。情況均不同。英特爾不保證任何成本或成本降低。

英特爾、Intel、至強(qiáng)是英特爾公司在美國(guó)和或其他國(guó)家的商標(biāo)。英特爾商標(biāo)或商標(biāo)及品牌名稱資料庫(kù)的全部名單請(qǐng)見intel.com上的商標(biāo)。

*其他的名稱和品牌可能是其他所有者的資產(chǎn)。

點(diǎn)收藏

點(diǎn)點(diǎn)贊

點(diǎn)在看

揭曉飛槳平臺(tái)提速秘訣：INT8量化加速實(shí)現(xiàn)“事半功倍”