国产精品久久久夜色,国产乱╳╳╳╳AⅤ视频,午夜无码自拍,国产美女A片,色婷婷青青草,黄色一级国产,sm在线,中文字幕成人视频

作者 | 小智

5000 研發(fā)，24 萬臺(tái)服務(wù)器，CEO 寫下 70 萬行 C++ 代碼，這家技術(shù)基因驅(qū)動(dòng)的短視頻公司，就是快手。

5000 名研發(fā)員工，24 萬臺(tái)服務(wù)器，22 個(gè)網(wǎng)絡(luò)數(shù)據(jù)中心，半年研發(fā)投入 23 億（截至 2020 年 6 月 30 日），研發(fā)中心遍布全球各地，下一代國際視頻編碼標(biāo)準(zhǔn)的主要貢獻(xiàn)者之一，CEO 曾經(jīng)寫下 70 萬行 C++ 代碼，這是快手不為人知的另一面。

11 月 6 日，快手正式披露了招股書，除了商業(yè)上的成功，也首次系統(tǒng)化對(duì)外展示了快手的技術(shù)建設(shè)與核心能力。

在 AI 等技術(shù)方面有哪些核心的自研成果？
快手在音視頻領(lǐng)域有哪些硬核技術(shù)？
貢獻(xiàn)了哪些世界性的行業(yè)標(biāo)準(zhǔn)？
快手 9 年構(gòu)建了怎樣規(guī)模的 IT 基礎(chǔ)設(shè)施？
……

帶著這些問題，InfoQ 深入挖掘了快手上市背后的技術(shù)秘密，以饗讀者。

快手核心技術(shù)揭秘

短視頻或許是過去幾年的諸多風(fēng)口里，真正意義上的技術(shù)驅(qū)動(dòng)型領(lǐng)域。

無論是內(nèi)容分發(fā)的推薦算法，還是海量視頻存儲(chǔ)下的大數(shù)據(jù)技術(shù)，亦或是直播熱潮下無卡頓低延遲的音視頻技術(shù)，都是短視頻公司修煉的“技術(shù)內(nèi)功”。

國民級(jí)短視頻社區(qū)快手是一家由技術(shù)基因驅(qū)動(dòng)的內(nèi)容公司，CEO、CTO 等幾位創(chuàng)始人都是技術(shù)出身，對(duì)技術(shù)的推崇、對(duì)極致的追求從創(chuàng)立伊始便印刻在了快手的研發(fā)血液里。

擁抱每一種生活背后，是對(duì)每一類技術(shù)的擁抱。

人工智能：創(chuàng)造內(nèi)容、理解內(nèi)容、推薦內(nèi)容

AI 技術(shù)實(shí)踐過程中的關(guān)鍵一環(huán)是如何讓用戶以更低的成本獲取更高的價(jià)值。在短視頻行業(yè)，就是讓用戶以更低的投入創(chuàng)造出更高質(zhì)量的短視頻。在視頻創(chuàng)作環(huán)節(jié)快手廣泛應(yīng)用了 AI 技術(shù)，用科技去賦能普通用戶，使他們盡可能接近專業(yè)制作視頻的水準(zhǔn)。

挑戰(zhàn)在于，所有這些 AI 技術(shù)都要在手機(jī)本地實(shí)時(shí)地進(jìn)行計(jì)算與渲染，而手機(jī)機(jī)型千差萬別，如何讓算法在所有機(jī)型上流暢運(yùn)行，對(duì) AI 能力的要求、計(jì)算資源的消耗都非常高。為此，快手自研了 YCNN 深度推理學(xué)習(xí)引擎，解決了 AI 技術(shù)運(yùn)行受限于用戶設(shè)備計(jì)算量的問題。

YCNN 整體架構(gòu)

主流的 CPU/GPU/NPU，YCNN 都做到了廣泛的支持。為了在更大程度上利用手機(jī)算力，YCNN 引擎還提供了多種模型，將設(shè)備上的最好算力與相應(yīng)的模型進(jìn)行匹配，以期達(dá)到效果與性能的最佳平衡，給用戶帶來最好的體驗(yàn)。

理解視頻可能是 AI 落地過程中最難的一環(huán)。對(duì)人臉維度的解析、場(chǎng)景類的解析、音樂類的解析等等，這些都是從單個(gè)角度進(jìn)行建模，但視頻需要的是多模態(tài)的解析。2016 年，快手將深度學(xué)習(xí)組改為多媒體理解組（Multimedia understanding，簡稱 MMU），趕上了人工智能快速應(yīng)用的高速列車。

得益于 MMU 的多年深耕，快手現(xiàn)在每天可實(shí)時(shí)分析超 1500 萬條視頻及上百萬小時(shí)的直播內(nèi)容。MMU 開發(fā)出的內(nèi)容分析算法系統(tǒng)可對(duì)平臺(tái)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)多維分析及篩選，同時(shí)還可有效過濾非法及侵犯第三方知識(shí)產(chǎn)權(quán)的內(nèi)容。根據(jù)艾瑞咨詢的報(bào)告，快手也是中國首家成功大規(guī)模應(yīng)用端到端自動(dòng)語音識(shí)別系統(tǒng)的公司。

推薦內(nèi)容是與用戶最緊密聯(lián)系的一環(huán)，可以說這一環(huán)直接決定了短視頻 App 的用戶粘性?？焓謨?nèi)部針對(duì)核心場(chǎng)景的 AI 算法引擎部門名為社區(qū)科學(xué)部，致力于用一整套 AI 解決方案實(shí)現(xiàn)核心場(chǎng)景下的算法邏輯。

快手自研了針對(duì)短視頻 & 直播場(chǎng)景的多任務(wù)多目標(biāo)推薦模型，在觸發(fā)、粗排、精排到端上重排全鏈路上，針對(duì)快手?jǐn)?shù)十個(gè)交互行為進(jìn)行端到端建模，以留存為最終優(yōu)化目標(biāo)融合多個(gè)預(yù)估目標(biāo)，實(shí)時(shí)為幾億用戶提供個(gè)性化內(nèi)容推薦。

在圖神經(jīng)網(wǎng)絡(luò)平臺(tái)方面，快手自研了圖神經(jīng)網(wǎng)絡(luò)（KGNN），提供了一套支持超大規(guī)模異構(gòu)動(dòng)態(tài)圖推薦模型的標(biāo)準(zhǔn)工具。相比工業(yè)界主流方案有以下顯著優(yōu)點(diǎn)：支持規(guī)模更大的圖模型（比如幾十億節(jié)點(diǎn)全用戶規(guī)模的圖）；支持動(dòng)態(tài)訓(xùn)練場(chǎng)景，分鐘級(jí)百萬樣本的實(shí)時(shí)訓(xùn)練和圖更新。這也使得快手成為短視頻行業(yè)首批將深度強(qiáng)化學(xué)習(xí)算法大規(guī)模應(yīng)用于視頻推薦的公司之一。

在大規(guī)模實(shí)時(shí)推薦訓(xùn)練平臺(tái)領(lǐng)域，快手自研了 Kuiba，提供了一套自研流式深度學(xué)習(xí)模型的訓(xùn)練系統(tǒng)。與國內(nèi)其他同類型方案相比，Kuiba 可以支持千億樣本萬億特征推薦模型的在線實(shí)時(shí)并行訓(xùn)練，并且具備優(yōu)秀的在線預(yù)估服務(wù)性能。同時(shí) API 接口豐富，與主流平臺(tái)接口如 TensorFlow、PyTorch 等兼容，模型研發(fā)迭代快。此外還支持 GPU 和 FPGA 等各種異構(gòu)行硬件，線上訓(xùn)練和預(yù)估的能效比高。

而在視頻的分發(fā)邏輯上，快手也有一個(gè)非常有意思的現(xiàn)象：快手不希望頭部的視頻內(nèi)容占據(jù)太多的曝光，希望用經(jīng)濟(jì)學(xué)上的基尼系數(shù)控制平臺(tái)上用戶之間的“貧富差距”。

快手設(shè)計(jì)的推薦機(jī)制，對(duì)明星、普通人都一視同仁。

音視頻：左手協(xié)議，右手標(biāo)準(zhǔn)

互聯(lián)網(wǎng)的光鮮亮麗好像都在燈紅酒綠的城市之中，然而鮮為人知的是，中國農(nóng)村網(wǎng)民規(guī)模已經(jīng)突破了 2.25 億。在這 2 億多人口的農(nóng)村網(wǎng)民群體中，低端的千元機(jī)型仍是絕對(duì)主流。

另一方面，不同地區(qū)互聯(lián)網(wǎng)普及程度不一，網(wǎng)速快慢有別，山區(qū)和城市的信號(hào)不可相提并論，不同機(jī)型在性能、屏幕分辨率等方面都存在大大小小的差異。如何讓同一片藍(lán)天下的人群享受到短視頻給大家?guī)淼目鞓?？這背后對(duì)技術(shù)的要求可能超乎你的想象。

為了解決這些問題，快手音視頻技術(shù)團(tuán)隊(duì)自研了私有傳輸協(xié)議 KTP (Kuaishou Transport Protocol) 和基于流式的直播多碼率標(biāo)準(zhǔn) LAS（Live Adaptive Streaming）。

私有傳輸協(xié)議 KTP

為了滿足快手多樣化的業(yè)務(wù)需求，一個(gè)可行的傳輸協(xié)議需要具備以下特性，豐富高效的傳輸算法以適應(yīng)快手用戶千差萬別的網(wǎng)絡(luò)環(huán)境；再有，靈活的擴(kuò)展性，滿足不同的業(yè)務(wù)需求。

遺憾的是，業(yè)界并沒有任何協(xié)議、算法可以直接滿足業(yè)務(wù)需求，自研成為了唯一的解決方案，這也是 KTP 協(xié)議誕生的由來。

KTP 協(xié)議包含兩層：底層的傳輸控制層，通過豐富高效的傳輸算法，提升網(wǎng)絡(luò)的傳輸效率，并滿足不同業(yè)務(wù)的需求；上層的業(yè)務(wù)感知層，作為業(yè)務(wù)與網(wǎng)絡(luò)的橋梁，結(jié)合傳輸控制層的網(wǎng)絡(luò)特性與業(yè)務(wù)的需求特性，實(shí)現(xiàn)跨層的信源信道聯(lián)合優(yōu)化。

KTP 架構(gòu)示意圖

KTP 協(xié)議全量上線至今，成效卓著：

業(yè)務(wù)層面，KTP 支持短視頻發(fā)布、直播、PK、連麥、視頻會(huì)議等多種業(yè)務(wù)場(chǎng)景。

弱網(wǎng)優(yōu)化層面，對(duì)于短視頻上傳，可以在 90% 丟包率的條件下，依然發(fā)布成功。對(duì)于直播，KTP 能做到 40% 丟包無感知。在典型的高丟包、高延時(shí)波動(dòng)、帶寬抖動(dòng)等復(fù)合網(wǎng)絡(luò)場(chǎng)景下，通過 KTP 依然能獲得流暢、清晰、超低延遲的實(shí)時(shí)音視頻體驗(yàn)。這也是快手用戶，無論在哪里，在什么時(shí)候都能享受快手帶來樂趣的最大技術(shù)保障。

今年除夕，春晚互動(dòng)次數(shù)達(dá)到破紀(jì)錄的 639 億，單分鐘視頻播放次數(shù)過億?？焓执和碇辈ラg累計(jì)觀看人次 7.8 億，最高同時(shí)在線人數(shù) 2524 萬。這龐大的分母下，不分城市農(nóng)村，不分機(jī)型優(yōu)劣，不分網(wǎng)絡(luò)快慢，所有人享受到的，都是科技帶來的樂趣。

直播多碼率標(biāo)準(zhǔn) LAS

今年疫情影響，不論是在線會(huì)議還是視頻網(wǎng)站都受到了流量激增的沖擊，不得不以加購服務(wù)器、降低視頻分辨率的方式匆忙應(yīng)對(duì)。

在快手，直播的清晰度、流暢度和延遲是影響用戶體驗(yàn)的三個(gè)核心因素。快手用戶分布廣，網(wǎng)絡(luò)環(huán)境差異大；網(wǎng)絡(luò)具有極強(qiáng)的時(shí)變特性，同一用戶在同一網(wǎng)絡(luò)下，不同時(shí)間網(wǎng)絡(luò)條件也可能差異很大。因此，單一的直播碼率（清晰度）無法適應(yīng)多樣化的網(wǎng)絡(luò)環(huán)境。

多碼率技術(shù)能在清晰度和流暢度之間取得平衡，依據(jù)實(shí)時(shí)網(wǎng)絡(luò)條件為用戶提供不同的視頻體驗(yàn)。但已有的多碼率方案延遲大，不能滿足低延遲直播的需求。為此，一種低延遲的直播多碼率方案成為了當(dāng)務(wù)之急。

今年 6 月，快手正式發(fā)布了基于流式的直播多碼率自適應(yīng)標(biāo)準(zhǔn) LAS（Live Adaptive Streaming），并開源了 LAS 端到端的解決方案，幫助業(yè)界更多用戶實(shí)現(xiàn)零門檻接入和使用 LAS 。

與 KTP 協(xié)議相類似，LAS 同樣是快手在拿來主義和自研之間做出的選擇。LAS 自誕生至今近兩年時(shí)間，已在快手直播業(yè)務(wù)上全量部署。目前，多家國內(nèi)主流 CDN 廠商均已支持 LAS 標(biāo)準(zhǔn)，可直接提供基于 LAS 的服務(wù)。與此同時(shí)，業(yè)內(nèi)知名開源流媒體服務(wù)器 SRS 也已升級(jí)并支持 LAS 標(biāo)準(zhǔn)。基于 SRS 4.0 及更高版本，企業(yè)客戶可以自主搭建 LAS 服務(wù)以滿足個(gè)性化的需求。

參與多個(gè)國際視頻標(biāo)準(zhǔn)制定

除了 KTP 和 LAS 以外，快手音視頻技術(shù)團(tuán)隊(duì)還參與了多個(gè)國際視頻標(biāo)準(zhǔn)的制定，行業(yè)求發(fā)展，標(biāo)準(zhǔn)需先行。視頻壓縮是視頻服務(wù)的核心技術(shù)，該方面技術(shù)的研發(fā)與積累，對(duì)迅速成長的快手的長遠(yuǎn)發(fā)展至關(guān)重要?？焓肿?2018 年起積極布局，先后參與了諸如 VVC、AVS3 等當(dāng)今最重要的國際視頻標(biāo)準(zhǔn)的制定。

在世界矚目的最新一代視頻壓縮國際標(biāo)準(zhǔn) VVC 的制定中，快手憑借出色的技術(shù)實(shí)力，提交了過百篇技術(shù)提案，并推動(dòng)數(shù)十件擁有快手知識(shí)產(chǎn)權(quán)的提案進(jìn)入 VVC 標(biāo)準(zhǔn)，是主要的技術(shù)貢獻(xiàn)者。該標(biāo)準(zhǔn)目前具備世界最優(yōu)的壓縮性能，加上其制定過程的開放性以及對(duì)前一代標(biāo)準(zhǔn)的良好的延續(xù)性，業(yè)界預(yù)計(jì)該標(biāo)準(zhǔn)將具有廣泛的應(yīng)用前景，包括對(duì) 5G 條件下超高清視頻產(chǎn)業(yè)等產(chǎn)生深遠(yuǎn)影響。

架構(gòu)實(shí)踐與基礎(chǔ)設(shè)施建設(shè)

一般來說，成長型企業(yè)的基礎(chǔ)架構(gòu)演進(jìn)是線性的，大的基礎(chǔ)架構(gòu)演進(jìn)的頻率并不會(huì)太高，很多單體就能解決的問題一般也不會(huì)強(qiáng)行微服務(wù)。但對(duì)于快速成長型的企業(yè)而言，業(yè)務(wù)的規(guī)?；?、多樣化和海量的數(shù)據(jù)會(huì)倒逼基礎(chǔ)架構(gòu)快速迭代，以兼顧高性能、高可靠、高可用的業(yè)務(wù)需求。

以快手的春晚紅包活動(dòng)為例：

短視頻領(lǐng)域慣用的解決方案是將視頻放到內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）上，既把視頻文件輸送到離用戶最近的地方，又利用大量 CDN 節(jié)點(diǎn)分擔(dān)用戶觀看的流量，這是業(yè)界成熟的解決方案。但在春晚視頻紅包的數(shù)億瞬時(shí)流量面前，這個(gè)方案卻是完全頂不住的。春晚主持人口播搶紅包的時(shí)間節(jié)點(diǎn)，預(yù)估出來的視頻播放瞬時(shí)流量會(huì)超過中國的 CDN 帶寬容量總和，快手預(yù)估如果要保證春晚活動(dòng)的體驗(yàn)，至少需要數(shù)百 TB 帶寬資源。架構(gòu)師們需要設(shè)計(jì)高效的資源預(yù)分發(fā)策略，并建立準(zhǔn)確的帶寬預(yù)測(cè)模型，基礎(chǔ)設(shè)施建設(shè)人員也要做好合理的采買準(zhǔn)備。

對(duì)于基礎(chǔ)架構(gòu)團(tuán)隊(duì)來說，硬件不僅考驗(yàn)公司的采購以及部署能力，從另一個(gè)層面上，服務(wù)器從十到一百、一千、一萬、十萬.... 更考驗(yàn)基礎(chǔ)設(shè)施的架構(gòu)能力。

業(yè)界常說架構(gòu)要做到高并發(fā)、高可用。高并發(fā)很好理解，高可用卻很難衡量。究竟什么樣的高可用設(shè)計(jì)是行之有效的呢？在此以前，這是一種薛定諤的狀態(tài)，只有真到出問題的時(shí)候，才能得到驗(yàn)證。

全鏈路壓測(cè)是應(yīng)對(duì)高并發(fā)流量洪峰的“核武器”，所有服務(wù)的高并發(fā)能力都需要通過壓力測(cè)試來確定和驗(yàn)證?？焓值淖龇ㄊ怯?strong>混沌工程的理念做故障注入，核心思路是在包括單機(jī)、服務(wù)在內(nèi)的所有服務(wù)器上隨機(jī)注入不同級(jí)別的故障，去模擬部分機(jī)器高負(fù)載、高延遲導(dǎo)致服務(wù)器宕機(jī)或半死不活的狀態(tài)，從而檢測(cè)高可用設(shè)計(jì)是否行之有效。

把一只猴子放進(jìn)機(jī)房，隨便你破壞，宕機(jī)算我輸。

與架構(gòu)升級(jí)配套的，還有基礎(chǔ)設(shè)施的建設(shè)。

人才是 21 世紀(jì)最寶貴的“基礎(chǔ)設(shè)施”。截至 2020 年 6 月 30 日，快手擁有逾 5000 名研發(fā)人員，超過 2300 名研發(fā)人員擁有碩士或以上學(xué)位。
研發(fā)投入是驗(yàn)證一家企業(yè)對(duì)技術(shù)的重視程度。2017 年、2018 年、2019 年及截至 2020 年 6 月 30 日，快手研發(fā)開支分別為 476.6 百萬元、18 億元、29 億元及 23 億元，分別占同期經(jīng)營開支的 23.1%、26.8%、21.5% 及 13.6%。
研發(fā)中心是技術(shù)成果產(chǎn)出的關(guān)鍵來源?？焓衷谌蚨嗟亟ㄓ醒邪l(fā)中心，國內(nèi)在北京、杭州、成都、深圳等多地建有研發(fā)中心，海外有總部位于硅谷的快手科技美國研發(fā)中心，在西雅圖和圣地亞哥都設(shè)有研發(fā)團(tuán)隊(duì)。

斯坦福大學(xué)附近的快手硅谷研發(fā)中心

網(wǎng)絡(luò)基礎(chǔ)設(shè)施是服務(wù)穩(wěn)定性的直接保障。目前快手已有超過 24 萬臺(tái)服務(wù)器，分布在全國 22 個(gè)網(wǎng)絡(luò)數(shù)據(jù)中心，做到了真正意義上的異地多活。今年 6 月，快手和烏蘭察布舉行儀式，正式布局超大規(guī)模數(shù)據(jù)中心，預(yù)計(jì)明年將投入使用。

要自研，更要開源

為了追求極致的用戶體驗(yàn)，快手利用前沿技術(shù)為用戶帶來消費(fèi)與互動(dòng)上的極致體驗(yàn)；利用多模態(tài)內(nèi)容理解，對(duì)用戶、內(nèi)容及二者互動(dòng)做深度理解，應(yīng)用在內(nèi)容安全、推薦、廣告等環(huán)節(jié)；利用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、圖表達(dá)學(xué)習(xí)實(shí)現(xiàn)個(gè)性化內(nèi)容推薦，提高用戶消費(fèi)內(nèi)容的體驗(yàn)和效率。此外，以研發(fā)人才、研發(fā)投入、數(shù)據(jù)中心等為代表的 IT 基礎(chǔ)設(shè)施，成為快手業(yè)務(wù)快速發(fā)展的技術(shù)底座。

而這些高精尖技術(shù)，很多都是快手技術(shù)團(tuán)隊(duì)自研并貢獻(xiàn)給業(yè)界的。

技術(shù)圈一直對(duì)科技公司“造輪子”這個(gè)現(xiàn)象頗有負(fù)面評(píng)論，有人認(rèn)為開源解決方案能搞定的事情不應(yīng)該再去自研一個(gè)方案出來。但對(duì)快手而言，自研的出發(fā)點(diǎn)都是因?yàn)闃I(yè)界現(xiàn)有的開源方案無法滿足快手短視頻、直播場(chǎng)景下的復(fù)雜業(yè)務(wù)需求。在這樣的背景下，自研成了唯一出路。

今年以來，快手已先后自研并開源直播多碼率自適應(yīng)標(biāo)準(zhǔn) LAS、OOM 解決方案 KOOM 等多個(gè)解決方案。自研是一家科技公司證明自己技術(shù)實(shí)力的名片，也能在復(fù)雜場(chǎng)景下給具有相似痛點(diǎn)的企業(yè)提供新的解題思路。

自研是技術(shù)實(shí)力，開源是普惠情懷。

受國際環(huán)境影響，開源與自研兩條腿走路的方案已經(jīng)被廣大中國互聯(lián)網(wǎng)企業(yè)所重視，做好技術(shù)創(chuàng)新、技術(shù)儲(chǔ)備也已經(jīng)是國內(nèi)科技企業(yè)的共識(shí)。快手成立 9 年以來，一直在耕耘技術(shù)，在各種不同的業(yè)務(wù)場(chǎng)景下，想要為用戶提供上佳體驗(yàn)，讓用戶保持新鮮感，就需要企業(yè)不斷實(shí)現(xiàn)技術(shù)創(chuàng)新，這是快手內(nèi)部的一種共識(shí)。

正如快手 CTO 陳定佳所言：

“我們希望快手作為一個(gè)連接器, 可以更好地連接人與人, 能夠消除一點(diǎn)點(diǎn)孤獨(dú)感, 增加一點(diǎn)點(diǎn)幸福感?？焓值氖姑? 是用有溫度的科技提升每個(gè)人獨(dú)特的幸福感。”

隨著快手體量的持續(xù)擴(kuò)大，未來還將會(huì)有更多來自快手內(nèi)部的技術(shù)實(shí)踐落地經(jīng)驗(yàn)成為可供業(yè)界參考的解決方案，不論是開源方案還是實(shí)現(xiàn)思路都是對(duì)中國技術(shù)力量的一種正向反饋。

追求技術(shù)的極致，制定行業(yè)的標(biāo)準(zhǔn)，實(shí)現(xiàn)用戶的價(jià)值，未來假如有更多“快手”出現(xiàn)，我們也終將聽到中國技術(shù)人的呦呦鹿鳴。


往期推薦

這幾款 IDEA 主題也太好看了吧??！

HTTP/2做錯(cuò)了什么？剛剛輝煌2年就要被棄用了?。?/p>

張一鳴活捉上班摸魚員工遭怒懟：不爽退群?。?/p>

直面Java第343期：為什么TOMCAT要破壞雙親委派

深入并發(fā)第013期：拓展synchronized——鎖優(yōu)化

如果你喜歡本文,

請(qǐng)長按二維碼，關(guān)注?Hollis.

轉(zhuǎn)發(fā)至朋友圈，是對(duì)我最大的支持。

點(diǎn)個(gè)?在看?

喜歡是一種感覺

在看是一種支持

↘↘↘

那個(gè) CEO 寫下 70 萬行代碼的公司，馬上要上市了

那個(gè) CEO 寫下 70 萬行代碼的公司，馬上要上市了