OpenAI將k8s擴(kuò)展至7500個(gè)節(jié)點(diǎn)以支持機(jī)器學(xué)習(xí)；Graph Diffusion Network提升交通流量預(yù)測(cè)精度

為創(chuàng)建一種能夠在任何語(yǔ)言之間進(jìn)行翻譯的通用神經(jīng)機(jī)器翻譯系統(tǒng)，Google 研究人員研發(fā)了一種新框架，即TReCS（Tag-Retrieve-Compose Synthesize system）。通過(guò)改進(jìn)圖像元素的喚起方式以及跡線如何通知其位置，從而顯著增強(qiáng)圖像生成過(guò)程。該系統(tǒng)接受了超過(guò)250億個(gè)示例的培訓(xùn)，具有處理103種語(yǔ)言的潛力。其功能使鼠標(biāo)軌跡與文本描述對(duì)齊，并為提供的短語(yǔ)創(chuàng)建可視標(biāo)簽。該框架利用可控的鼠標(biāo)軌跡作為細(xì)粒度的視覺(jué)基礎(chǔ)，根據(jù)用戶(hù)的敘述生成高質(zhì)量圖像。標(biāo)記器被用來(lái)預(yù)測(cè)短語(yǔ)中每個(gè)單詞的對(duì)象標(biāo)簽。

為了滿(mǎn)足GPT-3、CLIP和DALL+等大型模型的需要，以及類(lèi)似于神經(jīng)語(yǔ)言模型的縮放定律的快速小規(guī)模迭代研究，OpenAI將基礎(chǔ)設(shè)施k8s集群擴(kuò)展到7500 各節(jié)點(diǎn)。據(jù)其描述，對(duì)于大型機(jī)器學(xué)習(xí)作業(yè)來(lái)說(shuō)，一個(gè)節(jié)點(diǎn)通常由單個(gè)pod占據(jù)，并且OpenAI部署的集群具有二等分帶寬，因此盡管其有許多節(jié)點(diǎn)，但是調(diào)度程序的壓力相對(duì)較低，僅在一項(xiàng)新任務(wù)一次性創(chuàng)建數(shù)百個(gè)pod時(shí)會(huì)有調(diào)度壓力。除此之外，OpenAI還詳細(xì)說(shuō)明了其在擴(kuò)展k8s集群時(shí)的重要工作內(nèi)容，比如通過(guò)改用基于別名的IP尋址來(lái)解決大量節(jié)點(diǎn)的聯(lián)網(wǎng)問(wèn)題，在專(zhuān)用節(jié)點(diǎn)上部署etcd和API服務(wù)器以分散負(fù)載，定位使用Prometheus和Grafana收集指標(biāo)時(shí)的OOM問(wèn)題，設(shè)計(jì)對(duì)集群的健康檢查，以及在團(tuán)隊(duì)中合理分配集群資源等。

1月28日，Apache Echarts 5正式發(fā)布，此次帶來(lái)了5大模塊、15項(xiàng)特性全新升級(jí)，具體內(nèi)容如下：

經(jīng)過(guò)多年發(fā)展，WebRTC已獲得諸多流行Web瀏覽器的支持。最細(xì)消息是，萬(wàn)維網(wǎng)聯(lián)盟（W3C）和互聯(lián)網(wǎng)工程任務(wù)組（IETF）剛剛宣布：基于Web的實(shí)時(shí)通訊技術(shù)（簡(jiǎn)稱(chēng) WebRTC），已經(jīng)正式成為Web領(lǐng)域的一項(xiàng)音視頻傳輸標(biāo)準(zhǔn)。從技術(shù)層面上來(lái)說(shuō)，該框架允許開(kāi)發(fā)者輕松地將音視頻聊天功能添加到各自的項(xiàng)目中。IETF主席Alissa Cooper評(píng)論道：“基于IP的音視頻通訊技術(shù)，已經(jīng)徹底改變了全世界人民的交流方式。通過(guò)將這些技術(shù)集成到Web平臺(tái)，更是有助于極大地?cái)U(kuò)展其使用范圍”。得益于IETF和W3C之間的緊密合作，WebRTC技術(shù)終于在今日正式完成了標(biāo)準(zhǔn)化工作。據(jù)悉，在WebRTC標(biāo)準(zhǔn)化工作完成之后，未來(lái)任何想要實(shí)現(xiàn)類(lèi)似功能的軟件項(xiàng)目，都將擁有一套可明確遵循的準(zhǔn)則，以確保相關(guān)功能可以正確實(shí)現(xiàn)和滿(mǎn)足各項(xiàng)需求。

據(jù)央視新聞報(bào)道，國(guó)內(nèi)首個(gè)自主可控的區(qū)塊鏈軟硬件技術(shù)體系“長(zhǎng)安鏈”在北京正式發(fā)布，并推出供應(yīng)鏈金融、碳交易等首批應(yīng)用場(chǎng)景。

據(jù)悉，“長(zhǎng)安鏈”具有模塊化特點(diǎn)，支持按需定制，實(shí)現(xiàn)數(shù)據(jù)“可用不可見(jiàn)”，構(gòu)建共享機(jī)制，助力在交易、流通、統(tǒng)計(jì)等全流程的數(shù)據(jù)可信存儲(chǔ)和共享。目前，“長(zhǎng)安鏈”已實(shí)現(xiàn)軟硬件全部自主研發(fā)。

京東開(kāi)源了框架FaceX-Zoo。依靠高度模塊化和可擴(kuò)展的設(shè)計(jì)，F(xiàn)aceX-Zoo 提供具備多種多種supervisory head和骨干網(wǎng)絡(luò)的訓(xùn)練模塊，以實(shí)現(xiàn)效果最優(yōu)的人臉識(shí)別。在這個(gè)工具中，人們只需改動(dòng)簡(jiǎn)單的配置就可以在大多數(shù)流行基準(zhǔn)上進(jìn)行模型測(cè)試。此外，它還有一個(gè)簡(jiǎn)單但功能齊全的人臉SDK用于驗(yàn)證訓(xùn)練后的模型，并進(jìn)行初步應(yīng)用。該工具并不包含大量現(xiàn)有技術(shù)，但也因此易于拓展升級(jí)。京東的開(kāi)發(fā)者們表示，在未來(lái)研究人員還計(jì)劃進(jìn)一步增加FaceX Zoo的模塊數(shù)量，如面部分析和face lightning，補(bǔ)充骨干網(wǎng)絡(luò)架構(gòu)和supervisory head數(shù)量，并嘗試通過(guò)分布式數(shù)據(jù)并行技術(shù)和混合精度訓(xùn)練來(lái)提升模型訓(xùn)練的效率。