【博士論文】集群系統(tǒng)中的網(wǎng)絡(luò)流調(diào)度數(shù)據(jù)派THU關(guān)注共 1308字,需瀏覽 3分鐘 ·2021-12-13 05:09 來源:專知本文為論文,建議閱讀5分鐘當(dāng)前,集群系統(tǒng)的部署和使用非常廣泛。來自清華大學(xué)張彤的博士論文,入選2021年度“CCF優(yōu)秀博士學(xué)位論文獎”初評名單!https://www.ccf.org.cn/Focus/2021-11-22/750448.shtml集群系統(tǒng)中的網(wǎng)絡(luò)流調(diào)度當(dāng)前,集群系統(tǒng)的部署和使用非常廣泛。在集群系統(tǒng)中,一個任務(wù)通常分為多 個處理階段順序執(zhí)行,而在各處理階段之間需要通過內(nèi)部網(wǎng)絡(luò)來傳輸數(shù)據(jù)和中間 結(jié)果。已有測量工作表明,數(shù)據(jù)傳輸時間占整個任務(wù)運(yùn)行時間的比重很大,因此 優(yōu)化集群系統(tǒng)中的數(shù)據(jù)傳輸時間對于加速任務(wù)、提升應(yīng)用性能非常重要。網(wǎng)絡(luò)流 調(diào)度是優(yōu)化數(shù)據(jù)傳輸時間的有效方法,主要指為數(shù)據(jù)流設(shè)定傳輸順序以及分配帶 寬。在小規(guī)模集群系統(tǒng)中,網(wǎng)絡(luò)內(nèi)部容易做到無阻塞,流調(diào)度主要在邊緣鏈路上;而在大規(guī)模集群系統(tǒng)中,網(wǎng)絡(luò)內(nèi)部也可能成為瓶頸,流調(diào)度也應(yīng)作用于網(wǎng)絡(luò)內(nèi)部。由于集群系統(tǒng)應(yīng)用種類繁多,通信模式各不相同,因此內(nèi)部網(wǎng)絡(luò)中既存在獨(dú) 立的單流也存在并發(fā)的流束。相應(yīng)地,網(wǎng)絡(luò)流調(diào)度既包括單流調(diào)度也包括流束調(diào) 度。根據(jù)以上分類,本文分別在小規(guī)模與大規(guī)模集群系統(tǒng)中針對單流調(diào)度和流束 調(diào)度的問題進(jìn)行了研究:(1) 提出了穩(wěn)定的單流調(diào)度策略。針對小規(guī)模與大規(guī)模集群系統(tǒng)都存在的調(diào)度 策略不穩(wěn)定問題,本文設(shè)計了穩(wěn)定的單流調(diào)度策略 BASRPT,并且針對小規(guī)模和 大規(guī)模集群系統(tǒng)分別設(shè)計了兩個版本。BASRPT 同時考慮流的剩余大小和所在隊 列的隊長,優(yōu)先傳輸長隊列中的短流,既能夠控制隊長又能夠縮短流完成時間。仿 真結(jié)果表明,BASRPT 能夠維持隊列長度穩(wěn)定并取得較低的流完成時間。(2) 提出了已知部分信息的流束調(diào)度策略。針對小規(guī)模集群系統(tǒng)中部分流束信 息可知的場景,本文設(shè)計了已知部分信息的流束調(diào)度策略 IICS。IICS 借助流束中 已到達(dá)子流信息對剩余傳輸時間進(jìn)行預(yù)測,并基于預(yù)測值近似實現(xiàn)最小剩余時間 優(yōu)先。仿真結(jié)果表明,IICS 能夠取得與信息完全可知的策略接近的流束完成時間。?(3) 提出了網(wǎng)絡(luò)內(nèi)部瓶頸感知的流束調(diào)度策略。針對大規(guī)模集群系統(tǒng)中的網(wǎng)絡(luò) 內(nèi)部瓶頸約束,本文設(shè)計了分布式網(wǎng)絡(luò)內(nèi)瓶頸感知的流束調(diào)度策略 DBA。DBA 在 所有鏈路的帶寬約束下,通過各節(jié)點演化的方式近似實現(xiàn)了全網(wǎng)范圍的最小剩余 時間優(yōu)先策略。仿真結(jié)果表明,DBA 具有優(yōu)越的流束完成時間性能和高吞吐量。(4) 提出了光電路交換網(wǎng)絡(luò)中的流束調(diào)度策略。針對大規(guī)模集群系統(tǒng)中光電路 交換技術(shù)的快速發(fā)展,本文設(shè)計了光電路交換網(wǎng)絡(luò)中優(yōu)化流束完成時間的調(diào)度策 略 GMRTF。GMRTF 同時結(jié)合了電路調(diào)度與流束調(diào)度,將同一電路上的子流適當(dāng) 分組,組內(nèi)不切換電路,組間采用最小剩余時間優(yōu)先策略。大量仿真實驗驗證了 在光電路交換網(wǎng)絡(luò)中 GMRTF 能夠顯著降低流束完成時間并提高吞吐量。 瀏覽 58點贊 評論 收藏 分享 手機(jī)掃一掃分享分享 舉報 評論圖片表情視頻評價全部評論推薦 CronHub集群調(diào)度系統(tǒng)項目下載網(wǎng)址:https://github.com/sharpstill/CronHub你是否經(jīng)常為每日的crontab定時命令/程序不能自動執(zhí)行而煩惱,你是否經(jīng)常為集群化的服務(wù)器環(huán)境下的大量程序的執(zhí)CronHub集群調(diào)度系統(tǒng)項目下載網(wǎng)址:https://github.com/sharpstill/CronHub你是否經(jīng)常為Cuckoo-ScheduleJAVA集群調(diào)度系統(tǒng)Cuckoo-Schedule是基于Quartz-Schedule的輕量級任務(wù)調(diào)度框架,具有易學(xué)習(xí)、易上手、開發(fā)高效穩(wěn)定的特點。Demo地址:http://cuckoo.hellosr.com。???Cuckoo-ScheduleJAVA集群調(diào)度系統(tǒng)Cuckoo-Schedule是基于Quartz-Schedule的輕量級任務(wù)調(diào)度框架,具有易學(xué)習(xí)、Gascheduler集群中任務(wù)的調(diào)度器這個庫是Game Analytics貢獻(xiàn)的。該庫實現(xiàn)了一個通用的用于處理集群中任務(wù)的調(diào)度器。任務(wù)的生Gascheduler集群中任務(wù)的調(diào)度器這個庫是GameAnalytics貢獻(xiàn)的。該庫實現(xiàn)了一個通用的用于處理集群中任務(wù)的調(diào)度器。任務(wù)的生成和處理是專為特定的應(yīng)用??蛻舳藗鬟f一個需要被執(zhí)行的回調(diào)函數(shù)作為入?yún)ⅲ{(diào)度器會通過消息返回任務(wù)的狀態(tài)。lite-flow分布式任務(wù)流調(diào)度系統(tǒng)liteflow是一個基于DAG來實現(xiàn)的分布式任務(wù)流調(diào)度系統(tǒng),較azkaban等調(diào)度系統(tǒng),liteflow增加了一些自己的特性:1.實現(xiàn)任務(wù)在任務(wù)流間共享2.任務(wù)/任務(wù)流的可視化配置3.一鍵修復(fù)任務(wù)/lite-flow分布式任務(wù)流調(diào)度系統(tǒng)liteflow是一個基于DAG來實現(xiàn)的分布式任務(wù)流調(diào)度系統(tǒng),較azkaban等調(diào)度系統(tǒng),litef易流網(wǎng)絡(luò)貨運(yùn)系統(tǒng)連接百萬運(yùn)力,構(gòu)建物流生態(tài)共享平臺;易流網(wǎng)絡(luò)貨運(yùn),提供一站式網(wǎng)絡(luò)貨運(yùn)透明化與數(shù)字化的專業(yè)服務(wù)【優(yōu)秀博士論文推薦】基于網(wǎng)絡(luò)特征學(xué)習(xí)的個性化推薦系統(tǒng)機(jī)器學(xué)習(xí)算法與Python實戰(zhàn)0點贊 評論 收藏 分享 手機(jī)掃一掃分享分享 舉報