Spark Kernel提供程序使用 Apache Spark 的基礎(chǔ)
Spark Kernel 的最主要目標(biāo):提供基礎(chǔ)給交互應(yīng)用程序聯(lián)系和使用 Apache Spark。
幾個主要特性:
-
定義和運行 Spark 任務(wù)
-
以類似 Scala REPL 和 Spark Shell 的方式,動態(tài)地執(zhí)行 Scala 代碼
-
-
收集數(shù)據(jù)存儲的結(jié)果
-
通過 Spark Kernel,將執(zhí)行結(jié)果和數(shù)據(jù)流返回到你的應(yīng)用程序。
-
使用 Comm API —— 一個 IPython 協(xié)議的抽象 —— 在你的應(yīng)用程序和 Spark Kernel 之間進(jìn)行更詳細(xì)的數(shù)據(jù)通信和同步。
-
-
脫離 Apache Spark 來主持(Host)和管理你的應(yīng)用。
-
Spark Kernel 作為向 Apache Spark 集群發(fā)出的請求的一個代理。
-
評論
圖片
表情
