Go Glow分布式計(jì)算系統(tǒng)

Glow 是使用 Go 編寫(xiě)的易用分布式計(jì)算系統(tǒng)，是 Hadoop Map Reduce，Spark，F(xiàn)lint，Samza 等等的替代品。

Glow 的目標(biāo)是提供一個(gè)庫(kù)，可以在并行線程或者分布式集群機(jī)器中進(jìn)行更簡(jiǎn)單計(jì)算。

安裝：

go get github.com/chrislusf/glow
go get github.com/chrislusf/glow/flow

簡(jiǎn)單示例：

package main
import (
    "flag"
    "strings"
    "github.com/chrislusf/glow/flow"
)
func main() {
    flag.Parse()
    flow.New().TextFile(
        "/etc/passwd", 3,
    ).Filter(func(line string) bool {
        return !strings.HasPrefix(line, "#")
    }).Map(func(line string, ch chan string) {
        for _, token := range strings.Split(line, ":") {
            ch <- token
        }
    }).Map(func(key string) int {
        return 1
    }).Reduce(func(x int, y int) int {
        return x + y
    }).Map(func(x int) {
        println("count:", x)
    }).Run()
}