spark kmean 分析城市擁堵區(qū)域
該系統(tǒng)是個演示系統(tǒng),需要用spark ml 中的kmeans 去分析深圳出租車的gps軌跡數(shù)據(jù),找到城市擁堵的區(qū)域,并將處理后的結果保存在hbase 中。出租車的gps 數(shù)據(jù)需要先導入kafka,因為時間場景就是Gps 采集入kafka. 最后通過web 項目中的百度地圖和echarts 來展示hbase 中加工后的數(shù)據(jù),來實時展示城市的擁堵區(qū)域。
系統(tǒng)目前的進度狀況, 已經(jīng)完成spark,hadoop,kafka,hbase等集群的搭建,spark 項目也已經(jīng)搭建起來,kmeans 初步解析和預處理,訓練等初步動作已經(jīng)完成,需要深入和細化,如何進一步訓練和分析是否堵了,哪里堵了,加工后的數(shù)據(jù)格式怎么樣的,還未解決,這塊希望能得到解決。
評論
圖片
表情
