BigData-Notes

大數(shù)據(jù)入門指南

Hadoop	Hive	Spark	Storm	Flink	HBase	Kafka	Zookeeper	Flume	Sqoop	Azkaban	Scala

?? 前 言

1. 大數(shù)據(jù)學(xué)習(xí)路線
2. 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖
3. 大數(shù)據(jù)常用軟件安裝指南

一、Hadoop

1. 分布式文件存儲(chǔ)系統(tǒng) —— HDFS
2. 分布式計(jì)算框架 —— MapReduce
3. 集群資源管理器 —— YARN
4. Hadoop 單機(jī)偽集群環(huán)境搭建
5. Hadoop 集群環(huán)境搭建
6. HDFS 常用 Shell 命令
7. HDFS Java API 的使用
8. 基于 Zookeeper 搭建 Hadoop 高可用集群

二、Hive

1. Hive 簡(jiǎn)介及核心概念
2. Linux 環(huán)境下 Hive 的安裝部署
3. Hive CLI 和 Beeline 命令行的基本使用
4. Hive 常用 DDL 操作
5. Hive 分區(qū)表和分桶表
6. Hive 視圖和索引
7. Hive 常用 DML 操作
8. Hive 數(shù)據(jù)查詢?cè)斀?/a>

三、Spark

Spark Core :

1. Spark 簡(jiǎn)介
2. Spark 開(kāi)發(fā)環(huán)境搭建
3. 彈性式數(shù)據(jù)集 RDD
4. RDD 常用算子詳解
5. Spark 運(yùn)行模式與作業(yè)提交
6. Spark 累加器與廣播變量
7. 基于 Zookeeper 搭建 Spark 高可用集群

Spark SQL :

1. DateFrame 和 DataSet
2. Structured API 的基本使用
3. Spark SQL 外部數(shù)據(jù)源
4. Spark SQL 常用聚合函數(shù)
5. Spark SQL JOIN 操作

Spark Streaming ：

1. Spark Streaming 簡(jiǎn)介
2. Spark Streaming 基本操作
3. Spark Streaming 整合 Flume
4. Spark Streaming 整合 Kafka

四、Storm

1. Storm 和流處理簡(jiǎn)介
2. Storm 核心概念詳解
3. Storm 單機(jī)環(huán)境搭建
4. Storm 集群環(huán)境搭建
5. Storm 編程模型詳解
6. Storm 項(xiàng)目三種打包方式對(duì)比分析
7. Storm 集成 Redis 詳解
8. Storm 集成 HDFS/HBase
9. Storm 集成 Kafka

五、Flink

1. Flink 核心概念綜述
2. Flink 開(kāi)發(fā)環(huán)境搭建
3. Flink Data Source
4. Flink Data Transformation
5. Flink Data Sink
6. Flink 窗口模型
7. Flink 狀態(tài)管理與檢查點(diǎn)機(jī)制
8. Flink Standalone 集群部署

六、HBase

1. Hbase 簡(jiǎn)介
2. HBase 系統(tǒng)架構(gòu)及數(shù)據(jù)結(jié)構(gòu)
3. HBase 基本環(huán)境搭建 (Standalone /pseudo-distributed mode)
4. HBase 集群環(huán)境搭建
5. HBase 常用 Shell 命令
6. HBase Java API
7. HBase 過(guò)濾器詳解
8. HBase 協(xié)處理器詳解
9. HBase 容災(zāi)與備份
10. HBase的 SQL 中間層 —— Phoenix
11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

1. Kafka 簡(jiǎn)介
2. 基于 Zookeeper 搭建 Kafka 高可用集群
3. Kafka 生產(chǎn)者詳解
4. Kafka 消費(fèi)者詳解
5. 深入理解 Kafka 副本機(jī)制

八、Zookeeper

1. Zookeeper 簡(jiǎn)介及核心概念
2. Zookeeper 單機(jī)環(huán)境和集群環(huán)境搭建
3. Zookeeper 常用 Shell 命令
4. Zookeeper Java 客戶端 —— Apache Curator
5. Zookeeper ACL 權(quán)限控制

九、Flume

1. Flume 簡(jiǎn)介及基本使用
2. Linux 環(huán)境下 Flume 的安裝部署
3. Flume 整合 Kafka

十、Sqoop

1. Sqoop 簡(jiǎn)介與安裝
2. Sqoop 的基本使用

十一、Azkaban

1. Azkaban 簡(jiǎn)介
2. Azkaban3.x 編譯及部署
3. Azkaban Flow 1.0 的使用
4. Azkaban Flow 2.0 的使用

十二、Scala

1. Scala 簡(jiǎn)介及開(kāi)發(fā)環(huán)境配置
2. 基本數(shù)據(jù)類型和運(yùn)算符
3. 流程控制語(yǔ)句
4. 數(shù)組 —— Array
5. 集合類型綜述
6. 常用集合類型之 —— List & Set
7. 常用集合類型之 —— Map & Tuple
8. 類和對(duì)象
9. 繼承和特質(zhì)
10. 函數(shù) & 閉包 & 柯里化
11. 模式匹配
12. 類型參數(shù)
13. 隱式轉(zhuǎn)換和隱式參數(shù)

十三、公共內(nèi)容

1. 大數(shù)據(jù)應(yīng)用常用打包方式

?? 后 記

資料分享與開(kāi)發(fā)工具推薦