本系列以 WordCount 任务作为敲门砖,追踪一个 Spark 应用提交到 YARN 运行的完整轨迹,探明 YARN 任务的运行机制和 YARN 集群的设计思想等入门级理论。目的就是希望能够以最简单的方式来了解顶尖系统的设计。
本系列只是作者的学习笔记,意求能够大略源码,简单总结,备忘再温故。
篇中描述的探明过程主要借鉴于官方源码以及文档。入门学习阶段,均是自己粗浅理解,如有偏差之处欢迎各位指点迷津。
- 「主线」准备一块敲门砖: Word Count Demo
- 「主线」向 YARN 提交 Spark 应用
- 「主线」ResourceManager 出场
- 「主线」ApplicationMaster 出场
- 「主线」从 NEW 到 ACCEPTED
- 「主线」从 ACCEPTED 到 RUNNING (TODO)
- 未完待续