1. 相对简单的表结构，存储相对松散，多冗数据

2. 一般是只读优化

1. 每次对实例的更改，都会把变更记录到 mongo 数据库，形成一个变更记录的collection；

2. 分析数据时，将 mongo 数据库中 collection 的数据使用 Spark 倒入到 Hive 表中，然后再进行分析

* 这里的东西需要多补充一下 ！！！

* 这里如果问到，着重讲解一个就可以了。

1. Gremlin 语法文档总结；

2. 不同数据库对 Gremlin 支持程度的测试；

3. HugeGraph 不能动态支持修改 schema，有些直接报错，因此放弃了 Hu个Graph；

1. Spark 替代的 Hadoop 生态中的 MapReduce；

2. MapReduce 在计算时，每次 Reduce 之后都会写入磁盘文件。如果一个任务有多个 Map/Reduce 计算，就会多次读写磁盘文件，大大降低运算速度；

* Spark 擅长迭代式计算，交互式查询，流处理，批处理（这个 Hadoop 好像也有？）；

1. 自动的进行内存和磁盘数据存储的切换；

2. 基于 lineage 的高效容错（某处出错，不需要从头开始计算）；

3. Task 失败会自动进行特定次数的重试；

1. 特别耗时的计算之后；

2. 计算链条已经很长，计算之后；

3. shuffle 之后；

4. checkpoint（checkpoint 就是把所有的数据放到磁盘中） 之前；

1. 一个 RDD 是一个只读的，分布式的，被分区的数据集，由多个 partition 构成；

2. RDD 不可变，可以自我恢复；

3. 一个 partition 是一些数据的集合；

1. DAG 是有向无环图，RDD 和 关系构成 DAG，DAG 的顶点代表 RDD，边代表对 RDD 进行的操作；

2. DAG记录 RDD 之间直接的依赖关系，当某个 RDD 出错时，可以通过依赖关系从父 RDD 恢复出错的 RDD，体现了 DAG 良好的容错性；

3. DAG 主要解决了 MapReduce 的两个问题：

* 每个 MapReduce 操作都是相互独立的，HADOOP不知道接下来会有哪些 Map/Reduce；

* 每一步的输出结果，都会持久化到硬盘或者 HDFS 上；

1. 把分布在不同节点的数据按照一定的规则汇集到一起的过程，即把数据在不同 partition 之间移动；

2. shuffle 分为：shuffle write，shuffle read；只有产生宽依赖的时候才会 shuffle，shuffle 会写入本地磁盘文件；

* 父 RDD 的一个 partition 被子 RDD 的多个 partition 依赖；

1. 根据 DAG 图，从后往前推，遇到宽依赖就断开，划分为一个stage；遇到窄依赖就将这个RDD加入该stage中；

1. DataFrame 有 schema，而 RDD 没有 schema；

2. 有了 schema 之后，可以更方便，更高效的对数据进行管理，查询，分析；

比如：

有了 schema 之后，你可以选择只需读需要的数据，加快 I/O，Hadoop 一般是列存，I/O 快

Hadoop 生态：

* HDFS 文件管理系统，可以对比 Windows 的 File Explore；

Spark ---> Map/Reduce

1. 数据量在不到千万级（400/500 万量），支持直接查询；Mongo 本身提供的功能可以满足当前的需求，查询大多在毫秒级，最多不超过 2s；