全国咨询热线:400-618-4000

spark笔记之Spark运行架构

创建时间:2018年09月11日16时01分 来源:传智播客

  3. Spark运行基本流程

  Spark运行基本流程参见下面示意图:

  1) 构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;

  2) 资源管理器分配Executor资源并启动Executor,Executor运行情况将随着心跳发送到资源管理器上;

  3) SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task Scheduler。Executor向SparkContext申请Task,Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。

  4) Task在Executor上运行,运行完毕释放所有资源。

  4. Spark运行架构特点

  Spark运行架构特点:

  ①每个Application获取专属的executor进程,该进程在Application期间一直驻留,并以多线程方式运行tasks。

  ②Spark任务与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以了。

  ③提交SparkContext的Client应该靠近Worker节点(运行Executor的节点),最好是在同一个Rack里,因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换;如果想在远程集群中运行,最好使用RPC将SparkContext提交给集群,不要远离Worker运行SparkContext。

  ④Task采用了数据本地性和推测执行的优化机制。


作者:传智播客云计算大数据培训学院

首发:http://cloud.itcast.cn