基础架构 | 数盟社区 | Page 38
u=1535546616,4148789559&fm=15&gp=0 0

Spark源码分析:多种部署方式之间的区别与联系

- 基础架构 - 阅 4,600

作者:过往记忆 从官方的文档我们可以知道,Spark的部署方式有很多种:local、Standalone、Mesos、YARN…..不同部署方式的后台处理进程是不一样的,但是如果我们从代码的角度来看,其实流程都差不多。 从代码中,我们可以得知其实Spark的部署方式其实比官方文档中介绍的还要多,…

20140613204502171 0

Spark技术内幕:Worker源码与架构解析

- 基础架构 - 阅 5,299

作者:anzhsoft 首先通过一张Spark的架构图来了解Worker在Spark中的作用和地位: Worker所起的作用有以下几个: 1. 接受Master的指令,启动或者杀掉Executor 2. 接受Master的指令,启动或者杀掉Driver 3. 报告Executor/Driver的状态到Master 4. 心跳到Master…

u=1755448020,1585577897&fm=15&gp=0 0

Spark技术内幕:究竟什么是RDD

- 基础架构 - 阅 8,584

作者:anzhsoft RDD是Spark最基本,也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间,可以看这篇译文:http://shiyanjun.cn/archives/744.html  本文也是基于这篇论文和源码,分析RDD的实现…

u=3377637585,242868366&fm=23&gp=0 0

Spark技术内幕:Stage划分及提交源码分析

- 基础架构 - 阅 5,974

作者:anzhsoft 当触发一个RDD的action后,以count为例,调用关系如下: org.apache.spark.rdd.RDD#count org.apache.spark.SparkContext#runJob org.apache.spark.scheduler.DAGScheduler#runJob org.apache.spark.scheduler.DAGScheduler#submitJob org.apache.sp…

u=2456756474,1446374777&fm=15&gp=0 0

快速了解Scala技术栈

- 基础架构,编程语言 - 阅 4,600

作者 张逸 我无可救药地成为了Scala的超级粉丝。在我使用Scala开发项目以及编写框架后,它就仿佛凝聚成为一个巨大的黑洞,吸引力使我不得不飞向它,以至于开始背离Java。固然Java 8为Java阵营增添了一丝亮色,却是望眼欲穿,千呼万唤始出来。而Scala程序员,却早就在享…

u=1746614582,929527462&fm=23&gp=0_副本 0

Scala更适合用于大数据处理和机器学习

- 基础架构,编程语言 - 阅 5,710

作者:郭蕾 Scala是一门现代的多范式编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala允许用户使用命令和函数范式编写代码。Scala运行在Java虚拟机之上,可以直接调用Java类库。对于新手来说,Scala相对比较复杂,其看起来灵活的语法并不容易掌握,但…

t01bf89c135830d3ad1 0

Scala基本语法初探

- 基础架构,编程语言 - 阅 5,253

作者:come_for_dream 学习Spark不得不学习Scala这门神奇的语言,这次就匆匆忙忙做下总结吧。 Scala是一种基于JVM的语言,是函数是编程和面向对象编程的结合,是一个静态语言,纯静态语言。因为会生成和java相同的class字节码所以它与Java之间可以互相调用。 Scala有一…

t01747d924ec0a3ad21 0

Spark on YARN集群模式作业运行全过程分析

- 基础架构 - 阅 3,443

下面是分析Spark on YARN的Cluster模式,从用户提交作业到作业运行结束整个运行期间的过程分析。 客户端进行操作 1、根据yarnConf来初始化yarnClient,并启动yarnClient 2、创建客户端Application,并获取Application的ID,进一步判断集群中的资源是否满足executor和Applica…