基础架构 | 数盟社区 | Page 38
u=1746614582,929527462&fm=23&gp=0_副本 0

Scala更适合用于大数据处理和机器学习

- 基础架构,编程语言 - 阅 5,593

作者:郭蕾 Scala是一门现代的多范式编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala允许用户使用命令和函数范式编写代码。Scala运行在Java虚拟机之上,可以直接调用Java类库。对于新手来说,Scala相对比较复杂,其看起来灵活的语法并不容易掌握,但…

t01bf89c135830d3ad1 0

Scala基本语法初探

- 基础架构,编程语言 - 阅 5,175

作者:come_for_dream 学习Spark不得不学习Scala这门神奇的语言,这次就匆匆忙忙做下总结吧。 Scala是一种基于JVM的语言,是函数是编程和面向对象编程的结合,是一个静态语言,纯静态语言。因为会生成和java相同的class字节码所以它与Java之间可以互相调用。 Scala有一…

t01747d924ec0a3ad21 0

Spark on YARN集群模式作业运行全过程分析

- 基础架构 - 阅 3,357

下面是分析Spark on YARN的Cluster模式,从用户提交作业到作业运行结束整个运行期间的过程分析。 客户端进行操作 1、根据yarnConf来初始化yarnClient,并启动yarnClient 2、创建客户端Application,并获取Application的ID,进一步判断集群中的资源是否满足executor和Applica…

t0106f0f4d3f42f5e17 0

Spark的硬件配置

- 基础架构 - 阅 3,163

作者:张逸 从MapReduce的兴起,就带来一种思路,就是希望通过大量廉价的机器来处理以前需要耗费昂贵资源的海量数据。这种方式事实上是一种架构的水平伸缩模式——真正的以量取胜。毕竟,以现在的硬件发展来看,CPU的核数、内存的容量以及海量存储硬盘,都慢慢变得低廉而高效…

u=1750755082,2043317726&fm=90&gp=0 0

教你如何成为Spark大数据高手?

- 基础架构 - 阅 2,412

Spark目前被越来越多的企业使用,和Hadoop一样,Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手?下面就来个深度教程。 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并…

t018baf4ac14411e8ea 0

Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别

- 基础架构 - 阅 3,632

初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?….请教了^_^没关系这里我帮大家理清每个技术的原理和思路…

t019fd5ead6eacc87d1 使用Kafka处理高并发数据流已关闭评论

使用Kafka处理高并发数据流

- 基础架构 - 阅 3,460

作者 孙镜涛 如果我们需要持续地处理大约20万条/秒的消息量,同时还需要保证数据的可用性和冗余,我们应该怎么做呢?最近Tadas Vilkeliskis在自己的博客上发表了一篇题为《数据流基础设施》的文章,分享了他们是如何应对这种场景的。 Tadas Vilkeliskis在文章中提到,他们…

t018e40cfee1b3993f7_副本 大数据技术Hadoop面试题,看看你能答对多少?已关闭评论

大数据技术Hadoop面试题,看看你能答对多少?

- 基础架构 - 阅 4,971

1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份c)1 份d)不确定 答案A默认3分 3. 下列哪个程序通常与 NameNode 在一个节点启动? …