基础架构 | 数盟社区 - Part 3
20141222134630106 0

Apache Spark 不过时的六大理由

- 基础架构 - 阅 924

在极短的时间内,Apache Spark 迅速成长为大数据分析的技术核心。这就使得保守派担心在这个技术更新如此之快的年代它是否会同样快的被淘汰呢。我反而却坚信,spark仅仅是崭露头角。 在过去的几年时间,随着Hadoop技术爆炸和大数据逐渐占据主流地位,几件事情逐渐明晰: 对…

wKiom1dcvqDBYzojAAF3j3hfL_s877.jpg-wh_651x-s_1673119543 0

实现R与Hadoop联合作业的三种方法

- 基础架构 - 阅 1,424

作者:雪晴数据网   来源:36大数据 为了满足用R语言处理pb量级数据的需求,我们需要把它和Hadoop联合起来使用。本文的目的就是阐述实现二者联合作业的不同技术。 方法一:利用Streaming APIs Hadoop支持一些 Streaming API来将R语言中的函数传入,并在MapReduce模…

234040u557x77z325w2g3o 0

LinkedIn 开源其分布式对象存储系统 Ambry

- 基础架构 - 阅 703

原作者: Subramanian|来自: InfoQ Ambry是一个是不可变对象的存储系统,非常易于扩展,它能够存储KB到GB大小的不可变对象,并且能够实现高吞吐和低延迟,该系统支持跨数据中心的双活部署,并且存储成本低廉。它特别适于存储各种媒体内容。 据Linkedin的前工程主管Sriram Subr…

20150402110749389 0

生活处处皆学问,我从星巴克咖啡学到的5点架构经验

- 基础架构 - 阅 1,247

 作者 Weronika  原文链接http://www.infoq.com/cn/articles/5-architecture-experiences-learn-fomr-starbucks-coffee 2004年,Gregor Hohpe发表了令人赞叹的《星巴克不使用两阶段提交》一文。在读到此文时,我突然意识到大学时在星巴克的兼职经历有多么重要。多年以来,我逐渐…

QQ截图20150719153031 0

Hadoop集群之 ZooKeeper和Hbase环境搭建

- 基础架构 - 阅 1,550

前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境 所有软件下载百度云 密码:uup8 讲在开头:对于笔者的完全分布式环境请见该文:Hadoop完全分布式安装 1.ZooKeeper和Hbase的简答介绍: ZooKeeper是一…

QQ截图20150719153031 2

运行于云端的Hadoop——数据即服务的论证

- 基础架构 - 阅 1,962

原文地址:Hadoop in the cloud 作者:托马斯·费伦、乔尔·巴斯特 翻译:杨小虎 张洁 王晨 导语 就像Docker是容器的代名词一样,Hadoop [hædu:p]也是大数据的代名词,作为云计算所青睐的一种分布式架构,这只黄色的小象也和那只蓝色的鲸鱼一样被越来越多的人所熟知。Hadoop…

20141222134630106 0

Spark性能优化指南——高级篇

- 基础架构 - 阅 1,143

作者:@美团点评技术团队 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计…

132_120908015627_1 0

调研:告诉你一个真实的OpenStack 用他做什么?

- 基础架构 - 阅 1,084

来自: 人称T客 前言: 这是自2013年4月以来OpenStack的第七次社区和用户调查,怀着一个更好的理解用户、组织资料、使用案例以及技术选择的目标,调研了不同部署阶段和不同规模大小的情况下的用户。 这份调查报告所分析的受访者都在2016年2月做了完整的为期三周的调查。为了跟…