基础架构 | 数盟社区 | Page 38
t018ac15db86b858af1 0

HBase 在淘宝的应用和优化

- 基础架构 - 阅 2,175

前言 hbase是从 hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术的发展,业务数据量越来越大,对海量数据的高效插入和读取变得越来…

54894644230bc 0

思科为大数据安全分析开源 OpenSOC

- 基础架构 - 阅 2,726

英文:enterprisenet,译者:akacd 思科在开源界并不陌生。现在它正致力于将其 OpenSOC(安全运作中心)开源。在 Github 可以找到该项目。 第一眼看上去,这个项目更像是一个SIEM(安全信息和事件管理系统)。但是据思科安全事业部架构师 Annie Ballew 的说法,这个项…

QQ截图20141211004519 0

新浪微博数据解析与java操作Hbase实例

- 数据分析,基础架构 - 阅 2,393

之前发过一篇开发新浪微博的文章,对于大家比较感兴趣的内容之一便是如何解析新浪微博的JSON。 其实一开始的时候,也遇过一些挫折,比如直接用JsonArray和JsonObject去解析JSON内容的话,是解析不了的。 因为JSON的格式比较固定,像新浪微博返回的JSON内容则是多了一个中括…

c2cec3fdfc03924582d5a3a58594a4c27d1e2533 0

OpenStack大数据项目 Sahara 概念和架构

- 基础架构 - 阅 3,870

Sahara旨在为用户提供简单部署Hadoop集群的能力,比如通过简单的配置:Hadoop版本、集群结构、节点硬件信息等。在用户提供了这些参数后,Sahara迅速把Hadoop集群部署起来。同时也支持集群的扩容和减容。 其应用场景包括: 1) 提供在OpenStack上快速配置和部署Hadoop集群的…

RZJNba 0

Storm 0.9.3发布,支持与HDFS、HBase的集成

- 基础架构 - 阅 2,316

作者 谢丽 Apache Storm 0.9.3发布,虽然只是一个维护版本,但它不仅改进了与Apache Kafka的集成,还提供了与HDFS、HBase的集成,并减少了依赖冲突。此外,它还修复了100多个Bug,使其稳定性更好。具体改进如下: 改进与Kafka的集成——Apache Strom自0.9.2-incubating版本以…

QQ截图20141209145810 0

HBase优化案例分析:Facebook Messages系统问题与解决方案

- 基础架构 - 阅 1,773

作者 梁堰波 HDFS设计的初衷是为了存储大文件(例如日志文件),面向批处理、顺序I/O的。然而架设在HDFS之上的HBase设计的初衷却是为了解决海量数据的随机读写的请求。把这两种设计初衷截然相反的组件怎么揉在一起的呢?这种分层的结构设计主要是为了使架构更清晰,HBase层和H…

QQ截图20141208200432 0

Hadoop RPC通信Client客户端的流程分析

- 基础架构 - 阅 2,599

作者:Android路上的人 Hadoop的RPC的通信与其他系统的RPC通信不太一样,作者针对Hadoop的使用特点,专门的设计了一套RPC框架,这套框架个人感觉还是 有点小复杂的。所以我打算分成Client客户端和Server服务端2个模块做分析。如果你对RPC的整套流程已经非常了解的前提下,对于…

QQ截图20141208193319 0

Apache Hadoop 2.6.0发布——异构存储,长时间运行的服务与滚动升级支持

- 基础架构 - 阅 3,239

我很高兴地宣布,在Apache的Hadoop社区已经发布了Apache Hadoop的2.6.0! 特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行…