基础架构 | 数盟社区 | Page 38
wKiom1SOOqiQGNaFAACeg3cRxT4741 0

Storm与Spark:谁才是我们的实时处理利器

- 基础架构 - 阅 11,924

实时商务智能这一构想早已算不得什么新生事物(早在2006年维基百科中就出现了关于这一概念的页面)。然而尽管人们多年来一直在对此类方案进行探讨,我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。 为什么会这样?一大原因在…

t015ce3edf5faab8946 0

一个 KCore 算法引发的 StackOverflow 奇案

- 基础架构 - 阅 6,199

作者:桔他 案件概述 这是一次扑朔迷离的Spark StackOverflow侦破过程,这也是一则程序猿悲情debug的故事。故事起于一个图算法: KCore算法 。它算法特点决定了需要迭代很多轮才能收敛。在亿级别的新浪数据上,迭代个几百次是家常便饭。当我们翘首期盼迭代收敛结果时,它却引发…

wKiom1SKrcqxJVfaAADhb4CTJ78195 0

AWS发布云关系型数据库Aurora 六问技术细节

- 基础架构 - 阅 1,829

亚马逊发布了Aurora系统,并允诺其会有许多引人注目的特性。让我们深入了解一下Aurora系统,并探索一下其分支结构。 结构: Aurora的整体设计是这样的,利用一个master节点提供写服务,Slave节点展开在master节点周围,用于读,,这听起来像MySQL-读操作是可扩展的。亚马逊还撰…

t018ac15db86b858af1 0

HBase 在淘宝的应用和优化

- 基础架构 - 阅 2,266

前言 hbase是从 hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术的发展,业务数据量越来越大,对海量数据的高效插入和读取变得越来…

54894644230bc 0

思科为大数据安全分析开源 OpenSOC

- 基础架构 - 阅 2,798

英文:enterprisenet,译者:akacd 思科在开源界并不陌生。现在它正致力于将其 OpenSOC(安全运作中心)开源。在 Github 可以找到该项目。 第一眼看上去,这个项目更像是一个SIEM(安全信息和事件管理系统)。但是据思科安全事业部架构师 Annie Ballew 的说法,这个项…

QQ截图20141211004519 0

新浪微博数据解析与java操作Hbase实例

- 数据分析,基础架构 - 阅 2,508

之前发过一篇开发新浪微博的文章,对于大家比较感兴趣的内容之一便是如何解析新浪微博的JSON。 其实一开始的时候,也遇过一些挫折,比如直接用JsonArray和JsonObject去解析JSON内容的话,是解析不了的。 因为JSON的格式比较固定,像新浪微博返回的JSON内容则是多了一个中括…

c2cec3fdfc03924582d5a3a58594a4c27d1e2533 0

OpenStack大数据项目 Sahara 概念和架构

- 基础架构 - 阅 4,082

Sahara旨在为用户提供简单部署Hadoop集群的能力,比如通过简单的配置:Hadoop版本、集群结构、节点硬件信息等。在用户提供了这些参数后,Sahara迅速把Hadoop集群部署起来。同时也支持集群的扩容和减容。 其应用场景包括: 1) 提供在OpenStack上快速配置和部署Hadoop集群的…

RZJNba 0

Storm 0.9.3发布,支持与HDFS、HBase的集成

- 基础架构 - 阅 2,409

作者 谢丽 Apache Storm 0.9.3发布,虽然只是一个维护版本,但它不仅改进了与Apache Kafka的集成,还提供了与HDFS、HBase的集成,并减少了依赖冲突。此外,它还修复了100多个Bug,使其稳定性更好。具体改进如下: 改进与Kafka的集成——Apache Strom自0.9.2-incubating版本以…