基础架构 | 数盟社区 | Page 3
417355 0

用 Akka 解决 Spark + ElasticSearch 实时计算平台的瓶颈

- 基础架构 - 阅 1,123

应用场景 假如有这样一个场景:系统每秒钟都会收到大量的事件,每个事件又包含很多参数,用户不仅需要准实时地还需要定期地判断每一种事件、事件的每一种参数值的组合是否超过了系统设定的 阈值 。 面对这一场景,用户应该采用什么样的方案呢?最近,来自于 Premium Minds 的…

1136198219-576a06ed0c94b_articlex 0

专访调试专家张银奎:读古籍、作古诗的“别致”技术人

- 基础架构 - 阅 631

非商业转载请注明作译者、出处,并保留本文的原始链接:http://www.ituring.com.cn/article/217172 张银奎 Intel 英特尔软件架构师,系统调试专家 毕业于上海交通大学信息与控制工程系,长期从事软件开发和研究工作,对 IA-32 架构、操作系统内核、驱动程序、尤其是软…

Linked In 0

LinkedIn的工程师详述了生产环境下Kafka的调试和最佳实践

- 基础架构 - 阅 760

来源:infoQ 原文链接 http://www.infoq.com/cn/news/2016/06/linkedin-kafka-debugging 在本文中,LinkedIn的软件工程师Joel Koshy详细阐述了他和一个工程师团队是如何解决生产环境下Kafka的两次事故的。这两次事故是由于多个产品缺陷、特殊的客户行为以及监控缺失的交错影响…

1466476275298091265 0

如何让Hadoop支持优先级且性能可预测

- 基础架构 - 阅 724

让运行Hadoop的公司产品都能够确保高优先级任务按时完成。 Apache Hadoop近十年的成长证明,用开源技术处理与访问海量数据并不是什么炒作。然而,Hadoop的一个缺点是不可预测性。Hadoop不能确保企业的关键任务按时完成,也不能完全发挥集群的性能。 YARN(一种新的Hadoo…

20141222134630106 0

Apache Spark 不过时的六大理由

- 基础架构 - 阅 946

在极短的时间内,Apache Spark 迅速成长为大数据分析的技术核心。这就使得保守派担心在这个技术更新如此之快的年代它是否会同样快的被淘汰呢。我反而却坚信,spark仅仅是崭露头角。 在过去的几年时间,随着Hadoop技术爆炸和大数据逐渐占据主流地位,几件事情逐渐明晰: 对…

wKiom1dcvqDBYzojAAF3j3hfL_s877.jpg-wh_651x-s_1673119543 0

实现R与Hadoop联合作业的三种方法

- 基础架构 - 阅 1,459

作者:雪晴数据网   来源:36大数据 为了满足用R语言处理pb量级数据的需求,我们需要把它和Hadoop联合起来使用。本文的目的就是阐述实现二者联合作业的不同技术。 方法一:利用Streaming APIs Hadoop支持一些 Streaming API来将R语言中的函数传入,并在MapReduce模…

234040u557x77z325w2g3o 0

LinkedIn 开源其分布式对象存储系统 Ambry

- 基础架构 - 阅 722

原作者: Subramanian|来自: InfoQ Ambry是一个是不可变对象的存储系统,非常易于扩展,它能够存储KB到GB大小的不可变对象,并且能够实现高吞吐和低延迟,该系统支持跨数据中心的双活部署,并且存储成本低廉。它特别适于存储各种媒体内容。 据Linkedin的前工程主管Sriram Subr…

20150402110749389 0

生活处处皆学问,我从星巴克咖啡学到的5点架构经验

- 基础架构 - 阅 1,284

 作者 Weronika  原文链接http://www.infoq.com/cn/articles/5-architecture-experiences-learn-fomr-starbucks-coffee 2004年,Gregor Hohpe发表了令人赞叹的《星巴克不使用两阶段提交》一文。在读到此文时,我突然意识到大学时在星巴克的兼职经历有多么重要。多年以来,我逐渐…