基础架构 | 数盟社区 | Page 43
4e2 0

【Hadoop基础】Hadoop核心架构、Hbase、Hive

- 基础架构 - 阅 3,038

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive是如何运行,以及…

8cb3137f 0

十八款Hadoop工具帮你驯服大数据

- 基础架构 - 阅 2,015

Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建立起来。有些项目负责数据管理、有些负责流程监控、还有一些则提供先进的…

538 0

从Storm和Spark 学习流式实时分布式计算的设计

- 基础架构 - 阅 3,555

背景 最近我在做流式实时分布式计算系统的架构设计,而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参…

ddle 0

Redis错误配置详解

- 基础架构 - 阅 2,154

摘要:在使用Redis做缓存时,应用往往能得到非常高的性能。然而,如果配置不当,你将遇到很多令人头疼的问题,比如复制缓冲区限制、复制超时等。 【编者按】笔者在运行了上千个Redis数据库实例后,不仅发现了使用Redis时遇到的一些令人头疼的问题,更是探索到了解决这些问题的简…

586a7c3 0

LedisDB——Go编写的高性能NoSQL数据库

- 基础架构 - 阅 2,325

在7月24号发布0.1版本后,8月5号LedisDB 0.2版本发布。LedisDB是一个用Go语言编写的高性能NoSQL数据库,它支持多种高级数据结构,如kv、list、hash、zset、bitmap,也许可以作为Redis的替代方案。 LedisDB现在支持多种后台数据库,包括LevelDB、goleveldb、LMDB、RocksDB和BoltD…

538 1

玩转Spark必须了解的底层硬件需求

- 基础架构 - 阅 3,142

从MapReduce的兴起,就带来一种思路,就是希望通过大量廉价的机器来处理以前需要耗费昂贵资源的海量数据。这种方式事实上是一种架构的水平伸缩模式——真正的以量取胜。毕竟,以现在的硬件发展来看,CPU的核数、内存的容量以及海量存储硬盘,都慢慢变得低廉而高效。然而,对于商业…