文章 | 数盟社区 | Page 346
t01697e3c3715960440 0

【干货】如何玩转Zeus,一个攻城狮的技术笔记

- 基础架构 - 阅 11,345

【Zeus3简介】 Zeus3是一个完整的Hadoop的作业平台,是基于Zeus的一个二次开发项目,从Hadoop任务的调试运行到生产任务的周期调度,宙斯支持任务的整个生命周期从功能上来说,支持: HadoopMapReduce任务的调试运行 Hive任务的调试运行 Shell任务的运行 Hive元数据的可视…

14120410188818 0

Hadoop = Hard to doop:数据缩水!揭常见Hadoop烂尾因素

- 基础架构 - 阅 2,610

来源:HKITBLOG       大多数企业 大数据应用案例还处于实验和测试阶段,对于少数首次在生产环境部署 Hadoop 系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致中途烂尾,令 大数据项目无法持之以恒。部署和扩展 Hadoop 系统是一件高度复杂的事情,如果用户能…

QQ截图20141205231808 0

推荐5个开源的 BI 工具

- 数据分析 - 阅 11,546

英文:enterpriseappstoday,译者luxurybdc 很难想象如果没有正确的信息来作为支撑,如何做出完美的商业决定。商业智能(BI)工具可以很好的帮助你从所收集和存储的大量的商业数据中提取和认识信息。换句话说,它可以将一堆数据转化为有意义的数据,来促进你的商业发展。 …

wKioL1SBG--hL7c-AAIZm3iNh_w366 0

极客游戏——编写自己的 AI 坦克,大战即将开始!

- 文章 - 阅 2,458

今天看到一个特别有意思的东西,叫做CODE GAME,你可以通过Javascripe语言来给你的小坦克写AI,然后与其他人的AI坦克对战。 传统的游戏,都是人们来操作游戏元素,而这个游戏不同,你要写一套算法,用这套算法去控制你的坦克,游戏开始之后,你能做的就只是看着两台坦克对…

14120410026501 0

为什么Spark发展不如Hadoop?

- 基础架构 - 阅 3,972

一说大数据,人们往往想到Hadoop。这固然不错,但随着大数据技术的深入应用,多种类型的数据应用不断被要求提出,一些Hadoop被关注的范畴开始被人们注意,相关技术也迅速获得专业技术范畴的应用。最近半年来的Spark之热就是典型例子。 Spark是一个基于RAM计算的开源码Comp…

QQ截图20141205173301 0

矩阵分解与图计算框架

- 数据分析 - 阅 8,911

作者:梧苇 矩阵分解是推荐系统常用的手段,经常用来做用户偏好预测.在当下的推荐系统中,我们得到用户对于物品的评分矩阵往往是非常稀疏的,一个有m个用户,n个商品的网站,它所收集到的m*n用户评分矩阵R可能只有不到万分之一的数据非零.矩阵分解算法常用来构造出多个矩阵, 用…

QQ截图20141205172655 1

社区发现算法FastUnfolding的GraphX实现

- 数据分析 - 阅 10,292

作者:刀剑 现实生活中存在各种各样的网络,诸如人际关系网、交易网、运输网等等。对这些网络进行社区发现具有极大的意义,如在人际关系网中,可以发现出具有不同兴趣、背景的社会团体,方便进行不同的宣传策略;在交易网中,不同的社区代表不同购买力的客户群体,方便运营为…

QQ截图20141204231532 0

Spark技术内幕: Task向Executor提交的源码解析

- 基础架构 - 阅 3,712

文章出处:anzhsoft 在上文《Spark技术内幕:Stage划分及提交源码分析》中,我们分析了Stage的生成和提交。但是Stage的提交,只是DAGScheduler完成了对DAG的划分,生成了一个计算拓扑,即需要按照顺序计算的Stage,Stage中包含了可以以partition为单位并行计算的Task。我们并…