文章 | 数盟社区 | Page 322
t015ce3edf5faab8946 0

一个 KCore 算法引发的 StackOverflow 奇案

- 基础架构 - 阅 6,206

作者:桔他 案件概述 这是一次扑朔迷离的Spark StackOverflow侦破过程,这也是一则程序猿悲情debug的故事。故事起于一个图算法: KCore算法 。它算法特点决定了需要迭代很多轮才能收敛。在亿级别的新浪数据上,迭代个几百次是家常便饭。当我们翘首期盼迭代收敛结果时,它却引发…

20141212032456596 0

最常用的十款数据可视化工具推荐

- 可视化 - 阅 4,877

快速发展的社会里人们的阅读也更加趋向快速化,比起枯燥的文字,形象生动的图画更能吸引人的注意力而且更加顺利地将信息传达给别人。在我们整理大数据的过程中学会将大数据可视化是很有必要的。这里为大家推荐几款简单易用的大数据可视化工具,来让大家更加快乐地展示大数据…

wKiom1SKrcqxJVfaAADhb4CTJ78195 0

AWS发布云关系型数据库Aurora 六问技术细节

- 基础架构 - 阅 1,830

亚马逊发布了Aurora系统,并允诺其会有许多引人注目的特性。让我们深入了解一下Aurora系统,并探索一下其分支结构。 结构: Aurora的整体设计是这样的,利用一个master节点提供写服务,Slave节点展开在master节点周围,用于读,,这听起来像MySQL-读操作是可扩展的。亚马逊还撰…

t018ac15db86b858af1 0

HBase 在淘宝的应用和优化

- 基础架构 - 阅 2,267

前言 hbase是从 hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术的发展,业务数据量越来越大,对海量数据的高效插入和读取变得越来…

t0161498d27a6ada6c4 0

空间数据挖掘常用方法

- 数据分析 - 阅 3,490

问题1:空间数据挖掘有哪些常用方法,举例说明一种方法的原理及应用. 答:空间数据挖掘的常用方法有:统计法,聚类方法,关联规则发掘方法,Rough集方法,神经网络方法,云理论,证据理论,模糊集理论,遗传算法等算法(出自丁信宙,仇环,苏晓庆. 基于云理论的缺损数据推理和…

54894644230bc 0

思科为大数据安全分析开源 OpenSOC

- 基础架构 - 阅 2,804

英文:enterprisenet,译者:akacd 思科在开源界并不陌生。现在它正致力于将其 OpenSOC(安全运作中心)开源。在 Github 可以找到该项目。 第一眼看上去,这个项目更像是一个SIEM(安全信息和事件管理系统)。但是据思科安全事业部架构师 Annie Ballew 的说法,这个项…

QQ截图20141211004519 0

新浪微博数据解析与java操作Hbase实例

- 数据分析,基础架构 - 阅 2,511

之前发过一篇开发新浪微博的文章,对于大家比较感兴趣的内容之一便是如何解析新浪微博的JSON。 其实一开始的时候,也遇过一些挫折,比如直接用JsonArray和JsonObject去解析JSON内容的话,是解析不了的。 因为JSON的格式比较固定,像新浪微博返回的JSON内容则是多了一个中括…

wKiom1SHqnPTfj92AACx9iUaAm0539 0

谷歌利用机器学习简化CAPTCHA验证码服务

- 人工智能 - 阅 2,663

作者 Abel Avram ,译者 李士窑 谷歌公布了验证码服务CAPTCHA的一个新API,该API能为大多数用户提供了一个非CAPTHA的验证码体验。 多年以来,Web站点尽管得到了无处不在的CAPTCHA验证码服务的保护,但是用户一直抱怨正确读取一些扭曲字符的困难。一年前,谷歌推出了一个基…