数盟社区 | Page 382
603 0

数盟数据可视化培训学员作品集2:商家交易地图可视化

- 3,310 次阅读 - 课程

将一天中的商家交易情况按每小时分不同商品类型进行统计,将商家的IP地址映射到真实地理地图中,不同城市之间的商家交易医用飞动的箭头表示,从源商家指向目标商家。 可视化课程介绍:http://dataunion.org/?p=1073

t019a775b9bd27caeba 0

大数据的终极目标就是成为你肚子里的蛔虫

- 1,582 次阅读 - 未分类

作者:洪聖倫 日前我曾在自己的脸书上问朋友,关于大数据很夯,有没有大家推荐的好书或是必看之「圣经等级」的可以参考?结果回应相当热烈,推荐也不一而足,从商业统计学到行为分析学,也有学界作者到业界作者,约10来本书,让人看得眼花撩乱。 转念一想,我既然有这问题,…

t011add6b360a5da2eb 0

深入浅出数据仓库中SQL性能优化之MySQL篇

- 2,230 次阅读 - 基础架构

作者:肥男爱肉 做数据仓库的头两年,使用高配置单机 + MySQL的方式来实现所有的计算(包括数据的ETL,以及报表计算。没有OLAP)。用过MySQL自带的MYISAM和列存储引擎Infobright。这篇文章总结了自己和团队在那段时间碰到的一些常见性能问题和解决方案。 P.S.如果没有特别…

t0106f0f4d3f42f5e17 0

Spark技术解析及在百度开放云BMR应用实践

- 3,539 次阅读 - 基础架构

2014年,Spark开源生态系统得到了大幅增长,已成为大数据领域最人气的开源项目之一,活跃在Hortonworks、IBM、Cloudera、MapR和Pivotal等众多知名大数据公司,更拥有Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。同时值得一提的是,Spark贡献者中有一半左右的中国…

54b4811772cf5_middle 0

深入浅出数据仓库中SQL性能优化之Hive篇

- 3,777 次阅读 - 基础架构

一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会有细分),针对MR全局的优化,和针对整个查询(多MR Job)的优化,下文会分别阐述。 在开…

7cc829d3gw1eo78grikcsj208c08c3zo 0

实例讲解 SQL 注入攻击

- 2,379 次阅读 - 基础架构

一位客户让我们针对只有他们企业员工和顾客能使用的企业内网进行渗透测试。这是安全评估的一个部分,所以尽管我们之前没有使用过SQL注入来渗透网络,但对其概念也相当熟悉了。最后我们在这项任务中大获成功,现在来回顾一下这个过程的每一步,将它记录为一个案例。 “SQL注入”…

graphx_build_edge 0

Spark Graphx:构建graph和聚合消息

- 8,171 次阅读 - 基础架构

作者:@玄畅 About 最近在优化kcore算法时,对Graphx代码看了几遍。1.2后Graphx性能有所提升,代码不太容易理解,现在用图表示出来会更直观。 对数学上的图有点印象的是x轴、y轴坐标图,坐标中每个点用横坐标x和纵坐标y表示,即: (x1, y1), (x2, y2), 一个坐标点可以确定一…

t0132dba60b52a29183 0

如何利用数据分析找到自己喜欢的女朋友

- 2,413 次阅读 - 未分类

“柯北,你有女朋友了吗?”杰克随口一问,吓了柯北一大跳。 柯北:还没有呢。大学时候只顾学习了,把女朋友耽误了。 杰克:那正好。明天我给你一项特殊任务,注意收邮件吧,我只能帮你这么多了。 柯北一夜无眠,一直在琢磨杰克会给他什么任务。上【非诚勿扰】节目?不可…