数盟 | Page 2
cbe65b3adaef26b257e9ffbd1dde5477 0

YARN & Mesos,论集群资源管理所面临的挑战

- 95 次阅读 - 文章,基础架构

在国内,大部分的Spark用户都是由Hadoop过渡而来,因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深,各种问题也随之暴露出来,比如资源调度的粒度问题。为此,7月2日晚,在CSDN Spark高端微信群中,一场基于YARN和Mesos的讨论被拉开,主要参与分享的…

ce5fd91f344ec130f6f42ec265c51839.jpeg-wh_651x-s_2415570986 0

以企业入侵检测日志分析为场景漫谈大数据安全

- 94 次阅读 - 文章,数据分析,数据挖掘

前言 写这篇文章有三个原因,一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈 (想继续吐槽);二是看到了阿里的招聘广告-一起来聊聊这个新职位:大数据安全分析师;三是整个2015的RSA会议 Intelligence Data-Driven 出境率太高了,于是想谈谈。 大数据安全…

wKiom1l4XNWDAuxfAABCT0-KyR0815.jpg-wh_651x-s_2814160241 0

数据采集中的安全与隐私

- 100 次阅读 - 文章,数据分析,数据挖掘

1. 数据采集面临的安全与隐私挑战 不管是第三方分析工具,还是企业的第一方分析系统,在分析用户行为时,通常都会选择在客户端(一般是安卓、iOS 和 Web 端)采集用户的行为,然后经过打包、压缩等一系列处理步骤,发送给服务端,再进行存储和分析。由于客户端是在用户…

0537aea4c28648b47529584ffc28e104 0

清华魏少军:大部分AI芯片创业者将成为这场变革中的先烈

- 94 次阅读 - 文章,人工智能,深度学习

3 月 9 日,智东西、极果和 AWE 联合举办的 GTIC 2018 全球 AI 芯片创新峰会在上海举行。 在人工智能备受关注的今天,中国的 AI 芯片产业正在迎来最好的发展时机,初创公司层出不穷,并出现了寒武纪这样的独角兽。 然而盛世之下,似有隐忧。 “两到三年内,我们一定会碰到一个…

0b09e561ffabe408afebd847617cb798.jpg-wh_651x-s_2784237234 0

大数据时代 “账房先生式”CFO转型迫在眉睫

- 89 次阅读 - 文章,数据分析

彭春霞/制图 适逢大数据时代,人人身处变革之境。对企业财务总监(CFO)而言,更是如此,在庞大的数据流与信息流冲刷下,如何适应新时代下的新型财务营运模式,如何摸准未来发展的脉络?值得深思。 大数据时代和“云”时代到来,新技术、新科技层出不穷,全球财会制度与管理也…

679e4a1d226f59409cc7b483ab5dfa82.jpg-wh_651x-s_484174679 0

基于大数据的用户标签体系建设思路和应用

- 139 次阅读 - 文章,数据分析,可视化,数据挖掘

在大数据时代,数据在呈现出海量化、多样化和价值化变化的同时,也改变了传统IT行业的市场竞争环境、营销策略和服务模式。 如何在ZB级的海量数据中获取并筛选有价值的信息,是对IT企业的一大挑战。通过构建客户标签,支撑精准营销服务,是应对上述挑战的有效解决方案。 但是…

145202791495850396 0

我国首例大数据产品不正当竞争纠纷案的法律启示

- 144 次阅读 - 文章,数据分析,数据挖掘

近日,杭州互联网法院对淘宝(中国)软件有限公司诉安徽美景信息科技有限公司不正当竞争纠纷一案作出一审判决,认定美景公司涉案行为构成不正当竞争,判令其停止侵权行为并赔偿淘宝公司经济损失及合理费用共计200万元。该案虽然尚未尘埃落定,但是作为我国首例互联网大数据产品不…

3b622c11d2d59fa5f2a07304cdb43b3a.jpg-wh_651x-s_1232093187 0

大数据报告:知乎百万用户分析

- 179 次阅读 - 文章,数据分析,数据挖掘

本文作者以知乎300万用户个人资料为样本,做出了简单数据分析。enjoy~ 最近用 python 爬虫抓取了知乎用户个人资料(公开信息),去重之后有300+万条记录,为了得到这些数据,还不小心跑崩了一台服务器…… 当然主要是配置太低。 手头有了数据也不能闲着,于是就有了这篇分析报告…