数据分析 | 数盟社区 | Page 2
wKioL1le_dfCfqnCAAHRGF3p27o648.jpg-wh_651x-s_3743197018 0

手把手教你 Spark 性能调优

- 文章,数据分析 - 阅 472

0、背景 集群部分 spark 任务执行很慢,且经常出错,参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。 看了下任务的历史运行情况,平均时间 3h 左右,而且极其不稳定,偶尔还会报错: 1、优化思路 任务的运行时间跟什么有关? (1)数据源大小差异 在有限的计算…

wKiom1lbeR7SYKHfAAFtjWWOp-g292.png-wh_651x-s_3030787902 0

这些硬技术,UCloud安全屋都有

- 文章,数据分析 - 阅 438

作为我国中立云服务商,继今年3月D轮成功融资9.6亿元人民币后,UCloud最近又发新动态,经过八个月的低调研发,旗下产品“安全屋”的问世让学术与产业发展达成深度融合。其实“安全屋”的命名灵感来源于前段时间在我国投放第五季《纸牌屋》,看过《纸牌屋》的人都应该知道,屋子其实代…

wKiom1i2MBKyHZNTAAC_eKjySEA971.jpg-wh_651x-s_4037950685 0

行业 | 云服务应用开发所面临的9大挑战

- 文章,数据分析 - 阅 186

云计算在企业中慢慢获得认可。据预测,到2018年,59%的云工作负载将由软件即服务(SaaS)产生。根据最近的一项调查,43%的IT决策者计划更多地投资云计算。 云计算多年来发展迅速。云计算已经开始改变存储和访问数据的方式。我们目前看到智能手机应用程序使用云计算技术来允许用户…

a3bc625b78b9999e 0

历时半年,腾讯Angel为了开源都经历了些什么?

- 文章,数据分析 - 阅 294

2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。开源两周,这个项目在 Github 上持续得到关注,截至目前为止,已收获 183 Watch,1693 Star,389 Fork,也吸引了许多业界工程师对分布式机器学习平台架构的优化与算法性能的提升展开了深入的讨论与交…

57750d28b18d0 0

以滴滴出行为例,谈谈如何分析用户评论

- 数据分析 - 阅 308

现在用研也不是什么罕见工作了,分析用户评论的方法非常多,而且谁都可以自创一种。我并不觉得有什么方法是一定好的,有什么是一定不好的。不过,学术界有一个叫做内容分析(Content Analysis)的领域,专门研究文字、媒体信息,半个世纪的时间里有很多人通过研究分析,终于找到…

1-105 0

夏季达沃斯上那些有关大数据的言论,全球范围每产生1美元消费就有12美分来自中国

- 文章,数据分析 - 阅 244

36大数据专稿 日前,主题为“在第四次工业革命中实现包容性增长”的夏季达沃斯(世界经济论坛 World Economic Forum)在我国大连举行。李克强总理做了开幕致辞,“与以往的工业革命相比,在新一轮工业革命中实现包容性增长,具有更大的可能性。因为以网络化、数字化、智能化为代表的…

big_data_151466624_rafal_olechowski1 0

大数据就在你身边 | 生活中大数据分析案例以及背后的技术原理

- 文章,数据分析 - 阅 294

作者:Stephen Cui 一、大数据分析在商业上的应用 1、体育赛事预测 世界杯期间,谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼,预测全程64场比赛,准确率为67%,进入淘汰赛后准确率为94%。现在互联网公司取代章鱼保罗试水赛事预测也意味…

240403-1609111G32357 0

数据清洗的经验与教训 Data Cleaning

- 文章,数据分析 - 阅 230

作者:Yiqin Fu 小学的时候我统计过同学里有多少要订课间牛奶:每人分别需要什么口味和什么大小,应收多少钱。最后这份按照座位排序的表格要和一张学号表格按照同学姓名对应起来,并计算每种口味订购数量和每人应收款。过程中我遇到了很多困难,例如有同学订了多种口味,有同…