基础架构 | 数盟社区 | Page 2
wKioL1lSBEnhGGgrAAQBTEPW288225.jpg-wh_651x-s_3853370492 2

基于Spark的大规模机器学习在微博的应用

- 文章,基础架构 - 阅 250

众所周知,自2015年以来微博的业务发展迅猛。如果根据内容来划分,微博的业务有主信息(Feed)流、热门微博、微博推送(Push)、反垃圾、微博分发控制等。每个业务都有自己不同的用户构成、业务关注点和数据特征。庞大的用户基数下,由用户相互关注衍生的用户间关系,以及…

4 0

静下心来想想,为什么领域模型对于架构师如此重要?

- 文章,基础架构 - 阅 410

在信息化时代,人们在碰到问题的时候,经常会希望通过构建一套信息系统直接或间接的来解决问题。 比如说一家传统企业,在企业内部最常见的请假审批、费用报销审批这类的日常事务处理上,一开始碰到的问题是流程不够透明、员工不知找谁怎样处理,同时员工拿着纸质到处找各个审批…

u=2369096057,4004449955&fm=23&gp=0 0

血泪总结!创业公司的CTO,你一定要主动规避这些坑

- 文章,基础架构 - 阅 681

对于想做 CTO 的人,或者正在做 CTO 的人,或者做技术管理的人而言,技术的锤炼和知识的提升非常重要。本文作者将向大家讲述创业中踩过的那些坑和他们的血泪总结。 一、技术的锤炼 先让我从印象最深的一次宕机讲起。有一天,有一台机器的容器挂了,我对技术人员说,…

timg (7) 0

数据清洗要了命?这有一份手把手Python攻略

- 文章,基础架构 - 阅 706

几个月前,我从网站indeed.com上抓取了招聘信息相关数据。相信很多同学都跟我做过同样的事情,想要收集不同城市的各种职位信息,然后建立一个模型来预测它们的相对薪水。 然而在建立模型之前,我需要对抓取的信息进行初步的分析和清洗。本文将简要介绍我在清洗数据过程中使用的…

1 0

机器学习硬件概览:从算法到架构的挑战与机遇

- 文章,基础架构 - 阅 446

近日,MIT 发表一篇论文,从架构(GPU、CPU、FPGA)到算法概述机器学习硬件研究中的机遇与挑战。在人工智能硬件火热的今天,这是一篇不可错过的综述性文章。 摘要:机器学习在从传感器每天收集的大量数据中提取有用信息上发挥着非常重要的作用。在一些应用上,目的是为了…

wKioL1i9-PHA0uUJAAGrSvEQBXo15.jpeg-wh_651x-s_252581719 0

Hadoop生态系统的详细介绍

- 文章,基础架构 - 阅 408

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表…

u=1064426758,2394772793&fm=23&gp=0 0

云计算和IoT平台之争开启“下半场”,边缘计算竟成“主阵地”

- 文章,基础架构 - 阅 298

资料显示,亚马逊、微软和 Alphabet(谷歌母公司)在2016年的资本支出和资本租赁共计为315.4亿美元,比2015年同比增长22%。每家公司都将云计算列为主要投资领域。 由于对云计算的扩张越来越激进,且险些走进“囚徒困境”。这三家公司似乎打起了价格战,纷纷降低了部分云产品的价…

u=2847530530,2144846763&fm=23&gp=0 0

从底层到应用,大数据工程师成长之路必备技能汇总

- 文章,基础架构 - 阅 501

目前很火,数据源头,各种炫酷新技术,搭建hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂Java,很多平台都是用Java开发的。 1、大数据平台 目前很火,数据源头,各种炫酷新技术,搭建hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂Java,很多平台都是用Ja…