基础架构 | 数盟社区 | Page 3
005a39e1842c18c0c7843e 0

干货 | 如何做好大数据产品设计架构和技术策略?

- 文章,基础架构 - 阅 662

作者经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体系思路,让大家系统性学习和了解有关大数据的设计架构。   很多人都看过不同类型的书,也接触过很多有关大数据方面的文章,但都是很零散不成系统,对自…

timg (4) 0

深入分析一波,你们说的云安全到底是什么鬼?

- 文章,基础架构 - 阅 507

作者:青藤云安全 云安全到底是什么?是传统厂商的盒子的iso化?是云厂商自身具备的安全能力?还是SaaS提供安全服务?这些观点都比较片面,作为聊天话题还可以,但落地还需要认真讨论。 一、云安全标准 要想了解云安全真正的含义,首先要了解云计算本身。根据NIST定义,…

wKioL1lSBEnhGGgrAAQBTEPW288225.jpg-wh_651x-s_3853370492 2

基于Spark的大规模机器学习在微博的应用

- 文章,基础架构 - 阅 560

众所周知,自2015年以来微博的业务发展迅猛。如果根据内容来划分,微博的业务有主信息(Feed)流、热门微博、微博推送(Push)、反垃圾、微博分发控制等。每个业务都有自己不同的用户构成、业务关注点和数据特征。庞大的用户基数下,由用户相互关注衍生的用户间关系,以及…

4 0

静下心来想想,为什么领域模型对于架构师如此重要?

- 文章,基础架构 - 阅 668

在信息化时代,人们在碰到问题的时候,经常会希望通过构建一套信息系统直接或间接的来解决问题。 比如说一家传统企业,在企业内部最常见的请假审批、费用报销审批这类的日常事务处理上,一开始碰到的问题是流程不够透明、员工不知找谁怎样处理,同时员工拿着纸质到处找各个审批…

u=2369096057,4004449955&fm=23&gp=0 0

血泪总结!创业公司的CTO,你一定要主动规避这些坑

- 文章,基础架构 - 阅 913

对于想做 CTO 的人,或者正在做 CTO 的人,或者做技术管理的人而言,技术的锤炼和知识的提升非常重要。本文作者将向大家讲述创业中踩过的那些坑和他们的血泪总结。 一、技术的锤炼 先让我从印象最深的一次宕机讲起。有一天,有一台机器的容器挂了,我对技术人员说,…

timg (7) 0

数据清洗要了命?这有一份手把手Python攻略

- 文章,基础架构 - 阅 1,094

几个月前,我从网站indeed.com上抓取了招聘信息相关数据。相信很多同学都跟我做过同样的事情,想要收集不同城市的各种职位信息,然后建立一个模型来预测它们的相对薪水。 然而在建立模型之前,我需要对抓取的信息进行初步的分析和清洗。本文将简要介绍我在清洗数据过程中使用的…

1 0

机器学习硬件概览:从算法到架构的挑战与机遇

- 文章,基础架构 - 阅 748

近日,MIT 发表一篇论文,从架构(GPU、CPU、FPGA)到算法概述机器学习硬件研究中的机遇与挑战。在人工智能硬件火热的今天,这是一篇不可错过的综述性文章。 摘要:机器学习在从传感器每天收集的大量数据中提取有用信息上发挥着非常重要的作用。在一些应用上,目的是为了…

wKioL1i9-PHA0uUJAAGrSvEQBXo15.jpeg-wh_651x-s_252581719 0

Hadoop生态系统的详细介绍

- 文章,基础架构 - 阅 615

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表…