基础架构 | 数盟社区
u=2369096057,4004449955&fm=23&gp=0 0

血泪总结!创业公司的CTO,你一定要主动规避这些坑

- 文章,基础架构 - 阅 579

对于想做 CTO 的人,或者正在做 CTO 的人,或者做技术管理的人而言,技术的锤炼和知识的提升非常重要。本文作者将向大家讲述创业中踩过的那些坑和他们的血泪总结。 一、技术的锤炼 先让我从印象最深的一次宕机讲起。有一天,有一台机器的容器挂了,我对技术人员说,…

timg (7) 0

数据清洗要了命?这有一份手把手Python攻略

- 文章,基础架构 - 阅 536

几个月前,我从网站indeed.com上抓取了招聘信息相关数据。相信很多同学都跟我做过同样的事情,想要收集不同城市的各种职位信息,然后建立一个模型来预测它们的相对薪水。 然而在建立模型之前,我需要对抓取的信息进行初步的分析和清洗。本文将简要介绍我在清洗数据过程中使用的…

1 0

机器学习硬件概览:从算法到架构的挑战与机遇

- 文章,基础架构 - 阅 365

近日,MIT 发表一篇论文,从架构(GPU、CPU、FPGA)到算法概述机器学习硬件研究中的机遇与挑战。在人工智能硬件火热的今天,这是一篇不可错过的综述性文章。 摘要:机器学习在从传感器每天收集的大量数据中提取有用信息上发挥着非常重要的作用。在一些应用上,目的是为了…

wKioL1i9-PHA0uUJAAGrSvEQBXo15.jpeg-wh_651x-s_252581719 0

Hadoop生态系统的详细介绍

- 文章,基础架构 - 阅 330

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表…

u=1064426758,2394772793&fm=23&gp=0 0

云计算和IoT平台之争开启“下半场”,边缘计算竟成“主阵地”

- 文章,基础架构 - 阅 210

资料显示,亚马逊、微软和 Alphabet(谷歌母公司)在2016年的资本支出和资本租赁共计为315.4亿美元,比2015年同比增长22%。每家公司都将云计算列为主要投资领域。 由于对云计算的扩张越来越激进,且险些走进“囚徒困境”。这三家公司似乎打起了价格战,纷纷降低了部分云产品的价…

u=2847530530,2144846763&fm=23&gp=0 0

从底层到应用,大数据工程师成长之路必备技能汇总

- 文章,基础架构 - 阅 405

目前很火,数据源头,各种炫酷新技术,搭建hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂Java,很多平台都是用Java开发的。 1、大数据平台 目前很火,数据源头,各种炫酷新技术,搭建hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂Java,很多平台都是用Ja…

QQ截图20161229170638 0

从淘宝到云端,阿里高可用架构演进实战

- 文章,基础架构 - 阅 338

写在前面 大家好,我今天分享的题目是《高可用实践:从淘宝到上云的差异》,取这个标题是因为会涉及到两个方面内容,一方面以淘宝为例子,传统的 IDC 的时候,我们稳定性是怎么做的,另外在云计算背景下,有很多创业公司是基于阿里云这样的公有云基础设施做研发,在公有云的环境…

timg (4) 0

分布式计算开源框架Hadoop入门实践(一)

- 文章,基础架构 - 阅 378

作者:岑文初 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice —日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数…