编程语言 | 数盟 | Page 33
mzl.yvxylmvo 0

Hive中Reduce个数是如何计算的

- 编程语言 - 阅 2,357

数盟社区已获得作者授权转载,欢迎关注作者微信公众号。 转载自过往记忆(http://www.iteblog.com/) 本文链接: 【Hive中Reduce个数是如何计算的】(http://www.iteblog.com/archives/1697) 我们在使用Hive查询数据的时候经常会看到如下的输出: [crayon-5b082575…

01200000008162114713823671442 0

使用Eclipse编写Python代码(又名Eclipse的使用)

- 编程语言 - 阅 1,675

http://wsyht2015.blog.51cto.com/9014030/1825885  作者:wsyht90 一、新建一个项目 二、选择pydev项目 三、完成项目创建 四、确定 五、创建一个包 六、给包命名 七、新建一个文件夹 八、起名字,完成 九、查看 …

2881637387-5771f223b3477_articlex 0

API例子:用Python驱动Firefox采集网页数据

- 编程语言 - 阅 2,665

作者:fullerhua  原文链接:https://segmentfault.com/a/1190000005817712 1,引言 本文讲解怎样用Python驱动Firefox浏览器写一个简易的网页数据采集器。开源Python即时网络爬虫项目将与Scrapy(基于twisted的异步网络框架)集成,所以本例将使用Scrapy采集淘宝这种含…

1467696973961062573 0

如何根据动态SQL代码自动生成DTO

- 编程语言 - 阅 1,442

当前的状况 一般做数据库相关开发, 除非学习, 否则很少有人愿意直接使用JDBC。本来Java代码就比较啰嗦了,而直接用JDBC写代码之啰嗦简直有些令人发狂!所以在实际开发过程中,我们通常都会使用一些框架/库来帮助我们操作数据库。而且开源市场上的选择也比较多,就我个人接触到…

1590437628-5783072e39078_articlex 0

Python爬虫实战(3):安居客房产经纪人信息采集

- 数据分析,编程语言 - 阅 2,550

作者:fullerhua 原文链接:https://segmentfault.com/a/1190000005929693 1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫。为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上…

3535578989-5775489a89d0a_articlex 0

Nodejs 爬取煎蛋网妹子图

- 编程语言 - 阅 2,597

“流氓不可怕,就怕流氓有文化” 前天刚考完编译,今天考完网络,就开始捣鼓代码了,花了一天时间摸索了一下nodejs的爬虫,也就是tcp,http连接。 也是就做了一个爬取煎蛋网妹子图的爬虫,并保持至本地。 思路介绍 通过http请求报文模拟一次访问煎蛋网的操作 获取到了网页…

214314d4skk1ggwjhjocu4 0

15道使用频率极高的基础算法题

- 编程语言 - 阅 1,587

转载 codeceo 原文连接:http://www.codeceo.com/article/15-algorithms-question.html 15道使用频率极高的基础算法题: 1、合并排序,将两个已经排序的数组合并成一个数组,其中一个数组能容下两个数组的所有元素; 2、合并两个已经排序的单链表; 3、倒序打印一个单链表;  4…

1057231057-5779c62c560c9_articlex 0

Python网页信息采集:使用PhantomJS采集淘宝天猫商品内容

- 编程语言 - 阅 2,096

1,引言 最近一直在看Scrapy 爬虫框架,并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序。尝试过程中遇到了很多小问题,希望大家多多指教。 本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容,文中自定义了一个DOWNLOADER_MIDDLEWARES,用来采集需…