介绍

Thrift 最初由Facebook开发，而后捐献给Apache，目前已广泛应用于业界。Thrift 正如其官方主页介绍的，“是一种可扩展、跨语言的服务开发框架”。简而言之，它主要用于各个服务之间的RPC通信，其服务端和客户端可以用不同的语言来开发。只需要依照IDL（Interface Description Language）定义一次接口，Thrift工具就能自动生成 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml等语言的代码。

Metrics，谷歌翻译就是度量的意思。当我们需要为某个系统某个服务做监控、做统计，就需要用到Metrics。

本文将简要地谈谈如何使用Scrapy的Item Pipline，基于Redis和SQLALchemy将爬取的数据去重并存储到数据库中。

在上一篇博客中我们讲解了如何使用编程的方式运行Scrapy spider。本文将讲解如何通过维护多个网站的爬取规则来抓取各个网站的数据。本文将讲解如何通过维护多个网站的爬取规则来抓取各个网站的数据

本篇文章主要介绍如何使用编程的方式运行Scrapy爬虫。

半年前我就有幸拜读了@Easy的《程序员跳槽全攻略》电子书，当时趁着限免机智地入手了。当晚一口气读完后感觉收获颇丰，随手就发了篇微博正能量了出去。在前几天的下午，又看到Easy为庆祝纸书上架发布了百人试读活动。以我的性格当然果断就报名啦。

刚拿到纸书的第一印象是“哇，好薄啊！”，不过浓缩的都是精华。这更像是一本迷你武林秘籍，在你练功遇到瓶颈时，拿出这本小册子读一读，说不定就找到了突破的方式。纸书与电子书在内容上的差别不大，主要是调整了目录的结构，加了些插图和tips。虽然是第二次读这本书，也有一些新的收获，所以就写了篇文章记录下。

本文将分两部分介绍，第一部分讲解使用 HBase 新版 API 进行 CRUD 基本操作；第二部分讲解如何将 Spark 内的 RDDs 写入 HBase 的表中，反之，HBase 中的表又是如何以 RDDs 形式加载进 Spark 内的。

HBase 1.0.0 集群安装部署手册指南

最近毕设需要用到 Spark 集群，所以就记录下了部署的过程。我们知道 Spark 官方提供了三种集群部署方案： Standalone, Mesos, YARN。其中 Standalone 最为方便，本文主要讲述结合 YARN 的部署方案。