Install kafka

这一片文章是关于安装kafka的,但是是基于前面几篇文章的基础之上的,请参考前面的安装hadoop,安装zookeeper。

准备

kafka的运行需要zookeeper,kafka自身是带有zookeeper的,但是是一个单节点,可以参考kafka的文档,了解如何使用。

这里使用的是上一篇文章中安装好的zookeeper。

下载kafka,这里下载的是kafka_2.11-0.8.2.1.tgz

解压文件包,将目录拷贝到/user/目录下,并修改权限:

1
chown -R hadoop:hadoop kafka_2.11-0.8.2.1

Read More

Install zookeeper

由于要安装kafka,需要安装zookeeper。

这一片文章是关于安装zookeeper的,但是是基于前面几篇文章的基础之上的,请参考前面的安装hadoop。

准备

在其中一个节点中做以下操作。

下载zookeeper, 我们这里下载的是3.4.6版本

解压zookeeper-3.4.6.tar.gz文件,并将目录拷贝到/usr/目录下。并修改文件权限

1
chown -R hadoop:hadoop zookeeper-3.4.6

Read More

Install spark

前面一片文章install hadoop介绍了hadoop的安装,这一片安装spark的文章,就是在hadoop已经安装好的基础上进行的。

准备

下载spark

hadoop的版本为2.7.1,下载的是spark-1.4.1-bin-hadoop2.6.tgz。

这里下载是已经编译好的,也可以下载源码,自己编译。

Read More

Install hadoop

准备工作

centos版本是centos7。因为最新的hadoop版本(2.7.1)需要libc2.14以上,但是centos6.5只能升级到libc2.12所以需要使用centos7. 1个moaster节点,2个slave节点。

  1. 修改服务器名字 centos7现在哟一个hostname的查看和设置命令
    1
    2
    $ hostnamectl status
    $ sudo hostnamectl set-hostname myhost.xmodulo.com

我设置之后的情况如下:

1
2
3
4
10.115.230.40 master.hadoop
10.115.230.41 slave1.hadoop
10.115.230.42 slave2.hadoop
`

  1. 修改hosts文件 在所有server的/etc/hosts中加入这几行:
    1
    2
    3
    10.115.230.40 master.hadoop
    10.115.230.41 slave1.hadoop
    10.115.230.42 slave2.hadoop

设置完毕以后,在每一台server上使用以下命令确保hosts配置正确

1
2
3
ping master.hadoop
ping slave1.hadoop
ping slave2.hadoop

Read More

greasemonkey script

没什么内容,慎看。

how to write a Greasemonkey script

Greasemonkey是火狐下面的一个扩展应用,通过它安装一些用户自定义的脚本,这脚本可以在浏览器运行的时候,对网页进行实时的改变。在chrome上也有一个对应的插件Tampermonkey。 这个工具很强大,我们可以添加自己脚本,来年完成一些我们自己想要完成的功能。

下面用给一个例子来介绍写这个脚本相关的知识。

Read More

git workflow

参考了网上的多篇文章,然后结合现在自己参与的项目,总结了一个关于项目的git workflow的流程。 基本上是参考了gitflow的这篇文章。A successful Git branching model

重点是下面这一张图片。

名词

以上图片中的各个分支的解释。

  • master分支

    master分支保存了最新的发布代码,是稳定分支。永久保存。

  • develop分支

    保存了最新的下一个版本要发布的feature和bugfix的代码,是稳定分支,但是可以运行在一定时间内不稳定。永久保存。

    在没有创建release分支的时候,可以提交bugfix的代码(bug的fix version填写下一个版本的版本号)。一但创建了release分支,那么只能提交下一个版本的feature和bugfix代码。

Read More

sublime tips

显示cjk

安装了sublime以后,默认字体对cjk(中文,韩文,日文)支持不是很好,可以使用 YaHei Consolas Hybrid字体。 下载 YaHei Consolas Hybrid,可使用链接:

从google code下载

从github下载

放入windows下面的font目录。

在sublime里面: preferences->settings - User, 加入下面一行

1
"font_face": "YaHei Consolas Hybrid",

Read More