hadoop常用命令

两个集群直接拷贝数据distcp

1
2
3
hadoop distcp hdfs://namenode:port/source hdfs://namenode:port/destination
例子:
hadoop distcp hdfs://dev-hdfs-001.server:8020/data/logs/ hdfs://mylocalhdfs:8020/data/logs/

拷贝的时候可能有权限问题,在目标目录所在的服务骑上,修改目标目录的权限为777

另外一个命令是:

1
hdfs dfs -cp hdfs://dev-hdfs-001.server:8020/data/logs/ /data/logs/
1
hdfs dfs -chmod 777 /path/to/directory

或者使用一个与目标集群里面的管理员相同的名字的账号,来运行这个命令。或者将运行命令的这个账号,在目前集群上,加入到集群的用户组中。

Read More

tmux

之前用过一个ubuntu的awesome的轻量级的桌面系统。最爽的一点就是它可以将屏幕分为几个分屏。

所以想在现在的terminal里面实现这个功能。

现在用的是screen,screen有一个好处就是可以在多个screen之间切换。

然后在网上发现一个新的攻击tmux,是screen的更新版。所以决定使用一下。

Read More

初识Docker

install docker on ubuntu

下载安装 http://docs.docker.com/linux/step_one/

1
$ wget -qO- https://get.docker.com/ | sh

启动docker

sudo service docker start

验证安装,这个命令将会下载hello-world的image,将运行一个container:

docker run hello-world

Read More

Authentication Anomaly Detection: A Case Study On A Virtual Private Network

论文下载地址: Authentication Anomaly Detection: A Case Study On A Virtual Private Network

这篇论文介绍了一种基于EM分类算法,然后通过zscore进行异常检测的思路。分析的对象是vpn的登录日志。

聚类与异常检查

基于EM算法对vpn的登录成功的异常进行判定

验证方式:ten-fold cross-validation with 100 iterations

outlier detection: 通过计算z-score来检查clutser-specific的异常。(即分组后利用告诉分布来检测异常)

人工选择z-score的异常的阈值。

Read More

Jenkins tips

在windows上以service的方式安装jenkins slave节点

  1. 在命令行运行,安装slave节点
1
java -jar slave.jar -jnlpUrl http://jenkins-server-ip:8080/jenkins/computer/{{node name}}/slave-agent.jnlp -secret 2d00ae81d59ff37df0fe9c33a5ed671afa2bc495715c0c161091a8e429973eb1
  1. 解决阻止自签名的问题 您的安全设置已阻止自签名的应用程序使用已过期的Java版本运行问题的解决

    1
    步骤:选择windows的开始-->控制面板-->在搜索栏中输入 java-->点击查询出来的Java图标-->安全-->把 高(推荐的最低设置)-->改成 中-->确定-->即可。

  2. 以servcie的方式启动 在下面的页面上: http://jenkins-server-ip:8080/jenkins/computer/{node name}

    1
    2
    操作步骤: 点击Launch-->保留-->把slave-agent.jnlp拷贝到C:\CI\jenkins-slave下-->使用javaws.exe(java web start launcher)-->继续-->
    点击 我接受风险并希望运行此应用程序。-->运行-->File-->Install as a service-->确定-->是-->是

这样Jenkins节点以Windows Service的方式在运行了。

Read More