CentOS7 部署 YApi

发表于 2018-12-06 更新于 2024-03-07 分类于 Linux 本文字数： 3.8k 阅读时长 ≈ 6 分钟

CentOS7 部署 YApi

YApi 是一个可本地部署的、打通前后端及QA的、可视化的接口管理平台 http://yapi.demo.qunar.com/

版本信息
-----
centos: 7.5
nvm: 0.33.11
nodejs: v8.13.0
mongodb: 3.6
yapi: 1.4.1


相关路径
-----
/usr/local/nvm
/usr/local/nvm/versions/node/v8.13.0
/usr/local/mongodb
/data/www/yapi

部署nodejs环境

[root@spunkmars-host-01:/]# mkdir /usr/local/nvm
[root@spunkmars-host-01:/]# cd /data/sh/
[root@spunkmars-host-01:/data/sh]# cat nvm_install.sh 
#!/bin/bash
set -xe

NVM_VERSION=$1
NODE_VERSION=$2

if [[ -z ${NVM_VERSION} ]]; then
  echo missing NVM_VERSION
  exit 1
fi

if [[ -z ${NODE_VERSION} ]]; then
  echo missing NODE_VERSION
  exit 1
fi

export NVM_DIR=/usr/local/nvm \
    && curl https://raw.githubusercontent.com/creationix/nvm/v${NVM_VERSION}/install.sh | bash \
    && . $NVM_DIR/nvm.sh \
    && nvm install $NODE_VERSION \
    && installed_version=$(nvm version $NODE_VERSION) \
    && ln -s $NVM_DIR/versions/node/${installed_version}/bin/node /usr/bin/node \
    && ln -s $NVM_DIR/versions/node/${installed_version}/bin/npm /usr/bin/npm

[root@spunkmars-host-01:/data/sh]# chmod +x nvm_install.sh
[root@spunkmars-host-01:/data/sh]# ./nvm_install.sh  '0.33.11'  'v8.13.0'

阅读全文 »

CentOS 7.4虚拟机安装VirtualBox 增强功能组件

发表于 2018-05-20 更新于 2024-03-06 分类于虚拟化本文字数： 573 阅读时长 ≈ 1 分钟

CentOS 7.4虚拟机安装VirtualBox 增强功能组件

安装相关依赖包

yum install net-tools vim bind-utils lrzsz -y

yum install gcc kernel kernel-devel bzip2 wget -y 

cd /tmp

如果提示内核header版本不一致，可以更新内核组件。

yum install kernel-*  -y

下载 VirtualBox增强ISO文件,这里VirtualBox版本为5.2.12（你该选择你对应的版本下载）

wget http://download.virtualbox.org/virtualbox/5.2.12/VBoxGuestAdditions_5.2.12.iso

挂载iso文件

mount -t iso9660 /tmp/VBoxGuestAdditions_5.2.12.iso /mnt

cd /mnt

执行安装命令

./VBoxLinuxAdditions.run

检测是否正常安装

echo $?
0

卸载iso文件

umount /mnt

查看服务是否启动

systemctl status vboxadd-service.service

查看共享文件夹是否已自动挂载

df -h|grep sf_share

ls -lah /media/sf_share

Hadoop集群部署、简单测试

发表于 2018-01-07 更新于 2024-03-06 分类于 BigData 本文字数： 21k 阅读时长 ≈ 36 分钟

Hadoop集群部署、简单测试

规划

Java 版本为：1.8.0_152-b16

Zookeeper版本：3.4.10

Hadoop 部署在/usr/local/hadoop 目录

Hadoop 版本为：2.7.4

Hadoop 部署架构为双NameNode高可用，datacenter为集群NameNode名称

Zookeeper 集群

主机       角色
----------------------------------------------
sm-h-61    
sm-h-62
sm-h-63

Zookeeper集群使用root用户运行。

Hadoop 集群

主机       角色
----------------------------------------------
sm-h-61    NameNode(active)    ResourceManager    JobHistoryServer    JournalNode    DFSZKFailoverController
sm-h-62    NameNode(standby)    JournalNode    DFSZKFailoverController 
sm-h-63    DataNode    NodeManager    JournalNode
sm-h-64    DataNode    NodeManager
sm-h-65    DataNode    NodeManager
sm-h-66    DataNode    NodeManager

Hadoop集群使用hadoop用户运行。

阅读全文 »

Hbase部署、简单测试

发表于 2017-12-31 更新于 2024-03-06 分类于 BigData 本文字数： 4.9k 阅读时长 ≈ 8 分钟

规划

主机      角色
---------------------------
sm-h-61   HMaster
sm-h-62   HMaster(backup)
sm-h-63   regionservers
sm-h-64   regionservers
sm-h-65   regionservers
sm-h-66   regionservers

zookeeper信息：
主机      角色
---------------------------
sm-h-61
sm-h-62
sm-h-63

Java 版本为：1.8.0_152-b16

Zookeeper版本：3.4.10

Hadoop 部署在/usr/local/hadoop 目录

Hadoop 版本为：2.7.4

Hadoop 部署架构为双NameNode高可用，datacenter为集群NameNode地址

安装

[root@sm-h-61 packages]# tar zvxf hbase-1.2.6-bin.tar.gz

[root@sm-h-61 packages]# mv hbase-1.2.6 /usr/local/

[root@sm-h-61 packages]# ln sf /usr/local/hbase-1.2.6 /usr/local/hbase

阅读全文 »

Hive部署、简单测试

发表于 2017-12-31 更新于 2024-03-06 分类于 BigData 本文字数： 12k 阅读时长 ≈ 21 分钟

Hive部署、简单测试

一、规划

Hive 部署在 sm-h-61
Mysql 部署在 sm-h-62

Java 版本为：1.8.0_152-b16

Zookeeper版本：3.4.10

Hadoop 部署在/usr/local/hadoop 目录

Hadoop 版本为：2.7.4

Hadoop 部署架构为双NameNode高可用，datacenter为集群NameNode地址

二、安装

[root@sm-h-61 packages]# tar zvxf apache-hive-2.3.2-bin.tar.gz

[root@sm-h-61 packages]# mv apache-hive-2.3.2-bin /usr/local/

[root@sm-h-61 packages]# ln -sf /usr/local/apache-hive-2.3.2-bin /usr/local/hive

[root@sm-h-61 packages]# mkdir -p /data/hive/logs

[root@sm-h-61 packages]# mkdir -p /data/hive/tmp

[root@sm-h-61 packages]# cd /usr/local/hive/bin

[root@sm-h-61 bin]# chown -R hadoop.hadoop /data/hive

[root@sm-h-61 bin]# chown -R hadoop.hadoop /usr/local/apache-hive-2.3.2-bin

阅读全文 »

HUE部署、简单测试

发表于 2017-12-31 更新于 2024-03-06 分类于 BigData 本文字数： 4.4k 阅读时长 ≈ 7 分钟

HUE部署、简单测试

规划

Java 版本为：1.8.0_152-b16

Zookeeper版本：3.4.10

Hadoop 部署在/usr/local/hadoop 目录

Hadoop 版本为：2.7.4

Hadoop 部署架构为双NameNode高可用，datacenter为集群NameNode地址

部署Maven

cd /data/packages/

wget http://ftp.kddilabs.jp/infosystems/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz

cp apache-maven-3.5.2-bin.tar.gz /usr/local/

cd /usr/local/

tar zvxf apache-maven-3.5.2-bin.tar.gz

ln -sf /usr/local/apache-maven-3.5.2 /usr/local/maven

\rm -f apache-maven-3.5.2-bin.tar.gz

cat <<EOF >> /etc/profile.d/myenv.sh 

# maven
export MAVEN_HOME=/usr/local/maven
export PATH=\$MAVEN_HOME/bin:\$PATH
EOF

source /etc/profile.d/myenv.sh

阅读全文 »

Storm部署、简单测试

发表于 2017-12-31 更新于 2024-03-06 分类于 BigData 本文字数： 6.3k 阅读时长 ≈ 11 分钟

Storm部署、简单测试

一、规划

storm 集群信息：

主机       角色
----------------------------------------------
sm-h-61    客户端
sm-h-62    nimbus        logviewer    ui
sm-h-63    nimbus        logviewer
sm-h-64    supervisor    logviewer
sm-h-65    supervisor    logviewer
sm-h-66    supervisor    logviewer

zookeeper 部署信息：

sm-h-61
sm-h-62
sm-h-63

二、安装

[root@sm-h-61 packages]# tar zvxf apache-storm-1.1.1.tar.gz

[root@sm-h-61 packages]# mv apache-storm-1.1.1 /usr/local/

[root@sm-h-61 packages]# ln -sf /usr/local/apache-storm-1.1.1 /usr/local/storm

cat <<EOF >> /etc/profile.d/myenv.sh 

# storm
export STORM_HOME=/usr/local/storm
export PATH=\${STORM_HOME}/bin:\$PATH
EOF

阅读全文 »

Spark安装、测试

发表于 2017-12-12 更新于 2024-03-06 分类于 BigData 本文字数： 5.8k 阅读时长 ≈ 10 分钟

安装scala

[root@sm-h-61 bigdata]# cd /data/packages/
[root@sm-h-61 packages]# wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
[root@sm-h-61 packages]# tar zvxf scala-2.11.12.tgz
[root@sm-h-61 packages]# mv scala-2.11.12 /usr/local/
[root@sm-h-61 packages]# ln -sf /usr/local/scala-2.11.12 /usr/local/scala

cat <<EOF >> /etc/profile.d/myenv.sh 

# scala
export SCALA_HOME=/usr/local/scala
export PATH=\$PATH:\$SCALA_HOME/bin
EOF

source /etc/profile.d/myenv.sh

阅读全文 »

【原创】ProFTPD Admin 正式开源发布

发表于 2013-09-23 更新于 2024-03-06 分类于 Linux 本文字数： 1k 阅读时长 ≈ 2 分钟

ProFTPD Admin 正式开源发布

作者：SpunkMars++ 日期：2013/09/23 11：24

原创文章，转载请注明：转载自朝乾夕惕|SpunkMars++ http://www.spunkmars.org

ProFTPD Admin 是基于web方式管理proftpd文件服务的一个软件，

由SpunkMars++ （www.spunkmars.org)一手打造。它使用Python的Django MVC 框架，

界面简洁，操作简便，现在先来简单介绍功能：

1、FTP用户组管理（添加，删除，修改），支持同一gid不同用户组。

2、FTP用户的管理（添加，删除，修改），支持同一个uid，gid不同用户。

3、用户磁盘限额管理（添加，删除，修改）。

4、实时查看FTP运行状态（在线人数，启动时间，用户活动详情等等）。

5、可以自定义用户，用户组的缺省值，磁盘限额的缺省值，缺省目录等等。

6、强大的统计功能，统计各个用户磁盘限额使用情况，用户登录次数汇总，以及用户的每次上传（下载）动作都有记录，

排行榜功能更能显示最近活跃的用户，详细的记录还能带来更安全的管理。

7、拥有多项排序功能，比如根据用户名，文件大小，文件名称，用户组名称，登录时间，注销时间来排序等。

8、拥有强大的搜索功能，通过搜索功能直接搜寻用户，不用再一页一页翻查找用户，极大提高效率。

9、增强的安全检测措施，对用户的主目录，uid，gid 进行实时检测，可以设定uid、gid取值范围，甚至是全部用户强制使用同一uid、gid 等等

10、多语言环境支持， ProFTPD Admin 目前支持中英文，且支持实时切换语言，也支持记录默认语言。

11、拥有ACL功能，精细的控制每用户/用户组对某个目录的上传下载删除覆盖修改等权限。

12、实时查看在线用户数，并可随时强制某用户下线功能。

13、实现web端控制 FTP服务器暂停，启用，重启，关闭。

ProFTPD Admin 采用Python + Django开发。目前采用BSD许可证开源发布。

项目地址： https://github.com/spunkmars/ProFTPD-Admin