GitHub - lxhao/docker_sh: 用docker搭建了一个spark平台，这个仓库保存了docker的shell操作脚本

lxhao / docker_sh Public

Notifications You must be signed in to change notification settings
Fork 0
Star 0

用docker搭建了一个spark平台，这个仓库保存了docker的shell操作脚本

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 1 Commit
.README.swp		.README.swp
README		README
distribute_ip.sh		distribute_ip.sh
init_node_ip.sh		init_node_ip.sh
login_datanode2.sh		login_datanode2.sh
login_namenode.sh		login_namenode.sh
nodes.txt		nodes.txt
run_hadoop.sh		run_hadoop.sh
run_lyz.sh		run_lyz.sh
run_spark.sh		run_spark.sh
save_container.sh		save_container.sh
ssh_login.sh		ssh_login.sh
stop_containers.sh		stop_containers.sh
test.sh		test.sh

Repository files navigation

启动spark/hadoop集群：
sh run_spark.sh
登录主节点：
sh login_namenode.sh
登录namenode2的从节点:
sh login_datanode2.sh
停止运行所有容器：
sh stop_containers.sh
容器启动时默认挂载了主机的/home/lxhao/code/shell目录在/data下面,
集群每次重新启动后需要重新初始化集群和确认ssh登录,
ssh登录只需要运行/data/下面的ssh_login.sh， 手动输入几次yes就完成了。

本集群用docker搭建，建议先熟悉docker的基本使用。