省重点实验室老集群使用手册(V3.1),省重点实验室老集群使用手册1.

种子 5
集群的各项配置信息(V3.1) 1.1硬件配置 集群共有108个计算节点,4台登陆管理节点,3台I/O节点,2台胖节 点,1台GPU节点组成。
根据具体情况,会开启部分或全部节点供计算使用。
108个计算节点配置如下: a)CPU: 2*IntelXeon6CX56502.66GHz b)Memory:12*4GBDDR3LPRDIMM c)HardDisk:1*2.5inSFFSlim-HS10K6Gbps300GBSAS10K 胖节点配置如下: a)CPU: 4*IntelXeon8CE7-48202.0GHz b)Memory:64*8GBDDR3LPRDIMM c)HardDisk:4*2.5inSFFSlim-HS10K6Gbps300GBSAS10K 1.2软件配置集群域名:集群登录IP:222.192.7.44操作系统:RedHatEnterpriseLinux5.7编译器:IntelC++Linux2011.7.256,IntelFortranLinux2011.7.256数学库:IntelMathKernelLibrary11.0MPI实现:MVAPI2集群管理软件:君富EasyCluster高性能计算集群管理软件V1.6已安装的科学软件:vasp5.3.5
2.使用指南2.1如何登录集群? 两种方法可以访问集群:
(1)先下载Xshell4和Xftp4软件,安装时请选择Freeforhome/school, 第1页共14页 使用sshclient,如Xshell4,启动后连接集群即可,如下图所示:
(2)使用EasyCluster,打开IE浏览器,输入URL:/easycluster,出现如下界面: 第2页共14页 注:
(1)首次使用EasyCluster,请按照上述界面提示,下载插件并安装, 否则将无法正常浏览EasyCluster。
单机界面中黄颜色的“此处”超级链接,即可下载插件(使用IE的windows用户和使用firefox的Linux用户,请根据界面提示下载对应的插件包),下载完成后双击即可开始安装。

(2)EasyCluster的帐户系统和服务器(指安装EasyCluster服务器端程序的服务器)操作系统的帐户是一致的。
换句话说,用户只需要使用一套用户名和口令就可以登录EasyCluster和服务器的Linux/UNIX操作系统。
插件安装完成后,输入帐号和密码,进入EasyCluster系统主界面,如下图所示: 第3页共14页 版本号 主功能导航 子功能导航 退出系统
1、退出系统链接。
通过单击该超链接,EasyCluster将清除用户的登录信息,回到登录界面,从而安全的退出EasyCluster系统。
在此,我们强烈推荐用户每次退出系统都通过这种方式进行,而不是直接将浏览器关闭。

2、主功能导航。
此处是EasyCluster全部功能的清单,从图上可以看出,EasyCluster的功能模块主要有提交任务、任务管理、消息管理、待办事宜、记帐信息、控制面板。
2.2如何退出登录?使用方法
1,即sshclient登录集群的用户,请输入命令“exit”退出登录。
然后关闭sshclient软件即可。
使用方法
2,即EasyCluster的用户,请单击主界面中的“退出”超链接退 出登录,然后关闭浏览器即可。
2.3如何上传/下载文件?使用sshclient登录上集群之后,使用sftp功能即可上传下载文件。
sftp 是基于SSH的FTP实现,传输安全稳定。
以上述Xshell4软件为例,登录进入 第4页共14页 集群之后,单击下图1中所示的工具栏按钮,即可打开Xftp4的界面(如下图2): 点击这个图标可以上传下载 第5页共14页 在Xftp4的界面中,左侧是本地硬盘的文件浏览界面,右侧是远程服务器上的文件浏览界面,使用“拖拽”的方法即可完成文件的上传和下载。
即将文件或文件夹从左侧拖拽到右侧,即可完成文件的上传;将文件从右侧拖拽到左侧,即可完成文件的下载。
2.4如何提交一个普通计算任务?使用EasyCluster提交计算任务。
EasyCluster带有一个任务调度系统, 在EasyCluster中提交的任务,将根据任务的要求和相应的配置情况,被放入任务排队队列。
同时,EasyCluster会根据集群目前的负载情况,自动挑选出满足任务条件的计算节点,将任务放到这些节点中运行。

(1)提交一个普通的计算任务,在EasyCluster左方的主功能导航中,单击【提交任务】,出现如下界面: 将这种任务提交表单填写完成,即可提交一个任务,该表单中各字段的含 义和填写方法如下: 填写项 必须填写 描述及操作 任务名称 用来标识任务的文字,建议不要超过
8个字符。
任务名称的 第一个字符不能是数字,且任务名称中不能包含空格。
任务类型 选择是串行任务还是单机并行任务还是多机并行任务。
第6页共14页 执行程序工作目录输出目录 任务队列 并行环境(PE)进程数 串行:任务只有一个进程和线程做计算,只会只用一个CPU核;单机并行:在一个节点上采用多线程做并行计算,进程数项目的“最小”、“最大”栏目填写的数字均不得超过一个计算节点上的CPU核总数,否则任务会一直处于等待状态。
多机并行:多进程方式做并行计算,特指基于MPI的分布式多进程并行方式。
如果选择并行任务,则后续的并行环境将成为必填项。
单击该项的【浏览…】按钮将打开对话框供用户选定本次任务的可执行程序。
单击该项的【浏览…】按钮将打开对话框供用户选定本次任务的应用程序数据文件所在的子目录。
规定任务的输出信息文件存放的路径。
单击该项中【浏览…】按钮可弹出对话框供用户选择输出目录。
EasyCluster会将任务的“写屏”信息重定向一个输出文件中,该项配置即指定EasyCluster将该输出文件放置到哪个目录下。
选择本次任务所使用的任务队列。
任务队列是指用户的任务在哪个队列里排队、运行。
队列是用户授权和计算资源的集合体,队列里定义了属于队列的节点机、用户组、并行环境、附属队列以及其它的属性。
(并)本项只对并行任务有效。
并行环境中定义了MPICH并行软件的操作命令行、包含的节点列表等信息。
此项配置将在EasyCluster安装过程中配置完毕,用户无需关心。
集群默认的并行环境是mvapi2。
(并)本项只对并行任务有效。
指本次并行任务需要多少进程进行计算,必须填写数字。
EasyCluster将自动查找满足任务条件的节点并启动程序,如果没有满足任务条件的节点存在,任务将被挂起并排队。
“最小”一栏必须填,“最大”一栏不填写的话将默认使用预设的该用户的单任务最大进程数。
第7页共14页 合并输出 邮件提醒 启动时间命令行选项 EasyCluster任务调度模块在任务运行过程中或结束后会生成该任务的输出文件。
输出文件共有四个,格式如下:.o.e.po.pe其中.o和.e两个文件中存放的是任务本身的标准输出信息和标准出错信息;.po和.pe两个文件中存放的是EasyCluster任务调度模块本身的一些调试信息。
如果将本项设置选中,表示将.o和.e文件合并,将.po和.pe文件合并,也就是说,输出变成两个文件,不再是四个文件,这样方便阅读。
选中“Email地址”左方的复选框表示该任务需要打开邮件提醒功能。
在此情况下,Email地址将成为必填项。
您还可以选择需要在什么情况下发出提醒,这可以通过勾选下方的“任务启动”、“任务完成”、“任务挂起”和“任务恢复”四个复选框来完成。
未选中“Email地址”左方的复选框表示该项任务不需要邮件提醒功能,此时,Email地址、任务启动、任务完成、任务挂起、任务恢复这几项界面元素的填写内容将被忽略。
单击该项中的【浏览…】按钮可弹出日期时间选择对话框。
此处供用户选择本次任务的预约启动时间。
当预约启动时间达到时,EasyCluster将任务排入任务队列,如此时集群有满足任务条件的计算节点存在时,任务将启动,否则将继续排队。
该项不填表示立即将任务排入任务队列。
本项目前只对并行任务有效。
运行并行程序通常都需要一些第三方的软件的支持,如MPICH、LAM等。
本项内容指的是传递给启动并行程序脚本的参数,如传递给mpirun命令的参数。
注意不要和“程序参数”一项混淆。
程序参数指的是传递给执行程序的参数(用户选定的执行程序)。
第8页共14页 程序参数 传递给执行程序的参数,如执行程序的输入数据文件。
2.5如何查看正在执行的任务?单击EasyCluster功能菜单【任务管理】->【查询未完成任务】即可查询 到正在执行的任务。
在输出信息中,任务状态一栏若为“qw”表示任务正在排队;若为“t”或“r”状态表示任务已经开始运行。
同时在这些信息中,可以查看到EasyCluster将任务放置到了哪个/哪些节点上执行。
2.6如何修改我的登录密码?单击EasyCluster主功能菜单【控制面板】的子模块【修改登陆密码】,出 现如下界面:输入两次新密码即可完成密码的修改。
注:EasyCluster的帐户系统和使用sshclient登录系统的帐户是一套系 统,也就是说,在EasyCluster中修改了密码之后,下次登录,无论使用sshclient还是EasyCluster,都必须使用修改后的密码方可登录。
使用命令行修改密码的步骤为: $passwd 第9页共14页 $mypass后面的mypass是同步帐户的 2.7如何编译一个串行程序?使用集群上的Intel编译器可以编译一个程序。
如编译一个C程序,使用命令行:-o<生成的可执行文件的名字,自己定义><源文件列表>如编译一个C++程序,使用命令行:icpc-o<生成的可执行文件的名字,自己定义><源文件列表>如编译一个Fortran程序(77或90均可),使用命令行:ifort-o<生成的可执行文件的名字,自己定义><源文件列表> 2.8如何编译一个并行程序?如编译一个C并行程序,使用命令行:-o<生成的可执行文件的名字,自己定义><源文件列表>如编译一个C++并行程序,使用命令行:Mpicxx-o<生成的可执行文件的名字,自己定义><源文件列表>如编译一个Fortran程序(77或90均可),使用命令行:mpif90-o<生成的可执行文件的名字,自己定义><源文件列表> 2.9如何提交Matlab任务?数据准备启动ssh/sftp客户端软件并登录,将*.m文件上传至一个任务目录里。
第10页共14页 提交Matlab任务有两种方式可以提交matlab任务
(1)通过Easycluster界面提交任务 首先登录进入Easycluster的普通用户界面,点击提交任务,在右边的提交任务框内填写必要的项目。
任务名称:要求最多8个西文字母或数字,且首字符必须是字母。
第11页共14页 任务类型:串行执行程序:点击“浏览”,在目录中选择/usr/local/MATLAB/R2016b/bin/matlab工作目录:点击“浏览”,在目录中选择前面上传数据文件的目录任务队列:在下拉框选择matlab.q(在胖节点计算),或者math.q(在计算节点计算)点击“高级选项”栏右边的下拉符合并输出:选中程序参数:-nodisplay-nojvm>dri.out 其中driver.m是输入的主数据文件,dri.out是输出文件
(2)脚本方式提交任务首先准备好matlab的任务脚本,例如matlab.sh,内容如下: ----------------------------------------------------------------------------------------- #!
/bin/sh
#___INFO__MARK_BEGIN__#etouseEasyClusterV1.6AllRightsReserved.# 第12页共14页 #___INFO__MARK_END__##$-S/bin/sh#$-Nmjob#$-jy#$-o./#$-e./#$-cwd#$-qmath.q source~/.bash_profile#source~/.bashrchash-rexportpath=$TMPDIR:$path /usr/local/MATLAB/R2016b/bin/matlab-nodisplay-nojvm>mat.out ----------------------------------------------------------------------------------------- 其中,能修改的有
3行: #$-Nmjob <--mjob为任务名称,可修改--> #$-qmath.q<--math.q为队列名称,如需要使用胖节点,请改为matlab.q--> /usr/local/MATLAB/R2016b/bin/matlab-nodisplay-nojvm>mat.out<--drive.m为程序名称,mat.out为输出文件名称,可修改--> 脚本修改好后,任务提交命令为:qsubmatlab.sh可以用qstat命令查看任务状态,或者登录/easycluster/查看任务状态(参考2.5)。
2.10如何提交R任务?
脚本方式提交任务首先准备好R的源程序myscript.R,然后编写任务脚本,例如rjob.sh,内容 第13页共14页 如下: ----------------------------------------------------------------------------------------- #!
/bin/sh
#___INFO__MARK_BEGIN__#etouseEasyClusterV1.6AllRightsReserved.##___INFO__MARK_END__##$-S/bin/sh#$-Nrjob#$-jy#$-o./#$-e./#$-cwd#$-qmatlab.q source~/.bash_profile#source~/.bashrchash-rexportpath=$TMPDIR:$path RCMDBATCHmyscript.Rmy.Rout ----------------------------------------------------------------------------------------- 其中,能修改的有
2行: #$-Nrjob <--rjob为任务名称,可修改--> #$-qmatlab.q<--matlab.q为队列名称,为胖节点队列,如需要使用普通节点,请改为math.q--> 脚本修改好后,任务提交命令为:qsubrjob.sh可以用qstat命令查看任务状态,或者登录/easycluster/查看任务状态(参考2.5)。
第14页共14页

标签: #文件 #文件夹 #被覆 #cute #web #华为 #网页 #软件