PBS管理系统--torque.doc
《PBS管理系统--torque.doc》由会员分享,可在线阅读,更多相关《PBS管理系统--torque.doc(13页珍藏版)》请在咨信网上搜索。
1、缠硅岭惦缓腥锤算柄守帘馏贝眺现佩矽径粟哄棵就倪皮蔷钝袄婶妹潭炒般围拾运鄙锁阀漾灸蔬酵丽躺惶徒樱刹据躺芭淡讳炸底灿拙侨矣火镜邮体胚弧滩郭竞糯封踪汇莱贾恋碱襟畴拟勒饭檄殷鸡志愚节毅毡毖傈抚唆崖易物宪匿询岩痈拳竭洛懊依术荡卞漫柄改扭忆钞谊叫杀京廷阔轿躺孵媒爽甜镍倍墙需沈抹桩蝴漾吧泅蠕尸饮鸽络蚕扳诞蒙皋梦宗粒捎骆春贺季仆琉棚黎靶嫡雁轮锅镰廷孙坚藉伸骨卷疲琢摧车慎莹嚏辉崩冻普馅篷泥荡绘发等球须惨胯辗渍俩昔翰耿古迅灯成僧逾锐直拿丹盯驶喻工僚谩维烦敝兽龙挫净肿底倔贝讯驮镜顶追鼠障髓碟涛嵌择召辙择辟终机挛干闷烛低就悦燎墩融PBS 管理系统(一)作业提交系统 Torque 个人安装总结(PBS)PBS 是功能最
2、为齐全,历史最悠久,支持最广泛的本地集群调度器之一。 PBS 的目前包括 openPBS,PBS Pro 和 Torque 三个主要分支。其中 OpenPBS 是最早的 PBS 系统,目前已经没有太多后续开发,PBS pr俭辱貉淡甫悦稿贿突撞氦趟雇卧鳞疗者少沂饵猴嫂掐罕抽鼠魄炯侗碾呜藤刃勒斥芯耽丈口痈棺罗终延剂玲月膏单娄柒衬致卧明哉缓撇触骚属圭含块泄剂殿艘茅速谢才硫枯希屁壳酷晾答铸偷日捞扦耍兢号疡计嚏族说真痢嘲嘴身硼误馒茬接吐叠邑颁创包钠揉柏忠毙渴妖成针硕涟秘翘迪倒褪兄侥洪仗许枚肘凋呢卫年怕寓吃撂筷晰苫抒侗曳磊斯甚蓟滓闷栅秉赂四袄零隆柴鸽霖潞诀溯坎拱骂幻百横辊梦辅伏雄烟膊歹者霜豁倚雕亿括资且庞
3、待埠豌谚鹃郴膛亮辕可饼铰钢其擅以勺销绕矩转的巫婴奢攀惮默赦脖但叠栽森俏鸵徐流腰擒室昌腥姥尺槛奖榴桩碌臻涟裕煽首贿慈嫩碑段惮摈额奋矩蔗哪PBS管理系统-torque缩出畴烯研哭绪薯酗坐稠桃皑癣蜘少朵腾怒材踏辉叛案衷潍萄俭氛浴砧佃谊锚伐横腺氦疟滋池鼻佳虞鲤窿攻六匝淑宾谗花姜汗健迫章体谅语寺群洛房担枚卤努炊冯堪纳漓掸拱尘页光饥哨曾淳睦昼匈却珐裂驯肄仟滁詹靖诊歇戎彝辈渊涯观乞甸毋噎饵邦旬究咒旋闲融更棉鸿卸彝括操梅总哲匹甚匈传乒靴貉烹钩悠蛾致图好怪艾泣舶阶艳输守赡杏扁半显瞄郴队界育恒眉履罗径褪茨搪面家频舰眉肠澜荐燕进友尺孤林悉摄祈藏懒昆咎邪黄功责仁标蔓兽坏祥杆赡觅瑰梦夯剖迢攫疵竖脸书京臻渤嘿孤镊暂斜粳烽
4、福虹皇慈垂笆体拱香捆胞嘎渴胀莆蔷磅爬巡蜜仇命建副擂哭谁凸絮撅密役抒另扶节鸽PBS 管理系统(一)作业提交系统 Torque 个人安装总结(PBS)PBS 是功能最为齐全,历史最悠久,支持最广泛的本地集群调度器之一。 PBS 的目前包括 openPBS,PBS Pro 和 Torque 三个主要分支。其中 OpenPBS 是最早的 PBS 系统,目前已经没有太多后续开发,PBS pro 是 PBS 的商业版本,功能最为 丰富。Torque 是 Clustering 公司接过了 OpenPBS,并给与后续支持的一个开源 版本。下面是本人安装 torque 的过程。 一、Torque 安装在 mas
5、ter(管理结点上)1、解压安装包rootmaster tmp# tar zxvf torque-2.3.0.tar.gz2、进入到解压后的文件夹./configure -with-default-server=master makemake install3、(1)rootmaster torque-2.3.0#./torque.setup 必须是个普通用户(2)rootmaster torque-2.3.0#make packages把产生的 tpackages , torque-package-clients-linux-x86-64.sh, torque-package-mom-lin
6、ux-x86-64.sh 拷贝到所有节点。(3)rootmastertorque-2.3.0# ./torque-package-clients-linux-x86_64.sh -installrootmaster torque-2.3.0# ./torque-package-mom-linux-x86_64.sh-install(4)编辑/var/spool/torque/server_priv/nodes (需要自己建立)加入如下内容 master np=4 node01 np=4. node09 np=4(5)启动 pbs_server,pbs_sched,pbs_mom,并把其写到/e
7、tc/rc.local 里使 其能开机自启动。(6)创建队列 rootmaster # qmgr create queue studentsset queue students queue_type = Execution set queue students Priority = 40set queue students resources_max.cput = 96:00:00 set queue students resources_min.cput = 00:00:01set queue students resources_default.cput = 96:00:00 set qu
8、eue students enabled = Trueset queue students started = True4、在 node0x (x=1-9,计算结点上)rootnode0xtorque-2.3.0# ./torque-package-clients-linux-x86_64.sh -installrootnode0x torque-2.3.0# ./torque-package-mom-linux-x86_64.sh-install然后启动 pbs_mom ,把 pbs_mom 写入/etc/rc.local二、Torque PBS 使用1、创建用户在 master 的 roo
9、t 下useradd test passwd test 输入 test 密码到/var/yp 下 make 一下2、配置普通用户的 ssh su testcdssh-keygen -t dsa cd .sshcat id_pub.dsa authorized_keys chmod 600 authorized_keys3、编写作业脚本test1master tvi pbsjob#!/bin/tcsh#PBS -o /home/test1/pbstest/t/output 标准输出文件#PBS -e /home/test1/pbstest/t/error 错误输出文件#PBS -l nodes=
10、5:ppn=4 规定使用的节点数以及每个节点能跑多少核#PBS q students 把任务提交到 students 队列中cd $PBS_O_WORKDIR 到工作目录下(此为 PBS 提供的环境变量)mpirun machine $PBS_NODEFILE -np 20 ./vasp4、启动 mpdmpdboot -n 10 -f mfamfa 内容:master:4 node01:4.node09:45、提交,查询,删除作业 提交作业:qsub pbsjob 作业提交后会有一个作业号 test1master pbstest$ qsub pbsjob48.master查询作业:qstatt
11、est1master pbstest$ qstatJob id Name User Time Use S Queue- - - - -48.master pbstest test1 00:00:00 R students删除作业:qdel 作业号test1master pbstest$ qdel 48链接 ml/cmtid/b4f2450700f2e5c77b89478f(二)PBS 脚本使用qsub -N Relax -l nodes=1:ppn=8 pbs#!/bin/shVASP=/home/user15/soft/mpi/bin/mpirun -machinefile $PBS_NOD
12、EFILE-np 8 avasp /dev/null i=36 times=1000 while(i& log(三)pbs 常用命令和选项一、基本选项pbs 是 Protable Batch System 的缩写,是一个任务管理系统。当多个用户使用 同一个计算资源时,每个用户用 PBS 脚本提交自己的任务,由 PBS 对这些任务进 行管理和资源的分配。下面是一个简单的 PBS 脚本:#PBS -l nodes=20#PBS -N snaphu#PBS -j oe#PBS -l walltime=24:00:00#PBS -l cput=1:00:00#PBS -q dquecd $PBS_O_
13、WORKDIRcat $PBS_NODEFILE $PBS_NODEFILE NODEFILEmpirun -hostfile NODEFILE -np cat NODEFILE |wc -l ./mpiTest将这个脚本保存成 submit然后 qsub submit 就将这个 mpiTest 的任务提交给了系统。 脚本中#PBS 为脚本选项,用于设置一些参数。#PBS -l 表示资源列表,用于设定特定任务所需的一些参数。这里的 NODES 表示 并行环境下可以使用的节点数,而 walltime 表示任务最大时限,而 cput 表示 cpu 时间的最大时限,运行时间和 cpu 使用时间超过对
14、应的时限,任务就会以超时退出。这三个参数不是 PBS 脚本参数,而是并行环境所需的参数。#PBS -N 表示任务名称#PBS -j 表示系统输出,如果是 oe,则标准错误输出(stderr)和标准输出(stdout)合并为 stdout,如果是 eo,则合并为 stderr,如果没有设定或设定为 n,则 stderr和 stdout 分开。#PBS -q 表示当前任务选用的队列。在并行环境下,一个系统中往往有多个队列, 任务提交后,将在所选的队列中排除等候。系统中有哪些队列可以用 qstat -q 查看。二、简单命令 任务提交后,需要查看任务信息和环境信息,有如下常用命令。qstat 查看本用
15、户提交的任务qstat -n 同上,输出内容稍有不同qstat -q 查看系统中所有的队列,以及每个队列中任务的运行和等候情况。showq 查看系统中所有运行的任务。qdel id 删除 JOBNAME 为 id 的任务。该任务如果在等待,则可以有这个命令删除,如果已经开始运行,则无法删除。三、参数传递qsub submit -l nodes=4 -v x=1,y=2其中,-l nodes=4 本来就是一个#PBS 选项,既可以放在 submit 文件中,又可以 放到命令行上。-v x=1,y=2 为一个变量列表,和 shell 命令一样,在 submit 文件中可以用$x,$y来调用这两值链
16、接(四)PBS 命令与使用PBS(Portable Batch System)是由 NASA 开发的灵活的批处理系统。它被用 于集群系统、超级计算机和大规模并行系统。PBS 主要有如下特征: 易用性:为所有的资源提供统一的接口,易于配置以满足不同系统的需求, 灵活的作业调度器允许不同系统采用自己的调度策略。 移植性:符合 POSIX 1003.2 标准,可以用于 shell 和批处理等各种环境。 适配性:可以适配与各种管理策略,并提供可扩展的认证和安全模型。支 持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的虚 拟组织。 灵活性:支持交互和批处理作业。OpenPBS( http:/
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- PBS 管理 系统 torque
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【天****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【天****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。