中非商贸资讯爬虫任务管理平台操作手册.docx
《中非商贸资讯爬虫任务管理平台操作手册.docx》由会员分享,可在线阅读,更多相关《中非商贸资讯爬虫任务管理平台操作手册.docx(14页珍藏版)》请在咨信网上搜索。
中非商贸资讯爬虫任务管理平台操作手册 中非商贸资讯爬虫任务管理平台是我公司的工具产品,用于托管 和调用线上服务平台的常用脚本,以达到优化平台架构、增强容错能 力、提高运维效率、方便脚本管理的目的。 系统结构如下: 中非商贸资讯爬虫任务管理平台 1、登录 1.1登录 在浏览器中输入网址后进入平台登录页面,输入正确的用户名及关联脚本、启动参数、任务创建人、创建时间、备注。 点击关联脚本跳转对应爬虫脚本的详情页。 4.5修改任务MMI none H B Tl f / U G “mg—®MGftww 任I MMI none H B Tl f / U G “mg—®MGftww 任I MMI none H B Tl f / U G “mg—®MGftww 任I HUM 120 在定时任务列表点击 可对相应的任务设置进行修改。 4.6删除任务 在定时任务列表点击*1,弹出确认框,点击“是"删除当条任 务,点击“否"退回列表页。 密码成功登录,勾选“记住密码”下次进入平台是自动填写用户名与 密码。 1. 2进入页面登录成功后跳转本页面,点击“爬虫托管”可进入系统进行后续 操作。(“数据中心"为待开发内容。) 1. 3首页展示平台当前虚拟环境数量、脚本数量、定时任务数量,页面右 上角展示当前所在位置。 左侧为导航栏,点击可跳转相应管理界面;点击导航栏右上方的 三按钮,可将导航栏收缩。 2、虚拟环境 2. 1虚拟环境列表虚曲料I 虚曲料I 虚曲料I 1 * 10 M 可帛 HHt 点击左侧导航栏“虚拟环境"可至本页,虚拟环境列表页可显示 多个已添加的虚拟环境,并对已添加环境进行查看和删除操作;右上 角显示当前页数、总页数和已添加环境数量。虚拟环境列表十条数据 一分页。点击页面左上方按钮,可创建新的虚拟环境。 2.2创建虚拟环境 点击 创 按钮至本页。在当前页填写所创建的虚拟环境的主 关备注。内容全部填写完成后,点击页面下方“提交"按钮即可创建。 2.3环境详情 怀顼洋情 fflWW an c^in90« requests 中非晰缺 201MG-21 15 50 36 在虚拟环境列表点击 可至本页,查看已添加虚拟环境的主键、 roqimti OU cpn^o monjocngm emqi Wi requ«i> t>M cianjo mon^enone.emoii 环境名称、创建时间、安装依赖,以及备注信息。 2.4删除环境 在虚拟环境列表点击弹出确认框,点击“是''删除当条虚 拟环境,点击“否"退回列表页。 3、脚本管理 3. 1爬虫脚本列表xw xw xw R!KU«ud OHE 台 eghE Avmw focac B5¥zlttvn», «n W& W!M»* 1-10/1 □QD 点击左侧导航栏“爬虫脚本"可至本页,列表显示多个已添加的 爬虫脚本,可对已添加爬虫进行查看、编辑和删除操作;右上角显示 当前页数、总页数和已添加环境数量。 点击页面左上方按钮,可新增爬虫脚本。 3.2新增爬虫脚本 在爬虫脚本列表点击 新堵理 按钮至本页。 • f BRHI / MB* 爬虫的目标站点名称,20个字符以内)、URL (爬虫的对应路径,200个字符以内)、启动命令(该脚本在被调用时需要输入的启动命令,300个字符以内)、脚本作者(20个字符内)和备注信息; 选择运行环境(下拉列表):选择该爬虫脚本被执行定时任务时 所依赖的虚拟环境,可选内容来自已设置的虚拟环境列表; 上传脚本文件,文件格式zip,大小32M以内。 全部内容填写完成后,点击页面下方“提交”按钮即可创建。 3.3查看脚本详情*■0 mvtm *■0 mvtm *■0 mvtm • HA o虐KW ♦ ■本■我 • HA o虐KW ♦ ■本■我 • HA o虐KW ♦ ■本■我 O定肘任务 URLrtf^ f0c^c Jg行E| python WesSpdef py I•^峰rap IT106 14 57 88 8(^<»s«su*»ci2O19-06-2t'6a6db493-0cS-W68-9173-6»e6e46276a8 zp 在爬虫脚本列表点击 在爬虫脚本列表点击 在爬虫脚本列表点击 可至本页,查看该条爬虫脚本的名称、 所属站点、URL、运行环境、启动命令、脚本作者、脚本文件,以及备注信息。 点击运行环境后方的 可查看运行环境内所安装的依赖,与虚 拟环境详情页的安装依赖内容一致。 点击脚本文件可下载该脚本文件。 3.4修改爬虫脚本牛— OURLhttps "WW* tscac cc^^cNva^* 诿HEW";. fl 地。$(rnonVAoiriSpOcrpy«*■,宜仟 hOpA'IK U57 BS80ei>a5se<s.W»J2019 06 21/6a6db49l0cW^t>W91^6»e6c4WT6aBapanH B Ti f / M e^Z<^BE440HBo>-nr 在爬虫脚本列表点击 可对相应的爬虫脚本基本信息进行修 改。 中*,论堪一交"・W1•虫・《 3.5删除脚本 在爬虫脚本列表点击*1,弹出确认框,点击“是”删除当条爬虫 脚本,点击“否"退回列表页。 4、定时任务 4. 1定时任务列表»M«Cru«Wl »M«Cru«Wl »M«Cru«Wl * ■页 定时曲 □ g时 • ■本管理+ o • a«nw 2 «wren^tx— b«« nuimi上次魏万时月 1冲始JO19-O7-O9W23W an DDQa 点击左侧导航栏“定时任务"可至本页,列表显示多个已添加的 任务,可对列表中的任务进行启动/关闭任务、查看、编辑和删除操作;右上角显示当前页数、总页数和已添加任务数量。 点击页面左上方 按钮,可新增任务。 4. 2添加任务 在定时任务列表点击 t a»fHI 按钮至本页。 在当前页可为新任务填写名称(20个字符以内)、执行周期(以 分钟为单位,需填入大于0的数字)、启动参数(启动定时任务的必 填参数,300个字符以内)和备注信息; 选择关联脚本(下拉列表):启动定时任务需要调用和执行的脚 本,可选内容来自已设置的爬虫脚本列表; 内容填写完成后,点击页面下方“提交"按钮即可创建任务。 4.3任务关闭、打开Q AKLU4 Q AKLU4 Q AKLU4 >1X740 1 在定时任务列表点击I—I可切换当前任务开启/关闭状态。 当前任务为启动状态时,后面对应显示暂停任务按钮,反之为关 闭状态时后面对应显示启动任务按钮。 4.4查看任务详情 伽S*3在定时任务列表点击12O<YM 2019821 1688可至本页,查看该条任务查看任务名称、- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中非 商贸 资讯 爬虫 任务 管理 平台 操作手册
咨信网温馨提示:
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
关于本文