基于Selenium%2BPython%2BTableau的BOSS直聘数据的爬取与分析——以“软件”专业为例.pdf

基于 的 直聘数据的爬取与分析 以“软件”专业为例李泽文，陈晓柱（广州城市职业学院 信息工程学院，广东 广州）摘 要：大数据背景下，从数据采集、数据预处理、数据可视化三维度出发，深入挖掘 直聘网站的大规模招聘信息。首先阐明大数据爬取和分析的关键技术；再结合 框架与 语言进行爬虫算法设计与招聘数据的爬取与存储；进而利用 工具，从岗位、薪资、经验及学历四个方面进行了用人单位对软件人才需求的数据可视化分析，以期为高职软件专业学生培养和就业提供参考和借鉴。关键词：网络爬虫；数据可视化；中图分类号：文献标识码：文章编号：（）收稿日期：基金项目：广东省教育厅 年教育教学改革项目“面向高职专业学院计算机应用技术专业的学生职业素质测评探索与实践”（编号：）；广州城市职业学院 年教学质量与教学改革工程项目“开发技术与设计完美结合的 前端设计项目式立体化教学”（编号：）。作者简介：李泽文，女，广州城市职业学院信息工程学院副教授。随着新一代信息化数字化技术的高速发展，网络招聘逐渐成为求职应聘的主流形式。来源更为丰富的招聘数据呈现指数级增长趋势，深入挖掘招聘数据背后隐藏的价值具有重要的现实意义“就业是最大的民生工程、民心工程、根基工程”。据教育部统计，届全国普通高校毕业生规模预计达 万，同比增加 万。作为教育工作者，如何帮助毕业生在庞大复杂的招聘信息中找到心仪的工作，从而推进毕业生就业工作做实做优，是值得深思的问题。大数据技术为此提供了更为优化、创新、开阔的思维及视角，通过采集和分析 直聘数据网络招聘数据，挖掘高职软件人才的需求特征、任职要求，既可为毕业生求职提供具有参考价值的指导信息，同时也对推动“数据驱动”的高职软件专业精准培养具有重要参考价值。一、关键技术 （一一）语语言言简简介介 语言是一种简洁易学、可移植、可扩展、拥有丰富库的开源脚本语言，在人工智能、网络爬虫、数据分析等诸多领域得到广泛运用。不仅提供了非常完善的标准库，还有许多高质量的第三方库，几乎覆盖计算的各个领域，例如用途广泛的自动化工具 库、高性能的科学计算和数据分析工具、库和功能强大的绘图工具 库等，使用 语言进行数据采集和分析具备非常明显的优势和价值。（二二）网网络络爬爬虫虫原原理理网络爬虫，也被称为网络蜘蛛或网络机器人，是互联网时代一项运用非常普遍的网络信息搜索技术。爬虫技术的本质是一套实现高效下载的系统，通过遍历网络内容，按照指定规则提取所需的网页数据，并下载到本地形成互联网网页镜像备份的第 卷第 期 年 月广 州 城 市 职 业 学 院 学 报Journal of Guangzhou City Polytechnic 程序。它还可以定向采集某些网站下的特定信息，比如招聘等信息。根据设置入口的招聘网页地址，爬虫将会依据设定好的爬取方法把招聘网站数据以可阅读文本的格式保存到当前计算机储存下来，同时摘取招聘页面中的其他 地址当成接下来爬虫的起始网页地址，直至完成所有爬取任务或预先设定的终止条件满足后才停止爬取。（三三）框框架架 是一个 应用程序测试工具。在爬虫的应用中，常规的 模块能模拟浏览器发送请求，而 模块则能控制浏览器发送请求，并和获取到的网页中的元素进行交互，因此，只要是浏览器发送请求能得到的数据，模块也能直接得到。用 模块爬取网页上动态加载的数据需要携带各种复杂的参数，编写程序时比较麻烦，而且会受到网站反爬机制的限制，而用 模块爬取动态加载的数据则要相对简单一些，同时可以绕过一些网站设置的反爬措施，从而更好地爬取数据，特别是对于一些 动态渲染的页面来说，此种抓取方式非常有效。（四四）工工具具 是一款基于斯坦福大学在数据分析领域中的突破性研究成果的数据分析与可视化工具，专注于结构化数据的快速可视化。使用者可以快速进行数据可视化并构建交互界面，用来辅助人们进行视觉化思考交互式操作，动态呈现数据变化趋势。能够跟随思维轨迹，快速地进行视图切换，而不是使用向导或是编写脚本程序。点击相关数据，它就可以快速创建一个可视化和交互式的分析视图，工作效率比现有的数据分析工具的性能高出数倍。二、数据采集 （一一）爬爬虫虫算算法法设设计计通过 框架，对 直聘网站进行全国范围招聘数据的采集。首先，创建浏览器对象（以 为例）（）；使用 方法打开目标，使用手机扫码登录，然后 端网页会自动翻 直聘网站的网页，直到翻到预先设定的 直聘网站最后一页，就会停止对招聘信息的爬取；通过 名称和 查找方式进行定位包含招聘信息的 元素并提取目标数据，采集完一页数据后通过 点击下一页，接下来开始循环遍历，最后采集完预先设定的页数后，将获取的数据写入并保存在 文件中，数据采集结束，设计流程如图 所示。图 爬虫算法设计流程图 （二二）创创建建实实例例并并访访问问招招聘聘信信息息 实例化带有配置的 对象，通过 启动 程序直接访问目标网站，页面在加载的过程中需要花费时间等待网站服务广州城市职业学院学报 年第 期器的响应，在这个过程中标签元素有可能还没有加载出来，是不可见的，并添加隐式等待，隐式等待设置一个等待时间，如 秒，在该时间段内判断元素是否定位成功，如果完成了，就进行下一步，在设置的时间内没有定位成功，则会报超时加载。（三三）招招聘聘信信息息数数据据爬爬取取通过 名称和 查找方式进行定位并获取招聘数据，其中包含公司名称、岗位名称、薪资范围、行业领域、公司地区、学历要求、经验要求等数据，将获取的数据放在已创建的字典中，通过（）方法写入 文件中，完成当前页数据的采集，再利用 对象自动点击下一页进行翻页，同时调用 循环语句，循环采集数据和翻页操作。由于程序可能出现一些错误或异常，因此在进行采集和翻页操作时，可以利用 异常处理结构来捕获和处理异常，如果程序发生的异常经 捕获并由 处理完成，则程序可以继续执行，反之如无异常处理结构，程序就会停止运行。如果因为网速原因导致网页加载慢，可以通过 模块提供的 类，再结合该类的（）和（）的方法，并自定义好等待时间，根据判断条件进行灵活的显示等待。（四四）招招聘聘信信息息数数据据存存储储将 年 月 日采集的 条包含全国 个城市的软件岗位的招聘数据保存在指定名称的 文件中，并进行浏览器的退出操作（）。最终，获得的招聘信息数据如图 所示。图 招聘信息数据三、数据预处理数据预处理是指对原始数据进行清理、标准化和结构化，以便进行有效的分析和统计处理。它包括检查数据、去除重复项、处理缺失值、转换数据类型、标准化数据等步骤，以便提取有用的信息。（一一）数数据据清清洗洗数据去重处理如果这些数据存在重复值，这些重复值可能会对数据分析产生一定的干扰，所以需要删除重复值，可以根据招聘信息数据表中“公司名称”来判断是否存在重复值，在此数据表中发现了 个重复值，将其删除，保留了 个唯一值。数据空值和异常值处理数据空值和异常值处理是数据分析中的一个重要步骤，用于移除无效的数据，并获得准确的结果。空值处理的方法包括：删除空值，使用均值、中位数或众数来填补空白，或使用相似的数据来替代空值。常用的异常值处理措施包括：删除异常值、替换异常值、归一化异常值和对异常值进行平滑。在 中可以查看是否有字段存在缺失值，如图 所示，爬取的招聘数据表中各字段均无空值。（二二）数数据据规规范范化化拆分数据 拆分数据功能可以将某列中的值拆分成多列，以便更好地了解数据。要拆分数据，单击可视化筛选器中的“拆分”按钮，选择列，然后选择拆分方式（如逗号）。可以拆分一行中的值，也可以拆分一行中的多个值。李泽文，等：基于 的 直聘数据的爬取与分析 以“软件”专业为例图 查询数据表空值薪资优化由于薪资范围是以上下限和月薪数量来显示的，不利于后续的分析，需要进行优化。薪资范围优化操作在 里处理比较简单，当然也可以利用 进行处理。在 里将薪资范围拆分成三列，分别为最低薪资、最高薪资、月薪数量年。再根据计算公式：（最高薪资最低薪资）月薪数量 年）得到平均薪资列。四、数据可视化 （一一）城城市市分分析析基于经度（生成）和纬度（生成）的地图，圆圈大小显示城市提供岗位数总计，可以看出长沙提供的岗位最多，其次厦门，郑州，武汉也提供了较多岗位（图）。图 城市岗位数量地理图 （二二）岗岗位位分分析析由于爬取数据是软件相关的岗位信息，所以软件工程师，软件测试工程师岗位占据了大多数。除此之外，软件产品经理、软件实施工程师、软件项目经理岗位也比较多。（三三）经经验验分分析析通过对工作经验的树状图分析，可以看出软件相关岗位要求有软件开发经验的占据大多数，其中 年工作经验有 条记录，年工作经验有 条记录，对于应届毕业生招聘需求较少。作为应届毕业生，可以通过在校期间的专业综合实训课程、企业教学、毕业岗位实习和职业技能大赛等，尽可能多的积累项目实战经验，从而获得就业竞争力。（四四）学学历历分分析析通过对学历要求的圆环图分析，可以看出软件岗位学历要求的是大专和本科较多，其中本科占比，大专占比。作为高职学生，在职业生涯规划中，可以通过专升本途径提升自己的学历，从而获得更多更好的工作平台。（五五）薪薪资资分分析析通过数据分析得到城市薪资排名，北上杭深的平均薪资水平都名列前茅，其中，上海的平均薪资最高。除了北上杭深四大城市以外，苏州、南京、成都和广州的平均薪资也相对较高。此外，学历越高，经验越丰富，对应的薪资水平也会增高。一线城市薪资水平更高，二线城市提供的岗位更多，需求更大，因此找软件岗位工作，可以根据自广州城市职业学院学报 年第 期身的情况和需求来选择。五、结语大数据和 时代已经到来，在当前严峻的就业形势下，在具有大规模和复杂度的数据中精准挖掘其中蕴含的价值，能够带来宝贵的机遇和启示，为毕业生和教育者提供决策信息。当今软件技术产业处于迅猛发展的时期，软件人才需求也在逐年增多，软件专业毕业生在一、二线城市都有较多的工作机会。岗位技能需求视角下，匹配软件技术开发与服务、软件编码与测试、软件项目实施等岗位，软件专业毕业生需要掌握软件分析方法以及相关前沿理论知识和软件系统开发等能力，才能紧跟时代前进的脚步，在就业竞争中立于不败之地。以就业为导向的高职教育准则下，高职软件专业的课程体系应基于计算机与软件的技术前沿，充分考虑行业发展前景与岗位设置背景，使软件专业的人才培养能够适应现代软件行业的发展需求。特别是在高职教育实践型人才的培养目标下，需要根据软件领域的技术变化情况增设或删除与之相关的理论课程与实践项目，例如软件专业开设的“大数据”“人工智能”相关课程，有助于学生“岗位迁移”能力的提升。岗位核心技能是学生就业竞争力的重要保障，因此在软件专业的课程体系中要突出对岗位核心技能的培养，形成以通识课程为基础、专业技能课程为主导、专业拓展课程为拓宽、专业综合实践课程为贯通的多层交叉课程体系。这将助力于培养学生达到软件行业相关岗位的能力要求，适应软件技术产业的发展需要，成为软件领域高素质技术技能人才。通过以上对 直聘数据网络招聘数据的深入挖掘与分析，虽然数据分析结果还有很大的进步空间，但客观来说，以上分析和决策存在一定的可靠性和实用性，可以为学生“职业生涯发展”和教育工作者同行提供一定的参考与借鉴。参参考考文文献献：吴伟斌浙江：坚持就业优先强化服务保障中国人力资源社会保障，（）：徐英子中央党校（国家行政学院）教授周跃辉：改善预期提振市场主体信心民生周刊，（）：余佥 语言在数据分析处理中的应用电脑编程技巧与维护，（）：顾勤网络爬虫技术原理及其应用研究信息与电脑（理论版），（）：张嘉威，关成斌基于 和 的智联招聘数据的爬取与分析软件，（）：任培花岗位需求视角下地方高校应用型本科软件人才实践能力模型化研究计算机教育，（）：韩艳“双高计划”背景下高水平软件专业群课程体系建设路径九江职业技术学院学报，（）：（责任编辑：夏侯国论），（，）：，；，；：，：；李泽文，等：基于 的 直聘数据的爬取与分析 以“软件”专业为例