本版主题：python爬虫、数据采集、数据库、业务报表、数据应用案例。   案例01 数据采集系统：某汽车生产厂SAP-SRM系统 案例名称：Python爬虫(数据采集)+SAP系统+数据库+帆软报表+业务建模实现上下游数据集成打通 主题链接：帆软BBS-进入主题帖 案例02 数据采集系统：某汽车生产厂SRM系统 案例名称：Python爬虫(数据采集)+青岛解放SRM系统+数据库+帆软报表实现数据集成 主题链接：帆软BBS-进入主题帖  

第一部分、目标分析 1.1 目标系统 本次要采集的任务是SCM的SRM系统相关业务数据。使用SCM系统对上游供应商进行管理，为其配套的零部件供应商有几百家！SCM主要功能如下图，其中大纲计划、送签单是业务计划有关的数据，使用频率最高。 SCM-SRM采集范围 SCM登录页面 SCM系统首页 1.2 业务痛点 对于使用SRM的供应商来说，他们频繁登录SRM系统多有不便，SRM数据无法与自己公司信息系统对接，导致业务沟通不畅。 业务痛点分析 1.3 业务诉求 对于供应商来说，希望采集SAP-SRM数据，存入数据库，建立业务模型，实现客户计划、生产计划、库存占用之间的数据联动，从而提高效率，降低成本。 数据方面的诉求 第二部分 Python爬虫定制（数据采集） 2.1 爬虫定制+数据采集 数据采集集成是一门专业的技术，不同的网站采集方法不一样，不同的业务需求数据加工处理方法也不一样。网络爬虫，数据采集程序，不仅仅是采集数据，还要实现数据清洗、数据加工，数据对比分析，数据存储。数据采集程序可以按需运行，也可以按指定频率运行。新增业务数据可以通过企业微信进行提醒。所以数据采集环节，存在很大的定制成分。 网络爬虫，数据采集定制，一般有五个环节需要实现，具体可参考：爬虫+数采定制采集工具的五个环节 2.2 待采集数据(SCM系统的SRM模块) 要采集的数据有《大纲计划》、《送签单明细》 大纲计划 送签单明细 2.3 已采集数据（存入数据库） 数据采集工具运行后，将异构业务系统数据同步到本地数据库中。我们只使用数据状态为1的记录（为0的数据代表已经过期或者作废）。 采集数据存入数据库 第三部分、数据展示   3.1 采集数据展示（大纲计划） 3.2 采集数据展示（送签单）   3.3 业务模型建立 3.3.1 业务规则 采集并合理利用数据，最大限度发挥数据价值才是我们本案例的宗旨。本案例的业务模型就是业务规则。 3.3.2 数据编程 由于数据之间取数、计算关系复杂，本案例客户协同计划看板数据，大部分通过数据库存储过程编程实现。本案例只展示核心存储过程代码，其他存储过程在程序运行中自动调用，其他存储过程代码本案例不展示。 3.3.3 数据计算结果 通过数据库编程，调用程序计算，最终生成需要的数据。 3.3.4 数据使用 制作帆软报表，调用存储过程、使用数据库表 3.3.5 数据展示 将制作完毕的决策报表挂接到报表平台，分配权限，即可完成报表发布。 四、案例视频介绍 想了解整个过程，可以参考：案例视频（爬虫+数据库+帆软报表）

第一部分 项目背景 本文将分享Python爬虫采集其他异构系统数据存入数据库，利用帆软报表+业务建模实现上下游数据集成打通。 1.1 需要采集的数据 某公司是国内销量前10的商用车制造商，使用SAP进行日常业务管理、使用SAP的SRM系统对上游供应商进行管理，为其配套的零部件供应商有几百家！SRM主要功能如下图，其中需求预测、采购执行监控、寄售库存监控是业务计划有关的数据，使用频率最高。 1.2 业务痛点 对于使用SRM的供应商来说，他们频繁登录SRM系统多有不便，SRM数据无法与自己公司信息系统对接，导致业务沟通不畅。 1.3 业务诉求 对于供应商来说，希望采集SAP-SRM数据，存入数据库，建立业务模型，实现客户计划、生产计划、库存占用之间的数据联动，从而提高效率，降低成本。 第二部分 Python爬虫定制（数据采集） 2.1 爬虫定制+数据采集 数据采集集成是一门专业的技术，不同的网站采集方法不一样，不同的业务需求数据加工处理方法也不一样。网络爬虫，数据采集程序，不仅仅是采集数据，还要实现数据清洗、数据加工，数据对比分析，数据存储。数据采集程序可以按需运行，也可以按指定频率运行。新增业务数据可以通过企业微信进行提醒。所以数据采集环节，存在很大的定制成分。 网络爬虫，数据采集定制，一般有五个环节需要实现，具体可参考：爬虫+数采定制采集工具的五个环节 由于篇幅有限，本案例不介绍爬虫工具如何开发定制，具体可参考：Python爬虫定制/SAP-SRM数据采集 2.2 待采集数据(SAP系统的SRM模块) SAP系统中【需求预测】、【寄售库存监控】是需要采集的数据 2.3 已采集数据（存入数据库） 数据采集工具运行后，将异构业务系统数据同步到本地数据库中。我们只使用数据状态为1的记录（为0的数据代表已经过期或者作废）。 三、使用帆软报表展示数据、建立业务模型 3.1 采集数据展示（需求预测） 将异构系统采集到数据库中，通过帆软报表展示出来，这个没啥难度，直接上图。 3.2 采集数据展示（库存明细） 将异构系统采集到数据库中，通过帆软报表展示出来，将数据分成2级展示（按需求工厂显示库存数据概要、点击明细可查看数据明细）。 3.3 业务模型建立 3.3.1 业务规则 采集并合理利用数据，最大限度发挥数据价值才是我们本案例的宗旨。本案例的业务模型就是业务规则。 3.3.2 数据编程 由于数据之间取数、计算关系复杂，本案例客户协同计划看板数据，大部分通过数据库存储过程编程实现。本案例只展示核心存储过程代码，其他存储过程在程序运行中自动调用，其他存储过程代码本案例不展示。 3.3.3 数据计算结果 通过数据库编程，调用程序计算，最终生成需要的数据。 3.3.4 数据使用 制作帆软报表，调用存储过程、使用数据库表 3.3.5 数据展示 将制作完毕的决策报表挂接到报表平台，分配权限，即可完成报表发布。 四、案例视频介绍 想了解整个过程，可以参考：案例视频（爬虫+数据库+帆软报表）  

致远OA集成登录方案（帆软报表V10.0亲测通过），实现步骤如下：1、在致远OA中创建组织结构视图（单位、部门、人员信息、岗位、职务、联系方式、登录名/密码字符串）,视图效果如下： 125886 2、在帆软报表设计器中，添加数据链接，如下图所示： 125887 3、添加服务器数据集，配置如下： 125888 4、将class文件放到FR或者BI工程目录指定文件夹下，文件夹没有则创建。 路径：webroot\WEB-INF\classes\com\fr\decision\privilege\encrpt。 125890 （1）、SeeyonValidator.CLASS文件中加密方法，调用用致远seeyon_ctp_core.jar的加密方法。 参考文件有：简单权限之密码加密-http://help.finereport.com/doc-view-875.html （2）、MessageEncoder.CLASS文件，是从seeyon_ctp_core.jar提取的加密方法，可以直接适用。5、适用管理员admin登录帆软报表或者BI系统，适用数据集同步，配置如下图所示： 125889 PS: （1）理论上，该方法支持任意帆软BI/FR与任意版本致远OA集成登录。使得用户使用OA账户登录帆软系统。 （2）此贴方法仅供参考，动手能力强的同学可以自己编写代码。 如果需要两个class文件，需要收取手工费（200RMB提供文件、500RMB提供技术支持），联系QQ850850729马老师。 编辑于 2019-4-25 21:05