请上传宽度大于 1200px,高度大于 164px 的封面图片
    调整图片尺寸与位置
    滚轮可以放大缩小图片尺寸,按住图片拖动可调整位置,多余的会自动被裁剪掉
取消
研究猿(uid:9)
学无止境,精益求精 职业资格认证:尚未取得认证
终于有人把数据中台、数据仓库、数据治理和主数据给讲明白了!
数据中台、数据仓库、数据治理和主数据这些概念对于很多人来说仍显得抽象。用一些通俗的语言和生活中的比喻,深入解析这些关键概念。 正文开始前,给大家推荐一个《让数据成为生产力6.0》,本资料收录了帆软标杆用户在企业决策、流程优化、产品创新、市场拓展等方面的最新应用实践,更揭示了数据生产力对于提升企业核心竞争力的重大意义。 扫描下方二维码或复制链接(https://s.fanruan.com/uoy8c)即可免费下载完整PDF! 数据中台:数据的“中央厨房” 想象一下,你是一家大型餐厅的厨师长,每天需要处理从不同供应商那里采购的多种食材。为了确保食材的新鲜、卫生与高效利用,建立一个中央厨房就显得尤为重要。这个中央厨房的角色就是数据中台在企业中扮演的角色。 数据中台整合来自不同业务部门、系统和渠道的数据,对其进行清洗、加工和标准化处理,然后再将处理后的数据提供给业务部门使用。就像中央厨房确保食材的质量和一致性,数据中台则确保数据的质量、一致性和可用性,从而更好地支持企业的决策和运营。 数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。 数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产,让数据使用者能随时随地获取到可靠的数据。因此,数据中台一旦建成并得以持续运营,其价值将随着时间的推移将呈指数级增长。 数据中台建设是一个宏大的工程,涉及整体规划、组织搭建、中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲,企业的数据中台在物理形态上分为三个大层:工具平台层、数据资产层和数据应用层。 1.1 工具平台层 工具平台层是数据中台的载体,包含大数据处理的基础能力技术,如集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台;还包含建设数据中台的一系列工具,如离线或实时数据研发工具、数据联通工具、标签计算工具、算法平台工具、数据服务工具及自助分析工具。 以上工具集基本覆盖了数据中台的数据加工过程。 1.2 数据资产层 数据资产层是数据中台的核心层,总体来讲,可以划分为主题域模型区、标签模型区和算法模型区。 ①主题域模型 主题域模型是指面向业务分析,将业务过程或维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件,如订单、合同、营销等。 为了保障整个体系的生命力,主题域即数据域需要抽象提炼,并且长期维护和更新,但是不轻易变动。在划分数据域时,既要涵盖当前所有业务的需求,又要保证新业务能够无影响地被包含进已有的数据域中或者很容易扩展新的数据域. ②标签模型 标签模型的设计与主题域模型方法大同小异,同样需要结合业务过程进行设计,需要充分理解业务过程。 标签一般会涉及企业经营过程中的实体对象,如会员、商品、门店、经销商等。这些主体一般来说都穿插在各个业务流程中,比如会员一般都穿插在关注、注册、浏览、下单、评价、服务等环节。那么在设计标签的时候就需要充分理解这些业务流程,在流程中发现标签的应用点,结合这些应用点来搭建企业的标签体系。标签模型按计算模式一般分为客观标签和主观标签。 设计标签模型时非常关键的要素是标签模型一定要具有可扩展性。毕竟标签这种数据资产是需要持续运营的,也是有生命周期的,在运营的过程中随时可能增加新的标签。 ③算法模型 算法模型更加贴近业务场景。在设计算法模型的时候要反复推演算法模型使用的场景,包括模型的冷启动等问题。整个模型搭建过程包含定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。 以新零售企业为例,常用的机器学习算法有决策树、神经网络、关联规则、聚类、贝叶斯、支持向量机等。这些算法已经非常成熟,可以用来实现商品个性化推荐、销量预测、流失预测、商品组货优化等新零售场景的算法模型。 1.3 数据应用层 数据应用层严格来说不属于数据中台的范畴,但数据中台的使命就是为业务赋能,几乎所有企业在建设数据中台的同时都已规划好数据应用。数据应用可按数据使用场景来划分为以下多个使用领域:分析与决策应用、标签应用、智能应用。 数据仓库:数据的“图书馆” 假设你是一位图书馆管理员,每天的职责是管理和维护图书馆中的成千上万本书。你必须确保每本书按照类别、作者、出版日期整齐有序地摆放,以方便读者查找和借阅。数据仓库在企业中的作用就像这个图书馆。它存储了大量历史数据和结构化数据,并按照一定的规则和格式进行组织。与数据中台不同,数据仓库更注重数据的长期保存和查询分析,提供强大的数据查询和分析能力,帮助企业深入了解市场、客户和业务流程,从而发现潜在的机会和风险。 一般来说,数据仓库是一个面向主题的、集成的、相对稳定的,并反映历史变化的数据集合,它主要用于支撑管理人员的决策过程。 “面向主题”:意味着数据仓库是围绕企业的具体业务需求进行构建的,旨在提升管理效率; “集成”:则是指它能够将来自不同平台的数据进行汇总,打破数据孤岛,同时在整合过程中实现数据治理和编码的标准化; “相对稳定”:强调的是数据仓库不会直接连接到业务系统,而是通过从业务系统中提取数据来工作,以避免对业务系统性能造成影响; “反映历史变化”:则指的是数据仓库能够存储并反映业务系统的历史数据,为未来的大数据挖掘与分析提供重要依据。 接下来,我们明确“数仓”的概念: 数仓,即数据仓库,是企业决策支持体系中的核心组成部分。它从管理需求出发,整合各业务系统的数据资源,通过数据处理工具生成数据仓库,并应用于企业的各个业务领域。数据仓库的运用主要聚焦于优化企业的业务流程、监控时间、成本、质量等关键指标,从而助力企业实现更高效、更精准的管理决策。   数据治理:数据的“交警” 城市交通中,交警的职责是维护交通秩序,确保车辆和行人遵循交通规则,防止交通拥堵和事故发生。在数据世界中,数据治理就好比这样的交警。数据治理是对数据进行全面管理和规范的过程,确保数据的准确性、一致性、安全性和可用性,同时防止数据滥用和泄露。数据治理还负责制定数据管理的规章制度,监督数据的采集、存储、处理和使用过程,确保数据在整个生命周期中都得到妥善管理。 数据治理体系内容从两个维度来看: 1)数据治理难点痛点:数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。 2)数据治理5个核心:理、聚、管、治、用。 数据治理是企业对数据资产管理行使权力和控制的活动集合(包括计划、监督和执行),它是管理企业数据资源的一种方式、方法,旨在确保数据的质量、安全、合规和有效性。数据治理是企业实现数据战略的基础,是一个管理体系,包括组织、制度、流程和工具。 数据治理是一套复杂的管理体系,它无法通过单一的工具或产品来实现。数据的生命周期包含了源头、处理和消费这三个阶段,数据的问题也可能会出现在这三个环节中。 例如在数据源头环节,用户录入数据的规范性存在问题,导致了最终数据消费环节的数据质量低。这些表象问题的根源,可能来自于业务系统用户交互设计,乃至是底层数据库表结构设计上的缺陷。想要解决这些表象的问题,就需要解决深层次的信息化业务系统开发以及数据库表约束设计等问题。 例如为了保证用户录入数据的准确性,有三种方式去设计业务系统:其一是设计前端的检验验证,避免用户做出相同的选择;其二是通过程序编写过滤判断的逻辑,筛除掉前端误入的数据,作为第二层验证;其三是通过建立约束条件,例如唯一性约束、检测约束等等来控制数据录入准确性。 因此,企业的数据治理远非使用一款单一的工具或产品就可以实现的,它是需要回到源头,对企业的组织、流程制度、业务系统、底层架构等多个方面进行排查和重构的,它是一套复杂的管理体系。 主数据:数据的“身份证” 最后,我们来谈谈主数据。每个人都有自己的身份证,它是个人身份的证明。在数据世界中,主数据就像是数据的“身份证”。主数据是企业内部最关键、最核心的数据,描述了企业的核心业务实体,如客户、产品、供应商等。主数据具有唯一性和权威性,是企业内部各部门和系统之间共享和交换数据的基础。通过管理和维护好主数据,企业可以确保数据的一致性和准确性,从而提高业务处理效率和决策质量。 主数据是指满足跨部门业务协同需要的,反映核心业务实体状态属性的基础信息。举个例子,公司的员工信息,存在于很多业务系统里,比如人力系统、财务系统、OA系统,以及考勤系统等,但每个系统所需要的信息可能不一样,财务系统需要员工开放信息,比如从哪个银行开户,账号是什么,这样方便打款;人力系统可能只是需要员工的一些入职信息。 这样的员工信息就属于主数据,它在很多企业业务系统被使用,同时还能反映这个员工本身的一些属性。类比下,还有产品、物料、客商、客户、供应商等主数据。 4.1 哪些数据是主数据? 一家企业不只有主数据,还有一些其他数据,这里有一个金字塔结构的企业数据模型,包括关键的基础数据、主数据、业务数据、报表数据。 基础数据可以理解为基本不会发生什么变化的,比如国家货币计量单位,其他维表数据等,其数据就是一些取值范围,也称其为参考数据;主数据就是长期稳定的,能被多个系统使用的,比如组织机构人员、客商等;业务数据是指一些业务交易系统所产生的数据,包括订单的记录、还有一些考勤记录等,与主数据捆绑的比较紧;报表数据是基于下面三类数据做的一些分析呈现,报表数据的主要作用是通过结果呈现来做预测工作。 4.2 主数据、业务数据与元数据的区别 表头是元数据,这些字段本身描述了字段的一些属性信息;而主数据其实是一条记录,这条记录可以划分为两部分,一部分是主数据,描述核心业务实体属性的数据,另外一部分就是主数据在业务交易过程中由系统产生的数据。总的来说,所有这些数据作为企业的一部分,只要能产生价值,它都可以称之为数据资产,能去支撑企业上层的生产、财务、项目管理等。 4.3 主数据的4个特性 (1)唯一性:在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志(代码、名称、特征描述等),用以明确区分业务对象、业务范围和业务的具体细节。 (2)共享性:主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次,因此需保证主数据的关键特征在不同应用、不同系统中的高度一致共享,形成统一规范 。 (3)稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制,但主数据本身的属性通常不会随交易的过程所被修改。 (4)有效性:只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义,则该主数据就需要在系统中继续保持其有效性,通常贯穿该业务对象在市场上的整个生命周期甚至更长。 因此,对于大数据平台来说,主数据是非常重要的一类数据,几乎出现在所有的数据处理和分析中,具体到批处理和实时处理又有所不同。 对于批处理来说: 主数据可以同步自主数据管理系统的数据库,在数仓(数据仓库)体系下,几乎所有的主数据都是维度数据,需要建立相应的维度表以支撑业务查询和分析; 对于实时处理来说: 在各种流式计算的过程中也需要获取主数据进行关联处理,而实时处理要求主数据的获取也必须是实时的,这对系统的架构设计提出了挑战。如果原始的主数据管理系统对外提供了获取主数据的API,对于普通的应用系统这是很有利的条件,它们可直接通过API实时获得主数据。但是对于大数据系统来说,情况就不那么乐观了,因为大数据处理过程中的巨大吞吐量和流计算处理中对主数据的使用频率都远远超过一般的应用系统。如果大数据平台通过主数据管理系统的API获取主数据,无论是从并发压力还是从响应的及时性上都可能无法满足要求,还有可能给主数据管理系统带来过大的负载,导致其响应缓慢甚至宥机。 为满足实时计算对主数据的需求,有两种可选的技术方案。 (1)方案一: 如果主数据体量不大,变更也不频繁,可以考虑将这些数据通过API读取到大数据工作节点的内存中,在数据处理过程中直接使用,然后周期性地从主数据管理系统同步最新状态的主数据。 (2)方案二: 改造主数据管理系统,引入内存数据库,如Redis, 针对所有主数据,除常规持久化的业务数据库外,再配备一个内存数据库的副本,将这个内存数据库开放给大数据平台使用。 方案一的优点是架构简单,易于实现,但是对主数据有预设条件,不能成为一种广泛使用的方案。方案二是一套很完备的技术方案,可以满足各种主数据获取需求,代价是架构比较复杂,如果企业正在构建的是一整套大数据平台,方案二是值得一试的, 从技术上讲,主数据管理系统是一个相对传统的Web 应用,负责维护主数据的增删查改,同时对外提供获取主数据的 API, 对于大数据平台,最好提供以内存数据库为依托的数据读取服务。综合这些因素,企业在建设大数据平台时应该结合现状灵活地选择方案。 定位与差异:协同作战的团队成员 通过以上的比喻,我们可以更好地理解这些概念的定位和差异。数据中台作为数据的“中央厨房”,负责数据的整合和加工;数据仓库作为数据的“图书馆”,负责数据的存储和查询分析;数据治理作为数据的“交警”,确保数据的规范和安全;而主数据作为数据的“身份证”,确保数据的权威性和一致性。 这些概念在企业中相互协作,共同构成完整的数据管理体系。就像一支协同作战的团队,数据中台负责调度和整合数据资源,数据仓库提供数据存储和查询支持,数据治理确保数据的安全和规范,而主数据确保数据的准确性和一致性。这个团队共同为企业提供了强大的数据支持,帮助企业更好地应对市场挑战和抓住机遇。
终于有人把供应链数字化的关键路径给理清了!
本文节选自帆软智库资深鞋服数字化专家宋志英在帆软行业大讲堂中的直播分享《让“产品+业务”成为供应链数字化的“双轮驱动器”》。 直播全面拆解了供应链数字化转型的关键路径,手把手指导企业如何实现全链路数字化与高效管理。点击下方图片观看直播回放! 供应链数字化解决方案获取:https://s.fanruan.com/hbigg 数字化供应链的建设需要在业务和技术层面进行全方位规划与实施。接下来,我们将以上海某客户案例为基础,详细讲解供应链数字化的核心实现路径。 转型背景 某客户现有信息系统支持企业发展至今已不堪重负,企业发展提出更高信息化需求。其整体端到端供应链信息体系只是做了“供”与“应”的日常作业,缺少“链”的全局观和全局规划,缺少信息化手段实现端到端各业务环节的流程打通、数字化、自动化、可视化,诸多部门都提到以数据驱动业务的透明化可视化缺乏支撑。 1、架构老旧,功能缺失 整套数字化系统管理细节元素缺失,难以支持精细化化管理; 业务功能缺乏前瞻性,难以适应后续业务扩展与组织流程调整; 系统在多语言、多税率、多币种和海外相关政策法规要求有缺失,缺乏全球化架构与扩张能力。 2、缺乏协同,业财割裂 产供销很多业务信息断点依靠手工操作,工作效率低下; 业务财务割裂、信息孤岛明细;整体集成性不足;业务无法联动、管控无法落地; 无法做到“横向到边,纵向到底”的集团管控。 3、数据滞后,难以信赖 数据不准确,不实时,不打通,缺乏业务间的数据协同赋能; 对业务的分析和判断停留在手工和“经验”层面,现有系统无法提供及时、可信赖、精细、预测性的经营决策分析等数据服务能力。 制定供应链数字化转型方案 在供应链数字化转型的过程中,制定清晰的转型方案是关键。以下从订单全过程追溯和产销协同两大模块展开,详细阐述转型路径及实施要点。 1、订单全过程追溯 (1)核心节点模拟测算用时情况 订单追溯需要精确到供应链的每一个核心节点。通过模拟和测算各节点的用时情况,企业可以清晰了解订单从接收到交付所需的时间分布。这种测算能够帮助企业优化流程、发现瓶颈并提前预估可能的延误。 实践应用:某企业在接收订单后,通过系统测算各节点所需时间,如样衣制作、面辅料采购、生产启动等,精准定义关键节点的标准用时。 成果:通过测算,企业减少了20%的时间浪费,并提高了生产计划的准确性。 (2)各业务节点管控时间 每个业务节点的时间管控是订单追溯的重要部分。通过系统化的时间追踪,企业能够实时了解订单状态并采取调整措施。 实践应用:在订单执行中,系统为每个节点设置时间阈值,一旦超时便触发预警,管理人员可快速干预,确保订单按时推进。 成果:某企业的订单准时率提升了15%,同时减少了因延误造成的违约成本。 2、产销协同 (1)业务订单排单方案 产销协同的核心在于如何合理排单。通过智能化工具,企业可以基于订单优先级、交期需求和生产能力制定科学的排单方案。 实践应用:企业借助排产系统,将大批量订单与小批量快返订单分开处理,同时为急单预留生产能力,确保不同订单类型的高效交付。 成果:快返订单的生产时间缩短了30%,客户满意度显著提升。 (2)各协同单位之间关键信息流概览 在产销协同中,各协同单位之间的信息流动至关重要。通过建立信息共享平台,企业能够实时跟踪订单的状态,确保信息在上下游间流转顺畅。 实践应用:某企业通过数字化平台共享订单信息,包括原辅料供应商、生产厂家及物流服务商,确保各方实时了解订单进展。 成果:供应链透明度提升,库存管理优化,交货周期缩短了25%。 (3)各系统间单据流 数字化供应链需要打通各系统间的单据流,以减少信息孤岛现象。企业通过建立数据集成平台,实现销售订单、采购订单、生产订单等单据的全流程追踪。 实践应用:某企业将ERP系统与SCM系统打通,实现单据自动流转,避免了人工输入导致的延误和错误。 成果:单据处理效率提升了40%,数据准确率接近100%。 3、客户供应链总览业务流程 通过数字化转型,企业能够构建供应链总览业务流程,从接单到交付实现端到端的可视化管理。 实践应用:某企业为每个客户创建供应链总览视图,包括订单状态、生产进度、物流情况等,客户可随时查看订单的最新状态。 成果:客户体验提升,企业与客户间的沟通成本下降了35%。 数字化转型带来的价值 1、为该客户带来的改变 PLM产品生命周期管理:产品从灵感——诞生——确定大货生产全部生命周期管理,客户报价准确率提升了80%,打样成本平均节约了20%。 整合原有的ERP系统和金碟KIS财务系统割裂状态,提高业财一体化和财务自动化程度,月结从原来的每月18号提升到每月的5号完成。 SCM&SRM有效支撑供应链管理体系(原辅料供应商&外协加工厂&自有加工厂&海外工厂)进行流程协同,总计协同了480家原辅料供应商,效率提升30%。 通过供应链协同,实现供应商自动对帐,提高了付款效率并节省了人工。 2、供应链数字化转型的普适价值 数据来自同一平台,口径一致:用户不用再在PLM、SCM、 SAP、OA、ERP等不同系统或同一系统不同模块获取数据,二次整合;避免不同系统数据统计口径不一致。 用数据描述业务现状,协助改进:将各个系统单据流数据,串联成业务流程的描述,将关键节点的评价抽象成指标,让模糊的定义清晰,让评价更科学。 用数据驱动业务,提高协同效率:通过将各个业务板块的数据连接,让不对称的信息显现,使存在天然“矛盾”部门间用数据说话,从而提高协同效率。 数据让每一个人成为管理者:数据的价值不应只是事后分析,更多的是提供业务现状的实时呈现,不对称信息的及时提醒,从而达到每个终端执行者都可以快速响应变化,完成自我管理。 最后,供应链数字化转型是推动制造业高质量发展的关键所在。在数字化浪潮下,通过夯实数据治理基础,利用智能技术驱动决策,企业可以显著提升供应链的效率与响应能力。供应链数字化解决方案获取:https://s.fanruan.com/hbigg
一图详解供应链数字化:5大模块知识、30+落地框架(附下载)
随着物联网、大数据和人工智能的普及,传统供应链管理模式已经很难满足企业对高效、灵活和智能的需求,数字化转型成为企业提升供应链竞争力、优化运营流程、降低风险、提高响应速度的关键手段。 在供应链数字化的征程中,企业面临诸多挑战: 从业务层面看,如何精准识别并解决供应数据应用痛点,优化供应链数字化系统,实现高效的产销协同、可视化管理与精细化运营,是企业亟待解决的问题。 对于供应链管理人员来说,不清楚如何构建科学合理的业务指标体系,难以衡量供应链各环节绩效,从而无法有效推动供应链优化升级。 企业还常常困惑于如何依据自身实际情况制定切实可行的供应链数字化策略,以及如何从繁杂的供应链场景中找到适合自己的解决方案。 为助力企业攻克这些难题,帆软将十八年年间服务过的26000家客户经验与近十几年的优秀企业供应链数字化建设实践进行深入解析,首次打造了供应链专属的《企业供应链数字化图谱》。 这份图谱从【业务痛点→数字化策略→场景解决方案→数据指标体系→数据分析】这一思路切入,全面梳理了供应链数字化建设的全流程,涵盖5大模块知识、26个体系框架和173个细分知识点,真正做到了“一图在手,知识全有”。 我们希望它能为国内企业供应链数字化提供理论与落地相结合的全方位参考,成为企业在供应链数字化转型道路上的得力助手。 扫描下方二维码即可免费下载完整PDF! 接下来,让我们一同详细探究这份图谱的精彩内容。 为什么你必须拥有这份图谱? 理由一:企业供应链数字化作战地图,涵盖不同阶段建设方法论 在图谱中,我们分享了“供应链数字化发展评估模型”。此模型依据供应链数字化程度及特征,将供应链数字化发展分为传统供应链、集成式供应链、智能供应链和智慧供应链四个关键阶段。 针对每个阶段,我们均深入研究并提供了与之适配的供应链数字化建设方法论,涵盖技术应用、流程优化、组织变革等多方面内容。企业可借此模型精准对照自身实际情况,评估自身所处数字化发展阶段,进而选取对应阶段的行动策略,有效推动供应链数字化转型进程。 图谱部分展示 图谱部分展示 理由二:8大供应链细分场景梳理,给予针对性数据解决方案 不同行业、不同规模企业的供应链千差万别,这意味着供应链数字化建设绝非依靠一个大而全的的数据解决方案就能大功告成。 因此,我们在图谱内全面梳理了供应链管理的各个细分场景(采购管理、库存管理、计划管理、供应商管理等)的数字化建设蓝图,并结合帆软产品全家桶FineReport、FineBI、FineDataLink、简道云等数据产品,提供针对性的数据建设解决方案,助力企业实现供应链数字化的高效落地。 图谱部分展示 理由三:供应链完整指标体系模板参考,数据应用不再愁 地图为各企业提供了完整的指标体系建方法论和供应链指标体系模板(涵盖采购管理、仓储管理、销售管理、生产管理等模块),企业可以参考同行业梳理好的指标体系,将其应用到业务报表、驾驶舱、数据分析等数据应用过程。 图谱部分展示 看到这里,你是不是心动了?既然如此,赶快下载图谱吧!
一文讲清数据架构!
数据架构是指组织和管理数据的方式,包括数据的存储、处理、流动和使用方式。它涉及到如何设计和构建数据模型、数据库系统、数据交换机制等,以确保数据的有效性、安全性和可用性。数据架构的目标是支持业务需求、提高数据的质量和一致性,并促进数据的共享和集成。 正文开始前送大家一份《数据仓库建设解决方案》,本方案为帆软梳理的通用数据仓库解决方案,涵盖数仓建设的全流程服务,包括调研、需求梳理、建设规范、建模等等,展现了帆软在数仓搭建方面的数据平台、数据集成工具、报表展现和分析等能力。 扫描下方二维码或复制链接(https://s.fanruan.com/dtgpb)即可免费获取! 什么是数据架构? 数据架构描述如何管理从收集到转换、分发和使用的数据。它为数据及其在数据存储系统中流动的方式设定了蓝图。它是数据处理操作和人工智能 (AI) 应用程序的基础。 数据架构的设计应该由业务需求驱动,数据架构师和数据工程师使用这些需求来定义相应的数据模型以及支持它的底层数据结构。这些设计通常有助于满足业务需求,例如报告或数据科学计划。 随着物联网 (IoT) 等新兴技术的出现,新的数据源不断涌现,良好的数据架构可以确保数据易于管理且具有利用价值,从而支持数据生命周期管理。更具体地说,它可以避免冗余数据存储,通过清理和重复数据删除来提高数据质量,并支持新的应用程序。现代数据架构还提供了跨域(例如部门或地理区域之间)集成数据的机制,打破了数据孤岛,因而消除了将所有数据存储在同一地方所带来的巨大复杂性。 现代数据架构经常利用云平台来管理和处理数据。虽然它的成本更高,但它的计算可扩展性使重要数据处理任务能够快速完成。存储可扩展性还有助于应对不断增长的数据量,并确保所有相关数据都可用。 数据架构的发展历程 1. 早期阶段(1960年代-1970年代) 文件系统时代:早期的数据存储主要依赖于文件系统,数据存储在平面文件中。数据管理和处理通常是应用程序内部的一部分,这种方式很难实现数据共享和整合。 层次模型和网状模型:1960年代末和1970年代初,出现了层次数据模型(如IBM的Information Management System)和网状数据模型(如CODASYL DBTG模型)。这些模型允许更复杂的数据关系,但仍然较为复杂且不够灵活。 2. 关系数据库的兴起(1970年代-1980年代) 关系模型:1970年,Edgar Codd提出了关系模型,它用数学理论来描述数据结构和操作方法。关系模型使得数据组织更加灵活,并支持使用结构化查询语言(SQL)来进行数据操作。 数据库管理系统(DBMS):随着关系模型的普及,关系数据库管理系统(如IBM的DB2、Oracle、MySQL)迅速发展,成为企业数据管理的主要工具。 3. 数据仓库和数据挖掘(1980年代-1990年代) 数据仓库:数据仓库概念由Bill Inmon和Ralph Kimball在1990年代提出,它涉及将来自不同数据源的数据整合到一个中央仓库中,以支持决策分析。数据仓库设计强调数据整合、历史数据的保存以及查询和报告的高效性。 数据挖掘:数据挖掘技术开始得到关注,用于从大量数据中提取有价值的信息和模式。 4. 大数据和NoSQL(2000年代) 大数据:随着互联网和社交媒体的兴起,数据的规模和多样性大幅增加,传统的关系数据库面临挑战。大数据技术(如Hadoop、Spark)应运而生,用于处理和分析海量数据。 NoSQL数据库:为了处理非结构化数据和高并发请求,NoSQL数据库(如MongoDB、Cassandra)获得了广泛应用。NoSQL数据库不依赖于传统的关系模型,支持更灵活的数据存储和访问模式。 5. 数据湖和云计算(2010年代至今) 数据湖:数据湖的概念强调将各种类型的数据(结构化、半结构化、非结构化)以原始格式存储在一个集中式存储系统中。数据湖支持灵活的数据访问和分析,常与大数据技术结合使用。 云数据架构:云计算的普及使得数据存储和处理的模式发生了变化。云数据库(如Amazon RDS、Google BigQuery)和数据仓库服务(如Snowflake)提供了弹性、可扩展的解决方案,使得企业能够以更低的成本管理和分析数据。 数据架构的发展反映了技术的进步和业务需求的变化。从最初的简单文件存储,到复杂的关系模型、数据仓库、大数据技术,再到现代的云计算和数据湖架构,数据架构不断演变,以应对不断增长的数据量和复杂的数据处理需求。 流行的企业架构  数据架构可以借鉴流行的企业架构框架,包括 TOGAF、DAMA-DMBOK 2 和 Zachman 企业架构框架。 1.The Open Group Architecture Framework(TOGAF)  这个企业架构方法由 The Open Group 于 1995 年开发,IBM 是该组织的白金会员。 该架构有四大支柱: 业务架构,它定义企业的组织结构、业务策略和流程。 数据架构,它描述概念、逻辑和物理数据资产,以及这些资产在整个生命周期中的存储和管理方式。 应用程序架构,它代表应用程序系统,以及这些系统与关键业务流程以及相互之间的关系。 技术架构,它描述支持任务关键型应用程序所需的技术基础架构(硬件、软件和网络)。 因此,TOGAF 为设计和实现企业的 IT 架构(包括其数据架构)提供了一个完整的框架。 2.DAMA-DMBOK 2 DAMA International 最初成立时的名称是 Data Management Association International,是一个致力于推进数据和信息管理的非营利组织。其数据管理知识体系 DAMA-DMBOK 2 涵盖数据架构以及治理和道德、数据建模和设计、存储、安全和集成。 3.Zachman 企业架构框架 该框架最初由 IBM 的 John Zachman 于 1987 年开发,使用一个从上下文到详细信息的六层矩阵,映射了诸如为什么、怎么做和是什么等六个问题。它提供了一种正式的数据组织和分析方式,但不包括具体方法。 数据管理系统及数据架构的类型  1.  数据仓库 数据仓库将来自企业内不同关系数据源的数据聚合到单个集中的统一存储库中。提取后,数据流经 ETL 数据管道,经过各种数据转换,才能满足预定义数据模型的需求。一旦加载到数据仓库中,数据就可以支持不同的商业智能 (BI) 和数据科学应用程序。 2.数据集市 数据集市是一个有针对性的数据仓库版本,它包含一个较小的数据子集,这些数据对组织内的单个团队或选定用户组很重要且是必需的。由于数据集市包含较小的数据子集,因此在使用更广泛的数据仓库数据集时,数据集市使部门或业务线能够更快地发现更有针对性的洞察。最初创建数据集市的目的是应对组织在 20 世纪 90 年代建立数据仓库的困难。当时集成来自整个组织的数据需要进行大量手动编码,而且非常耗时。与集中式数据仓库相比,数据集市的范围更有限,使其实现起来更容易且更快速。 3.  数据湖 数据仓库存储已处理的数据,而数据湖存储原始数据,通常为PB级别。数据湖可以存储结构化和非结构化数据,这使其与其他数据存储库不同。这种灵活的存储需求对于数据科学家、数据工程师和开发人员尤其有用。最初创建数据湖的目的是应对数据仓库无法处理数量、速度和种类不断增加的大数据的情况。虽然数据湖比数据仓库慢,但它们的价格也更低廉,因为在采集之前几乎不需要数据准备。 4.数据结构 数据结构是一种架构,它侧重于数据提供者和数据使用者之间的数据价值链中的数据集成、数据工程和治理的自动化 数据结构基于“活动元数据”的概念,使用知识图、语义、数据挖掘和机器学习 (AI) 技术来发现各种类型元数据(例如系统日志、社交等)中的模式。然后,将这种洞察应用于自动化并编排数据价值链。例如,它可以使数据使用者能够找到数据产品,然后自动向他们提供该数据产品。数据产品和数据使用者之间数据访问的增加减少了数据孤岛,并提供了更完整的组织数据视图。数据结构是一种具有巨大潜力的新兴技术,可用于增强客户概要分析、欺诈检测和预防性维护。根据 Gartner 的数据,数据结构使集成设计时间减少 30%,部署时间减少 30%,维护时间减少 70%。 5.数据网格 数据网格是一种去中心化的数据架构,按业务领域来组织数据。使用数据网格时,组织需要不再将数据视为流程的副产品,而是开始将其视为产品本身。数据生产者充当数据产品所有者。作为主题专家,数据生产者可以利用他们对数据主要使用者的理解为他们设计 API。这些 API 也可以从组织的其他部分访问,提供了更广泛的受管数据访问渠道。 数据湖、数据仓库等相对传统的存储系统可以作为多个去中心化的数据存储库来实现数据网格。数据网格还可以与数据结构一起使用,借助数据结构的自动化,可以更快地创建新的数据产品或执行全球治理。 数据架构的优势 结构完善的数据架构可以为企业提供许多关键优势,其中包括: 1.减少冗余:不同来源中可能存在重叠的数据字段,从而会导致不一致、数据不准确和错失数据集成机会的风险。良好的数据架构可以使数据存储方式标准化,并且可能减少重复,从而改善质量和整体分析。 2.提高数据质量:精心设计的数据架构可以解决管理不善的数据湖(也称为“数据沼泽”)所带来的一些挑战。数据沼泽缺乏适当的数据质量和数据治理实践来提供有洞察力的学习。数据架构可以帮助实施数据治理和数据安全标准,从而对数据管道进行适当的监督,使其按预期运行。通过改进数据质量和治理,数据架构可以确保数据以一种现在和将来都具有价值的方式存储。 3.支持集成:由于数据存储的技术限制和企业内部的组织障碍,数据经常孤立存在。当今的数据架构应该旨在促进跨域数据集成,以便不同的地理区域和业务部门可以访问彼此的数据。这有助于对常用指标(例如费用、收入以及相关驱动因素)形成更准确、更一致的理解。它还支持更全面地了解客户、产品和地理位置,从而更好地为决策提供信息。 4.数据生命周期管理:现代数据架构可以解决如何随时间推移管理数据的问题。随着存在时间的增加和访问频率的降低,数据的使用价值通常会减少。随着时间的推移,可以将数据迁移到成本更低、速度更慢的存储类型,这样就可以继续用于报告和审计,但无需使用高性能存储。
数据建模完整指南:详解七个关键概念
数据建模是数据库设计的一个基本方面,可确保高效、准确和可用的组织数据。它涉及创建系统数据及其关系的可视化表示,这有助于理解数据需求、设计高效的数据库并确保数据完整性。在本文中,我们将介绍数据建模概念的7个关键问题,深入了解数据库管理和开发角色所需的基本知识。本指南非常适合各级别的开发人员和分析师。 正文开始前,给大家推荐一个《让数据成为生产力6.0》,本资料收录了帆软标杆用户在企业决策、流程优化、产品创新、市场拓展等方面的最新应用实践,更揭示了数据生产力对于提升企业核心竞争力的重大意义。 扫描下方二维码或复制链接(https://s.fanruan.com/uoy8c)即可免费下载完整PDF! 什么是数据建模及其重要性 数据建模是数据库设计和管理的基础方面。它涉及创建数据库结构的可视化表示,包括数据元素、其属性以及它们之间的关系。此过程对于确保数据库高效运行并满足组织要求至关重要。 数据建模的重要性怎么强调都不为过。以下是它必不可少的一些关键原因: 了解数据需求:数据建模有助于明确定义系统的数据需求。通过可视化数据结构和关系,利益相关者可以更好地了解需要什么数据、如何使用数据以及如何构建数据。 设计高效的数据库:经过深思熟虑的数据模型是构建高效数据库的蓝图。它指导数据的组织方式,以最大限度地减少冗余、优化存储并确保快速检索。 确保数据完整性:数据模型通过定义规则和约束来防止输入无效数据,从而帮助确保数据完整性。这可确保数据库中存储的数据始终保持准确和一致。 促进沟通:数据模型是不同利益相关者(如数据库设计人员、开发人员和业务分析师)之间的沟通工具。它们为讨论数据库的结构和设计提供了一种通用语言,有助于避免误解和错误。 数据模型的类型 数据模型主要分为三种类型,每种类型在数据库的设计和实现中都有不同的用途。了解这些类型对于创建高效且可扩展的数据库至关重要。 概念数据模型:概念数据模型提供了数据的高级概述。它侧重于识别实体(例如客户、产品或订单)及其之间的关系。该模型是抽象的,不考虑如何存储或检索数据的技术细节。它通常在数据库设计的初始阶段使用,以与利益相关者沟通并收集需求。 逻辑数据模型:逻辑数据模型更详细地定义了数据的结构,而不涉及数据如何物理实现的细节。它包括实体、属性(数据字段)和关系,但它抽象出了实际的数据库技术。此模型用于确保数据结构在进入实施阶段之前符合业务规则和要求。 物理数据模型:物理数据模型是最详细和最具体的。它描述了数据将如何存储在数据库中,包括表、列、索引和其他数据库对象。该模型与所使用的特定数据库管理系统(DBMS)紧密相关,并考虑了性能优化、存储和访问方法等因素。它是数据库管理员用来创建实际数据库的最终蓝图。 规范化和非规范化 规范化和非规范化是数据库设计中的两个关键概念,它们在优化数据存储和检索方面各自发挥着不同的作用。 规范化:规范化是组织数据库中的数据以减少冗余并提高数据完整性的过程。这是通过将大型表划分为更小、更易于管理的表并定义它们之间的明确关系来实现的。目标是确保每条数据只存储一次,从而降低数据异常(例如数据不一致或重复)的风险。 规范化过程通常分阶段进行,称为范式。每个范式都建立在前一个范式的基础上,进一步完善数据的结构: 第一范式(1NF):确保所有列都包含原子(不可分割)值,并且每列都包含单一类型的值。 第二范式(2NF):消除部分依赖,确保所有非键属性完全依赖于主键。 第三范式(3NF):消除传递依赖,确保非键属性仅依赖于主键。 虽然规范化对于维护数据完整性和减少冗余至关重要,但它也可能导致复杂的查询,尤其是在需要连接多个表来检索相关数据时。 非规范化:非规范化是故意将冗余引入数据库以提高查询性能的过程。通过合并表或添加冗余数据,非规范化减少了对复杂连接的需求,而复杂连接会降低数据检索速度。 非规范化通常用于读取性能比写入性能更重要的场景,例如报告或数据仓库应用程序。然而,必须仔细考虑权衡,因为非规范化可能会导致存储要求增加和数据异常风险增加。 总之,规范化侧重于减少冗余和维护数据完整性,而非规范化则优先考虑性能,尤其是在读取频繁的环境中。 理键与自然键 在数据库设计中,键对于唯一标识表中的记录至关重要。两种常见的键类型是代理键和自然键,每种类型都有各自的优点和注意事项。 代理键:代理键是专门为识别表中的记录而生成的人工键。它通常采用整数或UUID(通用唯一标识符)的形式,在数据库之外没有固有含义。当没有合适的自然键或由于其复杂性或多变性而无法使用自然键时,通常会使用代理键。 代理键的优点: 唯一性:保证代理键在整个表中是唯一的。 简单性:它们通常比自然键更简单、更短,使得它们更易于在连接和索引中使用。 一致性:由于它们是由数据库生成的,因此即使底层数据发生变化,它们也保持一致。 代理键的缺点: 缺乏意义:代理键不传达任何业务意义,这会使调试或数据分析更具挑战性。 额外的复杂性:在某些情况下,使用代理键可能会引入额外的复杂性,特别是当自然键已经非常适合识别记录时。 自然键:自然键是现实世界中已经存在的属性或属性组合,可以唯一地标识表中的记录。自然键的示例包括社会安全号码(SSN)、电子邮件地址或产品代码。 NaturalKeys的优点: 业务相关性:自然键具有固有含义,使其对用户和开发人员来说更直观、更容易理解。 无需额外的字段:由于自然键已经存在,因此无需引入仅用于识别目的的额外字段。 自然键的缺点: 多变性:自然键可能会随着时间而改变,需要更新数据库,这可能很复杂并且容易出错。 复杂性:自然键可能比代理键更长、更复杂,这可能会影响性能,尤其是在大型数据库中。 代理键和自然键之间的选择通常取决于数据库的具体要求和所存储数据的性质。 OLTP与OLAP 了解OLTP(联机事务处理)和OLAP(联机分析处理)之间的区别在数据建模领域至关重要,因为它们在数据库管理中服务于非常不同的用途。 OLTP(联机事务处理):OLTP系统专为管理日常事务导向型应用程序而设计。这些系统处理大量短小、快速的事务,例如在数据库中插入、更新或删除记录。OLTP系统针对处理这些频繁、简单的查询的速度和效率进行了优化。 OLTP系统的主要特征: 高交易量:OLTP系统旨在处理大量交易,通常是实时的。 数据完整性:确保数据的一致性和完整性至关重要,因为交易通常涉及财务操作或其他敏感数据。 最小冗余:OLTP数据库通常被规范化以减少冗余并确保数据完整性。 快速查询响应:主要目标是确保快速处理交易,并尽量减少延迟。 OLTP的典型用例: 银行系统 网上零售平台 预订系统 库存管理 OLAP(联机分析处理):另一方面,OLAP系统针对复杂查询和数据分析进行了优化。它们允许用户对大量数据进行多维分析,从而支持决策过程。OLAP系统旨在处理较少的事务,但查询要复杂得多,涉及聚合、汇总和分析来自多个来源的数据。 OLAP系统的主要特征: 复杂查询:OLAP系统旨在处理涉及大型数据集并需要强大处理能力的复杂查询。 数据仓库:OLAP数据库通常用作数据仓库的后端,其中数据以非规范化形式存储以便于快速检索和分析。 历史数据:OLAP系统通常存储大量历史数据,以支持趋势分析和长期规划。 多维分析:OLAP允许用户跨多个维度探索数据,例如时间、地理和产品类别。 OLAP的典型用例: 商业智能和报告 数据挖掘 财务分析 市场调研 总之,OLTP专注于高效管理日常交易,而OLAP则用于分析大量数据以提供业务决策。两者在组织的数据战略中都发挥着至关重要的作用,但在数据建模和数据库设计方面,它们需要不同的方法。 处理缓慢变化维度(SCD) 缓慢变化维度(SCD)是数据建模中常见的挑战,尤其是在数据仓库环境中。SCD指的是数据库中随时间缓慢变化的维度,例如客户地址或产品价格。有效处理这些变化对于保持数据的准确性和相关性至关重要。 管理SCD有多种技术,最常见的是1型、2型和3型: 类型1:覆盖现有数据 描述:在这种方法中,每当发生变化时,旧数据就会被新数据覆盖。这是最简单的方法,但它不保留任何历史信息。 用例:类型1适用于保留历史数据不重要的维度,例如,更正客户姓名中的拼写错误。 类型2:添加新行 描述:类型2涉及在发生更改时向表中添加新行,以及新的代理键和生效日期。此方法保留历史数据,允许维护完整的更改历史记录。 用例:当需要跟踪随时间的变化时,类型2是理想的选择,例如客户地址的变化或跟踪不同时期内的产品价格变化。 类型3:添加新列 描述:类型3向表中添加一个新列,用于存储更改属性的先前值。此方法允许跟踪一个先前值,但不提供完整历史记录。 用例:当只需要当前值和以前的值时,类型3很有用,例如跟踪客户的状态(例如“活跃”或“不活跃”)。 选择正确的方法: SCD类型的选择取决于特定的业务需求和对历史数据的需求。例如,如果跟踪客户资料的每项更改至关重要,则类型2将是首选方法。如果不需要历史数据,类型1可能就足够了。 处理SCD的挑战: 管理SCD可能很复杂,尤其是在频繁发生变化的大型数据库中。它需要仔细规划并清晰地了解业务需求,以便在不影响性能或数据完整性的情况下实施正确的策略。 数据建模中的基数 基数是数据建模中的一个基本概念,用于描述数据库中两个实体之间关系的性质。它指的是一个实体中可以或必须与另一个实体的单个实例相关联的实例数。了解基数对于设计能够准确代表真实场景的有效数据库关系至关重要。 基数主要有三种类型: 一对一:在一对一关系中,一个实体的单个实例仅与另一个实体的一个实例相关,反之亦然。当两个实体代表同一现实世界对象的不同方面或出于组织原因拆分大型表时,通常使用这种类型的关系。 示例:考虑一个人力资源系统的数据库,其中每个员工都有一辆唯一的公司汽车。在这种情况下,实体与实体之间存在一对一的关系,因为每个员工只与一辆车相关联。 用例:一对一关系在数据紧密耦合的场景中很有用,并且需要在实体之间强制执行严格的一一对应关系。 一对多:当一个实体的单个实例与另一个实体的多个实例相关时,就会发生一对多关系。这是数据库中最常见的关系类型,用于对层次结构或类别进行建模。 示例:在零售数据库中,单个客户可能会下多个订单,但每个订单仅与一个客户相关联。这里,实体Customer与实体Order具有一对多关系。 用例:一对多关系广泛用于模拟客户和订单、部门和员工或类别和产品等场景。 多对多:在多对多关系中,一个实体的多个实例与另一个实体的多个实例相关。这种类型的关系通常需要中间表或连接表来管理实体之间的关联。 示例:在大学数据库中,学生可以选修多门课程,每门课程可以有多名学生选修。此处,实体Course与实体Student之间存在多对多关系,通常使用连接表进行管理,例如Enrollment。 用例:多对多关系非常适合涉及多个实体之间的关联的场景,例如学生和课程、产品和订单或作者和书籍。 基数在数据库设计中的重要性: 基数有助于准确地对数据库中的真实关系进行建模。理解并正确实施基数可确保数据库反映数据的真实性质并支持所需的查询和操作。 错误解释基数可能会导致数据库设计效率低下,例如不必要的数据重复、性能瓶颈或数据完整性问题。 设计考虑: 在设计数据库时,仔细分析实体之间的关系并确定正确的基数至关重要。此分析将指导主键和外键的创建、关系的设计以及整体数据库结构。 数据建模是数据库设计的一个关键方面,在确保数据库的效率、准确性和可用性方面发挥着重要作用。从理解数据模型和规范化的基本概念到处理缓慢变化的维度和基数等复杂场景,掌握这些主题对于参与数据库管理或开发的任何人来说都是必不可少的。
为什么说财务的未来是BI?附案例背景!
随着数字化时代的到来,传统的财务管理模式已经无法满足企业在快速变化的商业环境中对精确、实时决策的需求。财务数据处理依然依赖人工操作和静态报表,导致决策滞后、效率低下,甚至出现财务风险和资源浪费。为了应对这些挑战,企业纷纷寻求数字化转型,尤其是通过商业智能(BI)技术的应用,来优化财务管理。 本文摘自北京科技大学MBA校外导师王忠超在帆软产品大讲堂中的直播分享,将详细剖析FineBI在推动财务管理智能化升级中的具体应用场景。通过分析费用趋势、优化预算管理、提升数据协同效率,FineBI展现了其作为企业数智化转型核心工具的强大潜力。完整内容请点击下方链接观看直播回放! BI技术的演进  商业智能(BI)技术的发展经历了三个重要阶段,从早期企业级IT人员主导的数据分析,到自助式BI,再到如今的全员BI,逐步降低了数据分析的门槛。  1. 企业级BI阶段  这一阶段以IT人员为主导。企业需要依靠专业IT团队处理和分析数据。IT团队通过复杂的代码和脚本生成数据报表和分析结果,业务部门使用这些报表进行决策。然而,这种模式的局限性在于分析效率低下,业务人员的即时需求难以快速满足。  2. 自助式BI阶段  随着业务复杂性和数据量的增长,企业逐步认识到需要赋能业务人员,让他们直接参与数据分析。自助式BI工具应运而生,降低了数据分析的技术门槛。业务人员可以通过拖拽操作和简单配置,自主生成报表和分析结果。  3. 用户级BI阶段  当前阶段,BI工具的发展实现了低代码化和全员参与。FineBI正是这一阶段的典型代表,它通过极简操作界面和强大的功能,帮助企业内的每一位员工都能利用数据驱动决策。 数据分析软件FineBI简介 FineBI是帆软软件有限公司推出的新一代大数据分析的 BI 工具,其旨在帮助企业的业务人员充分了解和利用他们的数据,借助FineBI强劲的大数据引擎,用户只需简单拖拽便能制作出丰富多样的数据可视化信息,自由地对数据进行分析和探索,让数据释放出更多未知潜能。 FineBI的主要功能模块包括数据接入、清洗与处理、数据建模、多样化指标计算和可视化。  1. 数据接入与整合  FineBI支持多种数据源类型的接入,包括关系型数据库(如MySQL、Oracle、SQL Server等)、多维数据库(如Essbase、SAP BW等)、非关系型数据库(如MongoDB)、文本文件(如Excel、CSV)以及API接口数据。这种广泛的数据接入能力确保了企业可以无缝整合不同来源的数据。在支持国产化需求方面,FineBI已适配多种国产数据库,如华为GaussDB、达梦数据库和人大金仓,确保本地化部署的兼容性。  2. 数据清洗与处理  数据清洗和处理是数据分析的基础环节。FineBI与ETL工具FineDataLink的组合方案可以完成多种数据处理任务,如数据清洗、格式转换、上下合并、左右合并、行列转换、分组汇总等。例如,通过FineBI的拖拽式流程开发工具,用户可以轻松完成以下操作:按需转换日期格式(如按年、月、周分类)。利用类似Excel的"VLOOKUP"功能实现跨表数据匹配。对重复字段进行去重处理。实现大规模数据的高效分组汇总与聚合。  3. 数据建模与关联  在FineBI中,用户可以通过拖拽的方式建立多表关联模型,生成直观的主题数据模型视图。这种模型视图不仅支持跨表数据分析,还能够提升数据一致性和复用性。例如,企业可以通过部门编码、客户ID等公共字段将不同业务模块的数据整合在一起,构建完整的数据模型。FineBI的数据建模具有以下显著特点:  高效配置多表关系:FineBI自动识别表间公共字段并建立关联,大幅简化数据建模流程。  增强分析性能:通过优化数据量和减少冗余,FineBI提升了跨表计算的性能。  支持灵活扩展:用户可以随时新增或调整模型字段,满足多变的业务需求。  4. 多样化指标计算  FineBI支持从简单汇总到复杂计算的全维度指标计算。FineBI内置了强大的函数体系,包括常规函数(如IF、ROUND)、文本函数(如CONCATENATE)、日期函数(如DATEDIF)和分析函数(如DEF,用于跨表统计和复杂分析)。用户可以通过拖拽操作实现简单指标(如求和、平均值、中位数等)的计算,也可以使用高级函数(如同比、环比、占比计算)满足复杂业务场景需求。  5. 丰富的可视化组件  FineBI提供超过150种可视化图表,包括柱形图、折线图、饼图、热力图、雷达图、漏斗图、仪表盘等。用户可以根据具体的业务需求灵活选择图表类型,并通过拖拽方式快速生成交互式仪表板。仪表板支持以下交互功能:  联动效果:点击某一图表元素,其余图表随之更新,直观展示不同维度的数据。  下钻分析:支持从高层数据逐步细化到低层数据的探索。  过滤与跳转:通过动态筛选器快速定位目标数据,并在不同主题间实现跳转。这种动态可视化能力显著提升了数据表达的直观性和决策支持的效率。  6. 协作与分享  FineBI为团队协作提供了便捷的共享机制,支持多人同时编辑分析主题或仪表板。用户还可以通过公共链接或移动端应用(如微信、钉钉)分享分析成果,实现随时随地的跨平台查看。  接下来,我们就将基于大数据分析平台FineBI,为您讲解如何利用BI工具对财务费用进行分析。  FineBI财务费用案例背景  以一家ABC集团为例,该公司在2023年的总费用达到了200多万元,费用增长率为18.1%。这种显著增幅不仅对年度利润构成了挑战,也对2024年的预算规划带来了不确定性。公司面临的核心问题包括费用管理的精细化程度不足、数据分析工具的局限性以及对未来费用趋势的准确预测能力的需求。  从业务场景出发,该公司需要从数据中提炼关键信息,明确费用分布情况,深入挖掘费用超支的根本原因,为优化费用控制策略和预算管理提供数据支撑。 为解决上述问题,企业提出了以下数据分析需求:  1. 分析费用趋势,判断是否存在季节性波动  按年度、季度、月度进行费用趋势分析,通过同比、环比增长率识别费用的异常波动。例如:某些科目可能在特定季度激增,如办公用品在年末采购量大幅增加,需要进一步分析原因。将费用数据可视化为折线图或柱形图,直观呈现费用变化的整体走势。  2. 按不同维度计算预算完成率,定位费用超支点  建立维度分组与分类报表,生成交叉表,确定具体超支的费用类别及部门,例如用柱形图或饼图展示不同部门或科目的费用对比情况。  3. 生成仪表板和分析报告,提供费用控制建议  制作动态仪表板,将费用分析结果通过多维度图表形式展现,支持交互式分析。提供费用控制的决策建议,例如优化某部门预算或调整某费用科目的分配。输出标准化的分析报告,为管理层和财务团队提供数据支持,提升决策效率。 以上几项关键分析实践就是运用FineBI带来的结果,想要体验BI工具的朋友,可以扫描下方二维码即可免费体验! 总结一下 在数字化浪潮的推动下,企业财务管理的智能化升级已成为必然趋势。FineBI作为帆软公司的旗舰产品,凭借其强大的数据处理、建模、可视化以及协作分享功能,为企业提供了一站式的解决方案,助力企业在激烈的市场竞争中脱颖而出。通过本文对FineBI在财务费用分析中的应用案例的深入剖析,我们可以清晰地看到,FineBI不仅能够帮助企业实时掌握财务数据,更能够通过动态分析预见未来趋势,为企业的精准决策提供有力支持。随着BI技术的不断发展和创新,FineBI将继续引领企业数智化转型的潮流,推动财务管理迈向更加智能化、高效化的未来。
一文讲清财务费用数据如何建模和制作仪表盘! 附详细步骤讲解
在当今数字化时代,企业面临着海量数据的挑战与机遇。如何从繁杂的数据中提炼出有价值的信息,进而指导决策、优化运营,成为企业制胜的关键。商业智能技术应运而生,成为企业洞察数据、驱动发展的强大引擎,推动企业数字化转型,提升管理与商业战略认知,让数据真正转化为生产力,为企业在激烈的市场竞争中赢得先机。 本文摘自北京科技大学MBA校外导师王忠超在帆软产品大讲堂中的直播分享,完整内容请点击下方链接观看直播回放! 数据导入 将多个年度的费用明细表、预算表和部门列表导入系统,并通过FineBI的数据清洗功能完成上下合并、字段匹配等操作。以本案例为例,需导入以下几类表格: 部门列表:包含企业各部门的编码、名称及组织架构信息,用于建立费用分析的部门维度。 员工信息表:记录员工编号、姓名、所属部门及相关费用信息,用于细化分析费用分配情况。 费用科目表:列出一级和二级费用科目及其对应的编码,提供费用分类依据。 费用预算表:记录各部门及时间段的预算数据,作为计算预算完成率的重要数据源。 两年度费用明细表:包含2022年和2023年的费用流水数据,包括日期、金额、科目编码等字段。 日期表和收入统计表:日期表提供时间维度支持,收入统计表用于费用与收入比对分析。 数据清洗 以ABC集团为例,该公司在进行年度费用分析时,通过FineBI完成了以下数据清洗工作: 1. 上下合并: 需求场景:将2022年和2023年的费用明细表整合为一张总表,便于进行跨年度的同比分析。 实现方法:在FineBI中选择“上下合并”功能,将两年度的明细数据合并,同时处理字段名称和数据类型不一致的问题。 示例:原始数据中2022年的字段命名为“费用金额”,2023年的字段命名为“金额”,FineBI会自动识别并统一为“金额”。 2. 左右合并: 需求场景:为费用明细表中的二级科目添加一级科目名称,便于进行费用分类统计。 实现方法:利用FineBI的“添加列”功能,通过科目编码关联二级科目表和一级科目表,新增“一级科目名称”字段。 示例:原始明细数据仅包含“二级科目编码”,通过左右合并后新增字段“一级科目名称”,如“差旅费用”归类为“管理费用”。 3. 数据转换: 需求场景:对原始数据格式进行调整以满足分析需求,包括行列转换、数据标准化和字段计算。 实现方法:使用FineBI的“行列转换”功能,将二维表格转换为一维结构(或反向操作)。 日期格式标准化:将不同格式的日期(如“2023年3月1日”、“03/01/2023”)统一转换为“YYYY-MM-DD”格式。 字段计算:新增字段“月度费用”,按日期提取月份,并将数据分组汇总。 4. 分组汇总: 需求场景:按时间(年月)、费用科目等维度汇总数据,为后续趋势分析和预算完成率计算提供支持。 实现方法:在FineBI中选择“分组汇总”功能,按费用科目和年月对数据进行分组。设置汇总指标,如总金额、平均值、最大值和最小值。 示例:将明细表中每天的费用记录汇总为月度费用总额,并按一级科目生成分类汇总。 建立数据模型 FineBI的数据模型设计为多表数据的整合和分析提供了极大的便利。通过模型视图,用户可以直观地查看和管理表间的关系,确保数据的逻辑性与一致性。用户只需通过拖拽操作,利用公共字段(如部门代码、科目代码等),即可轻松建立表与表之间的关联关系。在本案例中,需要将以下表进行关联: 1. 部门表与员工信息表的关联: 关联字段:部门代码。 关系类型:一对多(1:N)。 目的:实现部门与员工的关联,便于分析不同部门的费用分布及其对总费用的贡献。 2. 二级科目表与一级科目表的关联: 关联字段:科目代码。 关系类型:一对一(1:1)。 目的:建立费用科目的分层结构,支持按一级科目或二级科目分类汇总费用数据。 3. 费用明细表与费用预算表的关联: 关联字段:部门代码和日期。 关系类型:多对多(N:N)。 目的:实现实际费用与预算费用的对比分析,计算预算完成率,并定位费用超支点。 指标计算 FineBI以其强大的计算功能和灵活的分析能力,为企业财务指标的计算和分析提供了便捷工具。通过支持快速计算和高级函数分析,FineBI帮助用户在多维度、多场景下进行深度财务分析,为企业决策提供可靠的数据支撑。 在本案例中,有几个较为重要的衡量企业费用KPI的指标: 1. 预算完成率计算: 通过FineBI的拖拽操作,将实际费用与预算费用字段分别汇总后相除,生成如KPI指标卡,展示各部门或科目的预算执行情况。例如,2023年市场部的实际费用为120万元,预算费用为100万元,则预算完成率为120%。 2. 年度金额汇总: 按年度筛选2022年和2023年的费用明细进行汇总。FineBI的聚合函数可快速计算总金额,如2022年费用总额为200万元,2023年为240万元 。 3. 三大费用汇总计算: 通过跨表字段的关联,按一级科目(如管理费用、销售费用、财务费用)汇总金额。例如,2023年管理费用为80万元,销售费用为100万元,财务费用为60万元 。 4. 费用率计算: 通过关联收入统计表,计算费用占收入的比例。例如,2023年的费用率为25%,表示每1元收入中有0.25元为费用支出 。 5. 年度费用增长率计算: 2023年的年度费用增长率为240−200200×100%=20% \frac{240 - 200}{200} \times 100\% = 20\%200240−200×100%=20%。此结果被可视化为折线图和指标卡,直观呈现 。 仪表板与报告生成 1. 动态组件设计 FineBI通过丰富的可视化组件和交互功能,使数据分析结果得以高效呈现并直观表达。用户可根据分析需求选择不同的图表类型,并设计动态联动效果,以实现数据的多维展示和深入分析。 (1)选择适合的图表类型 FineBI支持多种图表类型,包括但不限于: 柱形图:适合展示分组数据的对比,例如不同部门的费用分布。 折线图:用于展示趋势和变化,例如年度费用增长趋势。 交叉表:便于显示多维数据的汇总结果,例如按部门和科目汇总的费用数据。 KPI指标卡:直接显示关键绩效指标,例如预算完成率、费用增长率。 饼图和雷达图:展示费用占比和结构分析,例如各费用科目在总费用中的占比。 (2)联动效果多组件联动 当用户点击某一科目或部门时,仪表板的其他组件自动更新,显示相关数据的详细信息。例如,点击市场部的柱状图,可以看到其各季度的费用趋势。 下钻分析:用户可逐级钻取数据,例如从年度费用总额下钻到季度或月度数据,进而分析具体费用项目。 动态筛选:通过添加筛选器,用户可以按时间、部门或科目动态调整数据范围,快速获得所需信息。 2. 仪表板布局 一个清晰、高效的仪表板布局能够帮助用户快速获取关键信息。FineBI支持灵活布局设计,以下是典型仪表板的组成部分: 标题区:显示分析主题,突出仪表板的核心内容。例如:“2023年度费用分析”、“预算执行情况”。 指标区:展示关键财务指标,如预算完成率、同比增长率、费用占比等。KPI指标卡可以以不同颜色突出显示超标或异常的指标值,便于用户快速识别。 图表区:通过柱形图、折线图、饼图等多种图表,直观展示数据的趋势和分布。示例:柱形图显示不同部门的预算执行情况。折线图展示各季度费用的变化趋势。饼图分析各费用科目的占比。 维度区:提供灵活的筛选器,支持用户按时间、部门、费用科目等维度进行数据过滤。示例:用户可以选择某一部门或时间范围,仅查看相关费用数据。 通过此次财务数据建模与分析,FineBI帮助ABC集团在2023年的费用管理中从以下几个方面进行了分析与优化: 年度费用趋势分析:数据分析显示,公司整体费用在第二季度增长最为明显,环比增长率达到了25%。通过进一步分析,发现增长的主要原因是大规模的市场推广活动。在仪表板中,通过折线图展示不同费用科目的年度变化,管理层快速定位到市场费用的异常增长点。 按部门和科目拆解费用:使用FineBI的多表关联功能,建立了部门与费用科目之间的分析模型。结果显示,市场部的管理费用完成率为120%,其中会议和差旅费用占据大头。通过交叉表和分组柱形图,直观展示市场部在各费用科目上的预算执行情况。 动态仪表板的构建:FineBI的动态仪表板实现了实时数据的交互分析。仪表板包含年度费用分布、季度环比分析、部门预算完成率对比等核心内容。点击特定科目或部门,仪表板自动更新相关数据。例如,点击“市场部”,可以查看其在各个季度的预算执行情况。仪表板还设置了过滤器,允许用户按时间、科目、部门等多维度筛选数据。 生成费用控制报告:利用FineBI的报告导出功能,生成标准化的费用分析报告,包括数据表格、图表和关键指标解释。报告建议优化市场推广活动的预算审批流程,并加强会议费用的管控,提升费用使用效率。 分享与协作 FineBI提供了多种分享与输出功能,便于用户与团队或管理层共享分析结果。 公共链接分享:用户可以生成仪表板的公共链接,设置访问权限和有效期,与团队成员或外部合作伙伴共享。在会议中,参会人员可通过链接实时查看分析结果,无需登录系统。 导出为PDF或Excel:用户可将仪表板或特定分析结果导出为PDF或Excel格式,便于打印或存档。PDF格式适合生成标准化报告,Excel格式则便于进一步数据处理。 跨平台查看:FineBI支持通过PC端、移动端(如手机、平板)查看仪表板,用户可以随时随地访问数据。仪表板可集成到企业微信、钉钉等协作平台,提升信息流转效率。 结语 未来,随着数字化转型的不断推进,企业财务管理将从传统的静态报表和人工处理向智能化、实时化转变。商业智能将在财务管理中扮演更加重要的角色,企业将能更加精准地预测趋势,优化资源配置,提升竞争力,实现更高效、智能的财务管理体系。 FineBI作为帆软旗下一款专业的自助式BI工具,凭借其强大的数据整合、可视化分析和智能洞察能力,推动了财务管理智能化的升级。通过集成和分析大量财务数据,FineBI帮助企业实时监控财务状况,确保财务决策能够基于准确的数据进行。
财务的未来在哪里?智能财务共享中心能做什么?
在当今数字化时代,企业面临着海量数据的挑战与机遇。智能财务共享中心作为企业数据处理与分析的核心枢纽,其重要性日益凸显。它不仅要高效整合各类系统数据,更要深度挖掘数据价值,为企业的决策提供有力支持,为企业搭建起从数据接入到决策支持的完整闭环体系,助力企业在激烈的市场竞争中脱颖而出。 本文摘自中国总会计师协会信息化分会财务数字化实践专家魏强在帆软产品大讲堂中的直播分享,完整内容请点击下方链接观看直播回放! 智能财务共享中心的核心需求 智能财务共享中心的核心需求在于数据的高效处理与深度应用。智能财务共享中心需要通过整合ERP、OA、CRM等不同系统的数据,实现全面的数据提取、清洗、存储和分析。 FineBI六大数据核心功能 FineBI作为帆软的重要产品,拥有强大的数据处理与分析能力: 1. 完善的数据接入能力: FineBI支持多种数据源接入,包括关系型数据库(如MySQL、Oracle)、多维数据库(如Essbase、Hadoop)、NoSQL数据库(如MongoDB),以及Excel、JSON、XML等文本数据源。针对国产数据库,FineBI也已完成多种适配,确保兼容性。此外,FineBI提供SQL查询、存储过程支持和实时数据同步,为企业构建了强大的数据接入体系。 2. 强大的数据处理能力: FineBI与ETL工具FineDataLink模块组合,实现数据清洗与转换,支持ETL/ELT双引擎、跨库关联和API取数,轻松处理多源异构数据。企业可以利用FineBI在轻量化场景下快速获取结构化数据,并在复杂场景中实现异构数据源的实时同步或API数据接口零代码创建,从而有效分担业务系统负载,保障系统稳定运行。其低代码操作支持系统使得用户无需专业编程背景即可完成数据分析。 3. 灵活的获取数据能力 FineBI以分析主题为核心,简化了数据获取与分析的流程,支持用户快速查询常用数据表、上传Excel进行联合分析,以及跨系统组合数据。用户无需在模块间切换,即可完成数据获取和分析,有效提升操作效率。 4. 全面的数据分析能力 FineBI支持沉浸式分析功能,从筛选数据到完成可视化和结论生成提供全流程支持。用户可通过模块化工具进行数据编辑、构建主题数据模型、计算指标、可视化展示和OLAP联机分析。同时,数据解释功能帮助用户快速理解数据的异常原因和影响因素,优化分析效率。FineBI通过全面的数据分析和报告功能,为管理层提供实时决策依据。 5. 便捷的协作共享能力 FineBI支持主题协作和团队空间共享功能,用户可与团队内外共享数据分析成果。此外,FineBI允许通过公共链接或平台目录发布仪表板,并支持手机、平板等多设备访问,让数据更具实用性和传播性。通过共享分析结果,企业可以实现多部门协作,提高数据价值的利用率。 6. 高效的数据消费能力 FineBI通过数据预警模块和数据门户模块提升数据的价值传递效率。预警功能支持多平台推送关键数据异常;数据门户提供个性化首页和快速访问模块,帮助用户便捷获取关键信息。同时,FineBI支持演示模式和分析文档功能,为数据报告与分享提供更多灵活性。 FineBI六大企业级保障 1. 技术框架 FineBI采用B/S架构,支持本地化、容器化和云原生部署。其技术框架包括资源隔离、自动化故障恢复、多项目管控等企业级运维能力,满足企业不同规模的部署需求。 2. 高性能引擎 FineBI通过存算分离和读写分离架构,显著提升系统扩展性和性能稳定性。共享存储、实时引擎优化和线性扩展能力确保了复杂计算的高效处理,为企业提供稳定可靠的使用体验。 3. 用户权限管理 FineBI支持多平台用户同步、精细化权限配置和低成本权限方案。管理员可通过权限复用、分级授权等功能高效管理用户权限,同时确保数据安全。 4. 安全管理 FineBI注重数据和系统的双重安全性。其功能包括数据脱敏、全局水印和SQL防注入等多重防护措施,有效保护企业敏感数据和系统稳定性。 5. 用户运营支持 FineBI提供完善的学习资源、用户活跃度分析和技术支持服务。管理员可通过系统看板识别关键用户,并采取相应推广措施,提升系统应用效果。 6. 运维平台 FineBI的运维平台支持多项目管理、监控与告警、备份与恢复、资源优先级配置等功能。通过自动化备份、异机备份和自定义告警规则,企业能够更好地保障系统的稳定运行和数据安全。 FineBI以其卓越的数据分析能力和企业级保障服务,为企业搭建了从数据接入到分析决策的完整闭环体系。不论是提升数据处理效率还是保障系统安全稳定,FineBI都为企业的数字化转型提供了有力支持。 结语 在未来,智能财务共享中心将朝着更加智能化、无纸化和生态化的方向发展。通过全面拥抱AI技术,财务人员可以摆脱重复性工作,转向更具战略性的任务。此外,主数据管理和系统间的高效集成将成为实现这一目标的关键。 企业要想在激烈的市场竞争中占据优势,就必须以数据驱动为核心,构建高效、灵活的智能财务共享中心体系。这不仅是技术的革新,更是管理思维的深刻变革。FineBI作为帆软旗下一款专业的自助式BI工具,通过提供强大的数据整合、可视化分析和智能洞察能力,帮助企业快速构建从数据接入到决策支持的完整闭环。
基于分布式数据仓库的数据中心数据平台落地实践
重庆惠科金渝光电科技有限公司(下文简称惠科金渝)成立于2001年,是一家专注于半导体星示领域核心部件制造和提供智能量示终端解决方案的综合服务商。旗下拥有四座高世代液易面板厂,现已成为国内大尺寸液晶面板四大巨头之一。企业在发展的过程中逐渐意识到精细管理的重要和困难,于是依托数字化转型建设的大趋势。 客户需求 数据分散:旗下四大厂区均拥有独立的业务系统,系统厂商的不完全一致导致系统中数据结构、数据标准、流程流转方式均有或大或小的差异 缺乏深度分析:在数据应用层面大多基于 excel 实现 大数据量,数据时效性差:惠科股份系统多,子机构多,数据量庞大,受限于集团与子公司之间专线网络,总部看数据,层层汇总,时效性很差 解决方案 搭建集团的数据中心:帆软 FineData 分布式数据仓库,在存储上天然具备冷热分区、高压缩、列式存储等优势,加上多节点分布式计算的模式,能很好的应对当前数据处理的问题; 建设集团统一的数据调度中心:主要使用开源 Kettle 和帆软 FineDataLink 两款ETL 工具实现数据清洗和数据调度,并实现所有 job 和任务的相互备份,实现高可用; 建立集团统一的数据分析平台:FineReport 在中国式复杂报表和可视化多维分析层面,均能极大程度满足惠科至上而下所有层级员工的数据需求,并利用FineReport 的可集成性,增强企业数据能力。 正文开始前送大家一份《数据仓库建设解决方案》,本方案为帆软梳理的通用数据仓库解决方案,涵盖数仓建设的全流程服务,包括调研、需求梳理、建设规范、建模等等,展现了帆软在数仓搭建方面的数据平台、数据集成工具、报表展现和分析等能力。 扫描下方二维码即可免费获取! 数字化思路及规划: 统一的数据中心、数据分析平台、数据能力增强 数据中心建设是企业数字化转型的基础。统一规范系统中数据结构、数据标准、流程流转方式,在集团层需要使用数据时候,给一个统一的标准格式,避免大家因为数据格式不统一的问题,集团再加工处理,时效性低的问题,规范集团的数据格式,积累有效的数据资产。 另外,基于数据中心的构建,搭建统一的数据分析,加深业务场景分析能力,解决传统的数据分析受限于无适合业务发展的数据分析平台,在数据应用层面大多基于 excel 实现的低效问题,加速对业务数据的捕捉力,利用业务数据快速去做多维度,多指标的分析,辅助业务决策更高效。 数字化业务场景: 场景方案及落地过程 一、基于分布式数据仓库构建数据中心 关系型数据库无法支撑生产业务庞大的数据量,为了解决业务数据应用问题,搭建集团的数据中心,作为数据的统一出口,提升业务数据应用空间容量,加速数据时效性,并且基于数据中心,搭建集团统一的数据分析中心,实现多个层级,以及多种分析需求的敏捷分析,助力企业各层级决策效率的提升,对公司整体经营方向有明确的抓手,整体架构如下: 场景价值: 数据存储和处理层面,借助分布式数据仓库,在存储量、计算能力、性能上均得到了很大的提升。现阶段设计了 80TB的热数据量 +200TB 冷数据量存储能力,能很好支撑集团未来一定阶段的信息化发展; 数据实时性得到了很大的提升。基于分布式数仓实现了多厂区数据整合和关联,并实现数据分层建设,不同层级之间的数据通过 FineTube 平台进行流处理,将时延控制在毫秒级。对比以前亿级数据量大表的处理,效率上能从 1 小时提升到 3 秒,真正实现亿级数据秒级展现。 建设了从订单 - 采购 - 生产 - 质量 - 入库 - 发货 - 回款 - 售后全供应链数据分析体系。从传统的手工导数据 -excel加工,到现在登录系统一键查询,不仅仅提升了用户的工作效率,而且尤其是生产、质量、财务、人力等部门的用户均养成了主动关注数据的思维习惯。 二、通过 FineReport 搭建全流程预算管理平台 基于 FineReport 报表平台,灵活搭建符合企业实际应用场景以及实际业务现状的经营预实分析管理平台。 其中实现了包括打通从业务预算编制、到预算管控、预实对比、再到预算分析报告的全过程;覆盖生产、成本费用、销售、利润等全方位;以及涵盖了填报的业务端、审核调整的财务端、分析应用的决策管理端等全员参与的平台特点。 便捷的预算编制环节: 业务部门在编制业务计划或预算的时候,往往希望有历史数据做参考,同时能简化的地方尽量简化。 灵活的版本控制功能 : 预算编制的过程中往往不是一次就能完成,同时在编制预算的过程中还会有不同版本的预算数据的对比以及回溯的要求。这就需要对预算编制的维护、调整等过程进行任意版本的记录;当预算编制完成之后,会有对应版本的发布,选择完成并提交上报之后,系统会自动生成对应版本的利润预测表。 高效的预算执行跟踪: 当预算数据编制的足够细节且贴合业务的时候,就可以直接作为业务计划数据来跟踪监控业务实际的运转情况。针对费用、成本、原料等实际执行进度数据做及时的监控分析,一旦预算超出或者执行异常就会提前预警,避免严重超标的问题,做好过程费用控制。 实时的预实对比分析:通过预算平台的数据关联与分析功能,可以将系统中销售、售价、产量、代工等实际数据和预算数据进行实时地预实对比分析,针对差异较大的问题,可以通过多维数据分析进行原因分析和追溯,定位清楚异常点之后制定改善计划并跟进留档,保证同样问题尽量只出现 1 次或者是再出现的时候有之前的经验借鉴。 自动化的分析报告:通过预算平台的深度使用,财务人员对所有指标项的预算和实际数据分析后,可以结合维护的结论自动输出公司整体的利润报告和四个厂区的综合分析报告。 数字化建设心得与展望 在企业推进数字化进程中,各级系统在实现业务集成的同时,完成了数据的生产,提供了大量完备的基础数据。通过建立数据仓库,规范数据标准和统计口径,把零散分布于各个系统的数据进行整合,打破信息孤岛,构建企业数据中心,实现数据统一调度;当然,数据中心是长期的项目,不是一次性工程,建设过程中要充分考虑未来组织架构可能的调整方向以及未来业务发展方向,不断迭代,紧贴业务及组织环境做调整优化。 合适的工具能够大大提高数据分析的效率,想要体验FineReport工具的朋友,可以扫描下方二维码免费体验! 建立业务分析思维和环境,需要组织内部有目的的去设计,推进,需要管理者的重视,助力 IT 与业务的高效协同,而不仅仅是 IT 部门的工作。
瓮福集团:全面预算体系+报表自动化,实现财务数字化!
正文开始前,给大家推荐一个《财务战略决策分析解决方案》,本方案旨在通过先进的数据分析技术,为企业提供全面的财务战略决策支持。 扫描下方二维码即可免费下载完整PDF! 企业简介 瓮福(集团)有限责任公司是国家在“八五”“九五”期间为保障国家粮食安全、填补国内高浓度磷复肥空白而建设的全国五大磷肥基地之一,拥有全资、控股或实际控制公司44家,参股公司10家,员工6400余人。 公司先后荣获中国工业大奖表彰奖、贵州省省长质量奖、国家“AAAA级”标准化良好行为企业等荣誉,公司湿法净化磷酸产品荣获2018年度制造业单项冠军产品,是贵州唯一获此殊荣的企业。 财务需求 1、经营背景 在公司近几年产业高速发展、外部市场环境快速变化的大背景下,决策层对公司的经营管理、分析调度、决策规划需求日益增加,公司内部管理与行业外部监管对财务数据效率与质量要求更为严格。因此,财务部急需通过数字化转型重塑财务工作流程、提升数据处理效率、实现数字深度应用。 2、公司财务工作主要痛点 1)集团公司法人主体众多,控股结构复杂,财务信息传递慢 在财务传统的工作模式下,财务报表数据按照法人主体层层汇总、层层合并、层层抵消,当公司控股结构较为复杂,传统的财务数据传递方式会严重影响财务报表工作效率,法人结构处于上层的财务人员往往会出现工作等待、频繁沟通,同时如果在合并层面发现数据问题,还需要层层下查,最终导致月末财务部门出现大量的“表哥”、“表姐”。 2)化学反应生产工艺复杂,物料同质,耗用循环,成本分配与成本还原难 化工型企业生产工艺复杂、环节多样,物料具有同质性以及可替代性,工业水、电、气具有循环耗用特性,因此在成本分配以及还原过程中处理难度大,数据运算复杂程度高。 且传统的财务体系下成本分配算法需要逐级统计、逐级运算,造成数据维度损失,结果数据可利用性不强,没有充分发挥出数据的延展性、完整性,导致企业成本管理无法由浅入深。 3)供应链条复杂,物料跨组织调拨,财务对账难 集团公司纵向产业链布局深,企业内部上下游关系强,生产物料涉及跨组织调拨,且跨期处理对往来信息同步要求高,集团范围内财务对账、成本还原难度大,集团合并报表效率低,极大影响企业财务人员工作效率以及财务报表质量。 4)财务数据孤立,数据审核复杂,纠错成本高 公司财务数据孤立严重,各公司财务数据以本地数据方式存放,难以实现数据共享、数据效验,且数据传递只能通过文件传输方式。对于数据错误无法做到及时发现、及时纠正,需要人工反复修改、反复传递,耗时耗力。 5)财务数据分析应用薄弱,数据时效性差 财务数据分析应用层面薄弱,集团整体数据量庞大,但未实现数据分析、展示以及大数据应用,业务机构、财务机构未能快速获得数据的价值反馈,数据灵敏度和感知度较差。同时集团数据缺乏统一的来源与口径,导致公司数据分析存在“手表效应”,增加了人工数据核对、查验工作。 因此,为解决数据汇总、运算、分析、应用等痛点,公司需引入一套完整的数据应用软件以及数据处理服务中间件,以实现数据集成、数仓搭建、数据集市以及可视化应用,同时具备数据的动态交互展示,并且支持自主开发、需求迭代,以此推动集团整体数字化建设工作。 财务数字化转型思路与方案 基于企业当前数字建设现状与财务管理工作痛点,集团财务部门提出了三年财务数字化转型建设方案,主要围绕以下三方面开展: 1、企业数据标准化建设 数据标准化建设是财务数字化转型的基础。在集团数字化转型背景下,财务部门深入参与集团数据治理工作,站在财务管理视角,盘点相关的信息化系统和业务流程,理清各方数据需求,摸清现有数据真实情况,会同信息化部与其他业务部门共同推进数据标准体系的建立,逐步建立起覆盖各信息系统输入、处理、输出等各环节的、健全的数据标准,形成较为完整的企业数据标准体系。 2、企业数据中枢构建 利用数据中台工具搭建符合企业特色的数据中枢。数据中枢总体架构由以下三层组成: 企业数据中枢架构 1)数据中枢底层 底层由管理台账和业务台账(以下合称“台账”)构成,主要实现数据采集和数据初步标准化的功能。台账根据一定的数据标准规范汇集企业内外部的所有数据,数据来源可选择手工录入或系统自动采集,主要取决于企业各种管理或各类业务的信息化、数字化程度。 对于信息化程度不高的管理或业务,利用台账取代原有的手工台账,实现数据在同类业务中的标准统一,打破“信息孤岛”,以满足后续数据分析的需求。同时,台账的建立也有助于该类管理或业务更好的实现信息化。对于已经通过信息化系统开展的管理或业务,台账作为信息化系统的数据承载,将各系统数据自动传递至数据中枢。 台账是数据中枢与信息系统之间的桥梁,它与企业各管理类系统及业务类系统相互兼容,相互补充。该方式能够满足不同信息化程度的管理或业务,实现与各类管理、业务数据的双向传递和信息互通。 2)数据中枢中层 中层是数据治理的核心。通过数据中台工具为中心、其他信息化子系统为辅助对数据进行加工处理。具体内容包括对数据进行清洗加工,采取剔除重复数据、填补空值、处理异常数据等多种策略来修正数据,得到高质量、可利用的数据,实现多源异构数据的聚合与联接,同时结合管理需求,提取数据指标,搭建好用、易用、可复用的指标库。 需特别注意的是,我们摒弃将所有原始数据采集至数据中台后,再对数据做清洗治理的传统方式,而是充分利用各信息化子系统的数据处理优势,将该工作应前置至各子系统,确保台账采集到的数据可见、可懂、可用,具备一定的标准化基础。 3)数据中枢顶层 顶层由数据分析模型构成,主要实现数据价值的深度挖掘。通过财务数据分析模型及智能算法技术,形成瓮福特色的模型工厂,面对内部管理决策和外部监管要求时,可以做到按需开箱即用。 3、企业信息生态体系搭建 通过“新”共享理念+机器人工具实现数据标准化建设,以数据中枢为核心,连接企业内部所有信息化子系统,攫取外部可用数据,打造数据分析模型工厂,结合各类前端可视化应用,探索构建企业管理信息生态系统,实现瓮福集团财务数字化成功转型。 企业管理信息生态系统 瓮福集团企业管理信息生态系统并非某个特定的信息化系统,它是大型的复杂的综合信息化系统集群。在这个系统集群中,数据准确、及时、高效的流转显得尤为重要。传统的系统集成方式是点对点的技术架构,想要实现数据的流转,需开发如蜘蛛网般繁杂的接口。数据中台则采用数据总线方式,实现数据的单向流转,所有系统数据均传递至数据中台后进行处理。 瓮福集团企业管理信息生态系统中的数据中枢则采用创新的网状连通方式融合各个系统,构建系统生态化。通过这种新的连通方式,可以解耦各个信息系统内部的强连接,在系统的灵活性与规范性之间取的平衡,灵活应对业务扩展,同时它能够实现数据的跨系统双向传递,使得数据能够在任意系统间顺畅流转,系统集成生态更清晰、稳定和易于运维。 数据集成方式对比   业务场景:全面预算管理系统搭建 1、基于FineReport搭建企业全面预算管理系统 全面预算是企业运营、投资、融资管理的核心,标志着企业未来的战略目标和经营决策。集团传统全面预算编制工作采用业务部门填列业务计划,财务部门编制单体预算报表并逐级合并的方式开展,这种模式下全面预算工作主要存在: 各层级预算数据不共享,数据编制均基于线下EXCEL表格,数据汇总工作量大; 各法人主体预算编制规则不统一,预算质量取决于各级财务人员预算水平; 预算编制时效性差,编制效率低下,沟通成本高,平均编制预算全集团所有财务人员总共需耗时80人天以上; 预算数据应用水平差,预算编制结果缺乏多维度分析依据数据层次钻取,领导决策等待时间长,数据反复确认耗时耗力。 为了解决传统全面预算编制工作痛点,集团基于FineReport报表填报、展示功能以及ETL数据处理相结合的方式,通过对会计报表编制流程中数据运算逻辑梳理,构建集计划填报、产销平衡、成本分配、成本还原、现金平衡、预算报表自动生成、预算执行分析为一体的全面预算管理系统。系统架构如下: 全面预算管理系统 2、填报平台搭建 全面预算交互层主要采用帆软FineReport行式填报功能,主要用于采集预算年度生产经营计划,主要包括生产计划、销售计划、物料价格、物流线路、部门费用、投资计划等,交互填报界面具备快速填充、批量导入功能;主要解决业务单位批量化操作,提高填报效率,同时系统设置数据结转功能,能快速实现上年预算、上一版本预算数据同步生成,从而优化填报界面用户体验感,避免预算从零开始。 系统界面展示如下: 生产装置产能档案 销售计划填报界面 工程项目投资计划填报界面 3、产销平衡自动化 全面预算系统通过自主整理的集团产销平衡规则,基于物料清单和多源采购规则,实现自动化物料平衡,在录入生产计划、销售计划的过程中,系统自动化生产公司物料消耗计划、采购计划、调拨计划,实现全自动物料平衡,极大减少传统预算编制模式下的人员工作量、同时最优平衡算法也实现了预算层面资源配置优化。 产销平衡表 4、成本分配模块建设 全面预算管理系统可实现多套成本中心、成本分配方案配置,可灵活实现不同成本方案下的成本分配计算,以及不同方案下的成本分配结果对比。同时基于成本中心、分配方案建设,系统自动进行成本分配,同时基于自主研发的成本还原算法,实现成本还原一还到底,运算速度快,且数据还原到具体明细,数据维度不缺失,充分确保还原数据有极强的拓展性,满足与后期各种场景的应用适配。 成本分配方案控制台 成本中心与对象关系填报界面 成本中心分摊方式维护界面 5、现金预算平衡与筹融资规划 集团财务部通过对企业历史现金收支数据进行统计分析,得到各个业务类型在时间维度上的分布函数以及票据收付比例,同时结合新一年度的产供销费及投资计划的业务预算数据,将年度预算进行月度分解,得到集团十二个月份现金与票据的收支预测数。同时在对历史收支数据按照各种维度进行动因分析后,制定最有利于企业经济效益的收付款计划,做到企业现金应收尽收,应现尽现。 在完成企业外部现金收支平衡后,集团财务部基于集团现金和票据收支平衡表,统筹平衡内部法人主体之间内部现金收支计划和票据收付比例,避免企业内部出现个别单位票据盈余,个别单位票据短缺,减少集团整体开票金额,增加集团票据使用效率,降低财务费用。 同时,在现金平衡端,集团通过对历史融资数据进行多维度分析,寻找融资成本在机构、品种、期限、地域等不同维度下的比较优势,并基于集团现金平衡表,合理安排企业最优融资计划,充分发挥企业融资优势特性,提高现金使用效率,合理保障企业现金流风险,做到风险收益最优平衡。 集团公司通过充分发挥数据价值,指导预算编制最优化,实现全年财务费用下降至少2000万元,从真正意义上实现企业管理价值化。 现金预算平衡表 6、财务报表自动化生成 通过企业生产经营业务数据填报、成本自动分配、产销平衡和会计报表规则等模块的搭建,最终在数据输出端实现自动化财务预算报表生成,同时实现数据上下联动、实时更新,并且报表输出层面可实现单体报表、合并报表同步查询。系统搭建极大提高财务部门在预算报表编制工作中的效率,统一了集团报表编制规则,初步实现全面预算管理板块的数字化转型工作。 预算利润报表 通过全面预算系统平台搭建,财务部门预算编制工作由原来的全集团总共80人天下降至3人天,集团层面可以实现预算变量的统筹配置、安排,真正意义上实现企业各种要素统筹优化配置,并且集中管控和共享的预算管理模式也极大的减少了公司各层级人员之间的沟通成本。同时,标准化的数据存储为全面预算分析应用、执行控制提供了有利保障,从真正意义上实现了预算控制到个人、预算执行到部门、预算分析到全局的全面预算管理体系。 以上几项关键分析实践就是运用FineReport带来的结果,想要体验FineReport工具的朋友,可以扫描下方二维码免费体验! 总结与展望 在数字化背景下,财务部门作为企业天然的数据中心,更需要通过运用云计算、大数据等技术来重构财务组合和再造业务流程,提升财务数据质量和财务管理效率,更好地赋能业务、辅助经营和支撑管理决策。 基于集团全面预算管理系统成功建设的背景下,公司将进一步深入探索财务数字化转型之路,在充分利用企业ERP系统、帆软报表平台以及ETL、数据仓库、数据中台等各类技术手段,进一步围绕集团财务共享中心系统架构蓝图,开发具有瓮福特色的财务共享中心管理系统,最终实现企业数据管理生态体系,充分创造企业数据价值。 企业财务共享中心系统架构蓝图
国家数据局:数据领域名词官方定义解读
自国家数据局成立以来,随着数据产业热潮的关注升温,推动国内数据市场迎来显著增长。同时也迎来要学会鉴别行业信息的真伪和价值,避免被虚假信息和解读误导。 在2024年,国家发改委、国家数据局及联合各部门在各个领域(人工智能、新型信息基础设施、智算中心、超算中心、东数西算、数据要素、数据领域、数据基础设施、可信数据空间、区块链、隐私计算等)做了相关名词的官方定义解读,以便新入者和行业人士更清晰的定位 。 正文开始前,给大家推荐一个《让数据成为生产力6.0》,本资料收录了帆软标杆用户在企业决策、流程优化、产品创新、市场拓展等方面的最新应用实践,更揭示了数据生产力对于提升企业核心竞争力的重大意义。 扫描下方二维码即可免费下载完整PDF! “国家数据局” 41个数据领域名词官方释义 10月21日,国家数据局就《数据领域名词解释》向社会公开征求意见。该文件对数据资源、数据要素、数据产品、数据资产、数据交易、公共数据、数据仓库、数据湖、隐私计算、多方安全计算、区块链等数据领域名词给出了官方释义。 1.数据 指任何以电子或其他方式对信息的记录。数据在不同视角下表现为原始数据、衍生数据、数据资源、数据产品、数据资产、数据要素等形式。 2.原始数据  指初次或源头收集的、未经加工处理的数据。 3.数据资源  指具有使用价值的数据,是可供人类利用的新型资源。 4.数据要素 指能直接投入到生产和服务过程中的数据,是用于创造经济或社会价值的新型生产要素。 5.数据产品  指基于数据加工形成的,可满足特定需求的数据加工品和数据服务。 6.数据资产  指特定主体合法拥有或者控制的,能进行货币计量的,且能带来直接或者间接经济利益的数据资源。 7. 数据要素市场化设置 指通过市场机制来配置数据这一新型生产要素,旨在建立一个更加开放、安全和高效的数据流通环境,不断释放数据要素价值。 8.数据处理    包括数据的收集、存储、使用、加工、传输、提供、公开、删除等活动。 9.数据处理者   指在数据处理活动中自主决定处理目的和处理方式的个人或者组织。 10.受托数据处理者  指接受他人委托处理数据的个人或者组织。 11.数据流通  指数据在不同主体之间流动的过程,包括数据开放、共享、交易、交换等。 12.数据交易   指数据供方和需方之间进行的,以数据或者数据各类形态为标的的交易行为。  13.数据交互    指主体之间以数据的形式进行交流和协作的过程。 14.数据治理   指提升数据的质量、安全、合规性,推动数据有效利用的过程,包含组织数据治理、行业数据治理、社会数据治理等。 15.数据安全   指通过采取必要措施,确保数据处于有效保护和合理利用的状态,以及具备保障持续安全状态的能力。 16.公共数据  指各级党政机关、企事业单位依法履职或提供公共服务过程中产生的数据。 17.数字产业化    指新一代移动通信、人工智能等数字技术向数字产品、数字服务转化,数据向资源、要素转化,形成数字新产业、新业态、新模式的过程。  18.产业数字化    指传统的农业、工业、服务业等产业通过应用数字技术、采集融合数据、挖掘数据资源价值,提升业务运行效率,降低生产经营成本,进而重构思维认知,整体性重塑组织管理模式,系统性变革生产运营流程,不断提升全要素生产率的过程。 19.数字经济高质量发展     围绕加快培育新质生产力,以数据要素市场化配置改革为主线,协同完善数据基础制度和数字基础设施,全面推进数字技术和实体经济深度融合,持续提升数字经济治理能力和国际合作水平,实现数字技术革命性突破、数据要素创新性配置、传统产业数字化转型和适数化改革,通过数字经济创新发展赋能经济社会高质量发展。 20.数字消费    指数字新技术、新应用支撑形成的消费活动和消费方式,既包括对数智化技术、产品和服务的消费,也包括消费内容、消费渠道、消费环境的数字化与智能化,还包括线上线下深度融合的消费新模式。 21.产业互联网    指利用数字技术、数据要素推动全产业链数据融通,赋能产业数字化、网络化、智能化发展,推动业务流程、组织架构、生产方式等重组变革,实现产业链上下游协同转型、线上线下融合发展、全产业降本增效与高质量发展,进而形成新的产业协作、资源配置和价值创造体系。 22.城市全域数字化转型    指城市以全面深化数据融通和开发利用为主线,综合利用数字技术应用和制度创新工具,实现技术架构重塑、城市管理流程变革和产城深度融合,促进数字化转型全领域增效、支撑能力全方位增强、转型生态全过程优化的城市高质量发展新模式。 23.“东数西算”工程 是把东部地区经济活动产生的数据和需求放到西部地区来计算和处理,对数据中心在布局、网络、电力、能耗、算力、数据等方面进行统筹规划的重大工程,比如人工智能模型训练推理、机器学习等高时延业务场景,可以通过“东数西算”的方式让东部业务向西部风光水电丰富的区域迁移,实现东西部协同发展。加快推动“东数西算”工程建设,将有效激发数据要素创新活力,加速数字产业化和产业数字化进程,催生新技术、新产业、新业态、新模式,支撑经济高质量发展。 24.高速数据网    指面向数据流通利用场景,依托网络虚拟化、软件定义网络(SDN)等技术,提供弹性带宽、安全可靠、传输高效的数据传输服务,具有高带宽、低延迟、高可靠性、高安全性、可扩展性、灵活性等特点。 25.全国一体化算力网    指以信息网络技术为载体,促进全国范围内各类算力资源高比例、大规模一体化调度运营的数字基础设施。作为“东数西算”工程的2.0版本,具有集约化、一体化、协同化、价值化四个典型特征。 26.元数据    关于数据或数据元素的数据(可能包括其数据描述),以及关于数据拥有权、存取路径、访问权和数据易变性的数据。 27.结构化数据   一种数据表示形式,按此种形式,由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。 28.半结构化数据    不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层的一种数据化结构形式。 29.非结构化数据    指不具有预定义模型或未以预定义方式组织的数据。 30.数据分析    指利用技术手段,对数据进行分析,发挥数据作用、释放数据价值的过程。 31.数据挖掘    是数据分析的一种手段,是从大量数据中通过算法搜索隐藏于其中信息的过程。 32.数据可视化    指将数据以图表、图形、地图等可视化形式展示,以便更好地理解和分析数据。 33.数据仓库    指一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,通常用于支持企业或组织的决策分析处理。 34.数据湖    指一种高度可扩展的数据存储架构,它专门用于存储大量原始数据,这些数据可以来自各种来源并以不同的格式存在,包括结构化、半结构化和非结构化数据。 35.湖仓一体    指一种新型的开放式的存储架构,打通了数据仓库和数据湖,将数据仓库的高性能及管理能力与数据湖的灵活性融合起来,底层支持多种数据类型并存,能实现数据间的相互共享,上层可以通过统一封装的接口进行访问,可同时支持实时查询和分析,为企业进行数据治理带来了更多的便利性。 36.隐私计算    指在保证数据提供方不泄露原始数据的前提下,对数据进行分析计算的一类信息技术,保障数据在产生、存储、计算、应用、销毁等数据流转全过程的各个环节中“可用不可见”。隐私计算的常用技术方案有多方安全计算、联邦学习、可信执行环境、密态计算等;常用的底层技术有混淆电路、不经意传输、秘密分享、同态加密等。 37.多方安全计算   指在无可信第三方的条件下,通过特殊设计的密码学算法和协议,允许多个参与方在不泄露各自隐私数据的前提下,协同完成计算任务。 38.联邦学习    指多个参与方在不共享原始数据的情况下协作完成机器学习任务的方法。 39.可执行环境    指提供基于硬件级的系统隔离和可信根,支持基于技术信任的数据安全保障能力,保证在安全区域内部加载的代码和数据在保密性和完整性方面得到保护。 40.密态计算   指通过综合利用密码学、可信硬件和系统安全的可信隐私计算技术,其计算过程实现数据可用不可见,计算结果能够保持密态化,以支持构建复杂组合计算,实现计算全链路保障,防止数据泄漏和滥用。 41.区块链    指使用密码链接将共识确认的区块按顺序追加形成的分布式账本。  “国家数据局” 数据基础设施领域相关名词官方释义 11月22日,国家数据局发布了《国家数据基础设施建设指引(征求意见稿)》,《指引》针对国家数据基础设施、隐私保护计算、区块链、数据使用控制、可信数据空间、数场、数联网、数据元件、数据安全技术等名词作了官方释义。 1. 国家数据基础设施概念内涵 纵观人类经济发展史,每一轮产业变革都会孕育新的基础设施。农业经济时代,基础设施主要是农田水利设施。工业经济时代,公路、铁路、港口、机场、电力系统等成为新的基础设施。数字经济时代,网络设施、算力设施、应用设施等构建了数字基础设施。当前,数据成为关键生产要素,催生新的技术—经济范式,重塑产业发展方式,推动数字基础设施向数据基础设施延伸和拓展。建设和运营国家数据基础设施,进一步促进数据“供得出、流得动、用得好、保安全”,对于支撑数据基础制度落地、构建全国一体化数据市场、培育发展新质生产力具有重要意义。 国家数据基础设施是从数据要素价值释放的角度出发,面向社会提供数据采集、汇聚、传输、加工、流通、利用、运营、安全服务的一类新型基础设施,是集成硬件、软件、模型算法、标准规范、机制设计等在内的有机整体。国家数据基础设施在国家统筹下,由区域、行业、企业等各类数据基础设施共同构成。网络设施、算力设施与国家数据基础设施紧密相关,并通过迭代升级,不断支撑数据的流通和利用。 2. 数据流通利用技术 在数据流通利用领域,目前常用的技术路线主要包括隐私保护计算、区块链、数据使用控制等。 (1)隐私保护计算 隐私保护计算指在保证数据提供方不泄露原始数据的前提下,对数据进行分析计算的一类信息技术,保障数据在产生、存储、计算、应用、销毁等数据流转全过程的各个环节中“可用不可见”。隐私保护计算的常用技术方案有安全多方计算、联邦学习、可信执行环境、密态计算等;常用的底层技术有混淆电路、不经意传输、秘密分享、同态加密等。 (2)区块链 区块链是分布式网络、加密技术、智能合约等多种技术集成的新型数据库软件,具有多中心化、共识可信、不可篡改、可追溯等特性,主要用于解决数据流通过程中的信任和安全问题。 (3)数据使用控制 数据使用控制是指在数据的传输、存储、使用和销毁环节采用技术手段进行控制,如通过智能合约技术,将数据权益主体的数据使用控制意愿转化为可机读处理的智能合约条款,解决数据可控的前置性问题,实现对数据资产使用的时间、地点、主体、行为和客体等因素的控制。 3. 数据流通利用实践方案 在数据流通利用领域,目前业界的实践方案主要包括可信数据空间、数场、数联网、数据元件等。 (1)可信数据空间 可信数据空间是指数据资源开放互联、可信流通的一类数据流通利用设施,其以数据使用控制为核心,以连接器为技术载体,以实现数据可信交付,保障数据流通中“可用不可见”“可控可计量”为目标,具备数据可信管控、资源交互、价值创造三大核心能力。  可信数据空间架构图 (2)数场 数场是依托开放性网络及算力和隐私保护计算、区块链等各类关联功能设施,面向数据要素提供线上线下资源登记、供需匹配、交易流通、开发利用、存证溯源等功能,支持多场景应用的一种综合性数据流通利用设施。以高效流通、价值释放、繁荣生态为核心,实现数据可见、可达、可用、可控、可追溯,具备开放性、融合性、扩展性等特点。 数场从点、线、面、场、安全五个维度构建标准化技术框架。点是数据主体进入数场的接入点。线是数场内连接各主体、各平台的数据高速传输网,实现数场内各主体之间的互联互通。面是数场中数据主体、传输网络的集合,是实现数据大规模流通、高效安全利用的核心。由点到线、由线到面构成数场基础设施。场是基于数场基础设施构建的数据应用、场景化创新,以及相关能力、流程、规范的统称。安全是覆盖点、线、面、场的动态全流程保护措施。数场在技术架构上包括接入点、功能平台、管理平台、安全保障、网络传输等基础服务平台。 数场功能架构图 (3)数联网 数联网由数据流通接入终端、数据流通网络、数据流通服务平台构成,提供一点接入、广泛连接、标准交付、安全可信、合规监管、开放兼容的数据流通服务。 数联网功能架构图 (4)数据元件 数据元件提供统一标准、自主可控、安全可靠、全程监管的数据存储和加工服务,支持采用标准化工序完成数据产品规模化加工、生产和再利用,适用于大规模数据加工和生产场景。数据元件作为连接数据供需两端的“中间态”,将原始数据与数据应用“解耦”,基于数据元件相关组件,实现从数据归集到数据元件加工交易全生命周期的数据要素开发和管控。 4. 数据安全技术 数据安全技术为数据收集、存储、处理、传输、共享和销毁等全生命周期提供安全保障,包括数据备份与恢复、应用数据加密、数据泄露检测、流转监测、身份认证与访问控制、数据脱敏、数据水印、数据安全态势感知等。 “国家数据局” 可信数据空间领域23个名词官方定义 11月22日,国家数据局发布了《可信数据空间发展行动计划(2024—2028年)》,《行动计划》对可信数据空间、隐私计算、密态计算、数据沙箱、数据价值评估模型、智能合约、数据标识等23 个可信数据空间相关名词作了官方释义。 1.可信数据空间 可信数据空间是基于共识规则,联接多方主体,实现数据资源共享共用的一种数据流通利用基础设施,是数据要素价值共创的应用生态,是支撑构建全国一体化数据市场的重要载体。可信数据空间须具备数据可信管控、资源交互、价值共创三类核心能力。本文件所称可信数据空间、数据空间、空间的含义相同。 可信数据数据空间能力视图 2.可信管控能力 可信数据空间核心能力之一,支持对空间内主体身份、数据资源、产品服务等开展可信认证,支持对数据流通利用全过程动态管控,支持实时存证和结果追溯。 3.资源交互能力 可信数据空间核心能力之一,支持不同来源数据资源、产品和服务在可信数据空间的统一发布、高效查询、跨主体互认,实现跨空间的身份互认、资源共享和服务共用。 4.价值共创能力 可信数据空间核心能力之一,支持多主体在可信数据空间规则约束下共同参与数据开发利用,推动数据资源向数据产品或服务转化,并保障参与各方的合法权益。 5.可信数据空间运营者 在可信数据空间中负责日常运营和管理的主体,制定并执行空间运营规则与管理规范,促进参与各方共建、共享、共用可信数据空间,保障可信数据空间的稳定运行与安全合规。可信数据空间运营者可以是独立的第三方,也可以由数据提供方、数据服务方等主体承担。 6.数据提供方 在可信数据空间中提供数据资源的主体,有权决定其他参与方对其数据的访问、共享和使用权限,并有权在数据创造价值后,根据约定分享相应权益。 7.数据使用方 在可信数据空间中使用数据资源的主体,依据与可信数据空间运营者、数据提供方等签订的协议,按约加工使用数据资源、数据产品和服务。 8.数据服务方 在可信数据空间中提供各类服务的主体,包括数据开发、数据中介、数据托管等类型,提供数据开发应用、供需撮合、托管运营等服务。 9.可信数据空间监管方 指履行可信数据空间监管责任的政府主管部门或授权监管的第三方主体,负责对可信数据空间的各项活动进行指导、监督和规范,确保可信数据空间运营的合规性。 10.数据生态体系 空间参与各方依据既定规则,围绕数据资源的流通、共享、开发、利用开展价值共创的生态系统,包括数据提供方、数据使用方、数据服务方、可信数据空间运营者等主体。 11.使用控制 一种可信管控技术,通过预先设置数据使用条件形成控制策略,依托控制策略实时监测数据使用过程,动态决定数据操作的许可或拒绝。 12.隐私计算 一种可信管控技术,允许在不泄露原始数据的前提下进行数据的分析和计算,旨在保障数据在产生、存储、计算、应用、销毁等数据流转全过程的各个环节中“可用不可见”。隐私计算的常用技术方案有多方安全计算、联邦学习、可信执行环境、密态计算等。 13.数据沙箱 一种可信管控技术,通过构建一个应用层隔离环境,允许数据使用方在安全和受控的区域内对数据进行分析处理。 14.密态计算 通过综合利用密码学、可信硬件和系统安全的可信隐私计算技术,其计算过程实现数据可用不可见,计算结果能够保持密态化,以支持构建复杂组合计算,实现计算全链路保障,防止数据泄漏和滥用。 15.智能合约 基于计算机协议的合同形式,以信息化方式传播、验证和执行,支持无需第三方的可信交易,确保交易的可追踪性和不可逆转性。 16.数据标识 一种资源互通技术,通过为数据资源分配唯一标识符,实现快速准确的数据检索和定位,实现数据全生命周期的可追溯性和可访问性。 17.语义发现 一种资源互通技术,通过自动分析理解数据深层含义及其关联性,实现不同来源和类型数据的智能索引、关联和发现。 18.元数据智能识别 一种资源互通技术,将元数据从一种格式转换为另一种格式,包括并不限于对数据的属性、关系和规则进行重新定义,以确保数据在不同系统中的一致性和可理解性。 19.数据价值评估模型 一种从多维度衡量数据价值的算法模型,综合考虑数据的质量、来源、用途等因素,评估数据对业务经济效益的影响。 20.共性服务 可信数据空间的共性功能需求,可以提供通用化的服务,包括并不限于接入认证、可信存证、资源目录等功能,适宜统一建设。 21.接入认证 一种可信数据空间共性服务,按照统一标准,对接入可信数据空间的主体、技术工具、服务等开展能力评定,确保其符合国家相关政策和标准规范要求。 22.可信存证 一种可信数据空间共性服务,保存数据流通全过程信息被记录并不可篡改,为清算审计、纠纷仲裁提供电子证据,确保全过程行为可追溯。 23.资源目录 一种可信数据空间共性服务,按照统一接口标准建设,提供数据、服务等资源的发布与发现能力。可同时被多个可信数据空间使用。  发改委官方定义: 什么是人工智能+,数据要素×, 新质生产力,新型数据基础设施, 公共数据资源开发利用 《2023年国民经济和社会发展计划执行情况与2024年国民经济和社会发展计划草案》提请十四届全国人大二次会议审查。草案明确定义了将在未来影响我国经济与社会发展的关键词及其内涵诠释,从而为规划我国经济蓝图和社会发展方向提供了有力指导和依据,本文摘取了9个数据要素相关的名词。 1.全国统一大市场 是指在全国层面强化市场基础制度规则统一、推进市场设施高标准联通、打造统一的要素和资源市场、推进商品和服务市场高水平统一、推进市场监管公平统一以及进一步规范不当市场竞争和市场干预行为,打破地方保护和市场分割,打通制约经济循环的关键堵点,破除各种封闭小市场、自我小循环,促进商品要素资源在更大范围内畅通流动,进而形成高效规范、公平竞争、充分开放的强大市场。 2.科技创新2030一重大项目 是党中央、国务院面向长远决策部署的一批体现国家战略意图的重大科技项目。通过实施项目,探索社会主义市场经济条件下科技创新的新型举国体制,完善重大项目组织模式,在战略必争领域抢占未来竞争制高点,开辟产业发展新方向,为提高国家综合竞争力、保障国家安全提供强大支撑。2016年,“十三五”规划《纲要》将航空发动机及燃气轮机、量子通信与量子计算、脑科学与类脑研究等项目列入科技创新2030一重大项目,并按照“成熟一项、启动一项”的原则,分批次有序启动实施。 3.新型基础设施 是以信息网络为基础,以技术创新为驱动,提供数字转型、智能升级、融合创新等方面的基础性、公共性服务,其内涵随着新技术的成熟应用而不断拓展。当前主要包括三类:一是信息基础设施。主要是指基于新一代信息技术演化生成的基础设施,包括5G网络、数据中心等基础设施。二是融合基础设施。主要是指深度应用信息技术,促进传统基础设施转型升级,进而形成的基础设施新形态,包括智能交通物流设施等。三是创新基础设施。主要是指支撑科学研究、技术开发、产品及服务研制的基础设施,包括科学研究设施等。 4.公共数据资源开发利用 是指对公共机构依法履职或提供公共服务过程中产生的数据进行加工处理再利用的过程。主要包括政务数据共享、公共数据开放、公共数据授权运营三种方式。 5.数字经济伙伴关系协定 是指2020年6月由新加坡、新西兰和智利共同以电子方式签署的数字经济协定,目前已在三国之间生效。协定共16章、96条,涵盖很多与数字经济相关的定义、原则、规则及合作内容,如商业和贸易便利化、数字产品待遇及相关问题、数据问题、商业和消费者信任、数字身份、新兴趋势和技术、数字包容性、透明度等。2021年11月1日,中国正式申请加入协定。2022年8月18日,中国工作组成立,开启加入谈判进程。 6.新质生产力 新质生产力是创新起主导作用,摆脱传统经济增长方式、生产力发展路径,具有高科技、高效能、高质量特征,符合新发展理念的先进生产力质态。它由技术革命性突破、生产要素创新性配置、产业深度转型升级而催生,以劳动者、劳动资料、劳动对象及其优化组合的跃升为基本内涵,以全要素生产率大幅提升为核心标志,特点是创新,关键在质优,本质是先进生产力。绿色发展是高质量发展的底色,新质生产力本身就是绿色生产力。 7.“人工智能+”行动  “人工智能+”行动推动人工智能技术与经济社会各领域深度融合,支撑各行业应用创新,赋能百业智能化转型升级,提高生产效率,激发创新活力,重塑产业生态,培育经济发展新动能,形成更广泛的以人工智能为创新要素的经济社会发展新形态。 8.东数西算 2022年,按照党中央、国务院部署,围绕落实国家重大区域发展战略,根据能源结构、产业布局、市场发展、气候环境等情况,在京津冀、长三角、粤港澳大湾区、成渝,以及内蒙古、贵州、甘肃、宁夏等地布局建设国家算力枢纽节点,发展数据中心集群,引导数据中心集约化、规模化、绿色化发展。“东数西算”工程是在全国一体化统筹布局算力基础设施建设,有利于充分发挥我国体制机制优势,优化算力资源配置,深化东西部算力协同。 9.“数据要素×”行动 是指聚焦重点行业和领域,推动数据要素与劳动力、资本、技术等要素协同,促进数据多场景应用、多主体复用,加快多元数据融合,提高全要素生产率,开辟经济增长新空间,培育经济发展新动能。 “工信部”等11部门联合 新型基础设施、智算中心、超算中心、 人工智能基础设施等9个名词官方解释 工业和信息化部、中央网信办、教育部、财政部、自然资源部、住房城乡建设部、农业农村部、国家卫生健康委、中国人民银行、国务院国资委、中国国家铁路集团有限公司等十一部门联合印发《关于推动新型信息基础设施协调发展有关事项的通知》(以下简称《通知》),部署推动新型信息基础设施协调发展。 在《通知》的附件里,对什么是新型基础设施、智算中心、超算中心、人工智能基础设施等9个名词作了官方解释。 1.“新型信息基础设施 新型信息基础设施主要包括5G网络、光纤宽带网络、骨干网络、国际通信网络、卫星互联网等网络基础设施,数据中心、通用算力中心、智能计算中心、超算中心等算力基础设施,人工智能、区块链、量子计算等新技术设施。随着新通用技术的产生和推广应用,新型信息基础设施形态会更加丰富多样。 2.智算中心 智算中心,即人工智能计算中心,是基于人工智能理论,采用人工智能计算架构,提供人工智能应用所需算力服务、数据服务和算法服务的一类算力基础设施。 3.超算中心 超算中心,即超算数据中心,是基于超级计算机或者是大规模的计算集群的数据中心,能够提供大规模计算、存储和网络服务等功能,广泛应用于航天、国防、石油勘探、气候建模和基因组测序等应用场景。 4.边缘数据中心 边缘数据中心是一种新型的数据中心形式,位于网络边缘,介于用户端和集中式云数据中心之间,旨在减少数据传输距离和时间,提高数据处理速度和效率,具有规模小、部署位置灵活、计算和存储能力本地化等特点。 5.新技术基础设施 新技术基础设施是基于新技术形成的基础设施形态的统称,现阶段包括人工智能、区块链、量子信息等设施。 6.人工智能基础设施 人工智能基础设施是人工智能技术推广普及过程中形成的一类新型基础设施,包括支持开发的人工智能算法框架、面向应用的人工智能算法平台和公共服务平台、用于算法模型训练的公共数据集等形态。 7.区块链基础设施 区块链基础设施是区块链技术和理念工程实践的具体形态,包括支持开发的区块链开源底层技术平台、由公共链网、跨链系统组成的网络服务设施、面向区域或行业应用的区块链公共服务平台等形态。 8.量子计算云平台 量子计算云平台是一种在线提供量子计算资源和工具的云计算平台,用户能够便捷的利用量子计算进行计算任务。 9.新型互联网交换中心 新型互联网交换中心是实现网络之间流量集中交换的国家级信息基础设施,是互联网网络架构的关键环节。
为什么大数据和数据中台“落寞”了?
曾经很火现在却很少被提及的话题——大数据和数据中台。记得几年前,这两个词可是IT圈的宠儿,但现在似乎有点“落寞”了。那么,为啥现在大家都不怎么讨论它们了呢?未来数据的发展方向又在哪儿? 正文开始前,给大家推荐一个《让数据成为生产力6.0》,本资料收录了帆软标杆用户在企业决策、流程优化、产品创新、市场拓展等方面的最新应用实践,更揭示了数据生产力对于提升企业核心竞争力的重大意义。 扫描下方二维码或点击文末阅读原文链接即可免费下载完整PDF!  “大数据”为何谈的越来越少? 在最近做数字化项目的过程中,不管是和客户交流还是看一些项目的技术方案,都发现有一个曾经很火的概念,突然很少出现了。 不错,这个概念就是“大数据”(Big Data)。 大数据这个词曾经引领了数字化转型的第一波潮流,让人们觉得数据中蕴含着大量的宝藏。对于数据来说,the more, the better,几乎成为行业铁律。暂且不谈那个经典的“啤酒尿布”的例子,光5V这个概念就已经成为千万数字化厂商的坚定价值信条。于是,很多技术创业项目开始沉迷于对海量数据进行收集和开发,大规模地投入到建设算力中心,建设存储中心,打造监测平台等事项中。 然而,在实践过程中,人们发现“大数据”的价值远远没有达到预期的水平,就像互联网出现的早期一样,人们开始满怀期待,但是并不知道如何变现……仅仅追求数据的规模,并不会让人们从中得到更多的“实惠”。同时,由于数据质量良莠不齐,与业务相关性差,导致“大浪淘金”的数据分析模式,浪费了大量的人力物力。 “大数据中,蕴含了跨业务、跨场景的用户商业洞察,有利于精准决策和业务创新。” 这句话虽然是大数据精神的内核,但是并不好落地。绝大多数企业,只掌握供应链上的一个环节,很难做到跨域关联。如果想通过整合厂商的数据资源来开拓新场景,数据服务成本以及和数据服务关联的商务成本,都是不可低估的。 因此,大数据的实践思路一般只适合互联网原生企业,因为这些企业更容易从平台侧逐渐辐射到供应链的两端。从数据量的角度,平台侧数据量更大,在关于数据融合需求的博弈方面,具有更强的话语权。 反之,对于绝大多数企业,都是非平台型企业。要么只负责生产,要么只负责销售。想要实现跨域的大数据场景,既缺乏专业能力,也缺乏资金方面的有效保障。 当前,还有一种思路是基于开源的大数据来进行“数据场景”强化。这个思路后来验证也行不通,或者说“投入产出比”不高。开源的大数据在数据质量上很低,同时与业务的相关性差,这就意味着单位数据投入产出的业务价值非常有限——数据价值密度低。 尽管在学界一直对于开源大数据的建模和分析比较痴迷,营造了一种开源数据价值含量更高的假象,其主要原因还是在于“拿不到”产业数据。在这种情况下,更多的传统企业开始反思,应该聚焦于将数据挖深、做透,而不是单纯地追求数据规模的大。如果大数据不能带来直接有效的价值,那么对于企业来说是负债,而不是资产。 基于上述的这些讨论,并不是说大数据不重要,而是说大数据并不适合每一个数字化企业对数据资产的投资。 数据的获取渠道,已有数据和所需数据的比例,数据的治理效率和开发效率,都是应该慎重考虑的决策门槛。与其盲目拓展新的数据,去探索难以得到验证的未知规律,还不如在现有的业务架构中把现有的数据资源规整、加工、治理,先满足当下的业务需求。 换句话说,大数据是一个数字化企业发展到比较高级阶段的任务,对于数字化基础还不够强的传统企业或中小企业,还是应该以传统数据分析任务为中心开展数据方面工作。 数据中台即将“”消亡? 在新发布的“中国数据分析和人工智能技术成熟度曲线图”中,Gartner 认为,“数据中台(Data Middle Office)”即将消亡,取而代之的是“数智基建”(Data Infrastructure)。 在上图中,数据中台处于幻灭的深渊(Trough of Disillusionment);而数智基建则处于技术萌芽期(Innovation Trigger)。 1、数据中台面临的挑战 Gartner的分析指出,随着技术的发展和企业需求的变化,数据中台可能面临消亡的风险。这一观点引发了业界的广泛讨论和思考。 数据中台消亡论主要基于以下几点:技术迭代速度加快,新的数据处理和分析工具不断涌现;企业对数据中台的依赖可能限制了创新能力的发展;数据中台的建设和维护成本高昂,部分企业可能难以承受。 数据中台的建设初衷是支撑企业战略,实现数据的资产化和服务复用,但在实际操作中,很多企业却出现了功能与战略的错位现象。一方面,部分企业在建设数据中台时过分强调技术功能,而忽视了与企业战略的紧密结合。这种“为技术而技术”的做法,导致数据中台无法有效支持企业的核心业务,也无法为企业创造实际价值。 据调查,约有60%的企业在数据中台建设中存在战略定位不清晰的问题。这些企业往往将数据中台视为一个简单的数据存储和处理工具,而没有将其作为企业战略的一部分来规划和实施。结果,数据中台成为了一个昂贵的“数据仓库”,而非企业战略的有力支撑。 数据中台的建设不仅需要强大的技术支持,更需要企业具备相应的组织能力和数据能力。然而,现实情况是,许多企业在这方面存在明显不足。 首先,数据中台的建设需要企业进行组织架构的调整,建立专门的数据管理和运营团队。但根据行业调研,约有40%的企业在组织架构调整上面临困难,难以形成有效的数据管理和运营机制。其次,数据中台的建设需要企业具备强大的数据治理能力,包括数据标准制定、数据质量管理、数据安全保障等方面。然而,数据显示,超过50%的企业在数据治理方面能力不足,无法确保数据中台的高效运行和数据资产的保值增值。 此外,数据中台的建设还需要企业员工具备一定的数据思维和数据操作能力。但遗憾的是,许多企业在员工培训和数据文化建设上投入不足,导致员工对数据中台的接受度和使用率不高,数据中台的潜在价值无法得到充分发挥。 总的来说,数据中台建设的挑战与失败因素主要集中在功能与战略的错位、组织能力与数据能力的不足等方面。要解决这些问题,企业需要从战略层面重新审视数据中台的定位,加强组织架构和数据治理能力的建设,并加大对员工培训和数据文化的投入,以确保数据中台能够真正成为企业数字化转型的有力支撑。 数据中台的建设涉及到众多技术选型和架构设计问题,这对于企业的技术团队提出了较高要求。然而,由于缺乏统一的标准和成熟的经验,企业在技术选型和架构设计上往往面临较大的不确定性和风险。 综上所述,大数据和数据中台概念的“落寞”并非意味着它们的价值消失,而是市场对于这些技术和概念的认识更加成熟和理性。未来,随着数字化转型的不断深入,数据中台将在企业中扮演更加重要的角色,但其发展也将更加注重实际应用和价值创造。 2、Gartner分析要点 数据中台,一度被视为企业数字化转型的加速器,如今却面临被Gartner预言的消亡。这一转变并非无迹可循,其背后有着深刻的市场和技术逻辑。 技术迭代速度:在人工智能和大数据技术的快速发展下,数据中台的传统架构和技术可能迅速变得过时。企业需要更快地适应新技术,而数据中台的更新换代速度可能跟不上市场需求。 成本与效益:数据中台的建设和维护需要巨大的成本投入,但随着时间的推移,其带来的效益增长可能会放缓,甚至出现边际效益递减的现象。 灵活性与扩展性:数据中台往往被设计为一个集中式的平台,这在一定程度上限制了其应对快速变化市场的能力。企业可能需要更加灵活和可扩展的解决方案来应对不断变化的业务需求。 数据治理挑战:随着数据安全和隐私保护法规的日益严格,数据中台需要满足更高的数据治理标准,这可能会增加企业的合规成本和运营复杂性。 生态系统脱钩:Gartner预测,许多现有的数据中台将因为与生态系统脱钩而过时。这意味着,如果数据中台不能有效整合新兴技术和市场趋势,就可能被边缘化。 在数据中台逐渐显露出局限性的同时,Gartner提出了“数智基建”(Data Infrastructure)作为替代概念。数智基建代表了一种全新的企业数据管理和应用模式,它具有以下特点: 云原生:数智基建强调云原生技术的应用,支持企业在多云或混合云环境中灵活部署和管理数据。 技术生态合作:与数据中台依赖单一供应商不同,数智基建倡导通过多个供应商的密切合作,构建一个开放、可扩展的技术生态系统。 持续迭代与优化:数智基建被视为一种持续的服务,而不是一次性的交付项目。它能够不断迭代和优化,以适应不断变化的技术和业务需求。 数据与智能的深度融合:数智基建不仅仅是数据存储和处理的平台,更是数据智能和分析能力深度融合的场所,支持企业实现更深层次的数据洞察和业务创新。 业务场景驱动:数智基建更加注重与具体业务场景的结合,能够根据不同业务需求提供定制化的数据分析和智能应用。 数据治理与安全:在数智基建中,数据治理和安全是核心考虑因素,确保企业在享受数据带来的便利和价值的同时,也能保障数据的合规使用和安全防护。 随着数据中台的局限性逐渐暴露,企业需要重新思考其数据管理和应用策略。数智基建作为新兴的概念,为企业提供了一种更为灵活、可持续的解决方案,有望成为企业数字化转型的新引擎。 03 数据领域未来发展的方向 虽然“大数据”这个概念似乎不再那么热门,但这并不意味着数据处理和分析的需求减弱了。相反,随着数字化转型的深入,数据基础设施的现代化成为了企业发展的关键。 数据基础设施现代化的核心在于提升数据处理的效率和安全性。据《数字中国发展报告》显示,我国数字经济规模已超过50万亿元,占GDP比重达到41.5%,这背后是对数据基础设施现代化需求的直接体现。企业需要更加强大的数据存储、处理和分析能力,以支撑日益增长的数据量和复杂的数据分析需求。 现代化的数据基础设施还包括对数据的实时处理能力。例如,5G技术的推广使得物联网设备能够产生并传输更多的实时数据,这要求数据基础设施能够快速响应和处理这些数据,以支持企业的实时决策需求。 数据资产化是将数据转化为企业资产的过程,这涉及到数据的标准化、确权、估值和交易等多个环节。随着数据安全法、个人信息保护法等法律法规的出台,数据资产化的法律框架逐渐完善,为企业数据资产的合法合规交易提供了基础。 数据资产化的目的是将数据的价值量化,使其能够在市场上自由流通和交易。据《2023中国数据资产化发展趋势白皮书》预测,到2025年,我国数据要素市场规模将超过9000亿元。这一趋势表明,数据资产化将成为企业数字化转型的重要方向,数据将作为一种重要的生产要素参与到市场经济中。 数据市场化的推进需要建立完善的数据交易平台和服务体系。这包括数据的登记、评估、交易撮合等一系列服务,以及数据流通和交易的监管体系。随着数据交易市场的成熟,数据资产将更容易被量化和货币化,企业可以更加灵活地利用数据资产进行融资、投资和经营活动。 总的来说,虽然“大数据”和“数据中台”这些概念可能不再频繁出现在我们的日常讨论中,但这并不代表数据的重要性有所减弱。相反,数据领域正在朝着更加深入和广泛的方向发展,数据基础设施的现代化和数据资产化将成为推动数字经济发展的新引擎。 04 企业应对策略 面对数据中台的未来发展趋势,企业需要制定相应的应对策略,以确保在数字化转型的道路上保持竞争力。 1)明确战略规划 企业应明确数据中台的战略目标和价值,制定相应的战略规划,包括确定关键业务需求、技术要求和组织变革,以及明确投资和ROI预期。 2)构建灵活的数据架构 企业需要建立一个灵活、可扩展和安全的数据架构,以支持数据的收集、存储、处理和分析。这可能涉及数据集成、数据湖、数据仓库和数据治理等技术和工具。 3)强化数据治理与质量管理 数据中台需要有效的数据治理和质量管理机制,以确保数据的准确性、一致性和可信度。这包括建立数据质量标准、数据清洗、数据标准化和数据安全等方面。 4)推动文化和组织变革 数据中台的建设需要伴随着文化和组织的变革。企业需要培养数据驱动的文化,推动数据共享和合作,并培训员工以提高数据素养和分析能力。 5)持续优化与迭代企业应确保 数据中台紧密围绕业务需求进行设计,并引入自动化工具提升数据治理效率。同时,建立持续优化机制,迭代创新数据中台,真正实现数据赋能业务,助力企业高质量发展。 6)探索数据中台与AI技术的结合 随着AI技术的快速发展,企业应积极探索数据中台与AI技术的结合,利用大模型等AI技术提升数据中台的数据处理能力和智能化水平,为企业带来更大的业务价值。 7)关注数据安全与合规性 在数据驱动的商业环境中,企业必须重视数据安全与合规性,采取充分措施确保数据中台的数据安全,严格遵守地区法规,以维护其数字化战略。 8)构建开放性架构 数据中台应构建开放性架构,便于对第三方工具的集成,促进企业内外部数据的共享与协作。通过采用标准化API、微服务、容器技术等,数据中台能够迅速整合更先进的新兴技术,加速数据处理和分析的创新。 9)积极参与数据要素市场化 企业应积极参与数据要素市场化进程,探索数据定价、收益分配、数据安全和隐私保护等技术与制度障碍的解决方案,以实现数据要素的价值创造和实现。 通过上述策略,企业不仅能够应对数据中台的未来发展,更能在数字化转型的浪潮中把握先机,实现持续的业务创新和增长。
年终总结不会做?这7套数据大屏模板来帮你!
用数据大屏来呈现团队、公司的整体业绩情况,更加直观易懂。就比如你想做年度销售情况总结,可以用数据大屏汇总呈现关键的销售数据,如销售额、利润额、运营费用、客户评价以及各省市销售与利润详情等。通过可视化图表,如柱状图展示各省市销售额对比、折线图呈现利润额趋势变化、饼图分析客户评价分布等,让领导和同事一眼就能看明白公司业务的整体情况,比起写文档、做PPT更加简洁明了。 正文开始前,给大家推荐一个《可视化大屏资料集合包》,本资料涵盖共计48+份可视化大屏、80+份精美大屏组件、10+份大屏解决方案。 扫描下方二维码即可免费下载完整PDF! 销售组年终报告 图中显示了,集团销售额目标达成率达 85%,为 1.3 亿,利润额 9000 万,利润额目标达成率未详;运营费用 423 万,与 725 万关系不明,年度项目客户评价 “一般及以下” 占 8%,“良好” 同比增 11.5%,“优秀” 同比增 23%;全国销售数据中黑龙江省销售额 259416 等,还列出全国利润额 top10 省市如安徽省销售额 203429、利润额 85557、运营费用 49093 等,这些数据有助于分析集团销售业绩、地区差异及运营状况等。与静态的文档或表格不同,数据大屏可以连接实时数据源,实现数据的动态更新与展示。不同地区的销售业绩和盈利水平在地图上一目了然,能够清晰地显示出哪些地区是销售重点区域,哪些地区需要进一步挖掘潜力。通过颜色深浅或气泡大小在地图上标注各省市的销售额或利润额,使管理层快速聚焦业务重点,为制定区域化市场策略提供有力依据。 全员绩效年终报告 根据图中数据,集团 2020 年全员绩效总结呈现的信息非常丰富。正式员工 381 人,其中有职级答辩资格 317 人,报名 278 人,材料审核通过 237 人,答辩成功 129 人,跨级晋升成功 35 人。绩效等级分布在各部门有所不同,同时展示了薪资分布与职级等级分布情况。若通过数据大屏展示,优势显著。能直观呈现各部门绩效、薪资与职级的对比,如财务组、产品线 A、B 等部门间的差异一目了然,便于快速定位优势与不足。在展示年度涨薪公示等动态信息时,可实时更新,让员工清晰了解不同阶段涨薪调整情况,增强透明度与激励效果。像 1 月、6 月、11 月等时间点的涨薪举措能以动态图表展示,吸引员工关注。优秀绩效员工的展示也更具感染力,其领导评语、个人感想等通过大屏放大呈现,能更好地发挥榜样力量,激励全体员工奋进,提升团队整体绩效与凝聚力。 项目组年终述职报告 图中集团年终述职 – 项目 1 组的数据全面展示了项目的运营状况,项目 1 组共有 499 个项目,项目回款率达 74%,完工率为 82%,完工项目 410 个,项目款达 126.33 亿,项目平均得分 9.24 分,年度项目客户评价中 “良好” 同比上升 17.6%,“优秀” 同比下降 8%。同时还列出了优秀项目 PM 公示,包含项目 PM 姓名、项目得分及平均项目款等信息。若通过数据大屏展示这些数据,将充分发挥其优势。在展示项目数、回款率、完工率等关键指标时,可利用大屏的可视化效果,如通过进度条直观呈现完工率的完成程度,让管理层和团队成员迅速了解项目整体推进情况。对于不同地区的项目战区综合得分,如湖南省 96.57/100、上海市 93.09/100 等,以地图形式在大屏上展示,能清晰对比各地区项目绩效差异,为资源分配和区域战略调整提供依据。而优秀项目 PM 的排名和相关数据,以列表或图表形式展示在大屏上,可增强员工的竞争意识,激励更多人向优秀者学习,推动项目管理水平的整体提升,也有助于集团高层更精准地评估项目团队表现,做出科学决策。 销售组年终述职报告 图中集团销售年终述职涵盖多项关键指标及详细分析,老李觉得,这一张图就能把我们想讲的东西说明白了。年度回款额目标值 4.5 亿,达成值 4.84 亿,达成率 108%;净利润目标值 3 亿,达成值 3.08 亿,达成率 103%;复购率目标值 50%,实际为 38.79%。通过大屏展示这些数据,在呈现月度回款与利润趋势时,大屏能以动态折线图清晰呈现波动情况,如回款额在各月的起伏,让管理者快速掌握销售节奏,及时发现异常并调整策略。产品方面,各产品的本年与去年回款对比、回款占比等数据,以表格或柱状图形式展示于大屏,可直观对比不同产品贡献,如产品一和二回款占比较高且增长显著,能帮助企业明确重点产品。而产品成本与利润回款比数据,通过大屏可进行深度钻取分析,了解成本构成对利润影响。复购率相关数据在大屏展示,能通过可视化图表(如饼图呈现复购客户占比)快速定位不同产品复购情况差异,产品一和二复购表现较好,为制定营销策略提供依据,是评估销售业绩、优化产品策略及提升客户管理的有力工具。 产品组年终述职报告 图中集团年终述职中关于产品部分展示了多方面的数据信息,这都是我们述职报告的核心内容。产品二的客户留存率为 68%,同时区分了优质客户、痛点客户、普通客户、BUG 客户、宕机客户、投诉客户和爆灯客户等不同类型客户画像,呈现了不同版本(V1.5 – V1.9)对产品模块(主模块、模块三至七等)的影响值,以及不同类型客户(普通、活跃、共创、标杆、金牌客户)在产品耗费资源、测试时间和研发时间方面的表现,另一种客户留存率为 36% 的情况也有所体现(可能对应其他产品或场景)。若通过数据大屏展示,可将这些复杂数据清晰呈现。在展示客户画像时,大屏可利用图表形式,如环形图展示不同类型客户占比,使企业直观了解客户结构,针对痛点客户等制定精准策略。产品版本影响值以动态柱状图在大屏呈现,能清晰对比各版本对不同模块影响差异,助力优化产品迭代方向。不同客户类型的资源耗费等数据通过大屏的交互功能,可进行多维度分析,比如点击不同客户类型查看其详细资源占用情况,帮助企业合理分配资源,提升运营效率,为产品优化和客户管理提供有力支持。 经营分析年终报告大屏 该年终总结看板呈现了该集团丰富的经营分析内容。销售指标达成 84%,利润指标达成 73%,生产指标达成 96%。业务增长分析展示了销售收入、销售增速、产值及成交率等数据,如销售收入达 389 万,产值 1930 万,成交率 96%。企业在 2023 年有诸多重要成果,如 FineVis 发布 2.0 版本、软件类合作伙伴突破 3000 家等,销售额 14.6 亿且同比增长 7.3%。人员绩效分布涉及行政、产品、法务、财务、营销等部门,客户行业分布广泛。市场份额占比分析涵盖多个行业,各行业客户数均为 2450(但市场占比及趋势未给出具体数据)。若通过数据大屏展示,能充分发挥其优势。销售与利润指标达成情况可通过仪表盘形式在大屏上醒目呈现,直观展示经营成果。业务增长相关数据以折线图展示销售增速变化趋势,柱状图对比销售收入与产值,让管理者快速把握业务发展态势。企业大事记通过大屏滚动展示,增强企业自豪感与凝聚力。人员绩效分布用不同颜色区域代表不同绩效等级,清晰呈现各部门绩效状况。行业分布及市场份额分析若在大屏上以动态图表呈现,可根据需求切换不同行业数据展示,便于深入分析市场格局,为战略决策提供有力依据。 综合性年终总结大屏 年终总结看板中,图中集团在产值、订单、人才等方面的数据全面展现了经营状况。平均司龄 20 年,预期产值 50 万,实际产值 42 万,达成率 84%,且本年产值增长 28%;预期订单数 4200,实际订单数达成率同样为 84%,营业额增长 25%。人才储备方面,划分了不同层级类别及占比,如区域潜力之星 40% 等。客户画像方面,呈现了性别比例(男士 40%,女士 60%)及行业占比(计算机 20%、互联网 30%、金融行业 30%、教育行业 20% 等),还有招聘难度相关数据。若通过数据大屏展示,可将各方面信息高效呈现。产值达成分析中,预期与实际产值及达成率通过大屏以直观的数字和进度条展示,产值增长趋势用折线图呈现,清晰展示发展轨迹。订单达成情况类似,可迅速对比预期与实际差距。人才储备分布以饼图或堆叠柱状图展示不同层级人员占比,方便了解人才结构。客户画像相关数据,在大屏上利用图表组合,如环形图展示行业占比,柱状图对比男女客户比例,招聘难度用不同颜色标注占比,为企业人力资源管理和市场拓展提供清晰指引,有助于企业精准决策,优化资源配置。 以上几项关键分析实践就是运用FineVis带来的结果,想要体验FineVis工具的朋友,可以扫描下方二维码免费体验! 职场上,做得再多也不如汇报得好,年终报告是让领导和同事知道我们一年辛苦工作的重要展示,也很大程度上决定了咱们年终奖能拿多少,明年工作重点是什么。所以这个年终总结必须得重视起来,不知道怎么做的,不妨就试试用数据大屏。
财务分析工具该升级了,这里有你需要的典型场景与标杆案例!
在数字化时代,企业财务管理迎来了革命性的变化。多维度分析和智能化预测技术的应用使得企业能够深入挖掘利润结构,为业务决策提供坚实的数据支撑。本文将展示如何通过财务分析的典型场景与实践,实现利润最大化,优化资源配置。 正文开始前,给大家推荐一个《从传统分析到财务BP转型+解锁财务BI分析新技能》,本资料介绍了传统财务分析与财务BP的区别,探讨企业财务人员如何进行转型发展。 扫描下方二维码即可免费下载完整PDF! 财务分析的典型场景与实践 1. 利润表分析 利润表是企业财务分析的核心工具,帆软平台通过多维度分析和智能化预测,使企业能够更深入地挖掘利润结构,为业务决策提供数据支持。 动态监控盈利能力:帆软平台通过时间序列分析和图表展示功能,帮助企业实时监控利润的达成情况。具体来说,企业可以使用帆软BI看板直观了解利润的结构性变化,包括成本、收入和毛利的动态趋势。例如,某消费品企业利用帆软BI构建利润达成看板,能够精确地识别不同渠道的盈利表现,辅助销售策略的调整。 本量利分析:帆软平台提供基于参数化的本量利模型,帮助企业明确盈亏平衡点。某制造企业通过帆软平台模拟不同销量和定价条件下的收入与成本关系,明确了各产品线的盈亏平衡点,为制定价格和市场推广策略提供了重要依据。这种分析不仅支持短期定价决策,还为长期盈利规划提供了数据支撑。 差异性分析:帆软平台支持对利润变化来源的详细分解。例如,通过分析市场竞争导致的价格下滑或生产效率波动引发的成本增加,企业可以精准地针对薄弱环节调整资源配置。一家电子产品制造商在使用帆软BI后,通过分解利润差异,识别并优化了低效生产流程,利润率显著提升。 模拟预测:通过帆软BI的参数化设定功能,企业可以模拟不同销售和成本条件下的利润变化。例如,某快消企业通过帆软平台预测在不同促销活动强度下的利润表现,从而选择最佳的促销方案,提高了活动ROI。 2. 毛利敏感度分析 毛利是衡量企业盈利能力的重要指标,其变化往往受到多种因素影响,包括价格策略、客户结构和生产成本等。帆软平台支持企业对这些因素进行敏感度分析,以便量化各因素对毛利的影响。 定量化影响因素:帆软平台通过PVM(价格、体量、结构)模型,将毛利变化分解为价格变动、销量波动和客户结构调整等多个因素。某快消企业利用帆软BI进行毛利敏感度分析后,成功识别了低效促销活动对毛利的负面影响,并通过优化营销费用分配提高了整体毛利水平;某制造企业通过帆软平台分析发现,其毛利下降的主要原因在于原材料采购时机不当。通过优化采购策略,该企业成功降低了原材料成本波动对毛利的影响,同时改进了采购部门的绩效考核机制,进一步强化了供应链管理能力。 优化结构性问题:帆软平台的敏感度分析功能不仅能够帮助企业定位具体的毛利问题,还能为结构性调整提供数据支持。例如,某电子企业在使用帆软平台后发现,区域性低毛利产品销售比例过高,调整策略后毛利水平提升了7%。 3. 成本与费用分析 在企业的日常运营中,成本和费用的管理对利润空间的提升起着至关重要的作用。帆软平台通过全面的费用跟踪和分析功能,帮助企业实现成本与费用的精细化管理。 精准预算管理:帆软平台支持预算的分部门分项目管理,并通过超预算预警功能推动及时调整。某物流企业通过帆软BI构建了运输费用的预算管理系统,对各区域运输成本进行了详细追踪和分析,最终实现了费用的精准控制。 分析费用结构:帆软平台能够帮助企业从不同维度剖析费用支出的组成。例如,在某消费品企业的应用中,帆软BI帮助分析了不同销售渠道的费用投入与产出比,为渠道优化提供了可靠的数据支持。 提升费用效率:通过帆软BI的费用分析功能,企业可以量化费用支出的效益。例如,在一项营销活动中,某企业通过分析发现某区域的广告投入回报率较低,随后调整资源分配,使得整体ROI提升了15%。 4. 存货周转与应收账款管理 存货周转和应收账款管理是企业提升资金利用率的关键环节,帆软BI通过构建灵活的监控和分析模型,帮助企业优化这两项核心财务指标。 存货管理:帆软平台通过构建动态物料监控看板,支持企业按物料类别进行分层监控。例如,某制造企业在使用帆软BI后,构建了针对不同物料的周转率分析模型,并对呆滞库存进行实时预警,从而显著降低了存货成本。例如,在一家大型零售企业的应用中,帆软平台结合库存分析和销售预测功能,帮助企业实现了供需匹配优化,将库存周转天数减少了20%。 应收账款管理:帆软平台支持账龄分布分析和逾期账款监控,帮助企业降低应收账款风险。某化工企业通过帆软BI监控高风险客户的应收账款情况,及时采取催收措施,实现了坏账率的下降。 行业标杆案例分享 1. 整机利润模拟沙盘 帆软平台通过整机利润模拟沙盘帮助企业实现数据驱动的决策优化。某机械制造企业将设计、生产、销售等环节的数据进行贯通分析,实现了资源配置和利润最大化。 提升资源配置效率:通过沙盘模型,企业能够直观地识别资源投入的高效环节和薄弱环节。例如,该企业通过模拟不同生产计划对利润的影响,优化了生产排程,将资源利用率提升了15%。 支持智能化决策:沙盘模型帮助企业减少了经验性决策,提升了策略调整的科学性。例如,该企业通过分析发现,某型号产品的定价过低影响了整体利润率,调整价格后该产品线的净利润提升了20%。 风险控制:通过对生产和销售数据的动态模拟,企业能够提前识别潜在风险。例如,该企业通过模拟不同市场条件下的销售表现,及时调整库存策略,避免了因市场需求下滑而导致的库存积压。 2. 新品边际贡献分析 新品边际贡献分析是衡量产品研发和市场推广投入产出比的重要工具。帆软平台通过构建投入与收益分析模型,帮助企业优化新品开发策略。帆软平台通过行业标杆案例的成功实践,证明了其在推动企业财务数字化转型中的价值。不论是整机利润模拟沙盘还是新品边际贡献分析,帆软平台都为企业提供了科学的决策依据和高效的执行工具,助力企业在复杂多变的市场环境中保持竞争力。 识别低效产品:某消费品企业利用帆软平台对新品的边际贡献进行分析,发现某些新品的研发成本与市场回报不成正比。通过优化资源分配,该企业将研发投入集中于高潜力产品,新品成功率提升了30%。 细化颗粒度分析:帆软平台支持对新品从渠道到产品线的逐层分析。例如,某电子企业利用帆软BI细化了不同销售渠道对新品利润的贡献率,并根据分析结果优化了渠道资源配置。 优化产品策略:帆软平台的模拟功能帮助企业评估不同策略对新品表现的影响。例如,通过调整新品的推广力度和定价策略,某企业成功提高了新品的市场渗透率,第一季度销量增长超过50%。 通过深入分析,可以清晰地看到财务分析工具在推动企业财务数字化转型中的关键作用。无论是通过模拟沙盘实现数据驱动的决策优化,还是通过边际贡献分析优化新品开发策略,这些工具都为企业提供了科学的决策依据和高效的执行工具。实践案例证明了这些工具在提升企业竞争力方面的重要价值,为企业在复杂多变的市场环境中保持领先提供了有力支持。 以上几项关键分析实践就是运用FineBI带来的结果,想要体验BI工具的朋友,可以扫描下方二维码免费体验!
详解数据中台的底层架构逻辑
笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构、一套数据流转模式。 数据中台需要采集数据作为原材料进行数据加工、数据建模,然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速。 但以上流程的实现,需要有对应的系统与产品作为支撑,那么基础的数据中台到底应该由哪些系统或者产品组成? 正文开始前,给大家推荐一个《数据治理助力BI落地实践》,本资料回答了数字化转型这一企业高质量发展的必答题,在当前的数据应用上存在数据与业务两张皮、数据口径标准不一致、 数据孤岛日益严重的问题背景下,变“两张皮”为“一盘棋 "一股劲":实现标准口径的统一,达到数据互联互通,将数字化转型走深走实。 扫描下方二维码即可免费下载完整PDF! 接下来,我们可以先来看一下几个企业的数据中台架构。 可以看出,虽然每个企业由于自身业务的不同,衍生出来的数据中台体系都有所不同,但大的架构方面是基本统一的,都需要通过一个“数据采集接入”-“加工存储”-“统一管理”-“服务应用”的阶段。 这里笔者认为《数据中台产品经理:从数据体系到数据平台实战》一书中总结的数据中台架构是比较具有普适性的, 不论是互联网行业、还是传统行业,都可以在该架构上进行改造,设计建设自己的中台架构。 总体来说数据中台的功能架构由大数据平台、数据资产管理平台与数据服务平台三大部分组成,其中在数据服务平台中自助分析平台与标签管理系统的应用场景最为广泛。 大数据平台 大数据平台是数据中台的基座,我们也可以把大数据平台称为大数据开发平台,它需要具备与大数据相关的开发能力,提供数据存储、数据清洗/计算、数据查询展示及权限管理等功能。那么,应该如何建设上述功能与服务?是不是拥有了上述能力就等同于成功打造大数据平台了呢? 其实我们可以发现各公司的大数据平台系统架构其实大同小异,各类架构都包含了数据采集组件、数据存储组件、数据计算引擎、数据权限与安全组件,以及集群管理与监控组件等。 除了少数像阿里这样倾力打造自研“飞天”系统的企业,其他企业在底层组件选用上,还是以 Hadoop 生态构建的技术体系为主,依托各类开源组件进行优化改进与二次开发。例如,数据存储组件可以选择HBase、Hive等组件,数据计算引擎可以选择Spark、Flink等分布式计算引擎。 既然大家选用的组件相同或者相似,那为什么最终各企业大数据平台的服务能力还是存在差距呢?这有些类似于购买零件组装台式电脑,零件不需要选最贵的,而是要根据实际需求来选择最适合的。 好用的大数据平台需要拥有为用户解决问题的能力。因此,数据中台的大数据平台建设不是比拼引用了多少新技术、覆盖了多少技术组件,而是要看它能否解决数据中台建设中所面临的复杂数据现状,能否成为数据中台打破数据壁垒的技术保障,能否提供简洁有效的数据处理工具,如提供自助配置式的数据采集与数据清洗工具等,以及能否提供更多的附加价值。 数据中台的大数据平台建设,可以避免各事业部技术团队各自搭建大数据集群所带来的资源浪费。统一的、成熟的大数据平台对企业来说,不能一蹴而就,需要循序渐进、分步实施,在持续迭代中构建企业的大数据平台生态。 数据资产管理平台 数据资产管理平台主要解决数据资源的管理, 数据资产遍布在各个大数据组件中, 有 hive 的表, 有 hbase 的表, 有 druid 的 datasource, 有 kafka 中的流, 各个组件的管控系统很难互相打通, 所以需要一个统一的数据资产管理服务, 来统筹大数据资源的管理。 随着大数据平台的建设,构建数据中台的数据体系成为可能,通过对各业务线数据的归类整合,我们可以构建出各个数据主题域,完成数据的规范存储,形成数据资产,进而完成数据资产管理。 在数据中台体系中,数据资产管理平台主要由元数据管理与数据模型管理组成,下面让我们分别了解一下。 元数据管理 讲述元数据管理,我们需要先弄清楚什么是元数据。 元数据(MetaData)通常被定义为:关于数据的数据(Metadata),或者描述数据的数据(data about data),对数据及信息资源的描述性信息。元数据是所有数据中最重要的数据。 这里举一个最通俗的例子。当我们去图书馆借书时,直接面对数以万计的图书,自然难以寻找,但是你通过在图书馆查询系统中输入这本的书名、作者、出版社等信息,获取就能准确的图书位置。那么这些书名、作者等信息,就可以理解为元数据,而图书的存放位置、借阅历史记录等,则是我们系统中的普通数据。 在数据库中,每一张数据表的表名、创建信息(创建人、创建时间、所属部门)、修改信息、表字段(字段名、字段类型、字段长度等),以及该表与其他表之间的关系等信息都属于这张数据表的元数据。 其实,元数据有多种分类方式,笔者更倾向于按照元数据的用途来区分,总共分为三类:业务元数据、技术元数据和管理元数据。 ►业务元数据:描述数据的业务含义、业务规则等,包括业务规则、数据字典以及安全标准等多项内容。通过明确业务元数据,让人们产生统一的数据认知,消除数据歧义,让不懂数据库的业务方读懂数据表的内容。 ►技术元数据:描述数据源信息、数据流转信息及数据结构化信息,主要服务于数据开发人员,让开发人员明晰数据表结构与所依赖的上下游任务,主要包括库表字段(存储位置、数据库表、字段长度和类型)、数据模型、ETL脚本(调度信息)与SQL脚本等。 ►管理元数据:描述数据的管理归属信息,包括业务归属、系统归属、运维归属以及数据权限归属等信息,是数据安全管理的基础。 所以有人说,元数据记录了数据从无到有的全过程,就像一本有关数据的“字典”,让我们可以查询到每一个字段的含义与出处,同时它又像是一张“地图”,让我们可以追溯数据产生的路径。 通过对数据体系的建设,数据中台的元数据汇聚了企业各业务线与各系统的数据信息,让数据中台具备了提供全域数据资产视图的能力,实现了统一数据资产查询与获取入口的目标。 元数据管理包括对元数据增删与编辑管理、版本管理、元数据统计分析与元模型管理。通过上述功能模块,有计划地进行数据体系的落地实施,实现数据中台元数据的结构化与模型化,这样既可以避免元数据出现杂乱与冗余的现象,也便于用户查询与定位数据。 数据模型管理 介绍元数据时,我们提到技术元数据中包括数据模型,这里的数据模型就是指使用元数据进行数据建模的工作产物。 根据底层数据的使用情况,如数据表的关联信息、SQL脚本信息(数据聚合与查询信息等),来获取元数据,可以更好地完成对业务的抽象,提高建模效率。 数据模型是数据整合的有效手段,它完成了各数据源之间的映射关系设计,为数据主题建设提供了“实施图纸”。 同时,在数据建模过程中,通过明确数据标准,可以确保数据的一致性,还可以消化冗余数据。 至于数据模型管理,其是指在数据建模过程中,通过既定的数据模型管理制度,实现对数据模型增、删、改、查的管理,同时遵守数据标准化与数据统一化的要求,确保数据质量。 数据服务平台 自助分析平台 自助分析平台,也就是商业智能平台(BI平台)。BI平台目前已经是很多企业的标配,目前BI商用市场的行业竞争日趋激烈,进场者可以分为如下3类: 国内BI厂商,典型代表为连续多年国内市场占有率第一的帆软 国外BI厂商,如Tableau 互联网大厂内部孵化 BI 平台是数据中台服务能力的主要输出方,要想让数据中台发挥出应有价值,那么BI平台的建设必不可少,所以需要将BI 平台建设划分在数据中台体系下。综合来看,BI平台应该具备如下能力。 (1)数据接入 除了数据中台的自有数据源,BI平台还需要支持外部数据源的接入。其接入方式,主要有如下3种。 文件数据集:支持Excel/XML/TXT等文件数据的上传。 数据连接型:支持Mysql、Oracle等数据库,以及Hadoop、Spark等大数据平台(数据中台的大数据平台也在此列)。 API读取:支持通过API获取第三方系统数据。 图例:帆软BI平台支持的数据源 (2)数据处理 BI 平台需要能为用户提供数据建模工具,帮助用户创建目标数据(数据集),其提供的功能包括拖拽表字段、自动识别维度/指标、自定义视图语句、预览数据、设置虚拟字段、函数计算、设置参数等基本操作,以及多源异构的 JOIN/UNION等数据处理功能。 FineBI的数据处理界面 (3)数据分析与可视化 在数据处理的基础上,BI 平台还需要为用户提供丰富的图表制作和联机分析处理(OLAP)操作,让用户在前端页面完成数据分析与数据可视化等工作。 其操作流程如下:用户选择处理后的数据集,对维度与指标进行筛选过滤,然后通过上卷下钻、图表联动、报表跳转等操作,完成业务需求的分析,同时BI平台会为用户提供可视化图形组件,使其最终完成可视化内容的设计。 FineBI的数据分析与可视化界面 (4)内容分发与基础服务 BI平台需要具备分发可视化内容,并进行查看权‍限与数据权限控制的能力。主要的分发方式包括BI平台、移动BI(App)、数据大屏、邮件、链接访问,以及第三方嵌入等方式。 同时BI平台还需要具备基础的运营管理、角色管理、帮助中心与消息推送等功能。 只有满足以上功能、具备了多维分析、数据可视化与数据大屏等服务能力的BI平台,才可以最大限度的发挥在数据中台体系中的价值,有效地帮助分析师与运营团队提升工作效率。 标签管理系统 除了BI平台,标签管理系统也是数据服务的重要应用方向之一。目前,业务部门面临着大量的精准营销场景,这些千人千面的推荐、推送需要基于一个完善且准确的用户画像来实现,而用户画像的构成又需要由大量、全面的用户标签来支撑。 因此,标签数据作为个性化业务应用的基础数据,其可信度与有效性就成了衡量用户画像成熟度的关键指标。 我们可以把标签管理系统看作用户画像系统的基座,基于数据中台打造的数据体系,可以顺其自然地打通标签治理中的数据壁垒,构建企业级的、统一认可的用户标签体系,并由此打造一个企业级的用户画像系统。 数据中台的标签管理系统,主要具备以下功能。 (1)用户唯一性识别 很多企业内各业务线都有自己的独立用户识别体系,如在 58 集团内就有 58设备指纹、安居客唯一用户、招聘自然人、金融自然人等多种用户识别方式,但是这些识别方式大部分是服务于单一业务线的,各业务线内的标签也是面向本业务的独立用户标识进行研发的。 数据中台的标签管理体系,可以提供统一的用户识别服务,将各业务线的独立用户标识进行关联和统一,从而打通面向整个企业的独立用户识别和标签交互转换方案。 (2)标签体系管理 标签体系管理的主要工作是制订标签数据和信息交互方案,打通用户画像研发和服务中的信息及数据壁垒,提供标签接入、可视化标签信息展现、可视化标签权限控制、可视化用户标签分析、可视化人群定向提取与可视化相似人群扩展(Lookalike)等功能。 (3)标签数据服务 标签管理系统,需要提供用户画像研发和应用过程中涉及的标签提取与查询等服务,以标准化服务接口(API)的方式将相关解决方案提供给各业务方,支持业务方基于数据中台的能力,打造业务线的个性化服务。 除了商业智能BI和标签管理外,各企业还需根据自身所处行业的特性去进行数据应用价值的最大化挖掘。 合适的工具能够大大提高数据治理的效率,想要体验BI工具的朋友,可以扫描下方二维码免费体验!
Vol.27-聚中软件 CEO&前Informatica中国区技术总监-杜绍森
Q1:请专家先做一个自我介绍 A1:我是在聚中软件创始人之一,杜绍森。以前我长期致力于数据领域,深入后发现数据安全这一关键环节的普遍缺失,因此聚中软件的核心定位为数据安全。       我们为什么要做数据安全?主要基于两个方面。首先,像帆软的客户,或者说做数据的都有个难点,我们像是守着一个金库,这个金库没有上锁,或者说连锁都没有。打一个比方,一个数仓,可能我Spark都不用,用户就可以轻松访问,这就是连锁都没有的情况。其次,只有一个锁,不管是甲方、乙方,还是偶尔去运维的,所有人都有这把钥匙, 但是金库里又放了我们企业最有价值的这部分数据,具有极大的安全隐患。       所以我认为数据安全可能是个方向,一是说安全公司并没有涉足,二是数据公司没有在意。而聚中软件则专注于面向湖仓(涵盖数据仓库与数据湖报表等)的数据安全,致力于企业数据安全保障。   Q2:数据如何提升企业竞争力? A2:数据价值我觉得有几个方面,首先,早期的数据价值,我们借助报表等手段去解决,形成了业务流程可见、内容可见、说库存可见等各种可见性的问题,极大的提升了信息的透明度。       然而,虽然大家说数据是现代经济的关键生产要素,但是它本身更大的核心作用是,对个人、企业、社会、自身认知能力的一个重要支撑。举个例子,比如说我们体重,原来每个人大概是知道自己有多重,不知道早饭之后和晚饭之后的差距,但如今,我们通过电子秤、智能手表等设备,使我们能够更加精准的掌握自身的数据,从而做出更科学的健康管理决策。       同样,对企业的运营来讲,对各层次的运营人员,包括高层决策者、中层管理者以及基层执行者,当我们能实时获取并深入分析从宏观到围观到详细数据时,我们对企业运营风险的识别、企业能力提升的点等,都会变的更加直观。这种基于数据的认知提升,不再仅仅停留在感性的经验判断层面,而是建立在科学的数据分析与洞察基础之上。       以手机备件物流业务为例,如果仅仅依赖传统的报表方式,我们可能只能获取到相对的宏观数据。但对一个实际的业务运营人员,他需要更加实时、准确的数据来指导业务决策。更清晰地了解实际运营情况,包括天气等外部因素对业务等影响,从而更加灵活的进行调整,提升运营效率。       那这是指什么呢?数据价值本质上是对我们认知能力的提升。不仅是体现在业务领域的深入理解上,更对你实际操作流程的优化、对社会动态的洞察,以及对你周围人甚至对自我认知的深化,反过来又推动了业务演进与升级。所以说,数据并非只服务于某个具体业务点的优化,而是作为一种强大的工具,拓宽我们的认知边界,深化我们对世界的理解,从而提高了我们在各类场景中的决策质量与行动效率。 Q3:如何保证数据安全? A4:其实在我们湖仓的领域,也是上面讲到的第一个问题,金库没有锁,或者说大家共用钥匙,首先在这种情况下要解决的是确保不再使用公有锁,避免共用访问权限,这个我们叫访问控制。也就是说当你有很多的基础设施和管理方法的情况下,我们必须为每个用户分配独立的身份和权限,不仅报表需要权限管理,湖仓平台也同样的需要。       第二个问题,即使有了访问控制,也很难保障数据的安全。因为只要是用户身份,就可以访问数据,就可能存在数据被访问的风险。比如说我们现在遇到社会上的诈骗很多,因为我们每个人可能都遇见过,它的核心特点是能够访问我们的个人信息,对我们个人是伤害。对于企业来讲,比如说一个快销品,核心数据像销量、采购成本等泄漏,这对企业的伤害是很大的。这个时候核心数据就要去加密。再比如说有的企业是化工企业,它拥有的是一个核心的配方、核心的工艺,当这个丢失之后,它对企业的伤害非常大,这种就需要加密。       但是有一个点是难解决的,如何在数据加密的以确保安全的同时,不阻碍我们业务的顺畅运行与数据分析。这就是我们要解决的问题,所以我们在湖仓领域提出了个概念,我们做数据安全第一个要点是不能降低用户使用数据的复杂性。第二个要点,提升数据安全的同时,也要注重提升数据的价值。因此,我们可以与帆软等业界领先的合作伙伴融合,共同为用户提供既安全又高效的数据服务,这就是我们想实现的数据领域里的数据安全。       我个人认为数据安全和价值一体化,就是既要数据安全,又要体现数据价值。实现这一目标,我们使用的手段则叫数据安全的自动化。什么叫自动化呢?就是说当需要对外提供服务并涉及数据安全时,能够迅速、按需地分配权限。例如,当某个用户或系统需要访问加密数据时,能够根据需求和安全策略为用户分配相应的权限,而不是等很长的一个流程时间。同时,自动化还意味着在数据加密后,仍然能够保持数据的易用性。即使数据被加密,用户也能够迅速、便捷地访问和使用这些数据,而不会因为加密而增加使用难度或延迟使用时间。因此,我个人将数据安全自动化的实现视为实现数据安全与价值一体化的关键手段。 Q4:企业如何进行数据治理? A4:其实我个人感觉是这样,当前数据领域的发展趋势,逐渐的表现为业务人员与数据人员之间相互交融。业务人员更懂数据了,数据人员更懂业务了。从业务视角去反推数据,在解决具体、紧迫的数据问题时,确实能够收到立竿见影的效果。还有一种逻辑就是强身健体,数据人员怎么能把数据基础设施建得更好?提升数据的服务能力,或者数据的价值体现,这其实也是一个路径。这里并不是单向的,只是说企业的痛,不一样的时候他会选择不同的途径。比如说产品质量投诉很高,那么就需要解决这个问题,自顶向下快速的解决,但是对企业而言,企业所面临的数据挑战往往并非单一孤立,而是由一系列复杂且持续的问题所构成。所以说单纯依赖业务视角,很难全面深入地解决所有问题。所以我的建议是第一种方式是自上向下的去看问题,适合某个阶段的需求。第二个强身健体也很重要,打好数据基础设施,做好数据的服务能力,有了问题能够快速的解决问题。 数据治理的核心,我觉得有两件事,一是我个人的定义,如何高效地管理和利用数据,这更像是一种“内功”的修炼,需要我们深入挖掘数据的潜力,提升数据的价值。二是如何构建强大的数据基础设施,提升数据服务能力,这更像是一种“外功”的展现,需要我们不断打磨和升级数据技术,去更好地支撑企业的业务发展。在具体实践中需要选择适合企业当前状况的实施需求,实现数据治理的最佳效果。
埃森哲咨询方法,企业数字化规划架构框架
文章开始前给大家推荐一份《大数据决策分析平台建设方案》,本方案从目前中国企业数据处理现状、目标、整体规划建设等方面,梳理出企业数据分析决策平台建设的流程与方法,共包含生产、营销、财务、库存四个模块方案介绍,并附带成功客户案例供参考,为企业数字化转型提供支撑,感兴趣的扫描下方二维码下载! 埃森哲企业架构框架 企业数字化/信息化规划是一项层次多、跨度大的复杂工程。为此,埃森哲信息战略规划体系,定义了企业信息化组织IT规划在不同层面的关注点和工作内容。 无论是对于一家企业,还是对于政府机构,IT战略总是与业务战略紧密相关的。一方面,业务战略决定了IT的战略方向,而另一方面,IT战略则为业务战略的实现提供支持。因此,在确定企业的IT战略方向时,既要看业务发展对IT提出了哪些要求,也要看IT能在哪些方面促进业务的发展。具体来讲,确定IT战略方向时要明确以下四个方面的问题:IT愿景、IT发展的目标、IT在业务发展中的角色以及应该具备的IT能力。 IT架构包含流程和数据、应用系统以及IT基础设施(硬件设备、系统软件和网络等)三个方面的内容。其中,流程和数据部分解决的是IT与业务的接口问题,对于企业而言,如有必要,在制定IT战略时有可能需要对部分的业务流程进行适当的调整与优化。 IT管控也是IT战略中很重要的、但常常会被忽视的一个组成部分。IT管控包括IT部门的业务流程、IT部门的组织模型、IT部门与人员的业绩目标和考核方法以及各种IT业务规范和业务标准。 架构规划过程 总的来讲,在项目启动之后,整个规划项目将划分成四个关键的步骤:>> 分析业务与IT现状>> 确定IT战略方向、设计未来IT蓝图以>> 制定IT战略实施计划。各个阶段将分别完成一系列任务,并提交相应的工作成果。在整个项目过程中,最关键、最核心的是未来IT蓝图设计阶段。架构师将在理解了用户的业务战略、业务现状、IT现状以及已有的IT项目计划的基础上,充分运用对行业的业务发展趋势以及技术发展趋势的深刻理解,参考国外机构在实施信息化过程中的各种先进经验,设计出未来的IT蓝图。 2.1 现状分析与诊断 在现状分析与诊断阶段,项目组将基于埃森哲已有的业务的理解,进一步了解企业业务流程的特点,从而了解企业各级部门面临的与信息技术有关的主要问题和需求。 另一方面,更重要的是要了解分析企业当前的IT架构(包括数据架构、应用系统架构、IT基础设施架构)和IT管控模式(包括IT部门的业务流程、IT部门组织和管控模式等),从而对企业已经具有的信息技术能力有一个全面的了解。 通过对企业业务与信息技术现状的调研,架构师将会对企业的业务和信息技术条件有基本的理解,并对企业的长处和弱点有所了解。 在现状分析与诊断阶段,将会阅读企业所提供的大量的文件、资料等,并会对企业各主要业务部门以及信息技术部门进行一系列的访谈。 现状分析与诊断阶段最重要的成果是现状分析报告。这份报告一方面要描述业务现状与信息技术现状的基本情况,另一方面,更重要的是要识别出业务对信息技术提出的最主要的需求,以及信息技术领域面临的一些最主要的问题。 2.2 确定IT战略方向 架构师将通过对企业主要领导进行访谈,获得对企业业务战略的理解。在分析了企业业务与信息技术的现状,并理解了企业的业务发展战略的基础上,将结合对信息技术的深刻理解,并参考国内外的先进实践经验,制定出企业的IT战略方向。 假设企业已经清楚地定义了业务发展战略,并且形成了相应的文件。因此架构师的访谈只是对有限的问题与企业主要领导进行进一步确认。当架构师完成对业务战略和IT战略方向的确认和定义后,也将与企业主要领导对该结果进行确认。 如前所述,决定企业的IT战略实际上就是要分析业务战略对信息技术提出的要求,从而定义出企业的IT愿景、关键的IT目标、需要的IT能力,以及IT在企业应该扮演的角色。 在确定了IT战略方向以后,我们还会根据企业的现状、战略目标以及先进的实践经验,形成制定IT蓝图的一些重要的指导原则和一些基本思路。 架构师所确定的战略方向、指导原则以及初步的设计思路将会与企业进行充分地沟通,得到企业的确认之后,这些原则和初步思路将用于指导下一阶段的IT蓝图设计。 2.3 设计未来IT蓝图 这个阶段的主要任务是设计企业未来的IT架构和与之配套的IT管控模型。IT架构包括数据架构、应用系统架构以及IT基础设施架构(硬件设备、系统软件和网络等),而IT管控模型则包括IT组织、IT流程以及IT绩效管理等。 业务对信息技术提出要求,同时,信息技术也会为业务的发展提供新的可能。因此,在设计未来的IT蓝图时,有可能会发现,有必要对部分的业务流程进行调整和优化。流程改进的建议也将在这个阶段完成。 根据分析结果并经过确认后,架构师将定义企业的信息技术能力蓝图和IT架构。定义的IT架构覆盖以下方面: 数据——确定主要的数据来源和数据流(数据分布和数据接口),这一方面是为了将应用系统与业务流程对应起来,另一方面也是为了支持业务流程以及应用系统之间的信息流 应用系统——既包括各个应用系统的功能描述,也包括应用系统的集成与整合架构 IT基础设施——对支持应用系统的关键硬件、系统软件、设施加以说明,并勾画出概要的网络结构与网络资源需求 为了管理、执行和支持所定义的IT架构,需要对信息技术进行有效的管控。IT管控模型主要包括以下要素: IT业务流程——定义IT系统的规划、建设、维护等业务流程以及相关的决策和财务方面的责任 IT部门的组织模型——定义IT部门的组织结构、角色、职责以及IT部门与其他业务部门的关系 IT部门的绩效目标和考核指标——定义业务绩效指标,指导IT组织的管理 IT业务规范和标准——确定用于指导IT系统实施和绩效监控的原则(如定义服务水平,系统开发标准等) 2.4 制定IT系统实施计划 分析企业未来IT蓝图与现状之间的差距,确定这些差距的难度与优先级,提出企业的IT系统整合候选方案,并对候选方案进行综合对比分析,提出建议方案。根据整合方案确定在今后三年中企业需要实施的IT项目、在实施阶段中各个项目的时间顺序、相互依赖关系、项目时间表和需要的资源。 基于企业的业务战略和业务需要确定适当的实施战略、实施指导原则、实施所需的方法论支持、企业需要提供的保障条件等。 交付成果及关键交付成果示例 架构项目进行过程中,每个阶段结束以后,都会提交相应的报告,作为该阶段的工作成果,而所有这些报告以及相应的过程文件便组成了整个项目的交付成果。下面就规划项目将交付的成果进行初步的解释,并给出了其中部分成果的示例。 3.1 项目启动阶段:项目计划 本阶段最重要的任务是通过与企业项目负责人的深入沟通,进一步明确并确定项目的工作范围,在此基础上制定出合理的项目计划。同时,与企业双方均需尽快为项目配备相应的资源。 项目启动阶段最重要的成果是明确可行的项目计划。项目启动阶段的主要成果是项目计划,项目计划的主要内容包括:O 项目进度计划O 项目资源计划与职责定义O 项目质量计划O 项目文档模板 3.2 现状分析/确定IT战略方向:现状分析报告 现状分析阶段的任务一方面是了解企业的业务特点和业务对信息技术提出的需求,另一方面是了解企业现有的IT架构和IT管控模式。现状分析阶段的工作成果是现状分析报告。在了解了企业业务与信息技术现状的基础上,结合信息技术的深刻理解,项目组将提出企业未来的信息技术发展战略方向。相应的结论将包含在现状分析报告中一并提交。现状分析报告主要包括以下内容: 企业业务现状概述 业务对信息技术提出的关键需求 现有的IT架构:包括数据架构、应用系统架构、基础设施架构 企业IT管控的现状:包括IT业务流程、IT部门的组织模型、IT部门的绩效目标和考核指标以及IT业务规范和标准等企业信息技术发展战略方向、指导原则和初步思路 现状报告的重点是发现问题。除了详细的现状描述以外,现状报告将会对项目组在业务流程、业务需求、IT架构、IT管控方面的一些关键发现进行归纳,并有重点、有针对性地提出企业IT发展的战略方向、指导原则以及一些初步的思路,为下一步的蓝图设计奠定基础。 3.3 设计未来IT蓝图:蓝图设计报告 蓝图设计阶段的主要任务是基于现状分析的成果,在IT发展战略方向与指导原则的指引下,提出必要的业务流程改进或者流程重整的建议,设计企业未来的IT架构与IT管控机制。蓝图设计阶段的主要工作成果是蓝图设计报告。 这份报告将包含以下一些基本内容: 业务流程改进建议 未来的数据架构 未来的应用系统架构;包括应用系统的功能分布、主要应用系统描述、主要应用系统的迁移路径建议、应用系统集成与整合架构等 未来的基础设施架构;包括网络、硬件、系统软件以及运行维护、开发、安全等的基本原则 未来的IT管控机制;包括主要IT业务流程的定义、IT部门的组织结构、IT部门绩效考核与考核指标、IT业务规范 对于企业而言,应用系统的集成与整合将是未来的蓝图设计要解决的特别突出的一个问题,这方面的工作将体现在“未来的应用系统架构”部分。 数据架构设计示例: 应用系统架构设计示例: 技术架构示例: 3.4 IT蓝图实施计划 制定出的IT蓝图之后,项目组将分析企业未来IT蓝图与现状之间的差距,确定这些差距的难度与优先级。提出企业的IT系统整合候选方案,并对候选方案进行综合对比分析,提出建议方案。根据整合方案确定在今后三年中企业需要实施的IT项目、在实施阶段中各个项目的时间顺序、相互依赖关系、项目时间表和需要的资源。 IT蓝图实施计划主要包含以下内容: 现状与蓝图之间的主要差距 总体实施计划:项目划分;总体阶段划分;各个阶段的时间安排、资源需求、预期效果;实施过程中的关键因素 项目定义:对主要项目的范围、目标、资源需求、成本收益等进行定义与分析 项目实施过程中的工程管理方法。 总体实施计划示例:
数据治理治什么?一套数据治理工具与方法指南
随着企业的发展与增长,会积累起越来越多庞大且复杂的数据,这些数据如果得不到有效治理,不要说数字化转型,反而可能阻碍企业增长。 然而,数据治理又是一个非常复杂的系统工程,涉及数据建模、数据集成、数据清洗和数据处理等等方方面面,要想做好数据治理不仅要懂数据库知识和数据建模知识还要掌握统计学知识、信息安全知识和企业内部业务流程。要想在企业内挖掘一个即懂数据又懂业务,即会IT又会管理的人有多难,不言而喻。 那么市面上有没有,即使是不懂IT的业务人员也可以轻松上手的数据治理工具呢?答案是有的。 今天,本就来展开讲讲业务人员如何做好数据治理,以及给大家补充一些数据治理工具选型建议。 正文开始前,给大家推荐一个《数据治理助力BI落地实践》,本资料回答了数字化转型这一企业高质量发展的必答题,在当前的数据应用上存在数据与业务两张皮、数据口径标准不一致、 数据孤岛日益严重的问题背景下,变“两张皮”为“一盘棋 "一股劲":实现标准口径的统一,达到数据互联互通,将数字化转型走深走实。 扫描下方二维码即可免费下载完整PDF! 什么是数据治理 数字治理,从根本上来说,是围绕数据这一核心资产展开的一系列规划、组织、协调和控制活动。其目的在于确保数据的完整性、准确性、一致性、安全性以及可用性,进而通过对数据的有效管理与运用,推动组织战略目标的达成。这意味着数字治理不仅仅关注数据本身的质量和安全,更注重如何将数据转化为有价值的信息、知识乃至决策依据,为组织创造竞争优势。 就拿电商行业来说,每天都会产生海量的交易数据、用户行为数据以及物流数据等。数字治理在此情境下,就是要对这些纷繁复杂的数据进行梳理,制定统一的数据标准,如商品编码规则、用户信息格式等,确保数据在各个业务系统之间能够准确无误地流通与共享。同时,通过数据安全机制,保护用户的隐私信息不被泄露,保障交易的安全稳定进行。在此基础上,深度挖掘数据背后的消费者偏好、市场趋势等信息,为企业的商品推荐、库存管理、营销策略制定等提供精准的决策支持,从而提升企业的运营效率和用户体验,增强市场竞争力。 要想做好数据治理首先要明确数据治理“治”什么。 数据治理”治“什么 北京大学的光华管理学院商务统计与经济计量的教授王汉生教授说“数据治理不是对‘数据’的治理,而是对‘数据资产’的治理,是对数据资产所有权益相关方的协调与规定。 1.什么是数据资产 数据是对客观事物的记录,是未经加工的原始素材。它可以是数字、文字、图像、音频、视频等各种形式。例如,企业销售系统中记录的每一笔交易的日期、金额、产品名称,网站服务器记录的用户访问日志(包括访问时间、IP 地址、浏览页面等信息),这些都是数据。数据本身只是信息的载体,在没有经过处理和赋予价值判断之前,它们只是孤立的、零散的记录。 数据资产则是数据经过整合、加工、分析,并能够为企业带来经济利益或在决策等过程中发挥关键作用的那部分数据。例如,企业通过对用户购买行为数据的分析,提炼出用户的消费偏好模型,这个消费偏好模型就可以作为数据资产用于精准营销,从而为企业带来更多的销售收入,这时候这些数据就上升到了数据资产的范畴。 2.数据资产的利益相关方是谁 企业内部的数据资产利益相关方主要是数据资产生产者、数据资产管理者和数据资产使用者。 企业所有者和管理层是数据资产的关键利益相关方,他们需要依靠数据资产来制定战略规划和做出重要决策。企业内部业务人员是数据的重要生产者。例如,销售人员在与客户沟通的过程中收集客户信息,生产人员记录生产过程中的各种数据。同时,市场营销部门需要利用客户数据资产来制定精准的营销战略,研发部门需要用户反馈数据资产来改进产品。 3.协调与规范的对象是什么 协调与规范的对象就是数据。不同来源的数据往往具有不同的格式。例如,企业内部不同部门收集的数据可能在日期格式(有的是 “YYYY – MM – DD”,有的是 “MM/DD/YYYY”)、编码方式(产品编码、客户编码等)上存在差异。协调与规范的重点之一就是统一数据格式和标准,确保数据在企业内部的一致性和兼容性。 只有首先明白了数据治理的首要目的是什么,才能让数据治理发挥它真正的价值。 数据治理工具选型建议 看来,数据治理的关键还是在于企业的数据治理策略和企业人员的能力。但是拥有趁手的平台和工具无疑能让你的数据治理事半功倍。miao君将从供应商综合实力、产品的结构框架考察两个维度分析如何选择合适的数据治理工具,希望对你能有所帮助。 1.供应商综合实力 为什么要考察供应商的综合实力?这一点其实不必多说,供应商综合实力的强弱是决定供应商能否长期提供优质服务的重要指标。企业的数据治理是一项长期持续的工作,所以对于数据治理工具要尽量选择能够长期合作的、可靠的供应商。 主要可以从这几个维度考察供应商综合实力: 企业市场地位:比如年产值、市场占有率 研发能力:比如研发人员数量、产品发版情况、产品技术先进性 服务能力:售后服务能力、业务能力和服务团队在相关领域的经验。 2.产品的架构考察 (1)数据源适配能力 一个优秀的数据治理工具在数据采集层应具备广泛的数据源适配性。这包括对各种数据库、文件格式、数据接口以及数据传输协议的支持。 比如我们常用的数据分析软件FineBI,就针对企业存在的多业务平台,多类型的数据库,多种类的数据接口的情况,提供了完善的数据接入能力,能将多种形式的数据源全部对接到FineBI中进行分析。 帆软可以支持的数据库类型 (2)产品框架的可拓展性和灵活性 产品框架的可拓展性和灵活性也是考察的另一个关键因素 数据治理工具的各个架构模块应具备良好的扩展性。随着企业业务的发展和数据治理需求的变化,可能需要在数据采集层添加新的数据源,在数据处理层增加新的数据处理算法,或者在数据分析层扩展新的分析功能。 总结 “数据治理,说起来容易,做起来难。”这是业界的共识。在数字化转型过程中,数据治理不得不做,但又难以做好,这成似乎了企业的一个“魔咒”。希望看完本文的分析,能对你以后的工作有些帮助。 合适的工具能够大大提高数据治理的效率,想要体验BI工具的朋友,可以扫描下方二维码免费体验!
供应链控制塔的五大特点
在当今快速变化的商业环境中,供应链管理的智能化和效率化成为了企业竞争的关键。帆软供应链控制塔以其独特的技术优势和行业洞察,为企业提供了强大的供应链管理解决方案。以下是帆软供应链控制塔的五大亮点,它们共同构成了企业供应链转型的强大动力。 正文开始前,给大家推荐一个《供应链控制塔解决分析方案》,本方案详细介绍了帆软供应链控制塔-IBP(Integrated Business Planning and Execution)的解决方案,旨在通过高度集成和智能化的供应链管理,实现企业供应链的全面升级。 扫描下方二维码即可免费获取PDF资料! 帆软供应链控制塔亮点 1. 决策与生成AI结合 帆软的供应链控制塔通过将决策式AI与生成式AI结合,提供智能化的决策支持。决策式AI应用于需求预测、库存优化等决策场景,通过复杂的算法分析帮助企业制定更加精准的决策。生成式AI则增强了对数据的自动化分析和优化建议,利用大数据和智能模型生成洞察,从而支持更快速和高效的决策过程。这种结合使得企业可以在复杂的供应链环境中更加灵活地应对变化和挑战。 2. 行业与指标标准结合 帆软通过与行业标准和指标体系的结合,为供应链管理提供了一个统一的框架。这种结合不仅增强了供应链控制塔的行业适配性,也保证了数据分析与决策制定的标准化与一致性。通过基于行业标准的指标,如APQC(美国质量认证委员会的供应链标准)等,帆软帮助企业对标最佳实践,提升供应链管理效率。供应链控制塔通过将这些行业标准与企业实际情况相结合,帮助企业不断优化各项运营指标,提升整体供应链的可持续性和竞争力。 3. 完整端到端可见 帆软的供应链控制塔实现了完整端到端的可见性,确保供应链各环节的数据和运营状态能够实时可视化。这不仅包括从采购、生产到物流的全过程,还涵盖了每个环节的关键数据和决策支持信息。通过可视化的操作面板,企业管理者可以随时了解供应链的实时动态,及时发现问题并进行调整。控制塔的端到端可见性为企业提供了一个全局视角,帮助他们在复杂的供应链网络中做出更加精准的判断和决策。 4. 分析应用策略建议 帆软通过先进的数据分析与应用策略建议,帮助企业基于供应链数据做出优化决策。例如,在需求预测、库存优化等领域,帆软提供了基于多层滚动产销计划(IBP)的策略建议,能够帮助企业精准预测未来的需求波动,并在此基础上调整生产计划和库存管理。此外,帆软通过对供应链数据的深度分析,提供个性化的策略优化建议,帮助企业在不同的业务场景中持续提升供应链效率。 5. 决策场景建议 帆软的供应链控制塔为不同的决策场景提供定制化的建议,确保决策的精准性和有效性。在需求预测、库存管理、生产调度等方面,帆软提供基于数据的建议,帮助企业在面临不同挑战时,能够快速做出合理的应对策略。例如,在需求预测中,帆软能够结合历史数据、市场变化等因素,提供多维度的预测结果,并根据不同的策略调整库存、生产和配送计划。这些决策场景建议进一步增强了供应链控制塔的应用价值,使企业能够实时响应市场变化,优化决策执行。 这些亮点使帆软的供应链控制塔在复杂的制造与供应链环境中,能够帮助企业提升效率、降低成本,并通过智能决策实现更加灵活和高效的运营。 供应链转型的成功交付案例 案例一:某电动及手动工具的制造和销售商的采购云平台搭建 该企业通过简道云搭建的供应商SRM平台,与供应商的沟通效率提升了 80%,资料完整性提升至100%,数据可查询跟踪性提升100%;通过对供应商周期性的绩效考核,公司可以根据考核结果筛选出优质的供应商,从而牵引非优质供应商向优质方向发展,最终提高供应物品的质量和供应商的服务水平。 案例二:某消费饮料企业供应链生产运营场景实例 该企业通过帆软的供应链控制塔系统实现企业运营全链路串联式分析,找出来影响交付、高库存、产存不协调的直接影响因子。 案例三:某新能源企业的供应商画像 通过多维度供应商画像分析,该企业优化了供应商结构,提升了库存管控主动性,提高了库存周转,降低了呆滞风险;提高了生产稳定性,降低了停线风险并沉淀应对策略;提升了供应链运转效率,实现了从整体到局部的管控体系;实现了数字集成及协同,补充业务系统的不完善,最终实现了更高效的战略采购。 案例四:某大型白酒上市公司的销售预测 通过帆软的销售预测工具,该公司优化了库存结构,成功减少了呆滞库存。 案例五:某电器龙头企业的库存优化 帆软基于单级和多级库存策略的优化算法,为该企业设计出库存分配引擎,建立了全国库存调拨联动机制,提高了库存利用率,引导仓库作业节奏,实现了交付时效最短化。 通过这些创新的技术和策略,帆软供应链控制塔不仅提升了企业的供应链效率和响应速度,还降低了成本并增强了市场竞争力。从电动及手动工具制造和销售商的采购云平台搭建,到消费饮料企业的全链路分析,再到新能源企业的供应商画像优化,以及大型白酒上市公司和电器龙头企业的库存优化,这些成功案例证明了帆软供应链控制塔在帮助企业实现供应链转型方面的卓越能力。随着技术的不断进步和市场环境的演变,帆软供应链控制塔将继续引领企业走向更加智能化和高效的未来。 最后,给大家推荐制造业产品专家孙韦老师为大家带来《帆软供应链专场:从制造到智造,供应链数据应用转型实践详解》的直播分享。
【专家洞见】Vol.26-联宝科技供应链战略与数字化转型负责人-周其平
Q1:请周总先做一个自我介绍 A1:我来自联宝科技,联宝科技是一家位于安徽省合肥市的一家企业。我们是成立于 2011 年,虽然说还是一家比较年轻的公司,但是随着这几年来业务的快速增长,我们目前已经是联想全球最大的 PC 研发和制造基地,也是全球灯塔工厂,包括我们现在累计的出货量大概已经达到了 2.8 亿台套啊。过去几年我们的营业收益一直都是保持在 1, 000 亿元人民币以上。 Q2:请您谈一谈在当前市场环境下,哪些因素驱动了联保科技加速推进数字化进程? A2:其实在当今这个社会,我相信数字化转型已经成为绝大多数企业的一个共识。但是如果具体到各个企业或者说各个行业,它面临的转型的一个推动力肯定是不一样的,那在联保科技的话主要有几个方面。 第一个我认为最重要的还是市场的一个竞争的压力。其实笔记本电脑它的市场的一个竞争,包括品牌的一个细分,它是非常非常多的竞争也非常的地残酷,包括我们近年来也有不断的新的竞争者涌入到我们这个行业里面,而数字化转型它就可以让企业能够很好的,更好的有灵活性的应对这个市场外部环境的变化,那让我们从竞争中脱颖而出。 那第二个方面我认为也非常关键,就是客户需求在变化,我们有统计过,像笔记本电脑它的一个定制化比例可能在 10 年前大概只有不到40%。而现在这个比例已经超过了 80% 了,所以我们是无法用传统的一些手段去应对更好的,或者说更好的服务客户的这些需求的。 那第三个方面的话可能是联宝科技,这个行业所特别有的,就是我们面临我们整个宏观环境的一个变化,因为我们的产品不是说只是销售往那个国内,我们是销售往全球五大洲的 126 个国家。所以全球范围内任何区域有地缘冲突,或者说像一些贸户贸易、保护主义等等,都会对我们产生非常重大的影响啊。 其实我就举一个例子,比如说像 2020 年,当时我们那一家友商就被纳入了美国商务部的一个实体清单,所以短短几周时间我们就要完成几百万笔订单的一个转产,所以如果没有数字化的工具,我们是无法在这么短的时间里去完成这个任务的。 Q3:在转型的过程中又遇到了哪些典型的问题? A3:对联宝科技来说,其实这个数字化转型肯定是有非常多的挑战的,那我们其实是最关心几件事,第一个事就是我们如何在数字化转型的过程中能够做到这个资源的保障,包括资源的合理的分配。因为我们既要保证我们业务的一个连续性,那同时我们要保证我们有很多的精力、很多的资源用于数字化转型并且取得成功。 那第二个挑战其实我觉得最重要的还是要做到我们短期的目标和我们长期价值的一个平衡,那其实我们也做了很多事,比如说我们在做的所有的数字化转型,我们必须要跟我们的业务目标相挂钩,就是我们做的转型的用例也好,做的项目也好、投资也好,我们必须要能够说清楚对业务的目标的改变是什么?你这个项目上了以后,你这个改善前,改善后是怎么样?必须要说清楚。 第二个的话,我们必须要坚持价值导向,就所有的项目用例和投资必须要有价值,如果对业务没有价值,我们宁可不做,而且这个价值我们也要说清楚它是短期的还是长期的,对吧?对,联宝科技可能 3 到 5 年的发展,它意味着什么?能够带来什么效益? Q4:数据作为一个新的生产要素,它对联保科技的核心竞争力的提升有没有重要影响? A4:在当下时代背景下,如果说这个战略驱动是数字化转型的根本,那么数据无疑就是数字化转型的基础。 在联宝科技,我们一直围绕两个方向展开工作:一个是业务数字化,另一个是数字业务化,但业务数字化我们认为这是数字化转型的基础。在过去的 7 年多的时间,联宝做了非常多的积累,将很多的业务对象,包括一些交易所涉及到的标准流程都转换成了数据。联宝科技在当下这个节点做的比较多的是叫数字业务化,我们会将很多的数字技术去融入到我们的产品和服务中,甚至是带来我们整个商业模式的重构,能够带来更多的价值。 我非常认可,比如说像数字已经成为生产力这样的说法,如果一个企业它的数字化做得非常好的话,它就可以实现我们平时所说的“新四化”:作业数字化、数字平台化、平台智能化和智能实战化。 作业数字化和平台化能够让数据变得干净、透明,这是数字化转型的基础阶段。而更高层次的转型,如平台智能化和智能实战化,才能真正发挥数据的力量,使数据随需、有用、易用,从而支持企业的智能决策和快速响应。 目前,联宝科技已经实现了系统自动推送和解决小问题的能力,而对于复杂的问题,我们也能够做一些分析模拟,或者说做一些辅助决策。 Q5:请您分享一下BI在供应链的数字化转型中扮演了怎样的角色? A5:从联宝科技的角度来看,我们在供应链的数字化转型中引入BI是比较早的,我们是从2019年就与帆软合作,采用了FineBI产品。通过BI的应用,我们做了很多个系统的集成和应用,涵盖了订单管理、库存管理、采购协同以及成本管理等供应链的各个关键环节。 其实也是给我们联保科技带来很多的一些价值,包括客户满意度的提升、订单交付效率的提升以及我们库存物流成本的节约等等。其实这也是也非常感谢帆软对我们的支持啊。 那同时对于未来的智能的BI,我个人也有一些期待。我是希望,咱们未来的 BI 能够更多的融入一些我们最新的一些技术,比如说生成式 AI 等等。通过这种技术的加持,BI在供应链管理中将能够更加精准地优化供需模型,提升供应商协同效率,或者说更好地做供应链运营等等。 同时,我也希望智能BI能够更深度地与我们的业务融合,甚至是为我们的企业提供一些更加定制化的解决方案,能够真正解决千行百业的一些问题。 Q6:您觉得企业经过什么样的努力能够成为灯塔工厂? A6:我认为企业要成为灯塔工厂需要从几个维度进行努力。 第一个是一个企业要看得远,灯塔并不是适合所有的企业。比如说你的企业准备在未来的 5 到 10 年你发展什么样子的?你准备走什么样的一个技术选型?你希望给客户提供什么样的产品或者服务?需要思考清楚。也就是灯塔的话一定是战略先行,比如说我从整个企业的维度,我已经决定了我要通过灯塔来提高我的一些服务或者产品,那这样子的话你就可以去申请灯塔。 其次的话我觉得要找对伙伴,灯塔工厂的申请过程非常复杂,因为灯塔工厂本身有一套严格的评估标准,所以单靠企业自身的努力可能难以成功,需要借助一些比较标准的研究机构的力量。我们当时就是跟麦肯锡合作的,因为他们具备全球布局的视野,能够帮助企业识别优势领域。他们知道这个企业在哪方面它比较突出,申请哪几个用例比较容易通过灯塔的认证。灯塔它也有自己的管理体系,比如你觉得我计划做得好,可能别人计划比你做得更好。你可能觉得我的供应商协同不是那么的好,但是他可能会觉得别的企业这方面都没有,那你就可以申请这个用例,所以要找这个老师,找对合作伙伴。 第三个,我觉得就是一旦做了这个决定就要持之以恒地去长久的坚持下去,中间不可能有任何的放弃。
个人成就
内容被浏览2,239,384
加入社区13年152天
返回顶部