您的浏览器版本过低,为保证更佳的浏览体验,请点击更新高版本浏览器
以后再说X作者:汇付天下 发布时间:2025-06-12 09:26:33 次浏览
背景支付生态中,每秒要处理数万笔交易,数据在其中的作用至关重要,但随着系统功能的迭代升级的同时,数据孤岛与数据价值流失的现象愈发明显:系统中各个模块数据独立存储、口径各异,全局数据关联性存在断裂现象,无法形成有效的全局业务洞察;数据重复与一致性冲突,相同数据(如客户信息)在不同系统中重复存储、标准不一、口径不一致、且更新不同步,导致“单点维护,全局混乱”,业务响应效率下降,全局数据洞察的成本上升;
背景
支付生态中,每秒要处理数万笔交易,数据在其中的作用至关重要,但随着系统功能的迭代升级的同时,数据孤岛与数据价值流失的现象愈发明显:
系统中各个模块数据独立存储、口径各异,全局数据关联性存在断裂现象,无法形成有效的全局业务洞察;
数据重复与一致性冲突,相同数据(如客户信息)在不同系统中重复存储、标准不一、口径不一致、且更新不同步,导致“单点维护,全局混乱”,业务响应效率下降,全局数据洞察的成本上升;
数据追溯效率底下,数据标准混乱导致串联所有系统数据的时效显著降低;
数据分析失真,各个系统各自维护自己的数据口径,造成口技分歧,造成全局业务报表与局部数据矛盾,数据可信度下降。
从而带来种种业务问题:商户侧因交易流水与结算账单的字段错位,导致对账差错引发商户误解;支付链路横跨交易、收银台、通道等多个系统,交易因数据断点无法端到端追溯,内部数据构建客户标签、风控特征效率低下;
监管机构要求交易信息可追溯周期延长至5年等等;
综上,支付机构必须通过数据治理重构底层数据逻辑,串联支付链路的数据线索,建立全局血缘地图;用标准化治理让海量交易数据蜕变为数据价值。这不仅是技术命题,更是支付机构从规模扩张转向质量竞争的分水岭。数据治理的工具和解决方案很多,如何让数据治理为企业带来实际的价值,需要不断去探索和尝试。汇付经过多年的实践,逐步形成了一套适合行业特点,适合企业自身业务需要的方法论、规范、流程和配套的管理平台。什么是数据治理
DAMA(Data Management Association)在《DAMA 数据管理知识体系指南》中的定义,“数据治理是对数据资产的管理活动行使权力、控制和共享决策(规划、监控和执行)的体系。”其核心要点包括:战略驱动:将数据治理与组织的战略目标对齐,确保数据成为企业资产。
协作框架:通过跨部门协作,定义角色(如数据所有者、数据管理员)、职责和流程。
标准化与合规:制定数据标准、政策和规则,确保数据质量、安全性和合规性(如 GDPR、CCPA)。
全生命周期管理:覆盖数据的创建、存储、使用、共享到销毁的全过程。
价值实现:通过优化数据利用,支持业务决策、创新和风险管理
DGI则将数据治理定义为“数据治理是一个通过明确决策权和责任来系统性管理数据资产的流程体系,旨在平衡数据利用的风险与价值。”,其核心要点包括:决策权分配:明确谁有权定义数据规则、解决争议并承担数据相关的责任。
风险管理:识别数据使用中的风险(如隐私泄露、合规违规)并制定控制措施。
价值创造:通过数据共享、分析和应用,推动业务增长和效率提升。
透明与问责:建立清晰的流程和文档,确保数据操作的透明性和可追溯性。
持续改进:通过指标监控和反馈机制,优化数据治理效果
无论是DAMA还是DGI,数据治理的核心都包括:战略导向:数据治理是实现业务目标的战略工具
权责明确:强调角色分工(如数据所有者、管理员)和决策权的分配。
价值创造:支持业务决策、创新和协作
可持续性:建立适应变化的治理体系,匹配组织战略和技术演进
基于以上指导思想,技术实施主要包括数据的以下五个方面,即:
理:梳理已有的数据和业务流程,形成数据脉络
治:实现数据的清洗、分类、转换、关联等
聚:基于业务流程和应用场景构建数据汇聚机制
管:标准管理、元数据管理、质量管理
用:通过数据的共享开发,实现数据治理的最终价值
本文也将重点讨论数据治理在技术实施层面的方法论和汇付基于方法论的实践。
什么是数据治理
DAMA(Data Management Association)在《DAMA 数据管理知识体系指南》中的定义,“数据治理是对数据资产的管理活动行使权力、控制和共享决策(规划、监控和执行)的体系。”其核心要点包括:战略驱动:将数据治理与组织的战略目标对齐,确保数据成为企业资产。
协作框架:通过跨部门协作,定义角色(如数据所有者、数据管理员)、职责和流程。
标准化与合规:制定数据标准、政策和规则,确保数据质量、安全性和合规性(如 GDPR、CCPA)。
全生命周期管理:覆盖数据的创建、存储、使用、共享到销毁的全过程。
价值实现:通过优化数据利用,支持业务决策、创新和风险管理
DGI则将数据治理定义为“数据治理是一个通过明确决策权和责任来系统性管理数据资产的流程体系,旨在平衡数据利用的风险与价值。”,其核心要点包括:决策权分配:明确谁有权定义数据规则、解决争议并承担数据相关的责任。
风险管理:识别数据使用中的风险(如隐私泄露、合规违规)并制定控制措施。
价值创造:通过数据共享、分析和应用,推动业务增长和效率提升。
透明与问责:建立清晰的流程和文档,确保数据操作的透明性和可追溯性。
持续改进:通过指标监控和反馈机制,优化数据治理效果
无论是DAMA还是DGI,数据治理的核心都包括:战略导向:数据治理是实现业务目标的战略工具
权责明确:强调角色分工(如数据所有者、管理员)和决策权的分配。
价值创造:支持业务决策、创新和协作
可持续性:建立适应变化的治理体系,匹配组织战略和技术演进
基于以上指导思想,技术实施主要包括数据的以下五个方面,即:
理:梳理已有的数据和业务流程,形成数据脉络
治:实现数据的清洗、分类、转换、关联等
聚:基于业务流程和应用场景构建数据汇聚机制
管:标准管理、元数据管理、质量管理
用:通过数据的共享开发,实现数据治理的最终价值
本文也将重点讨论数据治理在技术实施层面的方法论和汇付基于方法论的实践。
数据治理方法论与实施路径
在支付行业 "牵一发而动全身" 的数据治理中,我们提炼出实施框架:顶层规划数据战略,决定数据治理的高度;数据标准落地确保数据一致性、完整性和可复用性;业务过程建模实现业务与系统与数据的连接;数据监控与监督制度保证数据模型、数据标准能持续得运行;最终形成可闭环的治理体系。
1、顶层规划数据治理不仅是技术问题、数据问题,更需要对应的组织、制度、角色配合。汇付成立数据治理委员会,汇聚CFO、CTO、用数业务总等高层组成决策架构,决定汇付数据战略,数据资源倾斜,制定数据新建、迭代制度等
2、基于业务过程的数据建模以业务为“引擎”的数据治理,才能最大化发挥数据价值,从而反推业务发展。作为汇付数据治理的关键环节,数据建模将“以业务为中心”体现得淋漓尽致。
数据模型与业务流程深度融合。从应用场景出发,到数据清洗,梳理业务流程、指标和数据,到设计模型和开发应用,数据建模由业务驱动,也将服务于业务场景。
模型支持通过业务流程整理和描述数据。数据源覆盖交易、收银台、银行、账务等支付交易流程的各个重要节点,实现了数据和业务的连接。抽象支付业务模型为,上层业务要素(支付发生的业务背景)+支付要素(信息流要素、资金流要素)+ 状态机(信息流状态机、资金流状态机)+资金能力,抽象对账业务模型要素:对账方式+对账粒度+对账模型+对账节点,圈定了对账物理模型设计的要素。从站在系统的角度变为站在业务流程的角度设计,业务系统一直变化,但是基于业务流程的抽象是不会变的。降低了数据模型后续迭代更新的成本。同时,也降低了模型使用门槛,用户不必掌握底层逻辑,根据业务流程也能便捷使用。
3、数据标准落地
“同一个世界,同一种语言”,在数字世界同样重要。随着业务的快速发展,多个业务系统数据库并存、数据繁多复杂,极易引起数据理解的歧义。数据标准化,也称为数据语义化,即对数据表名称、字段名称、字段类型等数据口径进行统一定义,确保用户使用“同一种语言”。数据语义化可谓数字世界的“翻译器”。
汇付目前已整理157套标准码、减少码值取值范围近7000种,标准化定义字段类型9种,新建包含600余个词根的词根表、避免出现“同名不同义”和“同义不同名”等问题,让数据使用者、研发人员等统一接入、开发和使用数据。与此同时,规范命名规则和数据类型后,未来新增数据也不再杂乱无章,而将有序地存储和标准化应用。
4、数据监控与监督制度规范的数据标准、良好的模型设计完成后离不开数据监控与监督制度为数据模型的稳定性保驾护航。数据稽核和监控,作为数据治理提供有效手段。各个厂商的工具有局限性,通过自建数据质量平台来满足企业各数据质量需求,既使用厂商提供的能力又能各个工具的不足。自建平台可以对接主流云厂商的质量API,支持访问主流和企业特有的数据库等其他数据组件,具有多个数据稽核模版,具有可定制的告警机制。自建数据质量平台还可以直接同步厂商数据质量工具稽核结果,用最少的开发成本做到数据质量统一管理。
数据质量管理,可以做到数据标准和重要码值异常提前发现(灰度环境出现不一致即可告知相关人员);数据应用指标、模型技术指标、数据采样不一致、数据趋势不一致及时通知等。
数据监督制度,数据治理不是一次性工程,是一个持续治理与维稳的过程。公司有新的业务、已有业务出现变更,及时还没提出数据需求,数据治理就开始介入,尽早理解业务场景,早一步推动数据规范和标准落地,对已有数据需求的业务早一步提出数据视角的优化需求,这样可以更好的解决数据源不标准、规则不明确等问题。这也和顶层对数据治理规划的重视分不开,形成多部门协作模式。
数据应用
数据治理的最终目标是什么?让数据“活”起来。经过数据治理后,安全、结构化、高质量的数据能够应用于多元化场景。
汇付斗拱通过全链路数据治理,做到既满足多客户多场景多模式,又把全域客户和资金数据进行统一管理,快速查询,快速追溯以及基于这些数据提供各种应用。
斗拱客户数据实时查询:斗拱客户的各基础信息、支付方式开通和费率属性、分账分期属性、结算属性、终端信息,商户层级等数据,通过数据治理把客户在各种场景,各种方式下的数据进行统一规范、统一采集、统一加工,向上提供统一的模型,统一的应用接口,最终做到一键实时可查。
商户账单能力:斗拱全链路,所有出入金场景,包含线下人工打款都进行了数据的规范、统一、关联。商户单条交易从交易、到收银台、在到通道、在到账务通过数据模型横向串联。斗拱商户可以从多视角多维度查看和分析全链路交易数据。
BI分析能力:统一、规范、完整的数据为客户的运营提供基础,基于数据治理的数据结合BI与统计机器学习能力,产出客户交易、行为、属性等特征形成基础标签、客户分层标签等,运营人员每天根据重点客户分层标签的变化结合基础标签筛选,从而精准服务客户。
Copyright © 2020-2030 汇付支付|汇付天下官网 上海汇付天下有限公司 版权所有 招商专线:18782965538 备案号:蜀ICP备2021018159号 网站地图