首页 > 微信群推广 > 正文

百分点公司AI讲堂|程佳:AI+时代的数据中台设计与实践

近日,百分点公司联合DataGirls共同主办AI讲堂。百分点公司产品副总监程佳结合多年的数据平台设计与实施经验,从多个角度分享了传统大型企业落地数据中台时,如何提升数据管理效率,实现数据资产管理智能化和数据平台建设自动化。她认为,在AI+时代下,借助AI进行数据中台的设计与实践,或许会是一个答案。

百分点公司产品副总监 程佳

一、百分点公司数据中台长什么样

作为百分点公司的产品副总监,程佳多年来都在面向传统企业进行To B级的大数据技术平台、数据资产管理平台,以及与AI相关产品的规划和设计。

对于数据中台,她谈到,数据中台是集数据采集、融合、治理、组织管理和智能分析为一体的平台,但它的实质是一种解决方案而不是产品。数据中台最核心的要点,是使数据能够源源不断地驱动上层业务创新,并且业务创新产生的数据又可以回流到数据中台,进行持续性的数据迭代。

而在数据中台中内含的数据资产管理平台的治理体系、生命周期管理,以及AI中台等产品,本质上是构建数据中台过程中积累的全链路工具集。通过对这些工具的使用,再结合数据中台实施落地的方法论,就能构建一个完整的数据中台,为企业和客户创造价值。

“这也是我把这些产品定义为工具型产品的原因。而百分点公司做的,就是在构建数据中台的过程中提供更加智能化的工具,让企业能够更快速地构建数据中台。”程佳总结道。

二、数据中台实施标准路径

万事万物,皆有章法。百分点公司实施数据中台的“章法”就是“五大体系、十一个步骤”。五大体系即数据接入、数据处理、数据治理、数据组织和数据服务,而十一个步骤则是五大体系的完整运作过程共有十一步。

举例来说,当团队进场做数据中台项目时,首先项目经理要带团队做业务盘点和数据盘点工作,知晓客户业务情况;其次将数据接到大数据平台,做数据勘探、数据治理,了解现有数据的质量。之后梳理数据标准体系,做数据的标准化。接着建设数据仓库,对数据进行加工、整合与归类。归类完成后,基于数据可视的目的,对元数据进行管理,建立数据资源目录。最后完成数据的开放和共享,使数据能够在数据中台中被分析和可视化应用。

程佳笑谈:“这十一步其实都是很底层的工作,可以说是苦活、累活,我们叫搬砖的活。它只是按照数据的角度,对数据做了类别整理和数据目录展现,还没有到释放数据价值的那一步。但是它是必备步骤,没有前面这十一步,就没有后面所有的应用。”

三、用AI为传统企业数据中台落地提速

提高数据中台落地效率,最终目的还是把更多的时间用来做真正的价值释放。然而传统企业数据中台的使用用户群繁杂,包括大数据技术团队、数据开发团队、商业智能团队和可视化团队等。即使有数据中台标准架构的方法论、完整的团队,也并不意味着做传统企业数据中台的困境已经消失。

程佳从产品层面,总结了构建传统企业数据中台面临的三个困境:

业务杂。各业务版块关系松散,各自为战,缺乏统一管理标准。客户商业模式各不相同,业务、技术解决方难。

组织重。组织结构复杂,业务、技术部门的融合、协同能力不够。

技术难。大数据技术门槛高,人才储备不足。

面对这些困境,程佳结合多年数据平台设计与实施经验,提出在做数据中台的产品设计时,应该更多地去想如何结合百分点公司“五大体系、十一个步骤”的方法论,让这一方法论的实现更简单、智能、敏捷。基于此,她提出:

1.将工具组件化,积木式组合快速扩充平台能力。

数据中台内含的基础服务、数据管理服务,甚至某些应用服务、前台可视化服务全部可以实现组件化。比如企业要求对某些核心数据做数据质量稽核,就可把基础服务中的任务执行引擎、认证、公共配置等完成一个质量稽核平台,通过整体服务组装成中台。

以组件的形式搭建数据中台,一方面可以保证高度的灵活、低度的耦合,组件可拆可合,同时还具备了强大的兼容性。

2.借助AI提升数据管理效率,实现数据资产管理智能化。

数据中台实施标准路径的十一个步骤缺一不可,所以就会面临全域数据整合后,无法界定具体做哪些数据或核心数据过多的问题。而借助AI,可以使这十一步更优化、智能和敏捷。

智能定义数据标准

数据治理依赖于统一标准。百分点公司将国标、行标结合企业实际情况,加速数据标准落地,形成百分点公司整体标准库。

稽核规则智能匹配

首先按字段名称自动对标。其次按业务逻辑(业务口径)自动推荐稽核规则。投入将大幅缩减,而释放的价值不断提升。

核心代码自动生成

设计数据仓库,可通过智能开发引擎提供的工具(如模型开发、自动代码生产以及调试、代码智能优化等功能组件),基于NLP进行智能数据治理,设计替代编码,智能编排数据开发,大幅提升设计效率。

数据流自动编排

基于数据血缘自动编排数据开发工作流,不再需要大量人力,只需要做一些轻微调整,大大降低了人工成本。

程佳总结道,借助AI提升数据管理效率,实际上是依赖于过去项目中所积累的大量规则和经验,把这些经验沉淀、融入到产品中,再通过用人工智能技术,实现产品更智能。

3.抛开技术思维,降低使用门槛,扩充平台使用人群。

百分点公司基于统一数据模型、内存、Pipeline的交互式数据融合引擎,明确了生产流水线设计,能够让客户轻松地操作平台,解决业务问题。

以交互式机器学习建模设计为例:传统建模设计,需要进行大量代码编写和少量的数据训练。而机器平台可视化建模,将复杂晦涩的机器学习算法集成到平台,形成可视化的算法组件,按需组合,通过简单的参数配置就可完成机器学习建模过程,极大地降低了使用门槛。而交互式机器学习建模设计的价值点表现在三个方面:第一零代码操作机器学习算法组件,第二自动感知数据流、无需关心管道设计步骤;第三可以可视化参数配置。

最后,传统企业运营数据中台,要将数据越用越好,而不是越管越好。这就要求企业以高质量的数据为基础,充分盘活数据资产,并通过业务驱动数据流通,最终促进前台业务创新。只有数据中台运营得当,才能打造良性的生态闭环。

立即发帖

热点排行

用户
反馈
返回
顶部