咨询热线:4008-6044-55 | OA | E-mail
为啥说数据服务是数据中台的标配?
日期:2024-06-17 11:10:03 | 作者:华体会最新地址

  全程“零”编码,高效实现主数据模型、主数据维护、主数据分发、主数据质量的全过程管理,为企业主数据管理落地提供有效支撑,实现各业务系统间的主数据共享,保障企业主数据的唯一性、准确性、一致性。

  内置多类主数据模版,可视化实现多视角模型定义,满足复杂规则的编码自动控制

  多种数据接入方式,支持不同场景的审批管控,数据版本可回溯,满足主数据的全生命周期管理

  覆盖数据建模、采集、处理、集成、共享、交换、安全脱敏于一体,一站式解决数据开发所有的问题。

  具备高并发、高吞吐量、低延迟的一体化任务编排能力,可视化设计、分布式运行

  纯web设计器,零编码完成基本表、变长表、中国式复杂报表、套打表、问卷调查表等制作;支持年报、月报、日报,以及自定义报表期等多种数据采集报送频率

  提供在线填报和离线填报两种应用模式,也支持跨数据源取数;填报数据自动缓存在WEB浏览器中,即使宕机也不会丢失

  支持单表审核、全套审核、成批审核等多种层次的审核操作,通过醒目的背景颜色标识提示相关单元格

  内置灵活轻便的工作流引擎,实现了用户业务过程的自动化;支持层层审批、上级审批、越级审批、自定义审批等多种审批方式

  对于下级填报单位上报的数据,上级汇总单位可将其进行汇总;支持层层汇总、直接下级汇总、选择单位汇总、按条件汇总、按代码组汇总、按关键字汇总、自定义汇总等

  提供数据锁定机制,防止报表数据被意外修改;支持数据留痕,辅助用户过程追溯;未及时上报的用户自动催报;所见即所得的打印输出等

  提供多种类型的数据接口,可以导入EXCEL、DBF、二进制、文本等格式的数据,可以将报表数据批量输出为HTML、EXCEL、XML、TXT等格式

  统一指标定义,实现“一变多变、一数多现”的数据管理效果,为公司可以提供强有力的数字化保障和驱动效应。

  支持从关系型数据库、分布式数据库、文本文件、接口等30+数据源取数,采用拖拽式的方式定义合成指标,业务人员零学习成本

  轻设置,无需置守固化生成指标数据;支持全量固化、增量固化,基于数据回滚和并行计算机制,保证数据的完整和高性能

  无缝对接ABI分析,面向业务人员进行猜想式、探索式的指标挖掘分析。具有快速定义、高交互,简单易操作等特点,内置丰富的统计图表,并具有强大的组件库,满足各类指标分析挖掘需求

  零代码+AI,有“问”必答的数字助理,利用AI大模型和数字人技术,通过语音&文字输入问题,自动识别业务指令,深度理解用户意图的问题,洞察数据,人机交互,重新定义BI新体验。

  不止于工具,更加是随时待命的得力助手。一声指令,为您提供即时的数据分析和决策支持

  主数据全生命周期管理,保障主数据一致性、权威性、共享性,提升公司运营效率

  集数据采集补录、数据ETL建模、数据实时存储、数据分析展现等应用场景于一体

  涵盖数据存储、数据集成、数据交换、数据共享等方面,为企业用户更好的提供云原生仓湖一体解决方案

  有的人觉得,多维的数据分类体系已经够用了,标签就是一个“鸡肋”;也有人认为标签体系有有利于大数据的萃取和分析,提供画像能力,实现精准推荐,必须是数据中台的标配。

  数据服务的类别相当广泛,有提供数据传输能力的叫做数据传输服务,有提供数据存储能力的叫做数据存储服务,有执行很多类型分析的叫做数据分析服务,还有提供数据安全管理的叫做数据安全服务等等。

  这些都叫数据服务,但这一些数据服务强调的是能力,更准确的定义是“Data as a Service——数据即服务”,但这不是我们今天要讲的数据中台的数据服务!

  数据中台的概念是由阿里巴巴提出来的,我们来看看“中台鼻祖”怎么说。在阿里巴巴数据中台全景图中,统一数据服务也叫OneService,即由数据中台提供统一的数据接入和数据查询服务。

  ,基于元数据和规范定义和建模,构建主题逻辑表,屏蔽复杂物理表,提供业务视角下的查询。

  ,一站式提供一般查询、 OLAP 分析、在线接口服务等查询和应用服务,便于数据跟踪管理。

  ,统一数据接入层,屏蔽多种异构数据源的读写差异,减少数据访问和应用成本。 我的理解:不同系统之间使用服务的方式来进行交互,

  数据服务为数据和应用之间建立了一座“沟通的桥梁”,这座桥梁的存在形式是API

  。可以把它想象成一个电源插座,例如,只需要你的吹风机有一个匹配的插头,并将其插入,电流就会流向你的吹风机,就像数据流向你的数据应用一样。

  网上的很多文章中,喜欢将数据中台用“厨师做菜”来形象比喻。厨师做菜一般有几个步骤:买菜、洗菜择菜、制定菜单、炒菜。这几个步骤在数据中台的数据加工流程中被称为:数据采集数据清洗、数据建模、数据分析/数据应用。

  数据采集:跟厨师做菜一样,巧妇难为无米之炊,需要做几道好菜,首先得有原材料,那么数据采集/数据接入就是买菜的过程。

  数据清洗:买回来菜需要摘洗干净,才能下锅,数据清洗就是摘菜洗菜的过程,是需要把脏数据清洗掉。

  数据建模:菜摘洗好了,但炒什么菜要应该要依据客人下的菜单来做。数据建模就像对为客人制定菜单一样,例如:客人喜欢什么菜?鱼香肉丝还是宫保鸡丁,口味是甜一点,辣一点还是清淡一点等问题都要描述清楚并传递给“厨师”。数据建模就是将数据消费者的需求转化为计算机能够理解的语言。

  好了,看到这个地方有人不禁要问:说了这么多,数据服务在哪里?数据中台到底为什么需要数据服务?

  在这个“厨师做菜”的过程中,有一个不能忽略的角色,不知道你有未曾发现,这一个角色就是“服务员”。他的任务是帮助客户点菜,并将炒好的菜端到客人的桌上。而数据中台的“服务员”就是数据服务,英文名字:OneService。

  想象一下,你正坐在餐厅的一张桌子旁,那里有可供选择的菜单。但假如没有服务员,就会缺少的是将你的菜单传达给厨房并将你的食物送回餐桌的关键环节。这就是“服务员”(数据服务)的用武之地,接受数据消费者的请求,并告诉系统做什么,将做好的数据服务以API的方式提供给数据消费者。

  另外,在整一个完整的过程中,数据服务还有一个作用,它屏蔽了底层数据的技术细节,数据消费者不需要关心“这一些数据来自什么地方,哪个库,哪张表,数据库类型是什么等”问题,只需要关心“这一些数据能否满足我的需要”就行了。

  就如同你去餐厅吃饭,不用关心菜是从哪买回来的,谁是配菜的,谁是炒菜的等这样一些问题一样,只需要关心这个菜合不合你的口味就行了。

  在传统的数据集成方案中,往往需要将数据从一个系统导出/导入,或复制到另一个系统当中。随企业数据应用规模的逐步扩大,需要在几十个甚至上百个系统中进行数据集成,传统的数据集成方式难度慢慢的变大,暴露的问题也慢慢变得多。

  传统数据集成需要将数据从一个系统复制到另一个系统中,过程中由于网络、接口、程序、任务以及其他的一些不确定因素都会导致数据在“搬家”的过程中“丢失”,从而造成数据不一致问题。

  而通过数据中台提供的数据API交付数据,大部分情况下不需要数据“落地”,强调使用权而不是拥有权,这样就大幅度减少了数据在流向下游系统过程中造成不一致问题。2、数据接入多样,集成效率低数据中台会根据公司数据的类型、数据量大小、数据的应用需求等,设计相应的不同数据接入和存储方案。例如:通过MySQL、Oracle接入数据量比较小的数据,通过Greenplum接入数据量大且需要多维分析的数据,通过Hbase接入大量的keyValue数据,以及通过ES建立数据索引提升数据的查询效率等等。这种情况下,如果按每种数据接入方式暴露数据的话,无疑是一个很复杂事情。

  而通过数据中台将各类型数据封装为统一的数据API,对外提供接口,能够屏蔽数据接入多样性带来的数据集成复杂、效率低下等问题。

  3、数据被哪些应用访问了无法监控传统的数据项目中,即使用了元数据这样的工具,也没办法实现数据的采集、汇总、清洗、处理、应用的全链路血缘分析。尤其是数据平台到数据应用的链路几乎全部是割裂的,数据平台通过导出/导入或数据复制的方式为数据应用提供数据,数据一旦进入到下游系统中,数据平台就无法监控其使用情况了。而数据中台提供的统一数据服务API,为数据应用和数据中台搭建了一座桥梁。

  ,在给数据应用授权以及应用程序访问数据API的时候,可以“标签”的形式,将数据访问链路通知给元数据中心,从而打通了数据中台到数据应用的链路,形成了数据的全生命周期血缘。4、上游数据变更,影响下游数据应用在很多数据项目中,还有一种情况相对来说比较常见:数据应用直接调用数据平台的数据库来访问数据。这就会导致,一旦上游数据发生变更就会对下游的数据应用造成较大影响。而数据中台提供统一的数据API供数据应用调用,实现了数据中台与数据应用的解耦。在数据服务内部建立与与各数据源建立映射,

  上游数据发生变更,只需要调整数据服务的映射即可,不会对数据应用的使用造成影响

  在数据中台架构中数据服务层位于数据中台上层,连接数据消费层,将已整合的数据以服务的形式提供给数据消费者,以获得更好的性能和体验。数据服务层具备的功能如下:

  跨源数据服务:数据中台接入数据的多样性,决定了数据中台的技术架构需要由多个大数据组件组成,例如:Hive、HBASE、GP、ES、Redis、MySQL、Oracle等等,而业务上对数据的使用可能是跨多个数据库的。数据服务层提供的跨源数据服务,屏蔽了底层数据源的技术差异,可以从不同数据源提取数据,并按照业务有必要进行编排,形成统一API进行对外共享。

  主题数据服务:按照不同的业务主题,组织形成统一的数据API。数据中台继承了数据仓库面向主题的思想,将位于不同数据中间存储的同一业务主题的数据整合到一起,屏蔽多数据源与多物理表,形成标准的数据服务供外部使用。例如:销售主题,需要将企业的批发、零售、线上、线下、代理等等各个渠道的销售数据汇集起来。

  一站式查询:数据服务最终将用户访问的API 转化为底层对各种数据源的访问,实现对数据中台数据的一站式查询,提供数据检索、联机分析、实时查询等,提升数据查询的效率。

  全链路打通:数据和应用的分离会导致数据血缘无法完整追溯,数据服务不仅提供了连接数据和应用能力,还通过服务授权以及访问监控等功能,将数据API的访问情况实时写入元数据中心,形成完整的数据血缘。

  订阅交付能力:数据API构建完成,并不是特别需要数据消费者重复构建集成通道,而是通过授权“订阅”的方式,让数据消费者通过接口快速使用数据。

  为了使数据中台具备快速响应前端业务需求的能力,主流的数据中台均采用了云原生技术来构建数据服务层,实现数据服务的快速开发、有序落地。同时,数据服务的设计开发还应注意以下事项:

  服务拆分的越细则复用性越好,但如果只考虑服务重用,大量的细颗粒度服务将很难管理并且势必会对整体性能带来影响。服务的设计需要从业务需求、管理难以程度、性能特性等方面综合考量。

  标准化问题:服务的开发采用Restful API技术,该技术具有结构清晰、易于理解、方便扩展等特点,且接口规范标准,不论前端应用是java、C#还是PHP都能够调用。就像设计一个插座,一定要具备普适性,这样不论你的吹风机插头是美标的、欧标的还是国标均的都能够适配。

  DataOps:DataOps是将DevOps的理念延伸到数据世界,提供了一种数据服务的持续运营方式。通过API网关进行服务的注册和管理,实现数据服务的动态发现、自动部署、自动化监控。根据服务的运行监控数据对数据服务的进行相对有效治理,包括数据服务的迭代优化、服务编排、自动测试、服务下架等。

  数据服务层(OneService)改变了传统的数据集成和交付方式,所有整合到数据中台的数据都通过数据服务提供,数据服务对外暴露的不是数据而是接口,数据消费者不用直接获取数据,而是通过接口服务获取。

  数据服务不是简单的对外暴露一个API就行了,从功能层面,数据服务还包括了跨数据源服务、主题数据服务、一站式查询服务、订阅式交付、全链路打通等能力;在技术层面,数据服务采用了云原生技术,具备了服务的动态发现、自动部署、自动监控、服务治理等能力。


在线留言

在线客服