大数据生活

【大数据生活】大数据融合发展看贵州 ▏数据工厂:“建管”一体化 为数据灵活赋能

2017-12-05 11:14:08 xiaoyi 11

大数据时代,“大数据”既是一项技术也是一种资源。作为资源,研究机构Gartner给出的定义是:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。而作为技术,大数据是采集、处理、存储庞大数据并进行分析、应用的信息技术手段。随着新一代信息技术的迅速发展与普及,全球数据以“井喷式”的速度生产,据IDC发布的《数据时代2025》显示,全球每年产生的数据将从2018年的33ZB(1ZB=10万亿亿字节)增长到175ZB,相当于每天产生491EB的数据。

相关数据显示,我国拥有全球最多的移动互联网用户,无时无刻不在产生数据,积累沉淀了丰富的数据资源。但是,目前市场上大量的数据生产出来后停滞在数据库,即使有使用,大多仅停留在浅度的应用中,于是出现了信息源采集单一、数据不精准、难以调度等问题。

作为新时代的战略性资源,数据若只能停留在数据库中没有得到更好的利用,那将是一大损失。那么,该如何把这些数据合理利用起来呢?在贵州有这样一个产品,或许是该痛点的一剂良药,它就是由年华数据科技有限公司(以下简称“年华数据”)耗时多年研发出的数据工厂(SDAP)。

“建管”一体化 全面服务数据处理

基于数据价值无法得到充分发挥的痛点,SDAP将数据生产和数据管理合二为一,旨在实现企业大数据生产领域的“建管”一体化的服务产品。年华数据总经理姚滔告诉记者,SDAP中的建管一体化可以从两个方面来理解,其中,“建”主要指大数据平台数据生产线的建设;“管”主要是指数据治理运营。

据年华数据副总经理王刚介绍,SDAP在研发之初主要考虑到两个方面的问题:一是数据生产,二是数据治理。在数据生产层面,主要是指SDAP与大数据平台的数据资源和存储介质进行融合的问题。目前该产品可支持实时/非实时数据资源接入,支持Hadoop、Vertica MPP、DB2、GBase等多种数仓跨平台生产,同时还可以利用产品的开放能力进行二次开发,最终确保数据生产高效和透明,为各行业企业级客户提供稳定和高效的数据生产能力。而数据治理方面,从元模型设计、元数据开发、生产调度、工程运维进行全流程治理,将治理办法和管控手段100%落地在平台,通过技术手段进行数据治理,确保治理的效果可量化、可评估、可追溯。

王刚介绍到,通过数据生产和数据治理两层面的深度融合,目前,SDAP已实现数据生产与数据治理一体化管理,进而实现模型可视化设计、配置化开发、可视化调度、可视化运维,进而为企业实现管理的降本增效愿景。

数据的“加工厂”,让数据实现“从有到用”

如果将数据比作原材料,那么SDAP就是“加工厂”,SDAP通过建设数据生产线,让数据个性化生产、数据工业化生产,将成品数据提供给运营分析决策,让数据“说话”,让数据创造价值。

往往很多未转型的传统企业没有意识到数据加工的重要性,常以“手工”或“作坊式”的手段进行采集和处理数据,数据生产效率和数据质量过渡依赖于人工,无法满足企业级用户对数据生产的及时性、正确性的需求。此外,目前市场上很多数据存在被“裸放”的情况,很多公司或单位,即使收集到了大量的数据,但不知道如何高效利用,把数据资产放滞在数据库,使其成为无效资产而造成资源浪费。但是,如果将这些数据收集起来,结合企业的业务场景,通过SDAP对数据进行“加工处理”,对底层存储资源、计算资源的统一调度和管理,就能让数据实现“从有到用”的转变。

姚滔介绍道:“数据工业化生产,数据可管、可控、可视化生产是SDAP最大的特色。”传统的“作坊式”数据生产在现阶段可以满足大部分企业级客户的需求,但随着数据量的增加、模型量的增加、人员的更替,数据生产、数据管理、数据运营层面会有越来越多的问题困扰的企业管理人员、数据管理人员。对于企业而言,数据作为一种资产是存在生命周期的,企业需要对数据的规划、数据生产、数据优化、数据退役进行全流程的管理,而在这个生命周期内,如何积极响应市场变化和业务需求、如何优化数据生成的质量和效率、怎样及时清退落后的产能是企业级数据生产必须要考虑的内容,而SDAP正是解决企业级数据生产和管理的工具。

SDAP可打破数据加工过程的技术壁垒,实现大数据生产多源采集、跨平台生产调度、加工过程可视化,可有效节省时间、物力、财力,让数据生产及时化、个性化、高效化。SDAP能灵活应用于各行各业,为其赋能,得益于其底层“数据对象”和“模型驱动”机制,满足不同行业客户使用SDAP做数据处理的需求,只要涉及到数据“输入、处理、输出”,SDAP就可以为使用者“加工”出满意的成品。

大数据沃土中茁壮成长

谈及贵州大数据,年华数据董事长赵定喜说到:“年华数据是贵州的本土企业,公司作为享受到贵州大数据发展红利的一员,感到十分的荣幸。公司在2011年开始逐步转型向发展大数据靠齐,与贵州的大数据发展战略相得益彰,是一个明智的决定。”大数据时代的到来,给了贵阳一个千载难逢的“弯道取直、后发赶超”机遇,近年来,贵阳坚持高一格快一步深一层推动大数据战略行动,培育了大批优秀的大数据企业,年华数据作为其中一员,在贵州大数据这片沃土中快速成长。

同时,对于贵州如何发展好大数据,赵定喜也提出了自己的看法:首先,人才是关键,他认为贵州有了好的大数据发展环境,对于大多数的企业来说人才问题亟待解决;其次,也是最重要的就是加强打造大数据产业生态圈,他认为贵州大数据的发展离不开融合开放的产业生态圈,提高产业链聚集度,共同探索多元化合作运营模式,促进整个产业生态圈繁荣,使其中每个个体都能在这片大数据土壤中受益。(朱静 李兰松