数据交互助力业务升级 柏睿数据“数据虚拟化管理平台”上线华为云云商店
发布时间：2022-09-20 | 阅读：
日前，柏睿数据自主研发的数据虚拟化管理平台——“RapidsDB DVM”正式上线华为云云商店！RapidsDB DVM除了能够统一数据语言的标准化和转换层、元数据标准规范、数据存储中心，还有自主可控、降低开发成本等优点。让产业轻松完成数据交互、消除数据孤岛，进而完成业务升级。近几年，随着人工智能、物联网、移动计算等高速发展，各个领域如移动通信、智慧城市、医疗保健、制造行业等都出现大规模的数据增长。
相比几年前，数据的生成速度成倍数增长，这也让数据的处理成为各行业面临的难题。企业使用数据仓库工具在多个数据源之间抽取、转换、加载获得业务数据，业务之间集成工作量巨大、安全系数低。数据互不相通、数据存放格式不统一、数据安全管理模式不能复用，导致跨业务集成难，生成大量数据孤岛，资源共享率、利用率低，成为数据梳理大难题。如何将收集到的各类数据打通、共享、分析，挖掘数据背后的深层价值，成为各个产业依靠数据发展的新方向。为了实现高效的数据融合、资源整合，避免生成数据孤岛，满足业务发展需求，人们不得不另辟蹊径。各产业进行数据分析，最早可以追溯到关系型数据库。随着时间推移，数据越来越多，单机型的技术难以完成海量数据的处理，尤其分析处理和事务处理“共处一室”，数据分析活动处理高峰时占用大量的系统资源，甚至阻碍事务处理不能运行。经过技术不断升级，隐藏底层数据源等技术访问细节，对外为用户提供一个统一的数据接口，让用户在定义数据源的初始化后，能自由查询和操作各个目标源的数据源，解决数据来源多、数据表结构不统一的问题，这样的操作，被称为“数据虚拟化”。对外提供SQL结构化查询语言，屏蔽Python、Scala、Java各种语言。支持从多个数据存储区中集成数据，具备数据下推往数据源执行的能力。随着云计算技术的发展，“虚拟化”技术逐渐成为实现云计算价值的核心技术。让数据中心虚拟化，能够提升数据梳理的灵活性、敏捷性以及数据库工作的整体性能，对外实现了高可用性与高易用性，对内让多种处理技术共存，使数据处理过程具备多源异构能力。柏睿数据自主研发的数据虚拟化管理平台——“RapidsDB DVM”应运而生，它可以屏蔽数据的格式、地域、系统等属性，最终为用户呈现出可访问全域数据的接口层。RapidsDB DVM通过动态的、可插入的连接器，控制对不同数据源的底层数据存储的访问。连接器管理远程数据存储中对象的元数据，并将该元数据作为基于标准数据库对象集合，提供给RapidsDB DVM内置的查询执行引擎，从而允许用户将整个数据源集的对象作为单个联合的数据库来看待。RapidsDB DVM中包含连接器组件，负责管理原生数据存储系统之间的数据类型转换。该系统会统一处理所有数据存储中的数据类型，连接器组件提供与数据源无关的统一查询接口，从而允许使用标准SQL语句查询数据，将数据以行和列的形式呈现给数据虚拟化管理平台内置的执行引擎。平台还在系统中增加了“自适应查询下推”优化，这种优化会让查询计划中涉及的每个连接器都会对查询计划进行分析，从而决定将查询计划的哪些部分下推到底层数据源，然后再将下推查询的查询结果流传送到执行引擎。对于查询计划的未下推部分，则由连接器确定检索所需数据的最佳方式来完成执行，然后将数据流传输到执行引擎来完成查询的执行。
京公网安备 11010502043838号
