1.2 分析引擎CStore介绍

HybridDB CStore引擎是HybridDB for MySQL最新推出的OLAP增强版本,基于自主研发的高性能列式存储,支持每秒百万实时写入,实现百亿数据任意维度毫秒级实时查询,在兼容MySQL的语法和函数的基础上,同时支持在SQL中的多值子列(标签列)查询、全文检索、空间检索等功能特性。既支持通过数据同步工具实时写入数据也支持直接和离线数仓ODPS的快速数据TB每小时的高速导入导出,覆盖实时BI报表、离线数据在线服务、日志类分析查询等各类场景。

一. 功能特性

1) 极速查询

毫秒级的极速查询能力是HybridDB计算规格的核心竞争力:

  • 支持百亿大表的聚合、连接等复杂查询,任意维度组合,毫秒级延时
  • 支持通用的OLAP模型,比如星型、雪花等模型;支持事实表、维度表
  • 数据按照列存储,支持列级智能索引。列级索引可以任意组合, 最多支持数千个查询条件
  • 强大的聚集索引能力,用户可以按照业务特性对数据做排序,查询性能最高可提升一个量级以上

2)SQL兼容性

HybridDB计算规格在查询上面有着出色的SQL兼容能力:

  • 支持MySQL全部的查询语法(涵盖各类操作符、函数、复杂查询嵌套等)
  • 支持大数据通用的TPC-H、TPC-DS标准benchmark
  • 支持Oracle常用的开窗语法和函数、集合操作、层次查询等

3)实时写入

HybridDB计算规格支持高性能实时写入:

  • 支持insert into/replace into实时写入
  • 数据写入后毫秒级可查询
  • 支持主键索引去重,可以快速replace into覆盖更新
  • 支持Update和Delete单表任意条件的数据更新
  • 性能:单节点2-5w tps 或者 30-50M/s, 可线性扩展到数百万tps

4)批量导入

HybridDB计算规格有着独具特色的高性能批量导入导出能力:

  • 批量导入导出性能最高可达1TB/小时,百亿数据最快分钟级完成导入或者导出
  • 支持MaxCompute(ODPS)、OSS、RDS(MySQL)等的快速批量导入导出
  • 新老数据一键切换功能:数据导入时不影响查询,导入完成后一键切换新数据上线服务。

5)BI生态兼容

HybridDB计算规格兼容MySQL协议,支持主流的BI工具:

  • 阿里云上支持DMS、QuickBI等BI工具,支持DTS全量和增量数据迁移
  • 阿里集团内支持IDB、孔明灯、夸克可视化工具,支持精卫、DTS数据同步
  • 支持各种商业BI工具:Tableau、Navicate、MySQL workbench等

6) 系统稳定性

HybridDB计算规格在稳定性了做了大量的细致工作:

  • 用户实例资源单独隔离,无共享资源依赖,保证了用户之间不会出现资源争抢和排队
  • 存储和计算资源隔离,可以保证导入基本不影响查询
  • 查询模式自动识别,快速查询和复杂查询隔离,避免了单个复杂查询影响整个实例。

7)数据可靠性

HybridDB计算规格从两个个方面保证数据可靠性:

  • 数据默认三副本存储,工业安全
  • 支持全量和增量备份到OSS
  • 支持按备份集和时间点恢复。

8)特色功能

HybridDB计算规格做为OLAP增量版本,支持如下特色功能:

  • 多值子列:支持单列多个值的存储、过滤、分组,可以做到亿级数据毫秒级的多值列检索
  • 全文检索:支持全文检索列,可以定义分词器,支持毫秒级的检索能力
  • 空间检索:支持空间索引,支持点、圈型、多边形的检索和查询,百亿数据可以做到毫秒级别的检索能力

二、覆盖场景&解决方案

HybridDB的计算规格支持高并发在线分析、复杂交互式分析、实时混合数据仓库等多种场景:

results matching ""

    No results matching ""