跳至主要內容

时间序列数据库优化

传统的关系型数据库管理系统（RDBMS）无法满足系统和物联网应用所产生的时间序列数据对速度、可靠性和灵活性的需求。

SmartEDB HPC 提供了一种替代方案：这是一种针对诸如金融应用和物联网中所发现的时间序列数据的低延迟数据库系统。该系统基于核心的内存数据库系统（IMDS）设计，并具备高级功能以实现高性能、可扩展性和可靠性，SmartEDB HPC 具有优化时间序列数据（如交易和报价、传感器数据以及所有其他类型的流数据）的功能。

灵活的数据布局

SmartEDB HPC 对类型为“序列”的字段实现了列式数据布局。序列可以组合形成时间序列，非常适合处理交易流、历史报价以及来自物联网设备的顺序数据。此技术支持将基于行和基于列的布局相结合的数据库设计，以充分利用 CPU 缓存速度。

最低可能的延迟

通过流水线处理丰富的基于向量的统计函数库，可降低时间序列分析中的延迟，并最大限度地提高 L1/L2 缓存的使用效率。基于图形用户界面的数据库性能监控使用户能够在微调以减少延迟时查看关键指标，例如事务时间和吞吐量。

对于流数据，SmartEDB 通过高效内存数据库系统（IMDS）设计提供低延迟数据库管理，该设计消除了 I/O、缓存管理、数据传输以及其他数据库管理系统延迟的来源。

对于历史数据或联机事务处理（OLTP）数据，提供了众多性能增强功能，例如预热缓存、缓存优先级设置等等。

当作为嵌入式数据库系统部署时，其进程内架构消除了代价高昂（从性能角度来看）的进程间通信。

此外，SmartEDB 通过内部事务和内存管理器进行了优化，以便在多处理器系统上与多线程应用程序协同工作时实现最高效率。对群集的支持通过使多个服务器能够共享工作负载来加快处理速度。

主内存与 CPU 缓存之间的吞吐量比 CPU 处理数据的速度慢 3 到 4 倍。传统的数据库管理系统频繁地穿越这一瓶颈（每个函数两次），在多步骤计算的每一步中，CPU 都将结果传递给主内存中的临时表。

数据库内分析

SmartEDB 针对高性能计算提供了超过 150 个基于向量的统计函数的丰富库。数据库内分析减少了 CPU 缓存与主内存之间导致延迟的传输。

SmartEDB 能够在数据库内实现分析功能，从而在物联网分析或金融系统中的市场数据处理方面实现突破性的效率。数据库内分析功能是通过软件实现的，因此不应将其与利用 FPGA 优化分析的做法相混淆。

数据库内分析与内存计算也有很大不同。内存计算将主内存用作数据库管理系统（DBMS）的存储，以消除各种延迟，而数据库内分析则优化数据在 CPU 与主内存之间的流动，并最大限度地将相关数据保留在 CPU 缓存中，以减少 CPU 缓存与主内存之间导致延迟的数据传输。

SmartEDB 数据库内分析功能的运用可不受该产品内存数据库系统（IMDS）能力的影响。

SmartEDB 内置数据库分析的三个组件与其他系统有所不同：

  1. “序列”数据类型实现了数据元素的列式布局。序列非常适合表示诸如交易流之类的时间序列。

    数据库设计可以将基于行和基于列的布局结合在一种混合数据布局中，以充分利用 CPU 缓存速度。

  1. 丰富的基于向量的统计函数库，可加速对这些序列/列的分析。

查看我们在线文档中的分析功能库

  1. 采用流水线技术将这些功能组合成处理的流水线，其中一个功能的输出成为下一个功能的输入。

可扩展处理

时间序列数据管理系统的通常需求是持续提供大量信息。SmartEDB 在这方面表现出色。64 位 SmartEDB 在 160 核 Linux 服务器上，随着数据库规模增长至 1.17 太字节（155.4 亿行）时，其扩展性近乎呈线性。

互操作性

SmartEDB 快速的原生 C/C++ API 与其 SQL API 完全互操作。原生接口非常适合时间敏感型操作，而 SQL API（带有其 JDBC 和 ODBC 支持）则允许更高层次的访问以及与外部系统的接口连接。SmartEDB 数据中继可在系统的低延迟数据库与诸如企业数据库管理系统之类的外部系统之间实现开放且高度选择性的复制。

持久性和可用性

应用程序必须确保数据的完整性、持久性和可用性。SmartEDB 针对高性能计算通过 ACID 事务、可选的事务日志记录以及借助产品的混合存储功能实现选择性易失性或持久性存储来达成这些目标。高可用性支持可实现基于多个同步数据库副本的不间断容错系统部署，并由应用程序指定故障转移。

TSM-Bench：面向监控应用的时间序列数据库系统基准测试

这是一个专为监控应用中使用的时间序列数据库系统设计的独立基准测试，其主要贡献在于包含满足我们从一个水监测用例中收集到的要求的代表性查询，以及一种基于生成对抗网络（GAN）和局部敏感哈希（LSH）的新可扩展数据生成方法。通过一系列广泛的实验，我们展示了 TSM-Bench 如何全面评估七种领先的时间序列数据库系统的性能，同时对其能力及权衡进行详细描述。