GreptimeDB vs. ClickHouse vs. ElasticSearch 日志引擎性能对比报告

本报告将初步给出 v0.9 首次引入的日志存储和检索的单机性能，包括写入和查询性能、资源占用和压缩率等。在可观测性领域中，常用的日志系统包括经典的 ELK 组合（ElasticSearch）以及在国内广泛使用的 ClickHouse。我们选择这两个系统进行横向对比，以供参考。GreptimeDB 面向云原生环境设计，因此我们也测试了基于 S3 对象存储的读写性能。

先来看结论：

1. GreptimeDB 在写入性能、资源占用（CPU、内存和磁盘）方面都表现最优或次优， 并且在本地磁盘和 S3 对象存储模式下，性能表现没有下降 。单机在 8C16G 机器规格下达到 12 万行日志每秒写入，是 ES 的 3 倍，压缩率 13% 最优，内存占用仅为 ES 的 1/32；
2. ElasticSearch 的资源消耗最大，写入最慢，但是换来的查询性能最优；
3. GreptimeDB 大部分查询性能和 ClickHouse 接近，能满足日志使用场景。

以上结论跟三个产品面向的场景有关，我们在总结部分展开，下面是详细的测试报告。

测试场景 ​

测试数据和流程 ​

我们选用 nginx access log 作为写入数据，一行数据的样例如下：

129.37.245.88 - meln1ks [01/Aug/2024:14:22:47 +0800] "PATCH /observability/metrics/production HTTP/1.0" 501 33085

我们使用 vector 这个开源可观测数据 pipeline 来生成并写入上面的数据。整体测试的流程如图：

数据写入后，我们分别使用 SQL（GreptimeDB 和 ClickHouse）和 ElasticSearch HTTP 协议进行查询测试。

写入方式 ​

写入方式我们也做了区分：

• 切分模式（Structured model） ：将每行日志，切分出多个字段，比如上面这行日志，可以切分出 http_version 、 ip 、 method 、 path 、 status 等字段。我们同样使用 vector 进行日志的解析和切分；

• 全文模式（Unstructured model） ：将该条日志，除了时间戳以外，完整存储为一个 message 的文本字段，并启用全文索引。

我们也将比较两种模式带来的差异。

软硬件说明 ​

硬件环境 ​

软件版本及设置 ​

如无特殊说明，三个存储都采用 默认配置 。

GreptimeDB S3 配置，开启了对象存储的读写 Buffer/Cache：

[storage]
type = "S3"
bucket = "ap-southeast-1-test-bucket"
root = "logitem_data"
access_key_id = "xxx"
secret_access_key = "xxx"
endpoint = "endpoint"
region = "ap-southeast-1"
cache_path = "/home/ubuntu/s3cache"
cache_capacity = "20G"
[[region_engine]]
[region_engine.mito]
enable_experimental_write_cache = true
experimental_write_cache_size = "20G"

切分模式设置 ​

Vector 解析配置：

[transforms.parse_logs]
type = "remap"
inputs = ["demo_logs"]
source = '''
. = parse_regex!(.message, r'^(?P<ip>\S+) - (?P<user>\S+) \[(?P<timestamp>[^\]]+)\] "(?P<method>\S+) (?P<path>\S+) (?P<http_version>\S+)" (?P<status>\d+) (?P<bytes>\d+)$')
# Convert timestamp to a standard format
.timestamp = parse_timestamp!(.timestamp, format: "%d/%b/%Y:%H:%M:%S %z")
# Convert status and bytes to integers
.status = to_int!(.status)
.bytes = to_int!(.bytes)
'''

GreptimeDB 建表语句：

--启用了 append 模式，并且将 user、path 和 status 设置为 Tag 类型（即主键）
CREATE TABLE IF NOT EXISTS `test_table` (
    `bytes` Int64 NULL,
    `http_version` STRING NULL,
    `ip` STRING NULL,
    `method` STRING NULL,
    `path` STRING NULL,
    `status` SMALLINT UNSIGNED NULL,
    `user` STRING NULL,
    `timestamp` TIMESTAMP(3) NOT NULL,
    PRIMARY KEY (`user`, `path`, `status`),
    TIME INDEX (`timestamp`)
ENGINE=mito
WITH(
    append_mode = 'true'
);

ClickHouse 建表语句：

--使用默认 MergeTree 引擎，定义同样的 sorting key。
CREATE TABLE IF NOT EXISTS test_table
    bytes UInt64 NOT NULL,
    http_version String NOT NULL,
    ip String NOT NULL,
    method String NOT NULL,
    path String NOT NULL,
    status UInt8 NOT NULL,
    user String NOT NULL,
    timestamp String NOT NULL,
ENGINE = MergeTree()
ORDER BY (user, path, status);

ElasticSearch 建表语句 (mapping)：

{
  "vector-2024.08.19": {
    "mappings": {
      "properties": {
        "bytes": {
          "type": "long"
        "http_version": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "ip": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "method": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "path": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "status": {
          "type": "long"
        "timestamp": {
          "type": "date"
        "user": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
}

全文模式设置 ​

GreptimeDB 建表语句：

--message 列启用 FULLTEXT 选项，开启全文索引
CREATE TABLE IF NOT EXISTS `test_table` (
    `message` STRING NULL FULLTEXT WITH(analyzer = 'English', case_sensitive = 'false'),
    `timestamp` TIMESTAMP(3) NOT NULL,
    TIME INDEX (`timestamp`)
ENGINE=mito
WITH(
    append_mode = 'true'
);

ClickHouse 建表语句：

SET allow_experimental_full_text_index = true;
CREATE TABLE IF NOT EXISTS test_table
    message String,
    timestamp String,
    INDEX inv_idx(message) TYPE full_text(0) GRANULARITY 1
ENGINE = MergeTree()
ORDER BY tuple();

ElasticSearch：

{
  "vector-2024.08.19": {
    "mappings": {
      "properties": {
        "message": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "service": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "source_type": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
        "timestamp": {
          "type": "date"