メインコンテンツまでスキップ

トレースストレージと分析

この記事では、Apache DorisでのTrace dataの保存と分析方法について、テーブル作成、収集、クエリの完全なパスを網羅して説明します。

  • 全体的なオブザーバビリティソリューションについては、Overviewを参照してください。
  • リソース見積もり、クラスタのデプロイメント、チューニングについては、Logを参照してください。

クイックナビゲーション​

完全なオンボーディングフローは3つのステップで構成されており、順序に従って完了できます：

ステップ内容目標
1. テーブルの作成DorisでTrace保存テーブルを作成Traceの書き込みとクエリパターンのパフォーマンスを最適化
2. 収集OpenTelemetryを通してTraceデータをDorisに書き込みアプリケーションをCollectorからDorisのパイプラインに接続
3. クエリGrafanaでTraceデータを視覚的に分析検索、レイテンシ分布の表示、トレース詳細の調査

1. テーブルの作成​

Traceデータは、書き込みとクエリパターンにおいて明確な特徴を持っています。テーブル作成時のターゲット設定により、より良いパフォーマンスが得られます。

1.1 主要設定項目​

以下のテーブルは、テーブル作成における主要設定次元と推奨プラクティスをまとめたものです：

設定次元推奨プラクティス説明
パーティショニング時間フィールドでのRANGEパーティション、動的パーティショニングを有効にして日次パーティションを自動管理パーティションを自動的にローリングし、ホット/コールド分離と期限切れクリーンアップを容易にする
ソートキーservice_nameとDATETIME型の時間フィールドをキーとして使用特定のサービスを時間範囲でスキャンするクエリを数倍高速化
バケット数クラスタ内の総ディスク数の約3倍並列性と小ファイルの制御のバランス
バケット戦略書き込み時に単一タブレットインポートと併せてRANDOMを使用書き込みバッチングを改善
コンパクションtime_seriesコンパクションポリシーを使用書き込み増幅を削減、高スループットTrace書き込み下でのリソース最適化に重要
半構造化フィールドspan_attributesとresource_attributesにVARIANT型を使用JSONを自動的にサブカラムに分割して保存、圧縮とサブカラムフィルタおよび分析パフォーマンスを改善
インデックス頻繁にクエリされるフィールドに転置インデックスを作成等価フィルタと範囲クエリを高速化
全文検索parserパラメータでトークナイザーを指定（通常unicodeで十分）、必要に応じてsupport_phraseを有効化support_phraseはフレーズクエリを有効化、不要時は無効にしてストレージ容量を削減
レプリカクラウドディスクは1レプリカ使用可能、物理ディスクは最低2レプリカを使用信頼性とコストのバランス
ホット/コールド分離log_s3オブジェクトストレージとlog_policy_3dayポリシーを設定3日以上経過したデータを自動的にS3に移動、ホットストレージコストを削減

1.2 テーブル作成SQLの例​

以下の例は、リソース、ストレージポリシー、テーブルの完全な作成プロセスを網羅しています：

CREATE DATABASE log_db;
USE log_db;

-- Not required in the storage-compute decoupled mode
CREATE RESOURCE "log_s3"
PROPERTIES
(
    "type" = "s3",
    "s3.endpoint" = "your_endpoint_url",
    "s3.region" = "your_region",
    "s3.bucket" = "your_bucket",
    "s3.root.path" = "your_path",
    "s3.access_key" = "your_ak",
    "s3.secret_key" = "your_sk"
);

-- Not required in the storage-compute decoupled mode
CREATE STORAGE POLICY log_policy_3day
PROPERTIES(
    "storage_resource" = "log_s3",
    "cooldown_ttl" = "259200"
);

CREATE TABLE trace_table
(
    service_name          VARCHAR(200),
    timestamp             DATETIME(6),
    service_instance_id   VARCHAR(200),
    trace_id              VARCHAR(200),
    span_id               STRING,
    trace_state           STRING,
    parent_span_id        STRING,
    span_name             STRING,
    span_kind             STRING,
    end_time              DATETIME(6),
    duration              BIGINT,
    span_attributes       VARIANT,
    events                ARRAY<STRUCT<timestamp:DATETIME(6), name:STRING, attributes:MAP<STRING, STRING>>>,
    links                 ARRAY<STRUCT<trace_id:STRING, span_id:STRING, trace_state:STRING, attributes:MAP<STRING, STRING>>>,
    status_message        STRING,
    status_code           STRING,
    resource_attributes   VARIANT,
    scope_name            STRING,
    scope_version         STRING,
    INDEX idx_timestamp(timestamp) USING INVERTED,
    INDEX idx_service_instance_id(service_instance_id) USING INVERTED,
    INDEX idx_trace_id(trace_id) USING INVERTED,
    INDEX idx_span_id(span_id) USING INVERTED,
    INDEX idx_trace_state(trace_state) USING INVERTED,
    INDEX idx_parent_span_id(parent_span_id) USING INVERTED,
    INDEX idx_span_name(span_name) USING INVERTED,
    INDEX idx_span_kind(span_kind) USING INVERTED,
    INDEX idx_end_time(end_time) USING INVERTED,
    INDEX idx_duration(duration) USING INVERTED,
    INDEX idx_span_attributes(span_attributes) USING INVERTED,
    INDEX idx_status_message(status_message) USING INVERTED,
    INDEX idx_status_code(status_code) USING INVERTED,
    INDEX idx_resource_attributes(resource_attributes) USING INVERTED,
    INDEX idx_scope_name(scope_name) USING INVERTED,
    INDEX idx_scope_version(scope_version) USING INVERTED
)
ENGINE = OLAP
DUPLICATE KEY(service_name, timestamp)
PARTITION BY RANGE(timestamp) ()
DISTRIBUTED BY RANDOM BUCKETS 250
PROPERTIES (
"compression" = "zstd",
"compaction_policy" = "time_series",
"inverted_index_storage_format" = "V2",
"dynamic_partition.enable" = "true",
"dynamic_partition.create_history_partition" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-30",
"dynamic_partition.end" = "1",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "250",
"dynamic_partition.replication_num" = "2", -- Not required in storage-compute decoupled mode
"replication_num" = "2", -- Not required in storage-compute decoupled mode
"storage_policy" = "log_policy_3day" -- Not required in storage-compute decoupled mode
);

2. Trace収集​

DorisはOpenTelemetryなどのTrace収集システムと統合するオープンで汎用的なStream HTTP APIを提供します。

2.1 全体的なパイプライン​

アプリケーション → OpenTelemetry SDK/Agent → OpenTelemetry Collector（Doris Exporterを含む）→ Dorisテーブル

2.2 OpenTelemetry統合手順​

Step 1: アプリケーション側でのOpenTelemetry SDK統合​

この例では、OpenTelemetry Java SDKと統合されたSpring Boot公式demoを使用し、パス/に対してシンプルなHello World!文字列を返します。

OpenTelemetry Java Agentをダウンロードしてください。Java Agentを使用する利点は、既存のアプリケーションを変更する必要がないことです。

その他の言語と統合方法については、以下を参照してください：

Step 2: OpenTelemetry Collectorのデプロイと設定​

OpenTelemetry Collectorをダウンロードして展開してください。

名前がotelcol-contribで始まるリリースパッケージをダウンロードしてください。これにはDoris Exporterコンポーネントが含まれており、TraceデータをDorisにインポートできます。

以下のようにotel_demo.yaml設定ファイルを作成してください。その他の設定オプションについては、Doris Exporterdocumentationを参照してください：

receivers:
    otlp: # otlp protocol, receives data sent by the OpenTelemetry Java Agent
        protocols:
            grpc:
                endpoint: 0.0.0.0:4317
            http:
                endpoint: 0.0.0.0:4318

processors:
    batch:
        send_batch_size: 100000 # Number of records per batch; recommended batch size is between 100M and 1G
        timeout: 10s

exporters:
    doris:
        endpoint: http://localhost:8030 # FE HTTP address
        database: doris_db_name
        username: doris_username
        password: doris_password
        table:
            traces: doris_table_name
        create_schema: true # Whether to automatically create the schema; when set to false, you need to create the table manually
        mysql_endpoint: localhost:9030  # FE MySQL address
        history_days: 10
        create_history_days: 10
        timezone: Asia/Shanghai
        timeout: 60s # http stream load client timeout
        log_response: true
        sending_queue:
            enabled: true
            num_consumers: 20
            queue_size: 1000
        retry_on_failure:
            enabled: true
            initial_interval: 5s
            max_interval: 30s
        headers:
            load_to_single_tablet: "true"

ステップ3: OpenTelemetry Collectorを実行する​

./otelcol-contrib --config otel_demo.yaml

ステップ4: Spring Bootサンプルアプリケーションの開始​

アプリケーションを開始する前に、いくつかの環境変数を設定するだけで済みます。コードの変更は必要ありません：

export JAVA_TOOL_OPTIONS="${JAVA_TOOL_OPTIONS} -javaagent:/your/path/to/opentelemetry-javaagent.jar" # Path to the OpenTelemetry Java Agent
export OTEL_JAVAAGENT_LOGGING="none" # Disable otel logging to avoid interfering with the service's own logs
export OTEL_SERVICE_NAME="myproject"
export OTEL_TRACES_EXPORTER="otlp" # Use the otlp protocol to send trace data
export OTEL_EXPORTER_OTLP_ENDPOINT="http://localhost:4317" # Address of the OpenTelemetry Collector

java -jar myproject-0.0.1-SNAPSHOT.jar

Step 5: サンプルアプリケーションにアクセスしてTrace データを生成する​

curl localhost:8080 を実行して hello サービス呼び出しをトリガーします。OpenTelemetry Java Agent は自動的に Trace データを生成し、OpenTelemetry Collector に送信します。Collector は設定された Doris Exporter を通じて Trace データを Doris テーブルに書き込みます（デフォルトのテーブル名は otel.otel_traces です）。

3. Trace クエリ​

Trace クエリは通常、Grafana などのビジュアルインターフェースを通じて実行されます。一般的なシナリオには以下が含まれます：

  • 時間範囲とサービス名でフィルタリングして Trace 概要を表示します。これにはレイテンシ分布チャートと最新の trace が含まれます。

    Trace list

  • リンクをクリックして Trace の詳細を表示します。

    Trace query