大規模パフォーマンスベンチマーク
このページでは、シングルノード環境と分散環境の両方における大規模ベンチマーク結果をまとめています。これらのテストの目的は、異なるデータスケールでのクエリ動作を示し、Dorisがベクトルクエリ容量をシングルノードワークロードから大規模分散環境へどのように拡張するかを説明することです。
テストマトリックス
- シングルノード: FE/BEを分離、BEは16C64GBマシン1台で構成。
- 分散: 3BEノード、各16C64GB。
- ワークロード:
- Performance768D10M
- Performance1536D5M
- Performance768D100M
シングルノードベンチマーク (16C64GB)
シングルノード結果は、中規模から大規模データセットでのANNクエリパフォーマンスのベースラインを提供します。
インポートパフォーマンス
| 項目 | Performance768D10M | Performance1536D5M |
|---|---|---|
| 次元数 | 768 | 1536 |
| metric_type | inner_product | inner_product |
| 行数 | 10M | 5M |
| バッチ設定 | NUM_PER_BATCH=500000--stream-load-rows-per-batch 500000 | NUM_PER_BATCH=250000--stream-load-rows-per-batch 250000 |
| インポート時間 | 76m41s | 41m |
show data all | 56.498 GB (25.354 GB + 31.145 GB) | 55.223 GB (25.346 GB + 29.878 GB) |
Performance768D10Mのインポート中のCPU使用率を以下に示します。チャートは、インジェスション全体を通してCPU使用率が比較的安定していることを示しています。
Performance1536D5Mについては、データセットが小さく、バッチサイズも小さいため、インジェスション中にCPU使用率がより頻繁に変動します。
クエリパフォーマンス
2つのシングルノードワークロードにおいて、Dorisは高いリコールと低レイテンシを維持しながら数百QPSに達します。
サマリー
| データセット | BestQPS | Recall@100 |
|---|---|---|
| Performance768D10M | 481.9356 | 0.9207 |
| Performance1536D5M | 414.7342 | 0.9677 |
Performance768D10M (inner_product、10M行)
| 同時実行数 | QPS | P95レイテンシ | P99レイテンシ | 平均レイテンシ |
|---|---|---|---|---|
| 10 | 116.2000 | 0.0932 | 0.0933 | 0.0861 |
| 40 | 455.9485 | 0.1102 | 0.1225 | 0.0877 |
| 80 | 481.9356 | 0.2331 | 0.2674 | 0.1658 |
Performance1536D5M (inner_product、5M行)
| 同時実行数 | QPS | P95レイテンシ | P99レイテンシ | 平均レイテンシ |
|---|---|---|---|---|
| 10 | 144.3221 | 0.0764 | 0.0800 | 0.0693 |
| 40 | 401.9732 | 0.1271 | 0.1404 | 0.0994 |
| 80 | 414.7342 | 0.2772 | 0.3222 | 0.1925 |
シングルノードクエリテストでは、コールドクエリフェーズでフルインデックスをメモリにロードする必要があるため、システムがIOを待つ間のCPU使用率は比較的低くなります。ウォームクエリフェーズでは、CPU使用率が大幅に上昇し、100%に近づきます。
分散ベンチマーク (3 x 16C64GB)
分散テストは、シングル16C64GBノードの実用的メモリ容量を超える大規模データセットに焦点を当てています。
3BEテストでは、Performance768D100Mを選択しました。シングルノードメモリが64GBに制限されているため、メモリ使用量を削減するためにベクトル量子化が有効になっています。このテストは、マルチBE展開を通じてDorisが100Mスケールでのベクトルクエリ機能を維持する方法を示すことを目的としており、小規模なシングルノードケースとの直接的な一対一比較を提供するものではありません。
インポートパフォーマンス
| 項目 | 値 |
|---|---|
| データセット | Performance768D100M |
| 行数 | 100M |
| 次元数 | 768 |
| バッチ設定 | NUM_PER_BATCH=500000--stream-load-rows-per-batch 500000 |
| インデックスプロパティ | "dim"="768", "index_type"="hnsw", "metric_type"="l2_distance", "pq_m"="384", "pq_nbits"="8", "quantizer"="pq" |
| インデックス構築時間 | 4h5min |
show data all | 198.809 GB (137.259 GB + 61.550 GB) |
構築後の分散状況:
- 3バケット
- バケット毎に34rowset、各rowsetは約1.99 GB
- rowset毎に6segment
クエリパフォーマンス
サマリー
| メトリック | 値 |
|---|---|
| BestQPS | 77.6247 |
| Recall@100 | 0.9294 |
詳細結果 (l2_distance、100M行)
| 同時実行数 | QPS | P95レイテンシ | P99レイテンシ | 平均レイテンシ |
|---|---|---|---|---|
| 10 | 46.5836 | 0.2628 | 0.2791 | 0.2145 |
| 20 | 75.3579 | 0.3251 | 0.3541 | 0.2651 |
| 30 | 77.6247 | 0.5222 | 0.5766 | 0.3860 |
| 40 | 76.6313 | 0.7089 | 0.7854 | 0.5212 |
インデックス構築中、CPU使用率は50%前後で推移し、構築プロセスが長時間にわたってCPUリソースを飽和させないことを示しています。
以下のチャートは、クエリフェーズ中のCPU使用率を示しています。CPU使用率はノード全体で比較的高いレベルを維持し、分散クエリワークロードが利用可能な計算リソースを有効活用していることを示しています。
まとめ
- 数千万のベクトルにおいて、Dorisはシングルノード上で数百QPSと高いリコール率を持つ強力なANNクエリパフォーマンスを提供します。
- 100Mベクトルデータセットにおいて、DorisはマルチBE展開を通じてオンラインベクトルクエリ機能を提供し続けます。
- テストグループは異なるデータセットサイズ、距離メトリック、インデックス設定を使用するため、結果は直接的な一対一パフォーマンス比較ではなく、スケールベンチマークとして読み取るべきです。
注意事項
- 2つのテストグループ間でメトリックタイプが異なる（
inner_productvsl2_distance）ため、絶対値を直接比較すべきではありません。 - シングルノード
Performance768D10Mの同時実行数=10の結果は、コールドクエリの影響を除外するよう調整されています。
再現
シングルノード:
export NUM_PER_BATCH=500000
vectordbbench doris ... --case-type Performance768D10M --stream-load-rows-per-batch 500000
export NUM_PER_BATCH=250000
vectordbbench doris ... --case-type Performance1536D5M --stream-load-rows-per-batch 250000
分散3BE:
export NUM_PER_BATCH=500000
vectordbbench doris ... --case-type Performance768D100M --stream-load-rows-per-batch 500000