メインコンテンツまでスキップ
バージョン: 4.x

レイクハウス概要

lakehouseは、データレイクとデータウェアハウスの利点を組み合わせた現代的なビッグデータソリューションです。データレイクの低コストと高いスケーラビリティを、データウェアハウスの高性能と強力なデータガバナンス機能と統合し、ビッグデータ時代における様々なデータの効率的で安全、かつ品質管理された保存と処理分析を可能にします。標準化されたオープンデータフォーマットとメタデータ管理により、リアルタイムと履歴データ、バッチ処理とストリーム処理を統合し、企業のビッグデータソリューションの新しい標準として次第に確立されています。

Doris Lakehouse Solution​

Dorisは、拡張可能なコネクタフレームワーク、コンピュートストレージ分離アーキテクチャ、高性能データ処理エンジン、およびデータエコシステムの開放性を通じて、ユーザーに優れたlakehouseソリューションを提供します。

doris lakehouse architecture

柔軟なデータアクセス​

Dorisは拡張可能なコネクタフレームワークを通じて主流のデータシステムとデータフォーマットアクセスをサポートし、SQLベースの統一されたデータ分析機能を提供します。これにより、ユーザーは既存のデータを移動することなく、クロスプラットフォームデータクエリと分析を簡単に実行できます。詳細については、Catalog Overviewを参照してください。

データソースコネクタ​

Hive、Iceberg、Hudi、Paimon、またはJDBCプロトコルをサポートするデータベースシステムであっても、Dorisは簡単に接続し、効率的にデータにアクセスできます。

lakehouseシステムに対して、DorisはHive Metastore、AWS Glue、Unity Catalogなどのメタデータサービスからデータテーブルの構造と分散情報を取得し、合理的なクエリ計画を実行し、MPPアーキテクチャを活用して分散コンピューティングを行います。

詳細については、Iceberg Catalogなどの各catalogドキュメントを参照してください。

拡張可能なコネクタフレームワーク​

Dorisは優れた拡張性フレームワークを提供し、開発者が企業内の独自のデータソースに迅速に接続し、高速なデータ相互運用性を実現できるよう支援します。

DorisはCatalog、Database、Tableの3つの標準レベルを定義し、開発者が必要なデータソースレベルに簡単にマッピングできるようにします。Dorisはメタデータサービスとストレージサービスアクセス用の標準インターフェースも提供し、開発者は対応するインターフェースを実装するだけでデータソース接続を完了できます。

DorisはTrino Connectorプラグインと互換性があり、TrinoプラグインパッケージをDorisクラスターに直接デプロイでき、最小限の設定で対応するデータソースにアクセスできます。Dorisは既にKudu、BigQuery、Delta Lakeなどのデータソースへの接続を完了しています。新しいプラグインを自分で適応することもできます。

便利なクロスソースデータ処理​

Dorisは実行時に複数のデータcatalogの作成をサポートし、SQLを使用してこれらのデータソースに対する連合クエリを実行できます。例えば、ユーザーはHive内のファクトテーブルデータをMySQL内のディメンションテーブルデータと関連付けてクエリできます：

SELECT h.id, m.name
FROM hive.db.hive_table h JOIN mysql.db.mysql_table m
ON h.id = m.id;

Dorisに組み込まれたjob scheduling機能と組み合わせることで、スケジュールされたタスクを作成してシステムの複雑さをさらに簡素化することもできます。例えば、ユーザーは上記のクエリの結果を1時間ごとに実行される定期タスクとして設定し、各結果をIcebergテーブルに書き込むことができます：

CREATE JOB schedule_load
ON SCHEDULE EVERY 1 HOUR DO
INSERT INTO iceberg.db.ice_table
SELECT h.id, m.name
FROM hive.db.hive_table h JOIN mysql.db.mysql_table m
ON h.id = m.id;

高性能データ処理​

分析データウェアハウスとして、Dorisはlakehouseデータ処理と計算において多数の最適化を行い、豊富なクエリ高速化機能を提供します：

  • 実行エンジン

    Doris実行エンジンはMPP実行フレームワークとPipelineデータ処理モデルに基づいており、マルチマシン・マルチコア分散環境において大量データを迅速に処理できます。完全ベクトル化された実行演算子により、DorisはTPC-DSなどの標準ベンチマークデータセットにおいて計算性能で優位に立っています。

  • クエリオプティマイザー

    Dorisはクエリオプティマイザーを通じて複雑なSQLリクエストを自動的に最適化・処理できます。クエリオプティマイザーは、マルチテーブル結合、集約、ソート、ページネーションなどの様々な複雑なSQL演算子を深く最適化し、コストモデルと関係代数変換を最大限活用して、より良い、または最適な論理的・物理的実行計画を自動的に取得し、SQL記述の難易度を大幅に削減し、使いやすさとパフォーマンスを向上させます。

  • データキャッシュとIO最適化

    外部データソースへのアクセスは通常ネットワークアクセスであり、高いレイテンシと不安定性を伴う場合があります。Apache Dorisは豊富なキャッシングメカニズムを提供し、キャッシュタイプ、適時性、戦略において多数の最適化を行い、メモリとローカル高速ディスクを最大限活用してホットデータの分析パフォーマンスを向上させます。さらに、Dorisは高スループット、低IOPS、高レイテンシなどのネットワークIO特性に対して的確な最適化を行い、ローカルデータに匹敵する外部データソースアクセス性能を提供します。

  • マテリアライズドビューと透過的高速化

    Dorisは豊富なマテリアライズドビュー更新戦略を提供し、完全更新とパーティションレベルの増分更新をサポートして構築コストを削減し、適時性を向上させます。手動更新に加えて、Dorisはスケジュール更新とデータドリブン更新もサポートし、メンテナンスコストをさらに削減し、データ整合性を向上させます。マテリアライズドビューは透過的高速化機能も持ち、クエリオプティマイザーが適切なマテリアライズドビューに自動的にルーティングして、シームレスなクエリ高速化を実現できます。さらに、Dorisのマテリアライズドビューは高性能ストレージ形式を使用し、カラムストレージ、圧縮、インテリジェントインデックス技術を通じて効率的なデータアクセス機能を提供し、データキャッシングの代替手段として機能してクエリ効率を向上させます。

以下に示すように、Icebergテーブル形式に基づく1TB TPCDSの標準テストセットにおいて、Dorisの99クエリ全体の実行時間はTrinoの1/3に過ぎません。

doris-tpcds

実際のユーザーシナリオでは、Dorisは半分のリソースを使用しながら、Prestoと比較して平均クエリレイテンシを20%、95パーセンタイルレイテンシを50%削減し、リソースコストを大幅に削減しながらユーザーエクスペリエンスを向上させます。

doris-performance

モダンデプロイメントアーキテクチャ​

バージョン3.0以降、Dorisはクラウドネイティブなcompute-storage分離アーキテクチャをサポートします。このアーキテクチャは、低コストと高い弾力性により、リソース使用率を効果的に向上させ、計算とストレージの独立したスケーリングを可能にします。

compute-storage-decouple

上図はDorisのcompute-storage分離のシステムアーキテクチャを示しており、計算とストレージを分離しています。計算ノードはもはやプライマリデータを格納せず、基盤の共有ストレージ層（HDFSとオブジェクトストレージ）が統一されたプライマリデータストレージ空間として機能し、計算とストレージリソースの独立したスケーリングをサポートします。compute-storage分離アーキテクチャはlakehouseソリューションに重要な利点をもたらします：

  • 低コストストレージ：ストレージと計算リソースを独立してスケールでき、企業は計算リソースを増やすことなくストレージ容量を増加させることができます。さらに、クラウドオブジェクトストレージを使用することで、企業はより低いストレージコストとより高い可用性を享受できる一方で、比較的低い割合のホットデータをキャッシュするためにローカル高速ディスクを引き続き使用できます。

  • Single Source of Truth：すべてのデータが統一されたストレージ層に格納され、同一データを異なる計算クラスターがアクセス・処理でき、データの整合性と完全性を確保し、データ同期と重複ストレージの複雑さを削減します。

  • ワークロードの多様性：ユーザーは異なるワークロードニーズに基づいて計算リソースを動的に割り当て、バッチ処理、リアルタイム分析、機械学習など様々なアプリケーションシナリオをサポートできます。ストレージと計算を分離することで、企業はより柔軟にリソース使用を最適化し、異なる負荷下での効率的な運用を確保できます。

さらに、storage-computing結合アーキテクチャでは、elastic computing nodesを使用してlakeウェアハウスデータクエリシナリオにおいて弾力的計算機能を提供できます。

オープン性​

Dorisはオープンなlakeテーブル形式へのアクセスをサポートするだけでなく、自身が格納するデータに対しても優れたオープン性を持っています。DorisはオープンなストレージAPIを提供し、Arrow Flight SQLプロトコルに基づく高速データリンクを実装し、Arrow Flightの速度優位性とJDBC/ODBCの使いやすさを提供します。このインターフェースに基づいて、ユーザーはPython/Java/Spark/FlinkのABDCクライアントを使用してDorisに格納されたデータにアクセスできます。

オープンファイル形式と比較して、オープンストレージAPIは基盤ファイル形式の具体的な実装を抽象化し、Dorisが豊富なインデックスメカニズムなどのストレージ形式の高度な機能を通じてデータアクセスを高速化できるようにします。さらに、上位層の計算エンジンは基盤ストレージ形式の変更や新機能に適応する必要がなく、すべてのサポートされた計算エンジンが同時に新機能の恩恵を受けることができます。

Lakehouseベストプラクティス​

lakehouseソリューションにおいて、Dorisは主にlakehouseクエリ高速化、マルチソース統合分析、lakehouseデータ処理に使用されます。

Lakehouseクエリ高速化​

このシナリオでは、Dorisは計算エンジンとして機能し、lakehouseデータのクエリ分析を高速化します。

lakehouse query acceleration

キャッシュ高速化​

HiveやIcebergなどのlakehouseシステムに対して、ユーザーはローカルディスクキャッシングを設定できます。ローカルディスクキャッシングは、クエリ対象のデータファイルをローカルキャッシュディレクトリに自動的に格納し、LRU戦略を使用してキャッシュ削除を管理します。詳細については、Data Cacheドキュメントを参照してください。

マテリアライズドビューと透過的リライト​

Dorisは外部データソースに対するマテリアライズドビューの作成をサポートします。マテリアライズドビューは、SQL定義文に基づいて事前計算結果をDoris内部テーブル形式として格納します。さらに、DorisのクエリオプティマイザーはSPJG（SELECT-PROJECT-JOIN-GROUP-BY）パターンに基づく透過的リライトアルゴリズムをサポートします。このアルゴリズムはSQLの構造情報を分析し、透過的リライトに適したマテリアライズドビューを自動的に見つけ、クエリSQLに応答する最適なマテリアライズドビューを選択できます。

この機能により、実行時計算を削減してクエリ性能を大幅に向上させることができます。また、ビジネス側の認識なしに透過的リライトを通じてマテリアライズドビュー内のデータにアクセスできます。詳細については、Materialized Viewsドキュメントを参照してください。

マルチソース統合分析​

Dorisは統一SQLクエリエンジンとして機能し、異なるデータソースを接続して統合分析を行い、データサイロの問題を解決できます。

federated analysis

ユーザーはDoris内で複数のカタログを動的に作成し、異なるデータソースに接続できます。SQL文を使用して、異なるデータソースからのデータに対して任意の結合クエリを実行できます。詳細については、Catalog Overviewを参照してください。

Lakehouseデータ処理​

このシナリオでは、Dorisはデータ処理エンジンとして機能し、lakehouseデータを処理します。

lakehouse data processing

タスクスケジューリング​

DorisはJob Scheduler機能を導入し、効率的で柔軟なタスクスケジューリングを可能にし、外部システムへの依存を削減します。データソースコネクターと組み合わせることで、ユーザーは外部データの定期的な処理と格納を実現できます。詳細については、Job Schedulerを参照してください。

データモデリング​

ユーザーは通常、データレイクを使用してローデータを格納し、この基盤上で階層化されたデータ処理を実行し、異なる層のデータを異なるビジネスニーズで利用できるようにします。Dorisのマテリアライズドビュー機能は外部データソースに対するマテリアライズドビューの作成をサポートし、マテリアライズドビューに基づくさらなる処理をサポートして、システムの複雑さを削減し、データ処理効率を向上させます。

データライトバック​

データライトバック機能は、Dorisのlakehouseデータ処理機能のクローズドループを形成します。ユーザーはDorisを通じて外部データソースに直接データベースとテーブルを作成し、データを書き込むことができます。現在、JDBC、Hive、Icebergデータソースがサポートされており、将来的にはより多くのデータソースが追加される予定です。詳細については、対応するデータソースのドキュメントを参照してください。