統合機能概要
VeloDBの統合機能はBI、Lakehouse、Observability、SQLクライアント、データソース、データ取り込み、データ処理のカテゴリに分類されています。
このVeloDB / Apache Doris統合機能のリストは継続的に更新されており、まだ完成していません。関連するVeloDB / Apache Doris統合機能の拡充を支援するために、あらゆる貢献を歓迎しています。統合機能リストを更新するにはお問い合わせください。
Lakehouse
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| Apache Icebergaa |  | Dorisは、様々なメタデータサービスを通じてIcebergTableデータへのアクセスをサポートします。データの読み取りに加えて、DorisはIcebergTableへの書き込みもサポートしています。 | ドキュメント |
| Apache Hudi |  | Hive Metastore、またはHive Metastoreと互換性のあるメタデータサービスに接続することで、DorisはHudiのデータベースとTable情報を自動的に取得し、データクエリを実行できます。 | ドキュメント |
| Amazon Glue | CREATE CATALOGを通じてIcebergTableやHiveTableにアクセスするためのAWS Glue カタログの使用。 | ドキュメント | |
| Apache Paimon | Dorisは現在、様々なメタデータサービスを通じてPaimonTableメタデータへのアクセスとPaimonデータのクエリをサポートしています。 | ドキュメント | |
| Apache Hive | Hive MetastoreやHive Metastoreと互換性のあるメタデータサービスに接続することで、Dorisは自動的にHiveデータベースとTable情報を取得し、データクエリを行うことができます。 | ドキュメント | |
| BigQuery |  | BigQuery カタログはTrino Connector互換性フレームワークを使用して、BigQuery Connectorを通じてBigQueryTableにアクセスします。 | ドキュメント |
| Apache Kudu |  | Kudu カタログはTrino Connector互換性フレームワークを使用して、Kudu Connectorを通じてKuduTableにアクセスします。 | ドキュメント |
| LakeSoul | DorisはPostgreSQLに保存されたメタデータを使用してLakeSoulTableデータへのアクセスと読み取りをサポートします。 | ドキュメント | |
| MaxCompute |  | MaxComputeは、Alibaba Cloud上のエンタープライズレベルSaaS（Software as a Service）クラウドデータウェアハウスです。 | ドキュメント |
Observability
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| Opentelemetry |  | AWS Glue CatalogをCREATE CATALOGを通じてIcebergテーブルまたはHiveテーブルにアクセスするために使用します。 | ドキュメント |
| Logstash | Logstashはログ処理のETLフレームワーク（収集、前処理、ストレージシステムへの送信）で、ストレージシステムにデータを書き込むためのカスタム出力プラグインをサポートします。 | ドキュメント | |
| Beats | Dorisは様々なメタデータサービスを通じてIcebergテーブルデータへのアクセスをサポートします。データの読み込みに加えて、DorisはIcebergテーブルへの書き込みもサポートします。 | ドキュメント | |
| Fluentbit |  | Dorisは現在、様々なメタデータサービスを通じてPaimonテーブルメタデータへのアクセスとPaimonデータのクエリをサポートしています。 | ドキュメント |
データ処理
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| Apache Spark | Spark Doris ConnectorはSpark経由でDorisに保存されたデータの読み込みとDorisへのデータ書き込みをサポートできます。 | GitHub ドキュメント | |
| Apache Flink |  | Flink Doris ConnectorはFlink経由でDorisクラスターからの読み込みとデータ統合/への書き込みに使用されます。 | GitHub ドキュメント |
| dbt | dbt-dorisアダプタはdbt-coreをベースに開発され、mysql-connector-pythonドライバーに依存してデータをdorisに変換します。 | ドキュメント |
BI
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| Tableau |  | ビジネスインテリジェンスに特化したインタラクティブなデータ可視化ソフトウェア | ドキュメント |
| Power BI |  | Microsoft Power BIはMicrosoftが開発したインタラクティブなデータ可視化ソフトウェア製品で、主にビジネスインテリジェンスに焦点を当てています。 | ドキュメント |
| QuickSight | Amazon QuickSightは統一されたビジネスインテリジェンス（BI）でデータ主導型組織を支援します。 | ドキュメント | |
| Apache Superset | Apache Supersetはオープンソースのデータ探索プラットフォームです。豊富なデータソース接続と数多くの可視化方法をサポートします。 | ドキュメント | |
| FineBI |  | FineBIは豊富なデータソース接続と複数ビューでのテーブル分析・管理をサポートします。 | ドキュメント |
| SmartBI |  | SmartbiはOracle、SQL Server、MySQL、Dorisなど様々なデータソースに接続できるソフトウェアサービスとアプリケーションコネクタの集合体で、ユーザーが簡単にデータを統合・クレンジングできるようにします。 | ドキュメント |
| QuickBI |  | Quick BIはデータウェアハウスベースのビジネスインテリジェンスツールで、企業が印象的な視覚的分析を迅速に構築できるよう支援します。 | ドキュメント |
SQLクライアント
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| DBeaver |  | DBeaverは開発者、データベース管理者、アナリスト、およびデータを扱うすべての人のためのクロスプラットフォームデータベースツールです。 | ドキュメント |
| DataGrip | DataGripはJetBrains製の関係データベースおよびNoSQLデータベース向けの強力なクロスプラットフォームデータベースツールです。 | ドキュメント |
データソース
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| Apache Kafka | Dorisはリアルタイムストリーミング（CSV/JSON、Exactly-Once）向けの効率的なRoutine LoadとAdvanced形式向けのDoris Kafka Connectorを介してKafkaと統合されます。 | GitHub ドキュメント | |
| Doris Kafka Connector | Dorisはリアルタイムストリーミング（CSV/JSON、Exactly-Once）向けの効率的なRoutine LoadとAdvanced形式向けのDoris Kafka Connectorを介してKafkaと統合されます。 | GitHub ドキュメント | |
| MySQL | Doris JDBC Catalogは標準JDBCインターフェース経由でMySQLデータベースへの接続をサポートします。 | ドキュメント | |
| PostgreSQL | Doris JDBC Catalogは標準JDBCインターフェース経由でPostgreSQLデータベースへの接続をサポートします。 | ドキュメント | |
| Amazon S3 |  | Dorisは非同期（S3 Load）と同期（TVF）の両方の方法を使用してS3ファイルの読み込みをサポートします。 | ドキュメント |
| Azure | Dorisは非同期（S3 Load）と同期（TVF）の両方の方法を使用してAzure Storageファイルの読み込みをサポートします。 | ドキュメント | |
| Google Cloud Storage | | Google Cloud Storageからファイルを読み込むために、Dorisは非同期S3 Loadと同期TVFの2つの方法を提供します。 | ドキュメント |
| MinIO |  | Dorisは非同期（S3 Load）と同期（TVF）の両方の方法を使用してMinIOファイルの読み込みをサポートします。 | ドキュメント |
| HDFS | Hive MetastoreまたはHive Metastore互換のメタデータサービスに接続することで、DorisはHiveデータベースおよびテーブル情報を自動取得し、データクエリを実行できます。 | ドキュメント |
データ取り込み
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| Doris Streamloader |  | Doris StreamloaderはApache Dorisにデータを読み込むために設計されたクライアントツールです。curlを使用したシングルスレッド読み込みと比較して、並行読み込み機能により大規模データセットの読み込み遅延を削減します。 | ドキュメント |
| Apache SeaTunnel |  | SeaTunnelは非常に使いやすい超高性能分散データ統合プラットフォームで、大量データのリアルタイム同期をサポートします。 | ドキュメント |
| BladePipe | BladePipeはリアルタイムのエンドツーエンドデータレプリケーションツールで、30以上のデータベース、メッセージキュー、検索エンジン、キャッシング、リアルタイムデータウェアハウス、データレイクなどの間でデータを移動し、3秒未満の超低遅延を実現します。 | ドキュメント |
その他
| 名前 | ロゴ | 説明 | リソース |
|---|---|---|---|
| AutoMQ |  | AutoMQはS3などのオブジェクトストレージにストレージを分離することによるKafkaのクラウドネイティブフォークです。 | ドキュメント |
| DataX | | DataX DoriswriterプラグインはMySQL、Oracle、SQL Serverなど様々なデータソースからStream Load方式を使用してDorisにデータを同期することをサポートします。 | ドキュメント |
| Kettle |  | Kettle Doris PluginはKettle内でStream LoadによりDorisに他のデータソースからデータを書き込むために使用されます。 | ドキュメント |
| Apache Kyuubi |  | Apache Kyuubiは、データウェアハウスやLakehouse上でサーバーレスSQLを提供する分散マルチテナントゲートウェイです。 | ドキュメント |