メインコンテンツまでスキップ

AIの概要

Apache Dorisは、テキスト検索、ベクター検索、AI機能、MCPベースのインテリジェントインタラクションを深く統合した高性能リアルタイム分析データベースです。データストレージ、検索、分析をカバーする完全なAIデータスタックを構築し、AIアプリケーションに統一されたデータインフラストラクチャを提供します。

以下の表は、一般的なAIシナリオとDorisが提供する対応機能を示し、適切なソリューションを迅速に特定するのに役立ちます。

やりたいことシナリオ主要機能
AI AgentにビジネスデータをリアルタイムでクエリさせるAgent Facing AnalyticsMPPアーキテクチャ、ミリ秒レベルのクエリ、MCP Server
同じデータに対してキーワード検索、ベクター検索、集約を実行するHybrid search and analytics転置インデックス + ベクターインデックス + SQL
AI訓練データ準備と特徴エンジニアリングを加速するLakehouse for AILakehouseアーキテクチャ、オープンテーブル形式、高速SQL
企業ナレッジベースとインテリジェントカスタマーサービスを構築するRAG applications高並行ベクター検索、ハイブリッド検索
モデル訓練と推論サービスを監視するAI Observability高スループット取り込み、転置インデックス、低ストレージコスト
検索にユーザーの意図を理解させるSemantic searchHNSW/IVF、量子化、マルチモーダル拡張

Agent Facing Analytics​

AI Agent技術が普及するにつれて、より多くの分析決定がAIによって自動的に行われるようになり、データプラットフォームには極限のリアルタイム性能と高い並行性が求められます。従来の「人による分析」とは異なり、Agent Facing Analyticsはデータクエリと決定をミリ秒以内に完了し、大量のAgentからの並行アクセスをサポートする必要があります。典型的なシナリオには、リアルタイム不正検出、インテリジェント広告配信、パーソナライズされたレコメンデーションが含まれます。

高性能MPPアーキテクチャを搭載したDorisは、Agent向け分析シナリオにおいて以下の利点を提供します：

機能メトリック値
データ遅延サブ秒リアルタイム取り込みと更新により、Agentの決定が最新データに基づくことを保証
クエリレスポンス平均 < 100 msAgentのリアルタイム決定ニーズを満たす
並行性10,000+ QPS大量のAgentからの並行クエリを容易に処理
統合ネイティブMCP ServerAI Agentとシームレスに統合し、開発を簡素化

Hybrid Search and Analytics Processing​

Hybrid Search and Analytics Processing architecture diagram

半構造化および非構造化データは、データ分析において第一級の市民となりつつあります。顧客レビュー、チャットログ、本番ログ、車両テレメトリー信号は、現在ビジネス意思決定に深く統合されています。従来の構造化分析ソリューションは、全文検索とベクター検索機能を組み合わせる必要があり、単一プラットフォームでセマンティック検索と集約による多次元分析の両方をサポートします。典型的なシナリオには以下が含まれます：

  • 顧客インサイト: レビューテキスト検索とユーザー行動分析を組み合わせて、顧客ニーズと満足度トレンドを正確に特定します。
  • スマート製造: 本番ログの全文検索、機器画像認識、IoTメトリック分析を組み合わせて、故障予測と品質最適化を可能にします。
  • コネクテッドビークル: 車両テレメトリー分析、ユーザーフィードバックテキストマイニング、運転行動ベクター検索を組み合わせて、スマートコックピット体験を向上させます。

Doris上でハイブリッド検索・分析アプリケーションを構築する利点：

  • 統一アーキテクチャ: データ移行や異種システム統合なしに、単一プラットフォームで構造化分析、全文検索、ベクター検索を処理します。
  • ハイブリッドクエリパフォーマンス: ベクター類似性検索、キーワードフィルタリング、集約を単一のSQL文で実行し、優れたクエリパフォーマンスを実現します。
  • 柔軟なスキーマサポート: VARIANTタイプは動的JSON構造をネイティブサポートし、Light Schema Changeによりフィールドとインデックスの変更を数秒で実現します。
  • フルスタック最適化: 転置インデックスとベクターインデックスからMPP実行エンジンまでのエンドツーエンド最適化により、検索精度と分析効率のバランスを取ります。

Lakehouse for AI​

AIモデルとアプリケーションの開発には、大規模データセットから訓練セットを準備し、特徴エンジニアリングを実行し、データ品質を評価することが必要です。従来のアーキテクチャでは、データレイクと分析エンジン間で頻繁なデータ移行が必要な場合がよくあります。Lakehouseアーキテクチャは、データレイクのオープンストレージとリアルタイム分析エンジンを深く統合し、統一プラットフォーム上でデータ準備、特徴エンジニアリング、モデル評価の全ワークフローをサポートします。これによりデータサイロを排除し、AI開発の反復を加速します。

アーキテクチャ特性:

  • Lakehouse統合: オープンレイクテーブル形式（IcebergやPaimonなど）とCatalogに基づいてオープンlakehouseを構築し、分析データとAIデータを統一管理します。
  • 高速SQLエンジン: Dorisはリアルタイム分析エンジンとして機能し、インタラクティブクエリと軽量ETLをサポートし、データ準備と特徴エンジニアリングに効率的なSQL計算を提供します。
  • シームレスなデータフロー: データ移動なしにデータレイクから直接読み書きします。ストレージ層は統一管理され、計算層は柔軟な加速を提供します。

AIワークフロー全体での加速:

  • 大規模データ準備: PBスケールのデータレイクからデータを効率的にフィルタリング、サンプリング、クリーニングして、高品質な訓練データセットを迅速に構築します。
  • リアルタイム特徴エンジニアリング: オンライン特徴抽出、変換、集約を実行して、モデル訓練と推論にリアルタイム特徴サービスを提供します。
  • 品質評価: テストセットと本番データに対して多次元の迅速分析を実行し、モデルパフォーマンスとデータドリフトを継続的に監視します。

RAG (Retrieval-Augmented Generation)​

RAGは外部ナレッジベースから関連情報を検索して大規模言語モデルにコンテキストを提供し、モデルの幻覚と知識の適時性の問題を効果的に解決します。ベクターエンジンはRAGシステムの中核コンポーネントです。大規模なナレッジベースから最も関連性の高い文書断片を迅速に呼び出すと同時に、高並行ユーザークエリリクエストをサポートして、レスポンシブなアプリケーション体験を確保する必要があります。

典型的なアプリケーション:

  • 企業ナレッジベース: 内部文書とマニュアルに基づいてインテリジェントQ&Aシステムを構築し、従業員が自然言語で迅速に正確な回答を得られるようにします。
  • インテリジェントカスタマーサービスアシスタント: 製品ナレッジベースと過去の事例を組み合わせて、カスタマーサービス担当者やチャットボットに正確な返信提案を提供します。
  • インテリジェント文書アシスタント: 大規模文書コレクション内の関連コンテンツを迅速に特定し、研究、執筆、意思決定をサポートします。

Doris上でRAGを構築する利点:

  • 高並行パフォーマンス: 分散アーキテクチャが高並行ベクター検索をサポートし、大規模な並行ユーザーアクセスを容易に処理します。
  • ハイブリッド検索機能: ベクター類似性検索とキーワードフィルタリングを単一のSQL文で実行し、セマンティック呼び出しと完全一致のバランスを取ります。
  • 弾力的スケーリング: クラスターの成長に応じて検索パフォーマンスが線形にスケールし、数百万から数百億のベクターまでスムーズに移行します。
  • 統一ソリューション: ベクターデータ、生文書、ビジネスデータを統一管理し、RAGアプリケーションのデータアーキテクチャを簡素化します。

AI Observability​

AIモデル訓練の反復とアプリケーションランタイムは、大量のログ、メトリック、トレースデータを生成します。問題を正確に特定し、パフォーマンスを継続的に最適化するために、可観測性システムはAIインフラストラクチャの重要な部分となっています。ビジネス規模が拡大するにつれて、可観測性プラットフォームは、PBスケールデータの高スループット取り込み、ミリ秒レベルの検索レスポンス、コスト制御の複合的な課題に直面しています。

典型的な使用例:

  • モデル訓練監視: 訓練メトリックとリソース消費をリアルタイムで追跡し、訓練異常とパフォーマンスボトルネックを迅速に特定します。
  • 推論サービストレース: すべての推論リクエストの完全なコールチェーンを記録し、遅延の原因とエラーパターンを分析します。
  • AIアプリケーションログ解析: 大規模アプリケーションログに対して全文検索と集約を実行し、トラブルシューティングと行動インサイトをサポートします。

Doris上でAI Observabilityを構築する利点:

次元機能メトリック
取り込みパフォーマンスPB/日（10 GB/s）の持続取り込みをサポート、転置インデックスによりログ検索を加速し秒レベルのレスポンス
ストレージコスト5:1から10:1の圧縮率、ストレージコストを50%-80%削減、コールドデータ用の低コストストレージ
スキーマ柔軟性Light Schema Changeによりフィールド変更を数秒で実現、VARIANTタイプが動的JSONをネイティブサポート
エコシステム互換性OpenTelemetryとELKエコシステムに互換、GrafanaやKibanaなどの可視化ツールと統合

セマンティック検索はベクトル化を使用してテキストの深い意味を捉え、クエリ用語が文書で使用されている表現と異なっていても、意味的に関連するコンテンツを呼び出します。これは言語横断検索、同義語認識、意図理解、および類似のシナリオにおいて重要であり、検索の呼び出しとユーザー体験を大幅に向上させます。

典型的な使用例:

  • 企業文書検索: 従業員が自然言語で質問を記述し、システムが意図を理解して、大規模な文書リポジトリから意味的に関連するポリシー、プロセス、ナレッジを呼び出します。
  • eコマース商品検索: ユーザーが「夏に適した通気性の良い靴」と入力し、システムがニーズを理解してキーワードのマッチングのみではなく関連商品を呼び出します。
  • コンテンツ推薦プラットフォーム: 記事や動画の意味的類似性に基づいてインテリジェントな推薦を行い、ユーザーが興味を持つ可能性があるが異なる表現を使用するコンテンツを表示します。

Doris上でセマンティック検索を構築する利点:

  • 高性能ベクター検索: HNSWとIVFアルゴリズムをサポートし、億スケールのベクターでサブ秒レスポンスを実現、大規模セマンティック検索ニーズを容易に処理します。
  • ハイブリッド検索強化: 単一のSQL文でセマンティック検索とキーワードフィルタリングを組み合わせて、意味的に関連するコンテンツを呼び出しながら必要なキーワードのマッチングを確保します。
  • マルチモーダル拡張: テキストだけでなく、画像や音声などのマルチモーダルコンテンツのセマンティック検索もサポートします。
  • 柔軟な量子化最適化: SQ/PQ量子化技術により検索精度を維持しながらストレージと計算コストを大幅に削減します。

関連文書​