MySQL互換性
Dorisは MySQLの構文と高い互換性があり、標準SQLをサポートしています。しかし、DorisとMySQLの間にはいくつかの違いがあります。以下にその概要を示します。
データ型
数値型
| 型 | MySQL | Doris |
|---|---|---|
| Boolean | - サポート - 範囲: 0は偽、1は真を表す | - サポート - キーワード: Boolean - 範囲: 0は偽、1は真を表す |
| Bit | - サポート - 範囲: 1から64 | サポートされていません |
| Tinyint | - サポート - 符号ありと符号なしをサポート - 範囲: 符号ありの範囲は-128から127、符号なしの範囲は0から255 | - サポート - 符号ありのみサポート - 範囲: -128から127 |
| Smallint | - サポート - 符号ありと符号なしをサポート - 範囲: 符号ありの範囲は-2^15から2^15-1、符号なしの範囲は0から2^16-1 | - サポート - 符号ありのみサポート - 範囲: -32768から32767 |
| Mediumint | - サポート - 符号ありと符号なしをサポート - 範囲: 符号ありの範囲は-2^23から2^23-1、符号なしの範囲は0から2^24-1 | - サポートされていません |
| Int | - サポート - 符号ありと符号なしをサポート - 範囲: 符号ありの範囲は-2^31から2^31-1、符号なしの範囲は0から2^32-1 | - サポート - 符号ありのみサポート - 範囲: -2147483648から2147483647 |
| Bigint | - サポート - 符号ありと符号なしをサポート - 範囲: 符号ありの範囲は-2^63から2^63-1、符号なしの範囲は0から2^64-1 | - サポート - 符号ありのみサポート - 範囲: -2^63から2^63-1 |
| Largeint | - サポートされていません | - サポート - 符号ありのみサポート - 範囲: -2^127から2^127-1 |
| Decimal | - サポート - 符号ありと符号なしをサポート(8.0.17以降は非推奨) - デフォルト: Decimal(10, 0) | - サポート - 符号ありのみサポート - デフォルト: Decimal(9, 0) |
| Float/Double | -サポート - 符号ありと符号なしをサポート(8.0.17以降は非推奨) | - サポート - 符号ありのみサポート |
日付型
| 型 | MySQL | Doris |
|---|---|---|
| Date | - サポート - 範囲: ['1000-01-01', '9999-12-31'] - フォーマット: YYYY-MM-DD | - サポート - 範囲: ['0000-01-01', '9999-12-31'] - フォーマット: YYYY-MM-DD |
| DateTime | - サポート - DATETIME([P])、Pは精度を定義するオプションのパラメータ - 範囲: '1000-01-01 00:00:00.000000'から'9999-12-31 23:59:59.999999'- フォーマット: YYYY-MM-DD hh:mm .fraction | - サポート - DATETIME([P])、Pは精度を定義するオプションのパラメータ - 範囲: ['0000-01-01 00:00:00[.000000]', '9999-12-31 23:59:59[.999999]'] - フォーマット: YYYY-MM-DD hh:mm.fraction |
| Timestamp | - サポート - Timestamp[(p)]、Pは精度を定義するオプションのパラメータ - 範囲: ['1970-01-01 00:00:01.000000' UTC, '2038-01-19 03:14:07.999999' UTC] - フォーマット: YYYY-MM-DD hh:mm .fraction | - サポートされていません |
| Time | - サポート - Time[(p)] - 範囲: ['-838:59:59.000000'から'838:59:59.000000'] - フォーマット: hh:mm .fraction | - サポートされていません |
| Year | - サポート - 範囲: 1901から2155、または0000 - フォーマット: yyyy | - サポートされていません |
文字列型
| 型 | MySQL | Doris |
|---|---|---|
| Char | -サポート - CHAR[(M)]、Mは文字長。省略した場合、デフォルト長は1 - 固定長 - 範囲: [0, 255] バイト | - サポート - CHAR[(M)]、Mはバイト長 - 可変長 - 範囲: [1, 255] |
| Varchar | - サポート - VARCHAR(M)、Mは文字長 - 範囲: [0, 65535] バイト | - サポート - VARCHAR(M)、Mはバイト長 - 範囲: [1, 65533] |
| String | - サポートされていません | - サポート - 1,048,576バイト(1MB)、2,147,483,643バイト(2GB)まで増加可能 |
| Binary | - サポート - Charに類似 | - サポートされていません |
| Varbinary | - サポート - Varcharに類似 | - サポートされていません |
| Blob | - サポート - TinyBlob、Blob、MediumBlob、LongBlob | - サポートされていません |
| Text | - サポート - TinyText、Text、MediumText、LongText | - サポートされていません |
| Enum | - サポート - 最大65,535要素をサポート | - サポートされていません |
| Set | - サポート - 最大64要素をサポート | - サポートされていません |
JSON型
| 型 | MySQL | Doris |
|---|---|---|
| JSON | サポート | サポート |
Doris独自のデータ型
Dorisにはいくつかの独自のデータ型があります。詳細は以下の通りです:
-
HyperLogLog
HLL(HyperLogLog)はキー列として使用できないデータ型です。集計モデルTableでは、HLLに対応する集計タイプはHLL_UNIONです。長さとデフォルト値を指定する必要はありません。長さはデータ集計レベルに基づいて内部的に制御されます。HLL列は
HLL_UNION_AGG、HLL_RAW_AGG、HLL_CARDINALITY、HLL_HASHなどの関連関数でのみクエリまたは使用できます。HLLは近似的なファジー重複排除に使用され、大量のデータを扱う際にcount distinctよりも優れたパフォーマンスを発揮します。HLLの典型的なエラー率は約1%で、時には2%に達することもあります。
-
Bitmap
Bitmapはキー列として使用できないデータ型です。集計モデルTableでは、BITMAPに対応する集計タイプはBITMAP_UNIONです。HLLと同様に、長さとデフォルト値を指定する必要はなく、長さはデータ集計レベルに基づいて内部的に制御されます。Bitmap列は
BITMAP_UNION_COUNT、BITMAP_UNION、BITMAP_HASH、BITMAP_HASH64などの関数でのみクエリまたは使用できます。従来のシナリオでBITMAPを使用するとローディング速度に影響する可能性がありますが、一般的に大量のデータを扱う際にCount Distinctよりも優れたパフォーマンスを発揮します。リアルタイムシナリオでは、グローバル辞書なしでbitmap_hash()関数を使用するBITMAPは約0.1%のエラーが発生する可能性があることに注意してください。このエラーが受け入れられない場合は、代わりにbitmap_hash64を使用できます。
-
QUANTILE_PERCENT
QUANTILE_STATEはキー列として使用できないデータ型です。集計モデルTableでは、QUANTILE_STATEに対応する集計タイプはQUANTILE_UNIONです。長さとデフォルト値を指定する必要はなく、長さはデータ集計レベルに基づいて内部的に制御されます。QUANTILE_STATE列は
QUANTILE_PERCENT、QUANTILE_UNION、TO_QUANTILE_STATEなどの関数でのみクエリまたは使用できます。QUANTILE_STATEは近似分位数値の計算に使用されます。インポート中に、同じキーに対して異なる値で事前集計を実行します。値の数が2048を超えない場合、すべてのデータを詳細に保存します。値の数が2048を超える場合、TDigestアルゴリズムを使用してデータを集計(クラスター化)し、クラスターの重心を保存します。
-
Array<T>
ArrayはDorisのデータ型で、T型の要素で構成される配列を表します。キー列として使用することはできません。
-
MAP<K, V>
MAPはDorisのデータ型で、K型とV型の要素で構成されるマップを表します。
-
STRUCT<field_name:field_type,...>
構造体(STRUCT)は複数のフィールドで構成されます。複数の列の集合として識別することもできます。
- field_name: フィールドの識別子で、一意である必要があります。
- field_type: フィールドの型。
-
Agg_State
AGG_STATEはDorisのデータ型で、キー列として使用することはできません。Table作成時には、集計関数のシグネチャを宣言する必要があります。
長さとデフォルト値を指定する必要はなく、実際のストレージサイズは関数の実装に依存します。
AGG_STATEは、集約器のSQLマニュアルの STATE / MERGE/ UNION 関数と組み合わせてのみ使用できます。
構文
DDL
01 DorisでのCreate Table構文
CREATE TABLE [IF NOT EXISTS] [database.]table
(
column_definition_list
[, index_definition_list]
)
[engine_type]
[keys_type]
[table_comment]
[partition_info]
distribution_desc
[rollup_list]
[properties]
[extra_properties]
02 MySQLとの違い
| パラメータ | MySQLとの違い |
|---|---|
| Column_definition_list | - フィールドリスト定義:基本構文はMySQLと似ていますが、集約型の追加操作が含まれます。 - 集約型操作は主にAggregateをサポートします。 - Table作成時、MySQLではフィールドリスト定義の後にIndex(例:Primary Key、Unique Key)などの制約を追加できますが、Dorisではデータモデルを定義することでこれらの制約と計算をサポートします。 |
| Index_definition_list | - インデックスリスト定義:基本構文はMySQLと似ており、ビットマップインデックス、転置インデックス、N-Gramインデックスをサポートしますが、Bloomフィルターインデックスはpropertiesを通じて設定されます。 - MySQLはB+TreeとHashインデックスをサポートします。 |
| Engine_type | - Tableエンジン型:オプション。 - 現在サポートされているTableエンジンは主にOLAPネイティブエンジンです。 - MySQLはInnodb、MyISAMなどのストレージエンジンをサポートします。 |
| Keys_type | - データモデル:オプション。 - サポートされている型には以下が含まれます:1) DUPLICATE KEY(デフォルト):指定されたカラムはソートカラムです。2) AGGREGATE KEY:指定されたカラムはディメンションカラムです。3) UNIQUE KEY:指定されたカラムは主キーカラムです。 - MySQLにはデータモデルの概念がありません。 |
| Table_comment | Tableコメント |
| Partition_info | - パーティショニングアルゴリズム:オプション。Dorisがサポートするパーティショニングアルゴリズムには以下が含まれます: - LESS THAN:パーティションの上限のみを定義します。下限は前のパーティションの上限によって決定されます。 - FIXED RANGE:パーティションの左閉右開区間を定義します。 - MULTI RANGE:複数のRANGEパーティションを一括作成し、左閉右開区間を定義し、時間単位とステップを設定します。時間単位は年、月、日、週、時間をサポートします。 MySQLはHash、Range、List、Keyなどのアルゴリズムをサポートします。MySQLはサブパーティションもサポートし、サブパーティションではHashとKeyのみがサポートされています。 |
| Distribution_desc | - バケッティングアルゴリズム:必須。以下が含まれます:1) Hashバケッティング構文:DISTRIBUTED BY HASH (k1[,k2 ...]) [BUCKETS num|auto]。説明:指定されたキーカラムを使用してハッシュバケッティングを行います。2) ランダムバケッティング構文:DISTRIBUTED BY RANDOM [BUCKETS num|auto]。説明:ランダム数を使用してバケッティングを行います。 - MySQLにはバケッティングアルゴリズムがありません。 |
| Rollup_list | - Table作成時に複数の同期マテリアライズドビューを作成できます。 - 構文: rollup_name (col1[, col2, ...]) [DUPLICATE KEY(col1[, col2, ...])][PROPERTIES("key" = "value")]- MySQLはこれをサポートしません。 |
| Properties | Tableプロパティ:MySQLのTableプロパティとは異なり、Tableプロパティを定義する構文もMySQLとは異なります。 |
03 CREATE INDEX
CREATE INDEX [IF NOT EXISTS] index_name ON table_name (column [, ...],) [USING BITMAP];
-
Dorisは現在、Bitmapインデックス、Invertedインデックス、N-Gramインデックスをサポートしています。BloomFilterインデックスもサポートされていますが、設定するための構文が別になっています。
-
MySQLはB+TreeやHashなどのインデックスアルゴリズムをサポートしています。
04 CREATE VIEW
CREATE VIEW [IF NOT EXISTS]
[db_name.]view_name
(column1[ COMMENT "col comment"][, column2, ...])
AS query_stmt
CREATE MATERIALIZED VIEW (IF NOT EXISTS)? mvName=multipartIdentifier
(LEFT_PAREN cols=simpleColumnDefs RIGHT_PAREN)? buildMode?
(REFRESH refreshMethod? refreshTrigger?)?
(KEY keys=identifierList)?
(COMMENT STRING_LITERAL)?
(PARTITION BY LEFT_PAREN partitionKey = identifier RIGHT_PAREN)?
(DISTRIBUTED BY (HASH hashKeys=identifierList | RANDOM) (BUCKETS (INTEGER_VALUE | AUTO))?)?
propertyClause?
AS query
- 基本構文はMySQLと一致しています。
- Dorisはロジカルビューをサポートし、2つのタイプのマテリアライズドビューをサポートします:同期マテリアライズドビューと非同期マテリアライズドビューです。
- MySQLは非同期マテリアライズドビューをサポートしていません。
05 ALTER TABLE / ALTER INDEX
DorisのALTER構文は基本的にMySQLと同じです。
DROP TABLE / DROP INDEX
DorisのDROP構文は基本的にMySQLと同じです。
DML
INSERT
INSERT INTO table_name
[ PARTITION (p1, ...) ]
[ WITH LABEL label]
[ (column [, ...]) ]
[ [ hint [, ...] ] ]
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }
DorisのINSERT構文は基本的にMySQLと同じです。
UPDATE
UPDATE target_table [table_alias]
SET assignment_list
WHERE condition
assignment_list:
assignment [, assignment] ...
assignment:
col_name = value
value:
{expr | DEFAULT}
DorisのUPDATE構文は基本的にMySQLと同じですが、WHERE条件を必ず追加する必要があることに注意してください。
Delete
DELETE FROM table_name [table_alias]
[PARTITION partition_name | PARTITIONS (partition_name [, partition_name])]
WHERE column_name op { value | value_list } [ AND column_name op { value | value_list } ...];
構文はフィルター述語のみを指定できます
DELETE FROM table_name [table_alias]
[PARTITION partition_name | PARTITIONS (partition_name [, partition_name])]
[USING additional_tables]
WHERE condition
この構文はUNIQUE KEYモデルTableでのみ使用できます。
DorisのDELETE構文は基本的にMySQLと同じです。ただし、Dorisは分析データベースであるため、削除操作を頻繁に行うことはできません。
SELECT
SELECT
[hint_statement, ...]
[ALL | DISTINCT]
select_expr [, select_expr ...]
[EXCEPT ( col_name1 [, col_name2, col_name3, ...] )]
[FROM table_references
[PARTITION partition_list]
[TABLET tabletid_list]
[TABLESAMPLE sample_value [ROWS | PERCENT]
[REPEATABLE pos_seek]]
[WHERE where_condition]
[GROUP BY [GROUPING SETS | ROLLUP | CUBE] {col_name | expr | position}]
[HAVING where_condition]
[ORDER BY {col_name | expr | position} [ASC | DESC], ...]
[LIMIT {[offset_count,] row_count | row_count OFFSET offset_count}]
[INTO OUTFILE 'file_name']
DorisのSELECT構文は基本的にMySQLと同じです。
SQL ファンクション
Doris FunctionはMySQLの関数のほとんどをカバーしています。
SQL Mode
| Name | 有効時の動作 | 無効時の動作 | 注釈 |
|---|---|---|---|
| PIPES_AS_CONCAT | ||をconcat関数として解析する | ||を論理AND演算子として解析する | - |
| NO_BACKSLASH_ESCAPES | 文字列内のバックスラッシュをリテラル文字として扱う | 文字列内のバックスラッシュをエスケープ文字として扱う | - |
| ONLY_FULL_GROUP_BY | 標準的な集約のみを許可する | GROUP BYキーに含まれないスカラー値が集約結果に現れることを許可する | バージョン3.1.0からサポート |