メインコンテンツまでスキップ

Data Lakehouse FAQ

証明書の問題​

  1. クエリ実行時に、エラー curl 77: Problem with the SSL CA cert. が発生します。これは現在のシステム証明書が古すぎることを示しており、ローカルで更新する必要があります。

    • https://curl.haxx.se/docs/caextract.html から最新のCA証明書をダウンロードできます。
    • ダウンロードした cacert-xxx.pem を /etc/ssl/certs/ ディレクトリに配置します。例：sudo cp cacert-xxx.pem /etc/ssl/certs/ca-certificates.crt。

  2. クエリ実行時にエラーが発生します：ERROR 1105 (HY000): errCode = 2, detailMessage = (x.x.x.x)[CANCELLED][INTERNAL_ERROR]error setting certificate verify locations: CAfile: /etc/ssl/certs/ca-certificates.crt CApath: none。

yum install -y ca-certificates
ln -s /etc/pki/ca-trust/extracted/openssl/ca-bundle.trust.crt /etc/ssl/certs/ca-certificates.crt

Kerberos​

  1. Kerberosで認証されたHive Metastoreに接続する際、GSS initiate failedエラーが発生します。

    これは通常、Kerberos認証情報が正しくないことが原因です。以下の手順でトラブルシューティングを行えます：

    1. バージョン1.2.1より前では、Dorisが依存するlibhdfs3ライブラリでgsaslが有効になっていませんでした。バージョン1.2.2以降にアップデートしてください。

    2. 各コンポーネントに正しいkeytabとprincipalが設定されていることを確認し、keytabファイルがすべてのFEノードとBEノードに存在することを確認してください。

      • hadoop.kerberos.keytab/hadoop.kerberos.principal: Hadoop hdfsアクセスに使用され、hdfsに対応する値を入力します。
      • hive.metastore.kerberos.principal: hive metastoreに使用されます。

    3. principalのIPをドメイン名に置き換えてみてください（デフォルトの_HOSTプレースホルダーを使用しないでください）。

    4. /etc/krb5.confファイルがすべてのFEノードとBEノードに存在することを確認してください。

  2. Hive Catalogを通じてHiveデータベースに接続する際、エラーが発生します：RemoteException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]。

    show databasesとshow tablesに問題がないのにクエリ実行時にエラーが発生する場合は、以下の2つの手順に従ってください：

    • core-site.xmlとhdfs-site.xmlをfe/confディレクトリとbe/confディレクトリに配置します。
    • BEノードでKerberos kinitを実行し、BEを再起動してからクエリを実行してください。

    Kerberosで構成されたテーブルをクエリする際にGSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos Ticket)エラーが発生した場合、通常はFEノードとBEノードを再起動することで問題が解決されます。

    • すべてのノードを再起動する前に、"${DORIS_HOME}/be/conf/be.conf"のJAVA_OPTSパラメータで-Djavax.security.auth.useSubjectCredsOnly=falseを設定し、アプリケーションではなく基盤メカニズムを通じてJAAS認証情報を取得してください。
    • 一般的なJAASエラーの解決策については、JAAS Troubleshootingを参照してください。

    CatalogでKerberosを設定する際のUnable to obtain password from userエラーを解決するには：

    • 使用するprincipalがklistにリストされていることをklist -kt your.keytabで確認してください。
    • yarn.resourcemanager.principalなどの設定が不足していないか、catalogの設定を確認してください。
    • 上記の確認で問題がない場合、システムのパッケージマネージャーでインストールされたJDKバージョンが特定の暗号化アルゴリズムをサポートしていない可能性があります。JDKを手動でインストールし、JAVA_HOME環境変数を設定することを検討してください。
    • Kerberosは通常、暗号化にAES-256を使用します。Oracle JDKの場合、JCEをインストールする必要があります。一部のOpenJDKディストリビューションは、無制限強度JCEを自動的に提供するため、別途インストールする必要がありません。
    • JCEバージョンはJDKバージョンに対応しています。JDKバージョンに基づいて適切なJCE zipパッケージをダウンロードし、$JAVA_HOME/jre/lib/securityディレクトリに展開してください：

    KMSを使用してHDFSにアクセスする際にjava.security.InvalidKeyException: Illegal key sizeエラーが発生した場合、JDKバージョンを>= Java 8 u162にアップグレードするか、対応するJCE Unlimited Strength Jurisdiction Policy Filesをインストールしてください。

    CatalogでKerberosを設定した結果、SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]エラーが発生する場合は、core-site.xmlファイルを"${DORIS_HOME}/be/conf"ディレクトリに配置してください。

    HDFSにアクセスした結果、No common protection layer between client and serverエラーが発生する場合は、クライアントとサーバーのhadoop.rpc.protectionプロパティが一致していることを確認してください。

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>

        <property>
            <name>hadoop.security.authentication</name>
            <value>kerberos</value>
        </property>
        
    </configuration>

Kerberos が設定された Broker Load を使用して、Cannot locate default realm. エラーが発生する場合:

Broker Load の `start_broker.sh` スクリプト内の `JAVA_OPTS` に設定項目 `-Djava.security.krb5.conf=/your-path` を追加します。

3. Catalog で Kerberos 設定を使用する場合、hadoop.username プロパティは同時に使用できません。

  1. JDK 17 で Kerberos にアクセスする場合

    JDK 17 で Doris を実行し、Kerberos サービスにアクセスする際、非推奨の暗号化アルゴリズムの使用によりアクセスできない問題が発生する場合があります。krb5.conf に allow_weak_crypto=true プロパティを追加するか、Kerberos の暗号化アルゴリズムをアップグレードする必要があります。

    詳細については、次を参照してください: https://seanjmullan.org/blog/2021/09/14/jdk17#kerberos

JDBC Catalog​

  1. JDBC Catalog 経由で SQLServer に接続する際のエラー: unable to find valid certification path to requested target

    jdbc_url に trustServerCertificate=true オプションを追加します。

  2. JDBC Catalog 経由で MySQL データベースに接続すると中国語文字が文字化けするか、中国語文字のクエリ条件が正しくない

    jdbc_url に useUnicode=true&characterEncoding=utf-8 を追加します。

    注: バージョン 1.2.3 以降、JDBC Catalog 経由で MySQL データベースに接続する場合、これらのパラメータは自動的に追加されます。

  3. JDBC Catalog 経由で MySQL データベースに接続する際のエラー: Establishing SSL connection without server's identity verification is not recommended

    jdbc_url に useSSL=true を追加します。

  4. JDBC Catalog を使用して MySQL データを Doris に同期する際、日付データの同期エラーが発生します。MySQL バージョンと MySQL ドライバパッケージが一致するかを確認してください。例えば、MySQL 8 以上では com.mysql.cj.jdbc.Driver ドライバが必要です。

Hive Catalog​

  1. Hive Catalog 経由で Iceberg または Hive テーブルにアクセスする際にエラーが報告される: failed to get schema または Storage schema reading not supported

    以下の方法を試すことができます:

    • Hive の lib/ ディレクトリに iceberg runtime 関連の jar パッケージを配置します。

    • hive-site.xml で設定します:

      metastore.storage.schema.reader.impl=org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader

設定が完了した後、Hive Metastoreを再起動する必要があります。

  • Catalogプロパティに"get_schema_from_table" = "true"を追加してください

    このパラメータはバージョン2.1.10および3.0.6以降でサポートされています。

  1. Hive Catalogへの接続エラー: Caused by: java.lang.NullPointerException

    fe.logに以下のスタックトレースが含まれている場合:

    Caused by: java.lang.NullPointerException
        at org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.getFilteredObjects(AuthorizationMetaStoreFilterHook.java:78) ~[hive-exec-3.1.3-core.jar:3.1.3]
        at org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook.filterDatabases(AuthorizationMetaStoreFilterHook.java:55) ~[hive-exec-3.1.3-core.jar:3.1.3]
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1548) ~[doris-fe.jar:3.1.3]
        at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getAllDatabases(HiveMetaStoreClient.java:1542) ~[doris-fe.jar:3.1.3]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_181]

create catalog文で"metastore.filter.hook" = "org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImpl"を追加して解決してみてください。

  1. Hive Catalogを作成した後、show tablesは正常に動作するがクエリの実行時にjava.net.UnknownHostException: xxxxxが発生する場合

    CATALOGのPROPERTIESに以下を追加してください：

    'fs.defaultFS' = 'hdfs://<your_nameservice_or_actually_HDFS_IP_and_port>'

  2. Hive 1.xのorc形式のテーブルでは、基盤となるorcファイルスキーマのシステム列名が_col0、_col1、_col2などとして表示される場合があります。この場合、カタログ設定でhive.versionを1.x.xとして追加し、hiveテーブルの列名とマッピングしてください。

    CREATE CATALOG hive PROPERTIES (
        'hive.version' = '1.x.x'
    );

  3. Catalogを使用してテーブルデータをクエリする際に、Invalid method nameなどのHive Metastoreに関連するエラーが発生した場合は、hive.versionパラメータを設定してください。

  4. ORC形式のテーブルをクエリする際に、FEがCould not obtain blockまたはCaused by: java.lang.NoSuchFieldError: typesを報告する場合、これはFEがデフォルトでHDFSにアクセスしてファイル情報を取得し、ファイル分割を実行することが原因の可能性があります。場合によっては、FEがHDFSにアクセスできないことがあります。これは次のパラメータを追加することで解決できます："hive.exec.orc.split.strategy" = "BI"。その他のオプションにはHYBRID（デフォルト）とETLがあります。

  5. Hiveでは、Hudiテーブルのパーティションフィールド値を見つけることができますが、Dorisでは見つけることができません。DorisとHiveは現在、Hudiをクエリする方法が異なります。Dorisでは、Hudiテーブルのavscファイル構造にパーティションフィールドを追加する必要があります。追加されていない場合、Dorisはpartition_valが空の状態でクエリを実行します（hoodie.datasource.hive_sync.partition_fields=partition_valが設定されていても）。

    {
        "type": "record",
        "name": "record",
        "fields": [{
            "name": "partition_val",
            "type": [
                "null",
                "string"
                ],
            "doc": "Preset partition field, empty string when not partitioned",
            "default": null
            },
            {
            "name": "name",
            "type": "string",
            "doc": "Name"
            },
            {
            "name": "create_time",
            "type": "string",
            "doc": "Creation time"
            }
        ]
    }

  6. Hive外部テーブルをクエリする際に、エラーjava.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not foundが発生した場合は、Hadoop環境でhadoop-lzo-*.jarを検索し、"${DORIS_HOME}/fe/lib/"ディレクトリに配置してFEを再起動してください。バージョン2.0.2以降では、このファイルをFEのcustom_lib/ディレクトリ（存在しない場合は手動で作成）に配置することで、libディレクトリが置き換えられることによるクラスターアップグレード時のファイル損失を防ぐことができます。

  7. serdeをorg.apache.hadoop.hive.contrib.serde2.MultiDelimitserDeとして指定してHiveテーブルを作成し、テーブルにアクセスする際にエラーstorage schema reading not supportedが発生した場合は、hive-site.xmlファイルに以下の設定を追加してHMSサービスを再起動してください：

    <property>
      <name>metastore.storage.schema.reader.impl</name>
      <value>org.apache.hadoop.hive.metastore.SerDeStorageSchemaReader</value>
    </property>

  8. エラー: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty。FEログの完全なエラーメッセージは以下の通りです:

    org.apache.doris.common.UserException: errCode = 2, detailMessage = S3 list path failed. path=s3://bucket/part-*,msg=errors while get file status listStatus on s3://bucket: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    org.apache.doris.common.UserException: errCode = 2, detailMessage = S3 list path exception. path=s3://bucket/part-*, err: errCode = 2, detailMessage = S3 list path failed. path=s3://bucket/part-*,msg=errors while get file status listStatus on s3://bucket: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    org.apache.hadoop.fs.s3a.AWSClientIOException: listStatus on s3://bucket: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: com.amazonaws.SdkClientException: Unable to execute HTTP request: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: javax.net.ssl.SSLException: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: java.lang.RuntimeException: Unexpected error: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    Caused by: java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty

FE ノードで update-ca-trust (CentOS/RockyLinux) を使用して CA 証明書を更新し、その後 FE プロセスを再起動してください。

  1. BE エラー: java.lang.InternalError。be.INFO で以下のようなエラーが表示される場合:

    W20240506 15:19:57.553396 266457 jni-util.cpp:259] java.lang.InternalError
            at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.init(Native Method)
            at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.<init>(ZlibDecompressor.java:114)
            at org.apache.hadoop.io.compress.GzipCodec$GzipZlibDecompressor.<init>(GzipCodec.java:229)
            at org.apache.hadoop.io.compress.GzipCodec.createDecompressor(GzipCodec.java:188)
            at org.apache.hadoop.io.compress.CodecPool.getDecompressor(CodecPool.java:183)
            at org.apache.parquet.hadoop.CodecFactory$HeapBytesDecompressor.<init>(CodecFactory.java:99)
            at org.apache.parquet.hadoop.CodecFactory.createDecompressor(CodecFactory.java:223)
            at org.apache.parquet.hadoop.CodecFactory.getDecompressor(CodecFactory.java:212)
            at org.apache.parquet.hadoop.CodecFactory.getDecompressor(CodecFactory.java:43)

これは、Doris内蔵のlibz.aがシステム環境のlibz.soと競合するためです。この問題を解決するには、まずexport LD_LIBRARY_PATH=/path/to/be/lib:$LD_LIBRARY_PATHを実行し、その後BEプロセスを再起動してください。

  1. Hiveにデータを挿入する際に、HiveAccessControlException Permission denied: user [user_a] does not have [UPDATE] privilege on [database/table]というエラーが発生しました。

    データ挿入後、対応する統計情報を更新する必要があり、この更新操作にはalter権限が必要です。そのため、Rangerでこのユーザーにalter権限を追加する必要があります。

HDFS​

  1. HDFS 3.xにアクセスする際、java.lang.VerifyError: xxxエラーが発生した場合、1.2.1より前のバージョンでは、DorisはHadoopバージョン2.8に依存しています。2.10.2にアップデートするか、Dorisを1.2.2以降のバージョンにアップグレードする必要があります。

  2. Hedged Readを使用して遅いHDFS読み込みを最適化します。場合によっては、HDFSの高負荷により、特定のHDFS上のデータレプリカの読み込み時間が長くなり、全体的なクエリ効率が低下することがあります。HDFS ClientはHedged Read機能を提供しています。この機能は、読み込み要求が一定の閾値を超えても戻らない場合、同じデータを読み込む別の読み込みスレッドを開始し、最初に返された結果を使用します。

    注意：この機能はHDFSクラスターの負荷を増加させる可能性があるため、慎重に使用してください。

    この機能は以下の方法で有効にできます：

    create catalog regression properties (
        'type'='hms',
        'hive.metastore.uris' = 'thrift://172.21.16.47:7004',
        'dfs.client.hedged.read.threadpool.size' = '128',
        'dfs.client.hedged.read.threshold.millis' = "500"
    );

dfs.client.hedged.read.threadpool.size は、Hedged Read に使用されるスレッド数を表し、HDFS Client で共有されます。通常、HDFS クラスターでは、BE ノードが HDFS Client を共有します。

`dfs.client.hedged.read.threshold.millis` は、ミリ秒単位の読み取り閾値です。読み取り要求がこの閾値を超えて戻らない場合、Hedged Read がトリガーされます。

有効にすると、Query Profile で関連パラメータを確認できます：

`TotalHedgedRead`: Hedged Read が開始された回数。

`HedgedReadWins`: Hedged Read が成功した回数（要求が開始され、元の要求よりも高速に戻った回数）

これらの値は単一の HDFS Client の累積値であり、単一のクエリのものではないことに注意してください。同じ HDFS Client は複数のクエリで再利用される可能性があります。

3. Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

FE と BE の起動スクリプトでは、環境変数 `HADOOP_CONF_DIR` が CLASSPATH に追加されます。`HADOOP_CONF_DIR` が誤って設定されている場合（存在しないパスや不正なパスを指している場合など）、間違った xxx-site.xml ファイルが読み込まれ、不正な情報が読み取られる可能性があります。

`HADOOP_CONF_DIR` が正しく設定されているか確認するか、この環境変数を削除してください。

4. BlockMissingExcetpion: Could not obtain block: BP-XXXXXXXXX No live nodes contain current block

考えられる解決策は次のとおりです：
- `hdfs fsck file -files -blocks -locations` を使用してファイルが正常か確認する。
- `telnet` を使用して datanode との接続性を確認する。
- datanode のログを確認する。

次のエラーが発生した場合：

`org.apache.hadoop.hdfs.server.datanode.DataNode: Failed to read expected SASL data transfer protection handshake from client at /XXX.XXX.XXX.XXX:XXXXX. Perhaps the client is running an older version of Hadoop which does not support SASL data transfer protection`
これは現在の hdfs で暗号化転送が有効になっているが、クライアントでは有効になっていないためにエラーが発生していることを意味します。

次のいずれかの解決策を使用してください：
- hdfs-site.xml と core-site.xml を be/conf と fe/conf ディレクトリにコピーする。（推奨）
- hdfs-site.xml で対応する設定 `dfs.data.transfer.protection` を見つけ、このパラメータを catalog で設定する。

DLF Catalog​

  1. DLF Catalog を使用する際、BE が JindoFS データを読み取り中に Invalid address が発生する場合は、ログに表示されるドメイン名から IP へのマッピングを /etc/hosts に追加してください。

  2. データを読み取る権限がない場合は、hadoop.username プロパティを使用して権限を持つユーザーを指定してください。

  3. DLF Catalog のメタデータは DLF と一致している必要があります。DLF を使用してメタデータを管理する場合、Hive で新しくインポートされたパーティションが DLF によって同期されず、DLF と Hive メタデータ間に不整合が生じる可能性があります。この問題に対処するため、Hive メタデータが DLF によって完全に同期されていることを確認してください。

その他の問題​

  1. Binary 型を Doris にマッピングした後のクエリ結果の文字化け

    Doris は Binary 型をネイティブにサポートしていないため、さまざまなデータレイクやデータベースから Doris に Binary 型をマッピングする場合、通常は String 型を使用して行われます。String 型は印刷可能文字のみを表示できます。Binary データの内容をクエリする必要がある場合は、TO_BASE64() 関数を使用して Base64 エンコーディングに変換してから、さらに処理を行うことができます。

  2. Parquet ファイルの分析

    Parquet ファイルをクエリする際、異なるシステムで生成された Parquet ファイルの形式（RowGroup の数、インデックス値など）に潜在的な違いがあるため、問題の特定やパフォーマンス分析のために Parquet ファイルのメタデータを確認する必要がある場合があります。ユーザーが Parquet ファイルをより便利に分析できるように、以下のツールが提供されています：

    1. Apache Parquet Cli 1.14.0 をダウンロードして解凍する

    2. 分析する Parquet ファイルをローカルマシンにダウンロードし、パスを /path/to/file.parquet とする

    3. 次のコマンドを使用して Parquet ファイルのメタデータを分析する：

      ./parquet-tools meta /path/to/file.parquet

    4. その他の機能については、Apache Parquet Cli documentation を参照してください