ジョブを作成

概要

Doris Jobは、設定されたプランに従って実行されるタスクです。特定の時刻または指定された時間間隔で事前定義された操作をトリガーするために使用され、いくつかのタスクを自動的に実行するのに役立ちます。機能的には、オペレーティングシステムのスケジュールされたタスク（LinuxのcronやWindowsのスケジュールされたタスクなど）に似ています。

ジョブには2つのタイプがあります：ONE_TIMEとRECURRINGです。このうち、ONE_TIMEタイプのジョブは指定された時点でトリガーされます。主に一回限りのタスクに使用される一方、RECURRINGタイプのジョブは指定された時間間隔内で周期的にトリガーされます。この方法は主に定期的なタスクに使用されます。 RECURRINGタイプのジョブは開始時刻と終了時刻、つまりSTARTS/ENDSを指定できます。開始時刻が指定されていない場合、デフォルトの最初の実行時刻は現在時刻+1スケジューリングサイクルです。終了時刻が指定されている場合、タスク実行は完了します。終了時刻に到達した（または超過した、または次の実行サイクルが終了時刻を超える）場合、FINISHED状態に更新され、この時点でタスクは生成されなくなります。

ジョブには4つの状態があります（RUNNING、STOPPED、PAUSED、FINISHED）。

初期状態はRUNNINGです。RUNNING状態のジョブは、確立されたスケジューリングサイクルに従って実行用のTASKを生成します。ジョブが完了し終了時刻に到達すると、状態はFINISHEDに変わります。

PAUSED状態のジョブは、RESUME操作によって再開でき、RUNNING状態に変更されます。

STOPPED状態のジョブは、ユーザーによって能動的にトリガーされ、実行中のジョブはキャンセルされ、ジョブは削除されます。

FINISHED状態のジョブは、システム内に24時間保持され、24時間後に削除されます。

JOBはジョブ情報のみを記述します。実行はTASKを生成します。TASKステータスはPENDING、RUNNING、SUCCEESS、FAILED、CANCELEDに分けられます。 PENDINGは、トリガー時刻に到達したがリソースの実行を待機していることを意味します。リソースが割り当てられた後、ステータスはRUNNINGに変わります。実行の成功/失敗はSUCCESS/FAILEDに変わります。 CANCELEDは、キャンセル状態を意味します。TASKは最終ステータス、つまりSUCCESS/FAILEDを持続します。他のステータスは操作中に確認できますが、再起動した場合は表示されません。

構文

CREATE
    JOB  
    <job_name>
    ON SCHEDULE <schedule>
    [ COMMENT <string> ]
    DO <sql_body> 

説明:

schedule:
  { AT <at_timestamp> | EVERY <interval> [STARTS <start_timestamp> ] [ENDS <end_timestamp> ] }

ここで：

interval:
  quantity { WEEK | DAY | HOUR | MINUTE }

必須パラメータ

1. <job_name>

ジョブ名。db内の一意なイベントを識別します。ジョブ名はグローバルに一意である必要があります。同じ名前のジョブが既に存在する場合、エラーが報告されます。システム内部での使用のためにinner_プレフィックスを予約しているため、ユーザーはinner_で始まる名前を作成することはできません。

2. <schedule>

ON SCHEDULE句は、ジョブのタイプ、トリガー時間、および頻度を指定します。一回限りのジョブまたは定期的なジョブを指定できます。

3. <sql_body>

DO句は、ジョブがトリガーされたときに実行される操作、つまりSQL文を指定します。

オプションパラメータ

1. AT <at_timestamp>

形式：'YYYY-MM-DD HH:MM:SS'、一回限りのイベントに使用され、指定された日時のタイムスタンプでイベントが一度だけ実行されることを指定し、実行が完了するとジョブステータスはFINISHEDに変更されます。

2. EVERY <interval>

定期的に繰り返される操作を示し、ジョブの実行頻度を指定します。キーワードの後に時間間隔を指定する必要があり、日、時間、分、秒、または週を指定できます。

3. STARTS <start_timestamp>

形式：'YYYY-MM-DD HH:MM:SS'、ジョブの開始時間を指定するために使用されます。指定されない場合、現在時刻の次の時点から実行されます。開始時間は現在時刻より大きい必要があります。

4. ENDS <end_timestamp>

形式：'YYYY-MM-DD HH:MM:SS'、ジョブの終了時間を指定するために使用されます。指定されない場合、永続的な実行を意味します。日付は現在時刻より大きい必要があります。開始時間が指定されている場合、つまりSTARTSが指定されている場合、終了時間は開始時間より大きい必要があります。

アクセス制御要件

このSQLコマンドを実行するユーザーは、少なくとも以下の権限を持つ必要があります：

Privilege	Object	Notes
ADMIN_PRIV	Database	現在この操作を実行するにはADMIN権限のみをサポートしています

使用上の注意

• TASKは最新の100レコードのみを保持します。

• 現在INSERT internal table操作のみをサポートしており、将来的にはより多くの操作をサポート予定です。

• 次のスケジュールされたタスク時間が期限切れになったとき、つまりタスクの実行がスケジュールされる必要があるときに、現在のJOBで履歴タスクがまだ実行中の場合、現在のタスクスケジューリングはスキップされます。したがって、適切な実行間隔を制御することが非常に重要です。

例

• my_jobという名前のジョブを作成し、1分ごとに実行されます。実行される操作は、db2.tbl2のデータをdb1.tbl1にインポートすることです。

  CREATE JOB my_job ON SCHEDULE EVERY 1 MINUTE DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2;

• db2.tbl2のデータをdb1.tbl1にインポートするために、2020-01-01 00:00:00に一度だけ実行されるワンタイムジョブを作成します。

  CREATE JOB my_job ON SCHEDULE AT '2020-01-01 00:00:00' DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2;

• 2020-01-01 00:00:00から開始し、1日に1回実行される定期Jobを作成します。実行される操作は、db2.tbl2のデータをdb1.tbl1にインポートすることです。

  CREATE JOB my_job ON SCHEDULE EVERY 1 DAY STARTS '2020-01-01 00:00:00' DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2 WHERE create_time >= days_add(now(),-1);

• 2020-01-01 00:00:00に開始し、1日に1回実行する定期ジョブを作成します。操作はdb2.tbl2のデータをdb1.tbl1にインポートすることです。ジョブは2020-01-01 00:10:00に終了します。

  CREATE JOB my_job ON SCHEDULE EVERY 1 DAY STARTS '2020-01-01 00:00:00' ENDS '2020-01-01 00:10:00' DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2 create_time >= days_add(now(),-1);

ベストプラクティス

• 大量のjobが同時にトリガーされることを避けるため、jobを適切に管理してください。これによりタスクの蓄積を防ぎ、システムの正常な動作に影響を与えることを避けられます。
• タスクの実行間隔は適切な範囲内に設定し、少なくともタスクの実行時間より長くする必要があります。

関連ドキュメント

• Pause-JOB
• Resume-JOB
• Delete-JOB
• Query-JOB
• Query-TASKS

CONFIG

fe.conf

• job_dispatch_timer_job_thread_num、時限タスクの配布に使用するスレッド数、デフォルト値は2です。大量の定期実行タスクがある場合は、このパラメータを増やすことができます。

• job_dispatch_timer_job_queue_size、タスクが蓄積された際に時限タスクを格納するためのキューサイズ、デフォルト値は1024です。大量のタスクが同時にトリガーされる場合は、このパラメータを増やすことができます。そうしないと、キューが満杯になり、送信されたタスクがブロック状態になり、後続のタスクの送信が失敗する原因となります。

• finished_job_cleanup_threshold_time_hour、完了したタスクをクリーンアップする時間しきい値、単位は時間、デフォルト値は24時間です。

• job_insert_task_consumer_thread_num = 10; Insertタスクの実行に使用するスレッド数、値は0より大きくする必要があります。そうでない場合、デフォルト値は5になります。