スパークのタスクとジョブとは何ですか？

スパークタスクは、スパークアプリケーション内で実行される最小単位を指します。一般的に、タスクは1つのパーティションのデータに対する操作です。

スパークのジョブは、依存関係を持つ一連のタスク集合を指します。これらのタスクは通常、1つのアクションによってトリガーされます。1つのジョブには1つまたは複数の段階が含まれ、各段階には相互に依存するタスクが含まれます。スパークでは、各RDD変換操作が新しいジョブをトリガーします。