Apache spark 3 new features: AQE

Adaptive Query Execution Framework est un framewrok Spark qui adapte le plan d’exécution au moment de l’exécution en fonction des statistiques les plus récentes sur la taille des données, le nombre de partitions, etc.

Par conséquent, Spark peut changer dynamiquement de stratégie de jointure, optimiser automatiquement les skew-joins et ajuster le nombre de partitions. Toutes ces optimisations intelligentes conduisent à améliorer les performances des requêtes des applications Spark.