MoyenneChoix unique

Question d'entraînement DP-900

Vous êtes ingénieur de données pour une entreprise de services financiers. L'entreprise utilise un pool SQL dédié d'Azure Synapse Analytics pour son entrepôt de données. Elle dispose d'une table de faits nommée Transactions qui contient 2 milliards de lignes. La table est distribuée par hachage (hash-distributed) sur la colonne AccountID. Les utilisateurs exécutent des rapports qui agrègent les montants des transactions par date et par type de compte. Les rapports sont lents. Après investigation, vous constatez que la distribution est fortement asymétrique car quelques comptes ont des millions de transactions. Vous devez améliorer les performances des requêtes sans redessiner l'ensemble du schéma. Quelle action devez-vous entreprendre ?

Choisissez la meilleure réponse.

Bonne réponse

  • AModifier la clé de distribution pour utiliser une colonne ayant davantage de valeurs uniques, telle que TransactionID

Explication

Modifier la clé de distribution vers TransactionID, qui possède beaucoup plus de valeurs uniques que AccountID, permettra d'éliminer l'asymétrie des données qui provoque la dégradation des performances. Dans une table distribuée par hachage, une clé de distribution asymétrique conduit certaines distributions à détenir une quantité disproportionnée de données, ce qui fait que l'exécution de requêtes parallèles est ralentie par la plus grande distribution. En utilisant une colonne hautement unique comme TransactionID, les données seront réparties uniformément sur les 60 distributions, permettant un parallélisme équilibré et des requêtes d'agrégation plus rapides.

Pourquoi chaque option est juste ou fausse

A

Juste

Modifier la clé de distribution pour utiliser une colonne ayant davantage de valeurs uniques, telle que TransactionID

Modifier la clé de distribution pour une colonne à haute cardinalité telle que TransactionID est la correction appropriée. Dans une table distribuée par hachage, les lignes sont assignées aux distributions en hachant la clé de distribution, de sorte qu'une clé avec des millions de valeurs uniques répartit les lignes de manière quasi uniforme sur tous les nœuds de calcul. Cela élimine directement l'asymétrie des données sur la clé existante et garantit également que les jointures et agrégations ultérieures sur TransactionID peuvent se produire avec un mouvement de données minimal, permettant à la table massive d'être traitée en parallèle.

B

Fausse

Modifier la distribution pour utiliser le mode round-robin

Passer la table à une distribution round-robin répartirait effectivement les lignes de manière égale entre les distributions, mais sans tenir compte des relations logiques entre les tables. Étant donné que les lignes sont assignées séquentiellement plutôt que par hachage d'une colonne de jointure, chaque jointure entre cette table de faits et n'importe quelle table de dimension nécessiterait un échange complet (shuffle) des deux tables sur tous les nœuds de calcul, provoquant un mouvement de données énorme et annulant l'avantage du traitement parallèle. Le mode round-robin n'est approprié que pour les tables de staging ou les tables de type heap créées pour les chargements en masse et non utilisées dans des jointures répétitives.

C

Fausse

Créer un index columnstore clusterisé sur la table

Créer un index columnstore clusterisé résout les problèmes de compression et de performance des requêtes grâce à l'élimination de segments colonnaires, et non via la distribution physique des lignes entre les nœuds. Si la clé de distribution actuelle est asymétrique, de nombreuses lignes ayant la même valeur sont hachées vers la même distribution, de sorte qu'un index columnstore ne peut pas aider car cette seule distribution détient toujours une part disproportionnée des données et devient le goulet d'étranglement. De plus, la table possède probablement déjà un index columnstore puisqu'il s'agit d'une charge de travail analytique typique ; l'ajouter ou le reconstruire entraînerait de fortes E/S sans résoudre la cause première.

D

Fausse

Répliquer la table Transactions sur toutes les distributions

Répliquer une table sur toutes les distributions la copie sur chaque nœud de calcul afin que les jointures puissent s'effectuer localement sans mouvement de données, mais cette stratégie est réservée uniquement aux petites tables de dimension, généralement inférieures à quelques Go. Une table de transactions financières de 2 milliards de lignes nécessiterait de dupliquer ce volume de données énorme par le nombre de nœuds, augmentant considérablement le coût de stockage et rendant la réplication initiale ainsi que toute mise à jour incrémentielle extrêmement lentes. Le processus de réplication lui-même surchargerait le pipeline et ne résoudrait toujours pas l'asymétrie de distribution propre à la table de faits pour les requêtes d'agrégation.

Pour aller plus loin

Le pool SQL dédié d'Azure Synapse Analytics est un système de traitement massivement parallèle (MPP) qui divise les lignes d'une table sur un ensemble de distributions à l'aide de l'une de ces trois stratégies : hachage (hash), round-robin ou répliquée. La distribution par hachage hache la valeur de la clé de distribution et la mappe à une distribution, de sorte que le choix de la clé détermine directement la régularité de la répartition des données entre les nœuds. Lorsqu'une clé comme ProductID n'a que quelques valeurs distinctes, des millions de lignes aboutissent sur la même distribution, produisant un « nœud chaud » qui ralentit chaque requête ; vous pouvez vérifier cela avec DBCC PDW_SHOWSPACEUSED pour voir le nombre de lignes par distribution. Une subtilité est que la clé de distribution doit également être choisie pour correspondre à la clé de jointure de la plus grande table afin de permettre des jointures colocalisées, qui évitent le mouvement de données pendant l'exécution des requêtes ; modifier la clé d'une table de 2 milliards de lignes nécessite de reconstruire la table via CREATE TABLE AS SELECT ou ALTER TABLE, mais ce coût est bien moindre que la pénalité de performance perpétuelle de l'asymétrie. Une autre idée reçue fréquente est que les index, même columnstore, peuvent résoudre l'asymétrie — ce n'est pas le cas, car le columnstore compresse et élague les données au sein d'une distribution mais ne modifie pas la façon dont les lignes sont physiquement allouées. Comprendre l'interaction entre la cardinalité de la clé de distribution et les modèles de jointure est essentiel pour concevoir des schémas performants dans les entrepôts MPP.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DP-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.