MédiaMúltipla escolha

Questão de prática de DP-900

Você é um engenheiro de dados para uma empresa de serviços financeiros. A empresa usa um pool SQL dedicado do Azure Synapse Analytics para o seu data warehouse. Eles têm uma tabela de fatos chamada Transactions que contém 2 bilhões de linhas. A tabela é distribuída por hash na coluna AccountID. Os usuários executam relatórios que agregam os valores das transações por data e tipo de conta. Os relatórios estão lentos. Após uma investigação, você descobre que a distribuição é altamente distorcida porque algumas contas possuem milhões de transações. Você precisa melhorar o desempenho da consulta sem redesenhar todo o esquema. Qual ação você deve tomar?

Escolha a melhor resposta.

Resposta correta

  • AAlterar a chave de distribuição para uma coluna com mais valores exclusivos, como TransactionID

Explicação

Alterar a chave de distribuição para TransactionID, que possui muito mais valores exclusivos do que AccountID, eliminará a distorção de dados que está causando a degradação do desempenho. Em uma tabela distribuída por hash, uma chave de distribuição distorcida faz com que algumas distribuições contenham uma quantidade desproporcional de dados, fazendo com que a execução da consulta paralela seja afunilada pela maior distribuição. Ao usar uma coluna altamente exclusiva como TransactionID, os dados serão distribuídos uniformemente por todas as 60 distribuições, permitindo paralelismo equilibrado e consultas de agregação mais rápidas.

Por que cada alternativa está certa ou errada

A

Correta

Alterar a chave de distribuição para uma coluna com mais valores exclusivos, como TransactionID

Alterar a chave de distribuição para uma coluna de alta cardinalidade, como TransactionID, é a correção correta. Em uma tabela distribuída por hash, as linhas são atribuídas a distribuições fazendo o hash da chave de distribuição, portanto, uma chave com milhões de valores exclusivos espalha as linhas quase uniformemente por todos os nós de computação. Isso elimina diretamente a distorção de dados na chave existente e também garante que junções e agregações subsequentes em TransactionID possam ocorrer com o mínimo de movimento de dados, permitindo que a tabela massiva seja processada em paralelo.

B

Incorreta

Alterar a distribuição para round-robin

Mudar a tabela para a distribuição round-robin de fato espalharia as linhas uniformemente entre as distribuições, mas o faria sem considerar as relações lógicas entre as tabelas. Como as linhas são atribuídas sequencialmente em vez de fazer o hash de uma coluna de junção, cada junção entre esta tabela de fatos e qualquer tabela de dimensões exigiria um embaralhamento completo (shuffle) de ambas as tabelas em todos os nós de computação, causando um enorme movimento de dados e anulando a vantagem do processamento paralelo. O round-robin é apropriado apenas para tabelas de preparo ou heap criadas para cargas em massa e não usadas em junções repetitivas.

C

Incorreta

Criar um índice columnstore clustered na tabela

A criação de um índice columnstore clustered aborda a compactação e o desempenho de consultas por meio da eliminação de segmentos de colunas, e não da distribuição física de linhas entre os nós. Se a chave de distribuição atual estiver distorcida, muitas linhas com o mesmo valor sofrem hash para a mesma distribuição, portanto, um índice columnstore não pode ajudar porque essa única distribuição ainda detém uma parcela desproporcional de dados e se torna o gargalo. Além disso, a tabela presumivelmente já possui um índice columnstore, pois esta é uma carga de trabalho analítica típica; adicioná-lo ou reconstruí-lo incorreria em E/S pesada sem corrigir a causa raiz.

D

Incorreta

Replicar a tabela Transactions para todas as distribuições

Replicar uma tabela para todas as distribuições a copia para cada nó de computação para que as junções possam ocorrer localmente sem movimento de dados, mas essa estratégia destina-se apenas a pequenas tabelas de dimensões, tipicamente abaixo de alguns GB. Uma tabela de transações financeiras de 2 bilhões de linhas exigiria a duplicação desse enorme volume de dados pelo número de nós, aumentando drasticamente o custo de armazenamento e tornando a replicação inicial e quaisquer atualizações incrementais extremamente lentas. O processo de replicação em si sobrecarregaria o pipeline e ainda não resolveria a própria distorção de distribuição da tabela de fatos para consultas de agregação.

Para se aprofundar

O pool SQL dedicado do Azure Synapse Analytics é um sistema de processamento massivamente paralelo (MPP) que divide as linhas de uma tabela em um conjunto de distribuições usando uma de três estratégias: hash, round-robin ou replicada. A distribuição por hash aplica o hash ao valor da chave de distribuição e o mapeia para uma distribuição, portanto, a escolha da chave determina diretamente quão uniformemente os dados são espalhados entre os nós. Quando uma chave como ProductID possui apenas alguns valores distintos, milhões de linhas vão para a mesma distribuição, produzindo um 'nó quente' (hot node) que desacelera cada consulta; você pode verificar isso com DBCC PDW_SHOWSPACEUSED para ver as contagens de linhas por distribuição. Uma sutileza é que a chave de distribuição também deve ser escolhida para corresponder à chave de junção da tabela maior para permitir junções colocalizadas (collocated joins), que evitam o movimento de dados durante a execução da consulta; alterar a chave de uma tabela de 2 bilhões de linhas requer reconstruir a tabela via CREATE TABLE AS SELECT ou ALTER TABLE, mas esse custo é muito menor do que a penalidade de desempenho perpétua da distorção. Outro equívoco comum é que os índices, mesmo columnstore, podem resolver a distorção — eles não podem, porque o columnstore compacta e elimina dados dentro de uma distribuição, mas não altera como as linhas são alocadas fisicamente. Compreender a interação entre a cardinalidade da chave de distribuição e os padrões de junção é essencial para projetar esquemas de alto desempenho em data warehouses MPP.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DP-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.