MédiaMúltipla escolha

Questão de prática de PDE

Uma empresa armazena dados de sensores IoT no BigQuery. Consultas que filtram por uma coluna de carimbo de data/hora (timestamp) e uma coluna device_id são lentas, mesmo que a tabela esteja particionada por dia. O que o engenheiro de dados deve fazer para melhorar o desempenho das consultas?

Escolha a melhor resposta.

Resposta correta

  • DAgrupar (cluster) a tabela em device_id

Explicação

O agrupamento (clustering) em device_id organiza os dados dentro de cada partição diária por device_id, permitindo que o BigQuery descarte blocos durante consultas que filtram por essa coluna. Isso reduz a quantidade de dados escaneados e melhora o desempenho da consulta sem alterar o esquema de particionamento. O particionamento sozinho apenas limita as varreduras por intervalo de tempo; o clustering adiciona ordenação intrapartição para filtros que não são baseados em tempo.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o tamanho da partição para mensal

O particionamento mensal diminui a granularidade, portanto, os filtros de timestamp examinam mais dados por partição em vez de menos. É tentador porque menos partições reduzem a sobrecarga de metadados, o que se adapta a intervalos de datas de baixa cardinalidade, mas aqui ele piora o corte em consultas filtradas por dia.

B

Incorreta

Mudar para particionamento por tempo de ingestão em vez de baseado em coluna

O particionamento por tempo de ingestão particiona pelo horário de carga, não pela coluna de timestamp que está sendo filtrada, portanto, não pode fazer o corte por tempo de evento e pioraria essa varredura. É a escolha certa quando o horário de chegada é o eixo da consulta e não existe uma coluna confiável de tempo de evento.

C

Incorreta

Ativar a reescrita automática de consultas com o BI Engine

O BI Engine é uma camada de aceleração em memória para painéis de BI de sub-segundo e pesquisas; ele não adiciona uma chave de clustering, portanto, o filtro device_id ainda varre cada bloco de partição. Seria correto para acelerar consultas repetidas e interativas em painéis, não para reestruturar o armazenamento.

D

Correta

Agrupar (cluster) a tabela em device_id

O particionamento por dia filtra o timestamp, mas os predicados de device_id ainda varrem cada partição. O clustering classifica os dados dentro de cada partição por device_id, para que o BigQuery leia apenas os blocos relevantes, reduzindo os bytes escaneados e melhorando o desempenho do filtro.

Para se aprofundar

O particionamento do BigQuery restringe a varredura às partições correspondentes, mas dentro de cada partição diária o mecanismo ainda lê todas as linhas, a menos que os dados estejam fisicamente ordenados. O clustering coloca as linhas lado a lado pelas colunas especificadas em blocos de armazenamento, portanto, um filtro em device_id permite que o BigQuery ignore blocos cujos metadados mínimo/máximo excluem o valor, cortando os bytes escaneados e o tempo de slot. O clustering funciona melhor quando a coluna de filtro tem alta cardinalidade e é usada junto com a coluna de partição; você pode clusterizar em até quatro colunas, e a ordem importa porque a primeira coluna fornece o corte mais forte. Um caso realista é uma tabela de IoT particionada por dia de ingestão, mas consultada por dispositivo ao longo de uma semana, onde o clustering em device_id transforma uma varredura de vários gigabytes em poucos megabytes.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.