MédiaMúltipla escolha

Questão de prática de ACE

Uma tabela do BigQuery em um pipeline de dados recebe cargas diárias de dados. Para controlar os custos de armazenamento, a equipe deseja que os dados da tabela com mais de 180 dias sejam excluídos automaticamente no nível da tabela, e não no nível do dataset. Como isso deve ser configurado?

Escolha a melhor resposta.

Resposta correta

  • CConfigurar a expiração da partição em uma tabela particionada por data para expirar as partições após 180 dias

Explicação

O recurso de expiração de partição do BigQuery permite excluir automaticamente partições inteiras de uma tabela particionada por data após um número especificado de dias. Ao definir a expiração da partição para 180 dias, todos os dados em partições com mais de 180 dias são descartados no nível da tabela, atendendo ao requisito sem afetar outras tabelas no dataset.

Por que cada alternativa está certa ou errada

A

Incorreta

Definir uma expiração de tabela padrão no nível do dataset de 180 dias nas propriedades do dataset

Definir uma expiração de tabela padrão no nível do dataset de 180 dias afeta apenas as tabelas criadas após a configuração da propriedade — isso não se aplica retroativamente às tabelas existentes. Além disso, esta opção define uma expiração para tabelas inteiras, o que significa que uma tabela particionada por data seria descartada por completo 180 dias após seu carimbo de data/hora de criação, e não teria as partições obsoletas removidas enquanto os dados mais novos permanecem. A pergunta solicita especificamente a configuração no nível da tabela que preserva os dados recentes enquanto remove os dados mais antigos, portanto, esse padrão no nível do dataset é insuficiente e desalinhado.

B

Incorreta

Usar um job do Cloud Scheduler para executar uma instrução DELETE em linhas com mais de 180 dias todas as noites

A execução de um job noturno do Cloud Scheduler que executa uma instrução DELETE em linhas com mais de 180 dias removeria tecnicamente as linhas, mas é uma abordagem ineficiente e custosa: as consultas DELETE consomem recursos de slot e geram custos de execução de consulta, e as linhas excluídas ainda ocupam armazenamento até que o armazenamento subjacente seja reescrito ou compactado. Ao contrário dos mecanismos nativos de retenção do BigQuery, isso requer sobrecarga operacional contínua (criar, agendar, monitorar e solucionar problemas de um job) e não garante uma limpeza pontual se o job falhar. Para dados de séries temporais, a expiração de partição gerenciada é a alternativa recomendada, sem manutenção e econômica.

C

Correta

Configurar a expiração da partição em uma tabela particionada por data para expirar as partições após 180 dias

Configurar a expiração da partição diretamente em uma tabela particionada por data está correto porque o BigQuery exclui automaticamente partições inteiras cujo limite de partição seja anterior ao número de dias configurado, sem nenhuma consulta ou job iniciado pelo usuário. Por exemplo, definir a expiração da partição como 180 dias faz com que o BigQuery descarte qualquer partição diária cuja data seja superior a 180 dias no passado, retendo efetivamente os últimos 180 dias de dados contínuos. Esta é a abordagem mais eficiente, de baixo custo e totalmente gerenciada, pois não usa slots de consulta e não requer agendador, tornando-a ideal para dados de logs e séries temporais.

D

Incorreta

Definir um TTL no nível da tabela usando a API de TTL do BigQuery com um valor de 180 dias

O BigQuery não expõe um recurso de produto chamado 'API de TTL'; em vez disso, a expiração da tabela é configurada por meio da propriedade de metadatos expiration_time da tabela, que remove a tabela inteira após uma duração fixa desde sua última hora de modificação — e não um TTL contínuo no nível de linha ou partição. O uso de tal expiração de tabela de 180 dias excluiria a tabela inteira após 180 dias de inatividade, o que não é o comportamento desejado para reter linhas recentes e expirar as antigas. Para retenção por partição, o mecanismo correto é a expiração da partição em uma tabela particionada por data, que o BigQuery gerencia automaticamente na granularidade da partição.

Para se aprofundar

A expiração da partição funciona comparando o limite de cada partição (por exemplo, o valor da data para partições diárias) com o horário UTC atual; quando uma partição é mais antiga do que a duração de expiração configurada, o BigQuery exclui a partição e seu armazenamento subjacente em segundo plano, sem exigir intervenção manual. Este é um recurso gerenciado de recuperação de armazenamento, portanto, ao contrário das instruções DELETE, você nunca paga por slots de consulta para remover dados obsoletos, e o armazenamento liberado para de gerar custos imediatamente após a expiração. Um equívoco comum é que a expiração padrão de tabela no nível do dataset se aplica a tabelas já existentes ou que a expiração da tabela se comporta como um TTL contínuo, mas ela afeta apenas novas tabelas e remove a tabela inteira após um ponto fixo no tempo. Outra sutileza: a expiração da partição é distinta da expiração da tabela e funciona apenas em tabelas particionadas; se a sua tabela não estiver particionada por uma coluna de data/carimbo de data/hora, você deve habilitar o particionamento retroativamente ou reprojetar a tabela. Para cenários de conformidade como retenção de GDPR ou direito ao apagamento do GDPR, a expiração de partição é o padrão do BigQuery porque garante que os dados não sejam armazenados além da janela de política sem código de limpeza personalizado, embora você deva garantir que os limites das partições estejam alinhados com o seu relógio de retenção; por exemplo, partições de hora em hora exigem que a janela de expiração seja definida em milissegundos em relação aos limites de hora.

Sobre estas questões de prática

Esta é uma das questões de prática originais de ACE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.