Trilha 3 · 165h · Avançado
Engenharia de Dados
Extrair, transformar e automatizar fluxos de dados do ERP sem depender de fornecedores externos para cada alteração.
Leitura de 4 minutos
Objetivo geral
Deixar a equipa capaz de extrair, transformar e automatizar fluxos de dados do ERP sem depender de fornecedores externos para cada alteração.
Objetivos específicos
No final da trilha, o participante é capaz de:
- Consultar e preparar os dados na origem, em SQL, em vez de trabalhar sobre exportações
- Construir uma camada de transformação parametrizada entre a origem e o relatório
- Automatizar rotinas de dados em Python, agendadas e com registo de execução
- Avaliar casos de uso de IA em tarefas de dados, com critério e sem expor a empresa
- Documentar a camada de dados, com definições, acessos e responsáveis
- Colocar em produção um fluxo de dados real da empresa, mantido pela equipa interna
Metodologia
A formação é 70% prática e 30% teórica. Cada sessão percorre as mesmas cinco etapas: o conceito em contexto de negócio, repetição guiada até a mecânica ficar automática, um caso real com dados imperfeitos, a construção da solução do início ao fim e a transposição para o posto de trabalho.
- Dados reais desde a primeira sessão — exercícios com dados fictícios produzem competência que não transfere para o posto de trabalho
- Um entregável por módulo — cada módulo termina com um artefacto que fica a funcionar na operação
- Turma fechada — in-company, presencial ou online síncrono, só com colaboradores da empresa
- Avaliação no fim de cada módulo — prova prática de duas horas, para identificar lacunas enquanto ainda há trilha pela frente para as corrigir
Módulos
SQL Server
Ir buscar e preparar os dados na origem, em vez de trabalhar sobre exportações.
- SELECT, JOIN e GROUP BY sobre o modelo real do ERP
- Subconsultas e expressões de tabela comum (CTE)
- Funções de janela para acumulados e rankings
- Vistas como camada de apoio aos relatórios
- Índices e leitura do plano de execução
- Procedimentos armazenados e parâmetros
- Boas práticas de desempenho em tabelas grandes
Exercícios: reescrever uma consulta lenta e medir a diferença; criar a vista que alimenta um relatório existente.
Entregável: conjunto de vistas e consultas documentadas, prontas a servir de fonte.
Power Query (M)
A camada de transformação entre a origem e o relatório.
- Ligações a bases de dados, pastas e serviços
- Transformações, parâmetros e consultas reutilizáveis
- Tratamento de erros e atualização agendada
Entregável: fluxo de transformação parametrizado.
Python para Dados
Automatizar o que as ferramentas gráficas não resolvem, com rotinas que correm sozinhas.
- pandas: leitura, limpeza, junções e agregação
- Ficheiros, bases de dados e APIs como origem
- Automação de rotinas e agendamento
- Controlo de erros e registo de execução
- Integração com Excel e com o Power BI
- Organização do código para outra pessoa manter
Exercícios: escrever um script que consolida exportações, valida totais e avisa quando algo não bate.
Entregável: rotina automatizada, agendada e com registo de execução.
IA aplicada
Usar modelos de linguagem e serviços de IA em tarefas de dados, com critério e sem expor a empresa.
- Casos de uso realistas em engenharia de dados
- Classificação e extração de informação a partir de texto
- Apoio à escrita e revisão de SQL e DAX
- Limites, erros típicos e como os detetar
- Privacidade: que dados podem sair da empresa
- Como avaliar se o resultado é bom o suficiente
Entregável: um caso de uso avaliado, com decisão fundamentada de avançar ou abandonar.
Governação de Dados só em formato corporativo
Definições, acessos e responsabilidade sobre os dados que a equipa passa a produzir.
- Catálogo de métricas e dicionário de dados
- Perfis de acesso e segurança
- Qualidade, reconciliação e ciclo de vida
Entregável: documentação da camada de dados, com responsáveis.
Projeto Aplicado só em formato corporativo
Um fluxo de dados real da empresa, automatizado de ponta a ponta.
- Levantamento da origem e das suas limitações
- Construção, validação e agendamento
- Documentação e passagem à equipa interna
Entregável: fluxo em produção, documentado e mantido pela equipa.
Quer esta trilha para a sua equipa?
O diagnóstico é gratuito e devolve o percurso ajustado ao nível real da equipa, com a carga horária e a composição de módulos já definidas.