Carreira em dados
O que faz uma pessoa engenheira de dados, como um dado vai da fonte ao painel e o que as vagas de entrada pedem.
Cerca de 14 min · Revisado em
Ao final, você vai conseguir
- Diferenciar engenharia, análise, ciência de dados e analytics engineering pelas tarefas de cada papel
- Descrever as etapas do ciclo de vida dos dados, da fonte ao consumo
- Explicar a diferença entre bancos OLTP e OLAP e entre processamento batch e streaming
- Identificar as habilidades de base de uma vaga júnior e escolher dados abertos brasileiros para um projeto
Cada Pix que você faz, cada consulta marcada no posto de saúde e cada corrida de aplicativo vira uma linha em algum banco de dados. Sozinhas, essas linhas não dizem nada. Alguém precisa juntá-las, limpá-las e entregá-las a quem decide: o gestor do SUS que precisa saber onde faltam vacinas, a loja que quer saber o que vende mais. Esse alguém é a pessoa que trabalha com engenharia de dados, e esta aula mostra como é esse trabalho e por onde começar.
Dados são rastros do dia a dia
Um dado é um registro de algo que aconteceu: uma venda, um clique, uma temperatura medida. Hoje quase tudo deixa rastro digital, e os sistemas que registram esses rastros são chamados de fontes de dados.
O Brasil tem fontes enormes e públicas. O IBGE publica censos e pesquisas sobre população, renda e emprego. O DATASUS reúne internações, vacinas e nascimentos do SUS. O Portal Brasileiro de Dados Abertos (dados.gov.br) junta milhares de conjuntos do governo, de licitações a linhas de ônibus.
Uma prefeitura quer saber quais linhas de ônibus lotam no horário de pico. Qual destas é uma fonte de dados para responder?
- Os registros das catracas eletrônicas dos ônibus
- Um painel com gráficos de lotação por linha
- A opinião do secretário de transportes
O caminho de um dado, da fonte ao painel
- Fonte
- Onde o dado nasce: o banco do aplicativo, uma planilha, uma API (um endereço que entrega dados para outros programas), um arquivo público do IBGE.
- Ingestão
- Copiar o dado da fonte para um lugar seu, sem atrapalhar o sistema original. É como captar água sem secar o rio.
- Armazenamento
- Guardar os dados copiados num lugar feito para análise, como um data warehouse (armazém de dados) ou um data lake (lago de arquivos).
- Transformação
- Limpar, padronizar e combinar: corrigir datas, remover duplicados, juntar vendas com produtos. Aqui o dado bruto vira dado confiável.
- Consumo
- Quando alguém usa o resultado: um painel (dashboard), um relatório, um modelo de previsão, outro sistema.
A venda de um pão de queijo virando um número no painel da gerência
- App da loja → App da loja: Venda registrada. O caixa registra a venda no banco do sistema da loja. Essa é a fonte: ela existe para a loja funcionar, não para análise.
- App da loja → Pipeline: Copia vendas de ontem. De madrugada, um programa chamado pipeline (uma sequência automática de passos) lê as vendas do dia anterior. Isso é a ingestão.
- Pipeline → Armazém: Grava dados brutos. O pipeline guarda uma cópia fiel, do jeito que veio. Se algo der errado depois, dá para recomeçar daqui sem incomodar a loja de novo.
- Armazém → Armazém: Limpa e combina. A transformação corrige preços com vírgula, remove vendas canceladas e junta cada venda com o nome do produto e a loja.
- Armazém → Painel: Vendas por loja e dia. O painel lê a tabela pronta. A gerente abre de manhã e vê o que vendeu ontem: isso é o consumo.
Coloque em ordem o caminho dos dados de vacinação até um relatório do ministério.
- O posto de saúde registra a vacina aplicada no sistema
- Um pipeline copia os registros do dia para o ambiente de dados
- Os registros brutos ficam guardados no armazenamento
- A transformação remove duplicados e padroniza os nomes das vacinas
- O relatório mostra a cobertura vacinal por município
Quem faz o quê numa equipe de dados
Nas vagas você vai ver vários títulos parecidos. Eles se sobrepõem, e cada empresa usa de um jeito, mas a diferença principal está na pergunta que cada papel responde.
Constrói o encanamento
Engenharia de dados
Faz os dados chegarem, completos e no horário. Escreve pipelines, cuida do armazenamento, da qualidade e dos custos.
- Python e SQL
- Pipelines e agendamento
- Bancos e nuvem
Responde perguntas
Análise de dados
Usa os dados prontos para responder perguntas do negócio: por que as vendas caíram, qual campanha funcionou.
- SQL
- Planilhas e painéis
- Comunicação
Prevê e experimenta
Ciência de dados
Cria modelos estatísticos e de aprendizado de máquina: prever demanda, detectar fraude, recomendar produtos.
- Estatística
- Python
- Experimentos
Ponte entre os dois
Analytics engineering
Transforma dados brutos em tabelas bem modeladas, testadas e documentadas, prontas para quem analisa.
- SQL avançado
- dbt
- Modelagem
Qual papel normalmente faz cada tarefa?
Engenharia de dados · Análise de dados · Ciência de dados · Analytics engineering
- Agendar a cópia diária das vendas do sistema para o armazém
- Descobrir por que o ticket médio caiu em setembro
- Treinar um modelo que prevê quais clientes vão cancelar
- Criar a tabela de vendas por cliente, com testes de unicidade
- Corrigir um pipeline que parou por causa de uma API fora do ar
- Montar um painel de vendas por região para a diretoria
- Testar se um desconto aumenta as compras com um experimento A/B
- Documentar o que significa cada coluna da tabela de pedidos
Dois tipos de banco e dois ritmos de entrega
| OLTP (transacional) | OLAP (analítico) | |
|---|---|---|
| Para quê | Fazer o sistema funcionar | Analisar o que aconteceu |
| Operação típica | Gravar ou ler uma linha: um pedido, um login | Ler milhões de linhas e resumir |
| Quem usa | O aplicativo, milhares de vezes por segundo | Analistas, painéis, relatórios |
| Exemplos | PostgreSQL, MySQL do app | BigQuery, Snowflake, Redshift, DuckDB |
Por isso a engenharia de dados copia os dados do banco transacional para um analítico. Rodar um relatório pesado direto no banco do app é como a contadora pedir para o caixa parar de atender enquanto ela confere o mês.
O outro eixo é o ritmo. Em batch (lote), o pipeline junta dados por um período e processa tudo de uma vez: “todas as vendas de ontem, às 3h”. Em streaming (fluxo contínuo), cada evento é processado segundos depois de acontecer.
Um banco precisa bloquear um Pix suspeito antes que o dinheiro saia da conta. Que ritmo de processamento faz sentido?
- Streaming, analisando cada transação assim que ela acontece
- Batch diário, rodando de madrugada
- Tanto faz, desde que os dados estejam num banco OLAP
Um dia de quem começa na engenharia de dados
9h: conferir as cargas da noite
A primeira tarefa é ver se os pipelines da madrugada rodaram. Se um falhou, você lê o log (o registro do que o programa fez) para achar o motivo.
10h: investigar um número estranho
Alguém do financeiro avisa que as vendas de ontem dobraram no painel. Você descobre com SQL que um arquivo foi carregado duas vezes.
14h: tarefa planejada
Adicionar uma fonte nova, por exemplo os dados de entregas, escrevendo a ingestão em Python e a transformação em SQL.
16h: revisão de código
Alguém mais experiente lê seu código no Git e sugere melhorias. Você aprende tanto aqui quanto escrevendo.
Uma vaga de entrada típica. Explore o que cada trecho realmente pede.
Pessoa Engenheira de Dados Júnior
Requisitos:
- SQL (JOINs, agregações, CTEs)
- Python para manipulação de dados
- Git e versionamento
Diferenciais:
- Airflow, dbt, Spark, nuvem (AWS/GCP/Azure)- SQL: O requisito número um, em quase toda vaga. Você vai ler e escrever SQL todos os dias.
- Python: Ler arquivos, chamar APIs, limpar e validar dados. Não é preciso saber criar sites com Python.
- Git: Pipelines são código: precisam de histórico, revisão e colaboração.
- Diferenciais: Ferramentas que você aprende depois da base. Uma vaga júnior raramente espera domínio de todas; mostrar que usou uma já destaca.
No caso do painel com vendas dobradas, por que a engenharia de dados é responsável, se quem fez o painel foi a análise?
Porque o painel só mostrou o que estava na tabela. O erro aconteceu no caminho, na carga duplicada. Garantir que o mesmo arquivo carregado duas vezes não duplique linhas (o que se chama idempotência) é um dos cuidados centrais da engenharia de dados.
Um portfólio que mostra trabalho real
Recrutadores querem ver que você consegue levar um dado da fonte ao consumo. Dados abertos brasileiros são perfeitos para isso: são reais, gratuitos, vêm bagunçados e respondem perguntas que importam.
Iniciante
Vacinação por município
Baixe dados do OpenDataSUS, limpe com Python e responda com SQL quais cidades estão abaixo da meta.
Intermediário
Gastos públicos
Ingira os dados do Portal da Transparência todo mês e mostre a evolução dos gastos por órgão.
Intermediário
Renda e população
Cruze tabelas do IBGE (pelo SIDRA) com outra fonte, como emprego, e explique a granularidade de cada uma.
Qual destes projetos mostra melhor que você está pronto para uma vaga de engenharia de dados?
- Um pipeline que baixa dados do DATASUS, valida, carrega num banco e tem um README explicando como rodar
- Dez certificados de cursos online sobre ferramentas de nuvem
- Um notebook com um gráfico bonito feito com um CSV já limpo do Kaggle
Fechamento
- Dados são rastros do que aconteceu; informação é o dado organizado para responder uma pergunta.
- O ciclo de vida dos dados passa por fonte, ingestão, armazenamento, transformação e consumo.
- Engenharia de dados constrói e mantém esse caminho; análise, ciência e analytics engineering usam e refinam o que chega.
- Bancos OLTP fazem o sistema funcionar e bancos OLAP servem para análise; batch processa em lotes e streaming, evento a evento.
- SQL, Python e Git são a base de qualquer vaga de entrada, e dados abertos brasileiros dão ótimos projetos de portfólio.
Mapeie a profissão com vagas reais
Use vagas de verdade para descobrir o que o mercado pede e onde você está. Guarde suas anotações: elas vão guiar o que estudar nas próximas aulas.
- Escreva em três frases, com suas palavras, o que faz uma pessoa engenheira de dados
- Encontre três vagas de entrada (júnior ou estágio) em engenharia de dados
- Monte uma tabela com as habilidades pedidas em cada vaga e marque as que se repetem
- Marque quais habilidades você já tem, quais está aprendendo e quais faltam
- Escolha um conjunto de dados abertos brasileiro que você gostaria de usar num projeto e anote a origem e a licença