Carreira em dados

O que faz uma pessoa engenheira de dados, como um dado vai da fonte ao painel e o que as vagas de entrada pedem.

Cerca de 14 min · Revisado em

Ao final, você vai conseguir

  • Diferenciar engenharia, análise, ciência de dados e analytics engineering pelas tarefas de cada papel
  • Descrever as etapas do ciclo de vida dos dados, da fonte ao consumo
  • Explicar a diferença entre bancos OLTP e OLAP e entre processamento batch e streaming
  • Identificar as habilidades de base de uma vaga júnior e escolher dados abertos brasileiros para um projeto

Cada Pix que você faz, cada consulta marcada no posto de saúde e cada corrida de aplicativo vira uma linha em algum banco de dados. Sozinhas, essas linhas não dizem nada. Alguém precisa juntá-las, limpá-las e entregá-las a quem decide: o gestor do SUS que precisa saber onde faltam vacinas, a loja que quer saber o que vende mais. Esse alguém é a pessoa que trabalha com engenharia de dados, e esta aula mostra como é esse trabalho e por onde começar.

Dados são rastros do dia a dia

Um dado é um registro de algo que aconteceu: uma venda, um clique, uma temperatura medida. Hoje quase tudo deixa rastro digital, e os sistemas que registram esses rastros são chamados de fontes de dados.

O Brasil tem fontes enormes e públicas. O IBGE publica censos e pesquisas sobre população, renda e emprego. O DATASUS reúne internações, vacinas e nascimentos do SUS. O Portal Brasileiro de Dados Abertos (dados.gov.br) junta milhares de conjuntos do governo, de licitações a linhas de ônibus.

Uma prefeitura quer saber quais linhas de ônibus lotam no horário de pico. Qual destas é uma fonte de dados para responder?

  • Os registros das catracas eletrônicas dos ônibus
  • Um painel com gráficos de lotação por linha
  • A opinião do secretário de transportes

O caminho de um dado, da fonte ao painel

Fonte
Onde o dado nasce: o banco do aplicativo, uma planilha, uma API (um endereço que entrega dados para outros programas), um arquivo público do IBGE.
Ingestão
Copiar o dado da fonte para um lugar seu, sem atrapalhar o sistema original. É como captar água sem secar o rio.
Armazenamento
Guardar os dados copiados num lugar feito para análise, como um data warehouse (armazém de dados) ou um data lake (lago de arquivos).
Transformação
Limpar, padronizar e combinar: corrigir datas, remover duplicados, juntar vendas com produtos. Aqui o dado bruto vira dado confiável.
Consumo
Quando alguém usa o resultado: um painel (dashboard), um relatório, um modelo de previsão, outro sistema.

A venda de um pão de queijo virando um número no painel da gerência

  1. App da loja → App da loja: Venda registrada. O caixa registra a venda no banco do sistema da loja. Essa é a fonte: ela existe para a loja funcionar, não para análise.
  2. App da loja → Pipeline: Copia vendas de ontem. De madrugada, um programa chamado pipeline (uma sequência automática de passos) lê as vendas do dia anterior. Isso é a ingestão.
  3. Pipeline → Armazém: Grava dados brutos. O pipeline guarda uma cópia fiel, do jeito que veio. Se algo der errado depois, dá para recomeçar daqui sem incomodar a loja de novo.
  4. Armazém → Armazém: Limpa e combina. A transformação corrige preços com vírgula, remove vendas canceladas e junta cada venda com o nome do produto e a loja.
  5. Armazém → Painel: Vendas por loja e dia. O painel lê a tabela pronta. A gerente abre de manhã e vê o que vendeu ontem: isso é o consumo.

Coloque em ordem o caminho dos dados de vacinação até um relatório do ministério.

  • O posto de saúde registra a vacina aplicada no sistema
  • Um pipeline copia os registros do dia para o ambiente de dados
  • Os registros brutos ficam guardados no armazenamento
  • A transformação remove duplicados e padroniza os nomes das vacinas
  • O relatório mostra a cobertura vacinal por município

Quem faz o quê numa equipe de dados

Nas vagas você vai ver vários títulos parecidos. Eles se sobrepõem, e cada empresa usa de um jeito, mas a diferença principal está na pergunta que cada papel responde.

Constrói o encanamento

Engenharia de dados

Faz os dados chegarem, completos e no horário. Escreve pipelines, cuida do armazenamento, da qualidade e dos custos.

  • Python e SQL
  • Pipelines e agendamento
  • Bancos e nuvem

Responde perguntas

Análise de dados

Usa os dados prontos para responder perguntas do negócio: por que as vendas caíram, qual campanha funcionou.

  • SQL
  • Planilhas e painéis
  • Comunicação

Prevê e experimenta

Ciência de dados

Cria modelos estatísticos e de aprendizado de máquina: prever demanda, detectar fraude, recomendar produtos.

  • Estatística
  • Python
  • Experimentos

Ponte entre os dois

Analytics engineering

Transforma dados brutos em tabelas bem modeladas, testadas e documentadas, prontas para quem analisa.

  • SQL avançado
  • dbt
  • Modelagem

Qual papel normalmente faz cada tarefa?

Engenharia de dados · Análise de dados · Ciência de dados · Analytics engineering

  • Agendar a cópia diária das vendas do sistema para o armazém
  • Descobrir por que o ticket médio caiu em setembro
  • Treinar um modelo que prevê quais clientes vão cancelar
  • Criar a tabela de vendas por cliente, com testes de unicidade
  • Corrigir um pipeline que parou por causa de uma API fora do ar
  • Montar um painel de vendas por região para a diretoria
  • Testar se um desconto aumenta as compras com um experimento A/B
  • Documentar o que significa cada coluna da tabela de pedidos

Dois tipos de banco e dois ritmos de entrega

OLTP e OLAP
OLTP (transacional)OLAP (analítico)
Para quêFazer o sistema funcionarAnalisar o que aconteceu
Operação típicaGravar ou ler uma linha: um pedido, um loginLer milhões de linhas e resumir
Quem usaO aplicativo, milhares de vezes por segundoAnalistas, painéis, relatórios
ExemplosPostgreSQL, MySQL do appBigQuery, Snowflake, Redshift, DuckDB

Por isso a engenharia de dados copia os dados do banco transacional para um analítico. Rodar um relatório pesado direto no banco do app é como a contadora pedir para o caixa parar de atender enquanto ela confere o mês.

O outro eixo é o ritmo. Em batch (lote), o pipeline junta dados por um período e processa tudo de uma vez: “todas as vendas de ontem, às 3h”. Em streaming (fluxo contínuo), cada evento é processado segundos depois de acontecer.

Um banco precisa bloquear um Pix suspeito antes que o dinheiro saia da conta. Que ritmo de processamento faz sentido?

  • Streaming, analisando cada transação assim que ela acontece
  • Batch diário, rodando de madrugada
  • Tanto faz, desde que os dados estejam num banco OLAP

Um dia de quem começa na engenharia de dados

  1. 9h: conferir as cargas da noite

    A primeira tarefa é ver se os pipelines da madrugada rodaram. Se um falhou, você lê o log (o registro do que o programa fez) para achar o motivo.

  2. 10h: investigar um número estranho

    Alguém do financeiro avisa que as vendas de ontem dobraram no painel. Você descobre com SQL que um arquivo foi carregado duas vezes.

  3. 14h: tarefa planejada

    Adicionar uma fonte nova, por exemplo os dados de entregas, escrevendo a ingestão em Python e a transformação em SQL.

  4. 16h: revisão de código

    Alguém mais experiente lê seu código no Git e sugere melhorias. Você aprende tanto aqui quanto escrevendo.

Uma vaga de entrada típica. Explore o que cada trecho realmente pede.

Pessoa Engenheira de Dados Júnior

Requisitos:
- SQL (JOINs, agregações, CTEs)
- Python para manipulação de dados
- Git e versionamento
Diferenciais:
- Airflow, dbt, Spark, nuvem (AWS/GCP/Azure)
  • SQL: O requisito número um, em quase toda vaga. Você vai ler e escrever SQL todos os dias.
  • Python: Ler arquivos, chamar APIs, limpar e validar dados. Não é preciso saber criar sites com Python.
  • Git: Pipelines são código: precisam de histórico, revisão e colaboração.
  • Diferenciais: Ferramentas que você aprende depois da base. Uma vaga júnior raramente espera domínio de todas; mostrar que usou uma já destaca.
No caso do painel com vendas dobradas, por que a engenharia de dados é responsável, se quem fez o painel foi a análise?

Porque o painel só mostrou o que estava na tabela. O erro aconteceu no caminho, na carga duplicada. Garantir que o mesmo arquivo carregado duas vezes não duplique linhas (o que se chama idempotência) é um dos cuidados centrais da engenharia de dados.

Um portfólio que mostra trabalho real

Recrutadores querem ver que você consegue levar um dado da fonte ao consumo. Dados abertos brasileiros são perfeitos para isso: são reais, gratuitos, vêm bagunçados e respondem perguntas que importam.

Iniciante

Vacinação por município

Baixe dados do OpenDataSUS, limpe com Python e responda com SQL quais cidades estão abaixo da meta.

Intermediário

Gastos públicos

Ingira os dados do Portal da Transparência todo mês e mostre a evolução dos gastos por órgão.

Intermediário

Renda e população

Cruze tabelas do IBGE (pelo SIDRA) com outra fonte, como emprego, e explique a granularidade de cada uma.

Qual destes projetos mostra melhor que você está pronto para uma vaga de engenharia de dados?

  • Um pipeline que baixa dados do DATASUS, valida, carrega num banco e tem um README explicando como rodar
  • Dez certificados de cursos online sobre ferramentas de nuvem
  • Um notebook com um gráfico bonito feito com um CSV já limpo do Kaggle

Fechamento

  • Dados são rastros do que aconteceu; informação é o dado organizado para responder uma pergunta.
  • O ciclo de vida dos dados passa por fonte, ingestão, armazenamento, transformação e consumo.
  • Engenharia de dados constrói e mantém esse caminho; análise, ciência e analytics engineering usam e refinam o que chega.
  • Bancos OLTP fazem o sistema funcionar e bancos OLAP servem para análise; batch processa em lotes e streaming, evento a evento.
  • SQL, Python e Git são a base de qualquer vaga de entrada, e dados abertos brasileiros dão ótimos projetos de portfólio.

Mapeie a profissão com vagas reais

Use vagas de verdade para descobrir o que o mercado pede e onde você está. Guarde suas anotações: elas vão guiar o que estudar nas próximas aulas.

  1. Escreva em três frases, com suas palavras, o que faz uma pessoa engenheira de dados
  2. Encontre três vagas de entrada (júnior ou estágio) em engenharia de dados
  3. Monte uma tabela com as habilidades pedidas em cada vaga e marque as que se repetem
  4. Marque quais habilidades você já tem, quais está aprendendo e quais faltam
  5. Escolha um conjunto de dados abertos brasileiro que você gostaria de usar num projeto e anote a origem e a licença

Referências

Cursos relacionados