Listas, dicionários e arquivos em Python

Guardar muitos dados com listas e dicionários, ler e escrever CSV e JSON, e tratar dados errados sem derrubar o programa.

Cerca de 16 min · Revisado em

Ao final, você vai conseguir

  • Criar, ler e percorrer listas e dicionários
  • Filtrar e resumir uma lista de dicionários, inclusive com list comprehension
  • Escrever e ler arquivos com with open e usar os módulos csv e json
  • Tratar ValueError e FileNotFoundError com try e except
  • Reaproveitar código com import

Na vida real, ninguém trabalha com um valor só. É a lista de pedidos do dia, o cadastro de cada cliente, a planilha que o financeiro manda por e-mail, a resposta em JSON de um sistema. Nesta aula você aprende a guardar muitos dados de uma vez, ler e escrever arquivos CSV e JSON, e fazer o programa sobreviver quando os dados vêm errados. É o que separa um exercício de um script que alguém usa no trabalho.

Listas: muitos valores em ordem

Criar, ler, acrescentar e percorrer uma lista

compras = ["arroz", "feijão", "café"]
print(compras[0])        # primeira posição
print(compras[-1])       # -1 é a última
compras.append("leite")  # acrescenta no fim
print(len(compras))      # quantos itens
print("café" in compras) # existe na lista?
for item in compras:
    print("-", item)
arroz
café
4
True
- arroz
- feijão
- café
- leite
Índice
A posição de um item, entre colchetes: compras[0]. Pedir uma posição que não existe dá IndexError.
Método
Uma ação que o próprio valor sabe fazer, chamada com ponto: compras.append("leite"). Listas também têm .remove(), .sort() e outros.
Funções de lista
len(lista) conta itens, sum(lista) soma números, max e min acham o maior e o menor.

O que este código mostra?

linhas = ["101", "202", "303", "404"]
print(linhas[1])
  • 202
  • 101
  • Um IndexError

Temperaturas da semana

Acrescente a temperatura 27 no fim da lista, calcule a media com sum e len, e mostre a maior temperatura no formato Maior: 33.

temperaturas = [28, 31, 25, 33, 30]

# 1. acrescente 27 no fim

# 2. calcule a média
media = 0

# 3. mostre a maior temperatura

print(f"Média: {media}")
  • A lista termina com 27 e tem 6 itens
  • A média é 29
  • Mostra Maior: 33

Dicionários: dados com nome

Um dicionário com três pares de chave e valor

cliente = {
    "nome": "Ana",
    "cidade": "Recife",
    "pontos": 120,
}
print(cliente["nome"])
print(cliente.get("email", "sem e-mail"))
  • Chaves { }: Dicionários são escritos entre chaves. Listas usam colchetes [ ]; dicionários, { }.
  • Chave: O nome do campo, quase sempre um texto. Cada chave aparece uma vez só no dicionário.
  • Valor: Pode ser de qualquer tipo: texto, número, booleano, até outra lista ou outro dicionário.
  • Ler pela chave: Colchetes com a chave devolvem o valor. Se a chave não existir, dá KeyError.
  • .get(): Leitura segura: se a chave não existir, devolve o valor padrão (aqui, "sem e-mail") em vez de quebrar o programa.

Alterar, acrescentar e percorrer um dicionário

cliente = {"nome": "Ana", "cidade": "Recife", "pontos": 120}
cliente["cidade"] = "Olinda"   # chave existente: troca o valor
cliente["telefone"] = "81 99999-0000"  # chave nova: acrescenta
for chave, valor in cliente.items():
    print(f"{chave}: {valor}")
nome: Ana
cidade: Olinda
pontos: 120
telefone: 81 99999-0000

Programa de pontos

A Ana fez uma compra e ganhou 30 pontos. Some os pontos no dicionário, acrescente a chave "email" com qualquer endereço e mostre a frase Ana tem 150 pontos usando os valores do dicionário.

cliente = {"nome": "Ana", "cidade": "Recife", "pontos": 120}

# some 30 pontos

# acrescente o e-mail

# mostre a frase
  • Os pontos agora são 150
  • O dicionário tem a chave email
  • Mostra Ana tem 150 pontos

Para cada situação, é melhor usar uma lista ou um dicionário?

Lista · Dicionário

  • As notas de um aluno em ordem de prova
  • Os dados de um produto: nome, preço e estoque
  • Os servidores que um script de DevOps precisa checar
  • A configuração de um sistema: porta, host e modo de depuração
  • Os CEPs que chegaram num arquivo, um por linha
  • Uma resposta de API com id, nome e e-mail

Listas de dicionários: a tabela do dia a dia

Junte os dois e você tem a estrutura mais comum da programação: uma lista de dicionários. Cada dicionário é uma linha (um pedido, um cliente), e as chaves são as colunas. É assim que chegam respostas de APIs, linhas de CSV e resultados de banco de dados.

Somando só os pedidos entregues.

pedidos = [{"valor": 45, "status": "entregue"}, {"valor": 120, "status": "cancelado"}, {"valor": 30, "status": "entregue"}]
total = 0
for pedido in pedidos:
    if pedido["status"] == "entregue":
        total = total + pedido["valor"]
print("Faturamento:", total)
  1. Linha 1: Uma lista com três dicionários.
  2. Linha 2: O acumulador começa em zero.
  3. Linha 3: Primeira volta: pedido é o primeiro dicionário inteiro.
  4. Linha 4: pedido["status"] é "entregue": a condição é verdadeira.
  5. Linha 5: Soma o valor deste pedido.
  6. Linha 3: Segunda volta: o pedido cancelado.
  7. Linha 4: "cancelado" == "entregue" é falso: a linha 5 é pulada e o total não muda.
  8. Linha 3: Terceira volta.
  9. Linha 4: Entregue de novo.
  10. Linha 5: 45 + 30 dá 75.
  11. Linha 6: Acabaram os pedidos. Resultado final. Saída: Faturamento: 75

Filtrar uma lista é tão comum que o Python tem um atalho: a list comprehension (compreensão de lista). Ela cria uma lista nova numa linha só, lida quase como uma frase: “o pedido, para cada pedido em pedidos, se o status for entregue”.

O mesmo filtro, de dois jeitos

Com for

entregues = []
for p in pedidos:
    if p["status"] == "entregue":
        entregues.append(p)

List comprehension

entregues = [p for p in pedidos if p["status"] == "entregue"]

# também serve para transformar:
valores = [p["valor"] for p in pedidos]

Relatório de pedidos do dia

Crie entregues só com os pedidos de status "entregue", some o faturamento deles e monte por_cliente, um dicionário com o total entregue de cada cliente (por exemplo, {"Ana": 75.0, ...}).

pedidos = [
    {"id": 1, "cliente": "Ana", "valor": 45.0, "status": "entregue"},
    {"id": 2, "cliente": "Bruno", "valor": 120.0, "status": "cancelado"},
    {"id": 3, "cliente": "Ana", "valor": 30.0, "status": "entregue"},
    {"id": 4, "cliente": "Carla", "valor": 80.0, "status": "entregue"},
    {"id": 5, "cliente": "Bruno", "valor": 25.0, "status": "a caminho"},
]

entregues = []
faturamento = 0
por_cliente = {}

# dica para por_cliente: por_cliente.get(nome, 0) devolve 0 se a chave ainda não existe

print("Entregues:", len(entregues))
print("Faturamento:", faturamento)
print("Por cliente:", por_cliente)
  • entregues tem os 3 pedidos entregues
  • O faturamento é 155
  • por_cliente tem Ana com 75 e Carla com 80

Ler e escrever arquivos: texto, CSV e JSON

Variáveis somem quando o programa termina. Para guardar dados ou receber dados de outra pessoa, você usa arquivos. Abrir um arquivo é como pegar um caderno na estante: você abre, lê ou escreve, e precisa devolver (fechar) quando acaba. O with faz essa devolução por você, mesmo se der erro no meio.

Escrever e depois ler um arquivo de texto

with open("notas.txt", "w", encoding="utf-8") as arquivo:
    arquivo.write("Ana;9\n")
    arquivo.write("Bruno;7\n")

with open("notas.txt", encoding="utf-8") as arquivo:
    for linha in arquivo:
        print(linha.strip())
  • with: Abre um bloco que garante que o arquivo será fechado no fim, aconteça o que acontecer. Sempre prefira esta forma.
  • open(): O nome do arquivo, o modo e a codificação. "w" escreve (apaga o que havia), "a" acrescenta no fim e "r" lê (o padrão). utf-8 garante acentos e ç corretos.
  • Variável do arquivo: O nome que você usa dentro do bloco para mexer no arquivo aberto.
  • Ler linha a linha: Um for sobre o arquivo entrega uma linha por volta, já com o \n (quebra de linha) no fim. .strip() tira espaços e quebras das pontas.

Um CSV é uma planilha em texto puro: uma linha por registro, valores separados por vírgula, e a primeira linha com os nomes das colunas. O módulo csv do Python lê esse formato, e csv.DictReader entrega cada linha como um dicionário, com as colunas como chaves.

A nota da padaria em CSV

O programa escreve um CSV e depois lê de volta (aqui no navegador o arquivo existe só enquanto o programa roda). Dentro do laço, some quantidade * preco de cada linha em total, convertendo os textos para números.

import csv

conteudo = "produto,quantidade,preco\nPão francês,10,0.75\nCafé,2,18.90\nLeite,3,5.49\n"
with open("compras.csv", "w", encoding="utf-8") as arquivo:
    arquivo.write(conteudo)

total = 0
with open("compras.csv", encoding="utf-8") as arquivo:
    leitor = csv.DictReader(arquivo)
    for linha in leitor:
        print(linha)
        # some quantidade * preco em total

print(f"Total: R$ {total:.2f}")
  • total vale 61.77
  • Mostra Total: R$ 61.77

O JSON é o formato das APIs: parece um dicionário do Python escrito como texto. O módulo json traduz nos dois sentidos: json.loads(texto) transforma texto em dicionário, e json.dumps(dicionario) faz o caminho contrário. Para arquivos, existem json.load(arquivo) e json.dump(dados, arquivo).

Faltou algum campo na resposta?

Uma API devolveu este texto JSON. Converta para dicionário com json.loads, monte a lista faltando com os campos obrigatórios que não vieram e mostre Faltando: telefone. É o que um teste automatizado de API faz.

import json

resposta = '{"id": 7, "nome": "Ana", "email": "ana@exemplo.com", "ativo": true}'
obrigatorios = ["id", "nome", "email", "telefone"]

dados = resposta  # cuidado: isto ainda é texto
faltando = []

print("Faltando:", ", ".join(faltando))
  • dados virou um dicionário com o nome Ana
  • faltando tem só o telefone
  • Mostra Faltando: telefone

Você abriu um arquivo com open("log.txt", "w") para registrar um evento novo, e o histórico antigo sumiu. O que aconteceu?

  • O modo "w" apaga o conteúdo antes de escrever; para acrescentar, o certo é "a"
  • Faltou fechar o arquivo com close()
  • Faltou encoding="utf-8"

Quando dá errado: exceções e módulos

Dados reais vêm sujos: uma idade escrita “vinte”, um campo vazio, um arquivo que alguém esqueceu de enviar. Quando o Python encontra algo impossível, ele lança uma exceção e, se ninguém tratar, o programa para. Com try/except você diz: “tente isto; se der este erro, faça aquilo”.

Tratando um arquivo que não existe

try:
    with open("relatorio_ontem.csv", encoding="utf-8") as arquivo:
        print(arquivo.read())
except FileNotFoundError:
    print("Arquivo de ontem não encontrado. Pulando esta etapa.")
Arquivo de ontem não encontrado. Pulando esta etapa.

Qual exceção cada linha provoca?

ValueError · KeyError · FileNotFoundError · IndexError

  • int("vinte")
  • float("")
  • {"nome": "Ana"}["email"]
  • open("nao_existe.txt")
  • [10, 20, 30][3]

Validar linhas e separar as rejeitadas

Rode primeiro e veja o programa quebrar em "Bruno,vinte". Depois, envolva a conversão com try/except ValueError: linhas boas vão para validos, linhas ruins vão inteiras para rejeitados. No fim, mostre 2 válidos, 2 rejeitados.

linhas = ["Ana,32", "Bruno,vinte", "Carla,", "Davi,45"]
validos = []
rejeitados = []

for linha in linhas:
    nome, idade_texto = linha.split(",")
    idade = int(idade_texto)
    validos.append({"nome": nome, "idade": idade})

print(f"{len(validos)} válidos, {len(rejeitados)} rejeitados")
  • Ana e Davi ficam em validos
  • As linhas de Bruno e Carla vão para rejeitados
  • Mostra 2 válidos, 2 rejeitados

Por fim, ninguém escreve tudo do zero. Um módulo é um arquivo .py com funções prontas, e import traz essas funções para o seu programa. O Python já vem com dezenas deles (a biblioteca padrão): csv, json, math, datetime, os. Seus próprios arquivos também viram módulos.

Separando o código em dois arquivos

precos.py

def aplicar_desconto(valor, percentual):
    return valor * (1 - percentual / 100)

main.py

import math
from datetime import date
from precos import aplicar_desconto

print(date.today())
print(math.ceil(4.2))  # arredonda para cima: 5
print(aplicar_desconto(200, 10))  # 180.0

Complete o leitor de JSON que não quebra se o arquivo faltar.

____ json

____:
    with open("config.json", encoding="utf-8") as arquivo:
        config = json.____(arquivo)
____ FileNotFoundError:
    config = {"porta": 8000}

Fechamento

  • Listas guardam vários valores em ordem, com posições começando em 0; dicionários guardam pares de chave e valor para achar dados pelo nome.
  • Uma lista de dicionários é a forma mais comum de representar registros, e list comprehensions filtram e transformam numa linha.
  • Arquivos são abertos com with open(...), que fecha sozinho; os módulos csv e json leem e escrevem esses formatos, e tudo que vem de arquivo chega como texto.
  • try/except trata exceções esperadas como ValueError e FileNotFoundError sem derrubar o programa.
  • import reaproveita módulos da biblioteca padrão e os seus próprios arquivos.

Um leitor de CSV com relatório de rejeições

No seu computador, escreva um script que lê um CSV real e separa o que está certo do que está errado. Serve para todas as trilhas: despesas (backend), lista de servidores para checar (DevOps), dados de vendas (dados) ou massa de testes (QA).

  1. Crie à mão um arquivo dados.csv com cabeçalho e pelo menos oito linhas, incluindo duas com valores inválidos (texto no lugar de número, campo vazio)
  2. Leia o arquivo com csv.DictReader dentro de with open(...), convertendo os números com try/except ValueError
  3. Separe as linhas em validos e rejeitados e calcule um total ou uma média com os válidos
  4. Grave os rejeitados em rejeitados.json com json.dump, incluindo o motivo de cada rejeição
  5. Trate o caso de o arquivo não existir com FileNotFoundError e uma mensagem clara
  6. Coloque as funções num arquivo separado e importe no programa principal

Referências

Cursos relacionados