Cidade vigiada, algoritmos à solta: crônica de uma semana em que a IA pediu explicações

IA na segurança e no trabalho: como treina, erra e acerta — e o que precisamos auditar antes que os algoritmos decidam por nós.

Atravessei a praça olhando o mosaico de câmeras penduradas como se fossem pequenas luas de metal. Na mochila, um livro e um pão ainda quente; no bolso, o celular vibrando com mais uma discussão sobre “prevenção algorítmica” na segurança pública. Não é ficção: a vontade de antecipar o futuro com dados é antiga; a novidade é que agora temos sensores, histórico digital e modelos que prometem adivinhar intenções. Na teoria, um software cruza imagens, trajetórias e sinais do cotidiano para apontar riscos; na prática, a minha fome de sábado poderia ser confundida com uma estatística ruim. É aqui que a IA deixa de ser tema de palco e volta para a calçada: quem define “suspeito” quando o passado virou regra para o amanhã?

Passei a semana dentro de planilhas explicando, com a paciência de um professor de piano, o que significa treinar e generalizar. Treinar é mostrar exemplos; generalizar é acertar quando o exemplo muda. Se eu ensino um modelo a reconhecer bicicletas com fotos tiradas ao meio-dia e, depois, peço que ele reconheça uma bicicleta à noite, sob chuva, a resposta só virá boa se o treinamento tiver sido variado — ou se o sistema admitir que não sabe. A honestidade do “não sei” deveria ser recurso de fábrica. Em segurança pública, significa emitir um alerta com margem de incerteza explícita; em RH, significa não ranquear candidatos quando os dados são insuficientes; em crédito, significa pedir documentação extra antes de negar alguém.

Também revisitei a obviedade que esquecemos: dados não são neutros. Quando uma plataforma decide quem vê uma vaga de estágio com base em perfis anteriores, ela pode apenas reciclar um círculo de oportunidades já concentrado. Não precisa haver um campo “classe social” para que o viés atravesse pela porta dos fundos: o CEP, o tipo de aparelho, o horário de conexão viram proxies imperfeitos do que não deveríamos usar. Em um piloto que acompanhei, a equipe jurava ter “limpo” as variáveis sensíveis; bastou correlacionar o horário médio de acesso via rede móvel com a recomendação do algoritmo para percebermos um padrão: estudantes com internet precária recebiam menos convites para entrevistas síncronas. O preconceito ali não tinha cara, tinha latência.

Outro ponto que subestima quem programa e superestima quem acredita: validade. Modelos envelhecem como pão. Se você treina uma previsão de fluxo urbano com dados de um verão atípico, vai despachar ônibus para ruas vazias quando a chuva voltar. Se uma companhia usa padrões de consumo de três anos atrás para detectar fraudes, vai chamar de “suspeita” a assinatura recém-popular de um serviço que nem existia na época. O melhor antídoto que conheço é tratar o tempo como variável de primeira classe: janelas móveis para treinamento, checagens contínuas de deriva, alarmes quando a distribuição muda. Sem isso, a IA vira mapa antigo: bonito no slide, perigoso na estrada.

No meio da rotina, minhas pequenas IAs “invisíveis” continuaram trabalhando. O filtro de spam acertou o golpe do “boleto com desconto”; o tocador de música, atento aos meus saltos de faixa, empurrou para cima as versões ao vivo; o tradutor sugeriu uma palavra melhor para um e-mail em espanhol. Não foram atos de genialidade, foram correlações bem treinadas. E gosto de repetir isso porque a mitologia atrapalha: a IA que me ajuda a escolher um caminho não sabe por que chove; a que resume uma ata não entende política; a que avisa “possível comportamento atípico” num vídeo não leu a Constituição. Se queremos algoritmos que respeitem direitos, precisamos escrevê-los em cima de requisitos de direito — e abri-los à auditoria.

Falando em abrir, anotei três compromissos que deveriam ser cláusulas pétreas em qualquer contratação pública de tecnologia preditiva. Primeiro, transparência do objetivo: o que é “risco” no dicionário do sistema e qual é a métrica de sucesso? Taxa de acerto sem custo humano vira ilusão. Segundo, relatórios de impacto com dados de verdade, não só médias: cortes por bairro, gênero, idade, faixa de renda; é no detalhe que mora a injustiça. Terceiro, um botão de contestação eficiente, com prazo, canal claro e reversão documentada. A dignidade do cidadão não pode depender de um e-mail sem resposta.

Nem tudo foi crítica. Testei com um grupo de bibliotecários um protótipo que usa visão computacional para agilizar a triagem de doações: capas diferentes, luz ruim, etiquetas antigas. O modelo errou o suficiente para manter a gente humilde, mas acertou o bastante para liberar tempo para o que só humanos fazem bem: organizar, mediar leitura, programar clubes de debate. Quando a IA devolve horas, ela melhora a cidade. O mesmo vale para um ambulatório que usou processamento de linguagem para rastrear sinais de abandono de tratamento em prontuários e, com essa lista, fez busca ativa por telefone. Não havia mágica: havia regra clara sobre o que o modelo podia ou não inferir, revisões semanais por uma equipe multidisciplinar e a decisão final nas mãos de gente com jaleco e empatia.

Talvez o que mais me impressione, depois de três décadas de convivência com sistemas inteligentes, seja o silêncio. Algoritmos erram em silêncio, mas em escala. O olho humano falha caso a caso; a máquina falha mil vezes por minuto se o alicerce estiver torto. Por isso insisto em auditorias independentes, em documentação de treinamento, em “cartas de modelo” que expliquem insumos, riscos e limitações como bula de remédio. É chato? É. É necessário? Demais.

Terminei a semana como comecei: cabeça erguida na praça, as pequenas luas de metal me olhando de volta. Eu quero cidades mais seguras e serviços mais rápidos. Quero também o direito de não ser transformado em estatística apressada. O bom uso da IA dá tempo — e tempo é a matéria-prima do humano. O mau uso retira escolhas — e escolhas são a gramática da liberdade. A tecnologia não precisa de fé cega; precisa de projeto, regra e mãos limpas. O resto é ruído.

— Chip Spark.