Machine Learning
na Prática

O Aprendizado de Máquina (Machine Learning) é a ciência de programar computadores para que aprendam a partir de dados. Arthur Samuel (1959) definiu-o como o "campo de estudo que confere aos computadores a capacidade de aprender sem serem explicitamente programados". Tom Mitchell (1997) forneceu uma definição mais formal: "Diz-se que um programa de computador aprende a partir da experiência E com respeito a alguma tarefa T e alguma medida de desempenho P, se seu desempenho em T, conforme medido por P, melhora com a experiência E."

Os sistemas de AM são classificados pelo tipo de supervisão que recebem durante o treinamento. No aprendizado supervisionado, os dados de treinamento incluem as soluções desejadas (rótulos): classificação e regressão são as tarefas mais comuns, com algoritmos como k-Vizinhos Mais Próximos, Regressão Linear, Regressão Logística, SVMs, Árvores de Decisão, Florestas Aleatórias e redes neurais. O aprendizado não supervisionado lida com dados não rotulados: clusterização (k-Médias, DBSCAN, Análise de Agrupamento Hierárquico), detecção de anomalias e redução de dimensionalidade. O aprendizado semissupervisionado combina uma pequena quantidade de dados rotulados com uma grande quantidade de dados não rotulados. O aprendizado por reforço envolve um agente que aprende por meio de recompensas e penalidades em um ambiente.

O aprendizado pode ser em lote (offline) ou online (incremental). Os principais desafios incluem: quantidade insuficiente de dados de treinamento, dados de treinamento não representativos (viés de amostragem), dados de baixa qualidade, características irrelevantes, sobreajuste (a regularização ajuda) e subajuste (modelo simples demais). O Teorema do Almoço Grátis (No Free Lunch Theorem) afirma que nenhum algoritmo único é o melhor para todos os problemas — é preciso testar muitos modelos. A validação cruzada fornece estimativas de desempenho confiáveis.

Este capítulo percorre o fluxo de trabalho completo de um projeto de AM utilizando dados de habitação da Califórnia. O pipeline começa com a definição do problema: delimitando claramente o objetivo de negócio, o tipo de solução esperada (regressão supervisionada) e selecionando uma medida de desempenho. Para regressão, o RMSE (Root Mean Square Error — Raiz do Erro Quadrático Médio) é o mais comum — atribui peso maior a erros grandes devido à elevação ao quadrado — enquanto o MAE (Mean Absolute Error — Erro Absoluto Médio) é mais robusto a outliers. A norma ℓ₁ (MAE) e a norma ℓ₂ (RMSE) representam duas maneiras fundamentais de medir distâncias entre vetores.

Após obter os dados, criar um conjunto de teste é crucial. A amostragem aleatória funciona para grandes conjuntos de dados, mas a amostragem estratificada é essencial quando o conjunto possui categorias importantes que devem ser representadas proporcionalmente. Visualização de dados: histogramas revelam distribuições, matrizes de dispersão expõem correlações e gráficos de dispersão geográficos revelam padrões espaciais. O cálculo de matrizes de correlação (r de Pearson) identifica relações lineares — mas note que as correlações capturam apenas dependências lineares. Combinações de atributos (engenharia de características) frequentemente geram características mais preditivas do que os dados brutos isoladamente.

A limpeza de dados trata valores ausentes por meio de imputação. O tratamento de atributos textuais e categóricos requer codificação (one-hot, ordinal). O escalonamento de características — normalização min-max ou padronização — é essencial para algoritmos baseados em gradiente. A classe Pipeline do Scikit-Learn encadeia transformações sequencialmente, prevenindo o vazamento de dados. Para a seleção de modelo, o capítulo progride da Regressão Linear para Árvore de Decisão e então para Floresta Aleatória, avaliando via validação cruzada. A Busca em Grade testa exaustivamente combinações de hiperparâmetros; a Busca Aleatorizada amostra aleatoriamente — frequentemente mais eficiente. Após selecionar o melhor modelo, a análise de importância das características revela quais variáveis impulsionam as previsões. Por fim, o modelo é avaliado no conjunto de teste e lançado, monitorado e mantido.

As tarefas de classificação envolvem prever rótulos de classe discretos. O capítulo utiliza o conjunto de dados MNIST — 70.000 imagens em escala de cinza (28×28 pixels) de dígitos manuscritos de 0 a 9 — como exemplo contínuo. Começando com a classificação binária (ex.: "isto é um 5?"), um classificador SGD (Stochastic Gradient Descent) serve como linha de base linear simples. No entanto, a acurácia é enganosa para conjuntos de dados desbalanceados: um classificador que sempre prevê "não é 5" atinge ~90% de acurácia no MNIST, mas falha completamente na tarefa real.

A matriz de confusão é a base: Verdadeiros Positivos (VP), Verdadeiros Negativos (VN), Falsos Positivos (FP), Falsos Negativos (FN). Precisão = VP/(VP+FP) — que fração das previsões positivas está correta? Revocação (Recall) = VP/(VP+FN) — que fração dos positivos reais é detectada? O escore F₁ é a média harmônica entre precisão e revocação. O dilema precisão-revocação é fundamental: aumentar o limiar de decisão aumenta a precisão, mas diminui a revocação.

A curva ROC plota a TPR (Taxa de Verdadeiros Positivos) versus a FPR (Taxa de Falsos Positivos). A AUC (Área Sob a Curva) resume a qualidade do classificador: AUC = 1,0 perfeito; AUC = 0,5 aleatório. Para classificação multiclasse: OvA treina N classificadores binários; OvO treina N×(N−1)/2 classificadores. O capítulo também aborda classificação multirrótulo e classificação multissaída. A análise de erros via visualização da matriz de confusão revela quais classes são confundidas entre si.

Este capítulo fornece um tratamento matemático profundo do treinamento de modelos. A Regressão Linear busca parâmetros θ que minimizam a função de custo EQM. A Equação Normal fornece uma solução de forma fechada: \(\\hat{\\boldsymbol{\\theta}} = (\\mathbf{X}^T\\mathbf{X})^{-1}\\mathbf{X}^T\\mathbf{y}\). Entretanto, computar a inversa tem complexidade O(n³), onde n é o número de características, tornando-a impraticável para grandes conjuntos de características. O Gradiente Descendente oferece uma alternativa iterativa: partindo de θ aleatórios, atualiza repetidamente os parâmetros na direção da descida mais íngreme. A taxa de aprendizado η é crítica — pequena demais e a convergência é lenta; grande demais e o algoritmo diverge.

Três variantes: GD em Lote utiliza o conjunto de treinamento completo por passo; GD Estocástico utiliza uma única instância aleatória; GD em Minilote utiliza pequenos subconjuntos aleatórios. A Regressão Polinomial estende a regressão linear adicionando potências das características. As curvas de aprendizado plotam os erros de treinamento e validação em função do tamanho do conjunto de treinamento, revelando viés (subajuste) vs. variância (sobreajuste).

A regularização restringe a complexidade do modelo: Ridge adiciona penalidade ℓ₂ (encolhe os coeficientes); Lasso utiliza penalidade ℓ₁ (pode zerar coeficientes — seleção automática de características); Elastic Net combina ambas. A parada antecipada interrompe o treinamento quando o erro de validação aumenta. A Regressão Logística estima probabilidades de classe via sigmoide: \(\\hat{p} = \\sigma(\\boldsymbol{\\theta}^T\\mathbf{x})\). A Regressão Softmax generaliza para K classes.

As Máquinas de Vetores de Suporte (SVMs) estão entre os classificadores mais elegantes matematicamente. Uma SVM linear encontra o hiperplano que maximiza a margem entre as classes — a distância da fronteira de decisão até as instâncias de treinamento mais próximas (vetores de suporte). Este é um problema de otimização convexa, que garante um ótimo global. A margem rígida pressupõe separabilidade perfeita; a margem suave relaxa essa exigência permitindo violações, controladas por C. Valores pequenos de C permitem mais violações de margem (margem mais larga); valores grandes de C impõem uma separação mais estrita (risco de sobreajuste).

O verdadeiro poder reside no truque do kernel: substituir produtos escalares por funções de kernel permite fronteiras de decisão não lineares sem mapas explícitos de características. Kernels polinomiais: \(K(\\mathbf{a}, \\mathbf{b}) = (\\gamma\\mathbf{a}^T\\mathbf{b} + r)^d\). RBF Gaussiano: \(K(\\mathbf{a}, \\mathbf{b}) = \\exp(-\\gamma\\|\\mathbf{a} - \\mathbf{b}\\|^2)\) — γ controla o raio de influência. As SVMs também realizam regressão (SVR) ajustando um tubo ε-insensível. A formulação dual revela que a solução depende apenas dos vetores de suporte. O treinamento escala entre O(m²) e O(m³).

As Árvores de Decisão são modelos versáteis e interpretáveis que realizam previsões percorrendo uma série de decisões do tipo se-então-senão. O algoritmo CART constrói árvores binárias dividindo recursivamente o conjunto de treinamento. Em cada nó, ele busca o par característica-limiar que produz os subconjuntos mais puros. A pureza é medida pela impureza de Gini: \(G_i = 1 - \\sum_{k} p_{i,k}^2\) (mais rápida de computar) ou pela entropia: \(H_i = -\\sum_{k} p_{i,k}\\log_{2}(p_{i,k})\) (da teoria da informação).

As árvores de regressão dividem para minimizar o EQM dentro de cada nó. Sem restrições, as árvores podem sofrer sobreajuste perfeitamente. A regularização é essencial: max_depth, min_samples_split, min_samples_leaf, max_leaf_nodes, min_impurity_decrease. A complexidade computacional é O(n × m log₂ m) para o treinamento. As Árvores de Decisão possuem uma fraqueza crítica: instabilidade — pequenas alterações nos dados podem produzir árvores dramaticamente diferentes. Essa sensibilidade as torna excelentes candidatas para métodos de ensemble.

Os métodos de ensemble combinam múltiplos modelos para produzir um preditor mais forte. Classificadores por votação: votação rígida adota a classe majoritária; votação suave calcula a média das probabilidades previstas. O Bagging (agregação bootstrap) treina preditores em diferentes amostras bootstrap (amostragem com reposição). O Pasting utiliza amostragem sem reposição. A diversidade entre os preditores é crucial.

As Florestas Aleatórias estendem o bagging amostrando também características aleatoriamente em cada divisão — buscando entre um subconjunto aleatório de ~√n (classificação) ou n/3 (regressão). Isso injeta mais diversidade e melhora a generalização. As Extra-Trees utilizam limiares aleatórios para cada característica candidata. As Florestas Aleatórias fornecem importância das características embutida, calculando a média da redução de impureza em todas as árvores.

O Boosting treina preditores sequencialmente, cada um corrigindo seu predecessor. O AdaBoost ajusta os pesos das instâncias: instâncias classificadas incorretamente recebem pesos maiores. O Gradient Boosting ajusta cada novo preditor aos erros residuais do ensemble anterior — essencialmente gradiente descendente no espaço de funções. O XGBoost adiciona regularização e computação otimizada. O Stacking treina um "combinador" (meta-aprendiz) sobre as saídas dos preditores base, aprendendo pesos de combinação ótimos.

A maldição da dimensionalidade: à medida que as dimensões aumentam, os pontos de dados se afastam uns dos outros, tornando os métodos baseados em distância não confiáveis. A redução de dimensionalidade resolve isso projetando os dados em subespaços de menor dimensão. Duas abordagens: projeção (linear) e aprendizado de variedades (não linear).

A Análise de Componentes Principais (PCA) identifica o hiperplano mais próximo dos dados encontrando os autovetores da matriz de covariância. O primeiro CP captura a variância máxima; os CPs subsequentes são ortogonais, capturando variância decrescente. A razão de variância explicada orienta a escolha da dimensão. Para grandes conjuntos de dados: PCA Incremental (minilotes) e PCA Aleatorizada (estocástica). O Kernel PCA estende-se a variedades não lineares via truque do kernel.

O Locally Linear Embedding (LLE) preserva relações locais — cada instância reconstruída a partir de vizinhos. O t-SNE é particularmente eficaz para visualização: converte distâncias euclidianas de alta dimensão em probabilidades condicionais, minimizando a divergência KL. O t-SNE se destaca em revelar agrupamentos, mas não preserva a estrutura global. Outros métodos: MDS, Isomap, LDA (supervisionado).

O TensorFlow representa computações como grafos computacionais — DAGs onde os nós são operações e as arestas são tensores. O grafo é definido primeiro e então executado dentro de uma sessão que aloca as operações aos dispositivos. Uma constante é imutável; uma variável armazena estado mutável (parâmetros); um placeholder aceita dados externos no momento da execução.

O recurso matador do TensorFlow é a diferenciação automática (autodiff): dado um grafo computacional e uma saída escalar, ele computa automaticamente os gradientes via autodiff em modo reverso (retropropagação). Isso elimina a derivação manual de gradientes. O capítulo demonstra a Regressão Linear no TF: defina variáveis para θ, construa o grafo (previsão = X·θ, perda = EQM) e então utilize um otimizador. O TensorBoard visualiza o grafo, as métricas de treinamento e os embeddings. Os name scopes organizam o grafo; o compartilhamento de variáveis permite o reuso de parâmetros. O capítulo também aborda salvar/restaurar com objetos Saver.

Inspiradas nos neurônios biológicos, as Redes Neurais Artificiais (RNAs) são a base do aprendizado profundo. O Perceptron (Rosenblatt, 1957) é a RNA mais simples: uma única camada de unidades lógicas de limiar. Ele aprende reforçando os pesos para previsões corretas — mas só consegue classificar padrões linearmente separáveis (falhando no XOR). Essa limitação foi superada ao empilhar camadas em um Perceptron Multicamadas (MLP).

Um MLP consiste em uma camada de entrada, camadas ocultas e uma camada de saída. A retropropagação (Rumelhart, Hinton, Williams, 1986) calcula os gradientes aplicando a regra da cadeia de trás para frente através da rede. Principais funções de ativação: sigmoide (satura — gradientes evanescentes), tanh (centrada em zero, ainda satura), ReLU (não saturante, rápida, mas com problema de "morte da ReLU"). A ReLU e suas variantes (Leaky ReLU, ELU) tornaram-se o padrão para camadas ocultas.

Treinar MLPs com a API de alto nível do TensorFlow simplifica o processo. Principais decisões arquiteturais: número de camadas ocultas (mais camadas capturam características hierárquicas), neurônios por camada (mais larga = mais capacidade, risco de sobreajuste) e funções de ativação (ReLU para ocultas, sigmoide/softmax para saída). O teorema da aproximação universal garante que um MLP com uma camada oculta pode aproximar qualquer função contínua — mas a profundidade permite representações mais eficientes.

Treinar redes profundas introduz desafios únicos. Os gradientes evanescentes ocorrem quando os gradientes encolhem exponencialmente através das camadas; os gradientes explosivos são o oposto. Ambos decorrem da retropropagação multiplicativa. A inicialização dos pesos mitiga isso: Xavier/Glorot (variância = 2/(n_in + n_out)) para sigmoide/tanh; He (variância = 2/n_in) para ReLU.

A Normalização em Lote (BatchNorm) é revolucionária: normaliza as entradas de cada camada para média zero e variância unitária em todo o minilote e, em seguida, aplica escala/deslocamento aprendíveis. Isso estabiliza o treinamento, permite taxas de aprendizado mais altas e atua como regularização leve. O truncamento de gradiente limita a magnitude dos gradientes. A aprendizagem por transferência reutiliza camadas pré-treinadas — prática padrão quando os dados são limitados.

Otimizadores mais rápidos: Momentum acumula velocidade; NAG olha adiante; AdaGrad adapta por parâmetro (decai rápido demais); RMSProp usa média móvel exponencial; Adam combina Momentum + RMSProp — o otimizador padrão. O escalonamento da taxa de aprendizado reduz sistematicamente η. Regularização: penalidade ℓ₁/ℓ₂, Dropout (desativa neurônios aleatoriamente — força redundância), max-norm, aumento de dados.

À medida que os modelos e conjuntos de dados crescem, distribuir a computação torna-se necessário. O TensorFlow oferece suporte nativo à execução paralela em múltiplos dispositivos (CPUs e GPUs). As operações são automaticamente alocadas aos dispositivos disponíveis, com diretivas explícitas de posicionamento de dispositivo para controle refinado. A gestão de memória da GPU é crítica — as GPUs têm memória limitada, então o TF aloca apenas o necessário.

Para múltiplos servidores, o TF utiliza uma arquitetura distribuída com serviços mestre e trabalhador. O paralelismo de dados divide cada minilote entre dispositivos — cada um calcula gradientes em sua fração e, em seguida, os gradientes são calculados em média. O paralelismo de modelo divide o próprio modelo entre dispositivos (diferentes camadas em diferentes GPUs). Dois modos de replicação: in-graph (cliente único, um grafo) e between-graph (múltiplos clientes, grafos separados — mais comum). Os servidores de parâmetros armazenam os parâmetros do modelo; os trabalhadores calculam as atualizações dos gradientes.

As CNNs são inspiradas no córtex visual, onde os neurônios respondem a campos receptivos específicos e detectam padrões simples compondo-os hierarquicamente em representações complexas. Uma camada convolucional aplica filtros (kernels) aprendíveis que deslizam sobre a entrada, calculando produtos escalares em cada posição e produzindo mapas de características. Principais vantagens: conectividade esparsa (apenas regiões locais), compartilhamento de parâmetros (mesmo filtro em toda a imagem — equivariância à translação), drástica redução de parâmetros.

Após a convolução, as camadas de pooling reduzem a resolução: o max pooling toma o máximo em cada janela; o average pooling toma a média. Arquiteturas clássicas: LeNet-5 (1998) estabeleceu conv→pool→conv→pool→fc. A AlexNet (2012) — mais profunda, ReLU, Dropout, venceu o ImageNet por ampla margem, deflagrando a revolução do aprendizado profundo. A GoogLeNet (2014) — módulos inception (múltiplos tamanhos de filtro em paralelo). A ResNet (2015) — inovadoras conexões residuais: aprendem funções residuais F(x)=H(x)−x, possibilitando redes com mais de 152 camadas.

As Redes Neurais Recorrentes (RNNs) processam dados sequenciais mantendo estado interno ao longo dos passos de tempo. Um neurônio recorrente recebe tanto a entrada atual quanto sua saída anterior — criando um laço de realimentação. As RNNs suportam várias configurações: sequência-para-sequência, sequência-para-vetor, vetor-para-sequência e arquiteturas codificador-decodificador.

A Retropropagação Através do Tempo (BPTT) desenrola a rede para o treinamento. As RNNs básicas sofrem de gradientes evanescentes/explosivos através do tempo, limitando as dependências de longo prazo. A LSTM (Hochreiter & Schmidhuber, 1997) resolve isso com células de memória com portões: portão de esquecimento (descarta), portão de entrada (armazena novas informações), portão de saída (controla a saída). O estado da célula atua como uma via expressa para o gradiente. A GRU simplifica com dois portões (reinicialização, atualização), oferecendo desempenho semelhante com menos parâmetros.

Para PLN: os embeddings de palavras (Word2Vec, GloVe) mapeiam palavras para vetores densos onde as relações são capturadas por aritmética vetorial (rei − homem + mulher ≈ rainha). Arquiteturas codificador-decodificador para tradução: o codificador comprime a entrada em um vetor de pensamento; o decodificador gera a saída. Os mecanismos de atenção (inovações posteriores) melhoram dramaticamente isso ao permitir acesso focado ao contexto.

Os Autoencoders são redes neurais treinadas para copiar sua entrada na sua saída, aprendendo representações eficientes no processo. Eles consistem em um codificador (comprime a entrada para um gargalo latente) e um decodificador (reconstrói a partir do gargalo). Um autoencoder subcompleto — gargalo menor que a entrada — força a captura de características salientes, análogo a um PCA não linear. As restrições impedem o aprendizado da função identidade.

Variantes: Autoencoders empilhados treinam camada por camada. O emparelhamento de pesos (decodificador = transposta do codificador) reduz os parâmetros. Os autoencoders com remoção de ruído adicionam ruído à entrada, mas devem reconstruir o original limpo — forçando características robustas que capturam a distribuição dos dados. Os autoencoders esparsos adicionam penalidade de esparsidade (divergência KL), incentivando representações distribuídas.

Os Autoencoders Variacionais (VAEs) codificam para uma distribuição (média, variância) em vez de um ponto. O decodificador amostra dessa distribuição; a perda inclui reconstrução + divergência KL para a Gaussiana padrão. Isso cria um espaço latente suave e contínuo onde a amostragem e a interpolação produzem novas saídas realistas — unindo autoencoders e modelos generativos probabilísticos. Os autoencoders foram historicamente importantes para o pré-treinamento não supervisionado de redes profundas.

O Aprendizado por Reforço (RL) é o terceiro grande paradigma de AM: um agente interage com um ambiente, realizando ações e recebendo recompensas. O objetivo do agente: aprender uma política π(a|s) que maximize a recompensa cumulativa por tentativa e erro. Diferentemente do aprendizado supervisionado, não há respostas corretas. O OpenAI Gym fornece ambientes padronizados para avaliação comparativa.

A busca de políticas otimiza diretamente os parâmetros da política — por exemplo, utilizando uma rede neural que emite probabilidades de ação. O problema da atribuição de crédito: quais ações causaram a recompensa final? Os gradientes de política via REINFORCE: aumentam a probabilidade de ações com alta recompensa. Este é um método de Monte Carlo — aguarda o fim do episódio, levando a alta variância.

Os Processos de Decisão de Markov (MDPs) formalizam o RL: (S, A, P, R, γ). O Q-Learning aprende Q(s,a) — retorno esperado da ação a no estado s, seguindo a política ótima. A equação de Bellman impulsiona o aprendizado. As Deep Q-Networks (DQN) (DeepMind, 2013) utilizam uma rede neural profunda para aproximar Q(s,a) a partir de pixels brutos. Duas inovações-chave: replay de experiência (descorrelaciona as amostras de treinamento) e redes-alvo (alvos Q estáveis). O AlphaGo (2016) combinou redes profundas com a Busca em Árvore de Monte Carlo para derrotar o campeão mundial de Go.