Aprendizado e redes: do gradiente à avaliação

No aprendizado supervisionado, cada observação contém entrada x e alvo y. A família de modelos define quais funções podemos representar; os parâmetros determinam uma função dentro dessa família; a perda mede discrepâncias no treino; o algoritmo muda parâmetros para reduzir essa perda. A escolha da família e da perda é feita pelo projeto, não descoberta automaticamente em toda sua extensão. Neste caso, o número x é a entrada, y pertence a {0,1} e a saída p será um valor entre zero e um. Chamá-lo de probabilidade prevista não prova que esteja calibrado em uma população real.

Generalizar significa ter comportamento útil em exemplos que não foram utilizados para ajustar a função. Sobreajuste ocorre quando o modelo aproveita particularidades do treino que não se sustentam fora dele. Um ajuste pode reduzir muito sua perda de treino sem melhorar avaliação externa. Representação, generalização e sobreajuste fazem parte da introdução de aprendizado de máquina do MIT. Nossa construção abaixo é um experimento editorial mínimo para separar esses conceitos, com dados e resultados cuja origem você consegue inspecionar.

↗ 6.036 Introduction to Machine Learning

Parâmetros são valores ajustados pelo gradiente, como pesos e interceptos. Hiperparâmetros são escolhas do procedimento, como taxa de aprendizado e número de passos. A palavra não implica importância menor: mudar a taxa pode determinar se a otimização funciona. Também há escolhas fora dessas listas, como qual população avaliar e qual custo de erro considerar. Uma biblioteca não decide sozinha se os rótulos representam o objetivo do produto, e uma arquitetura maior não corrige um contrato de avaliação indefinido.

O treino fornece os exemplos usados no cálculo de gradientes. A validação ajuda a escolher entre configurações ou checkpoints. O teste oferece uma avaliação final após essas decisões. Se você olhar o teste, mudar a configuração e olhar novamente até gostar do resultado, esse conjunto passa a participar da seleção. Seu número deixa de representar a mesma avaliação independente planejada inicialmente. Na prática, novos testes podem ser necessários quando o projeto muda; o importante é registrar quais dados influenciaram cada decisão.

Usaremos quatro pontos de treino, quatro de validação e quatro de teste, todos com identificadores distintos. A separação por identificador é uma defesa básica, mas não detecta duplicatas semânticas, usuários repetidos ou influência temporal. Em dados reais, uma divisão aleatória pode permitir que versões quase iguais da mesma observação apareçam em treino e teste. Para prever eventos futuros, uma separação temporal pode ser mais apropriada; para avaliar usuários novos, separar por usuário pode ser necessário. A estratégia depende da pergunta, e não apenas de um percentual padrão de divisão.

Nosso baseline prevê sempre a classe majoritária do treino. Como há empate, definimos antecipadamente que escolherá zero. Em um teste equilibrado, ele acerta metade. A rede será comparada a essa referência, mas a tarefa também admite a regra x>0, que acerta os rótulos por construção. Assim, vencer o baseline constante não justifica usar uma rede no produto. O exercício ensina a exigir uma referência simples e considerar custo, interpretação e adequação, em vez de tratar uma melhora numérica isolada como aprovação arquitetural.

A primeira camada calcula z₁=wx+b e uma ativação h=σ(z₁), com σ(z)=1/(1+exp(−z)). A segunda calcula z₂=ch+d e p=σ(z₂). Os quatro parâmetros são w,b,c,d. A sigmoide transforma qualquer número real em uma saída entre zero e um e tem derivada σ(z)(1−σ(z)). A composição de camadas e o cálculo de ativações seguem a base das notas de redes de Stanford; a rede de uma unidade oculta desta aula é uma redução didática própria.

↗ CS229 Lecture Notes — Deep Learning

A camada oculta não recebe um rótulo específico dizendo que valor h deve assumir. Os parâmetros que a produzem são ajustados pelo efeito da saída final na perda. É por isso que precisamos propagar sensibilidades através da composição. A não linearidade também importa: se cada camada fosse apenas uma transformação linear, a composição continuaria linear. Empilhar essas camadas sem ativações não criaria automaticamente uma família mais rica de funções. Por outro lado, adicionar não linearidade não garante que a arquitetura pequena consiga representar qualquer relação que desejarmos.

A sigmoide pode saturar perto de zero ou um; sua derivada então fica pequena. Isso pode tornar lenta a transmissão de gradiente para a camada anterior. Em modelos maiores, escolhas de ativação, inicialização e arquitetura influenciam o treinamento. Aqui usamos valores moderados para manter o cálculo observável. Não generalize a escolha de uma sigmoide oculta para toda rede moderna: o caso foi construído para permitir uma conta manual curta e tornar a regra da cadeia explícita.

Para y em {0,1}, a perda binária é −y log p−(1−y)log(1−p). Se y=1, prever probabilidade pequena gera penalidade grande; se y=0, ocorre o inverso. Com p=σ(z₂), a derivada da perda em relação a z₂ simplifica para δ₂=p−y. Os gradientes da segunda camada são ∂L/∂c=δ₂h e ∂L/∂d=δ₂. A sensibilidade que chega à camada oculta é δ₁=δ₂c h(1−h), resultando em ∂L/∂w=δ₁x e ∂L/∂b=δ₁. Backpropagation organiza essas aplicações da regra da cadeia reutilizando resultados intermediários.

↗ CS229 Lecture Notes — Deep Learning

Confira um caso: x=2,y=1,w=0,b=0,c=1,d=0. A ativação oculta é 0.5; a saída é σ(0.5), aproximadamente 0.622459. Então δ₂≈−0.377541. Os gradientes de c e d são aproximadamente −0.188770 e −0.377541. Como h(1−h)=0.25, δ₁≈−0.094385; o gradiente de w é aproximadamente −0.188770 e o de b é −0.094385. Os sinais indicam sensibilidades no estado atual; todas as atualizações precisam usar esse mesmo estado para corresponder ao passo simultâneo.

O laboratório usa uma expressão numericamente estável para a perda em função do logit z₂: max(z₂,0)−z₂y+log(1+exp(−|z₂|)). Ela evita calcular log de probabilidades arredondadas a zero ou um. O gradiente continua p−y. Para conferir a implementação, alteramos cada um dos quatro parâmetros por mais e menos h e comparamos diferenças centrais ao gradiente analítico, retomando o método da unidade de cálculo. A concordância verifica a derivada do programa neste exemplo; não demonstra que os dados sejam representativos nem que a classe de modelos seja adequada.

Treinaremos até mil e quinhentos passos e guardaremos checkpoints previamente definidos em cem, quinhentos e mil e quinhentos. A validação escolherá o menor valor de perda entre eles. Só então o teste será avaliado com limiar fixo de 0.5. Quatro acertos dão acurácia um, mas um conjunto de quatro pontos gerado por uma regra simples não sustenta estimativa precisa de qualidade. A probabilidade estudada na unidade anterior lembra por que tamanho, seleção e dependência importam. O relatório deve celebrar a evidência de execução correta e limitar a conclusão operacional ao que os dados permitem.