Aprendizado e redes: do gradiente à avaliação

Crie três listas imutáveis com identificadores de origem diferentes. O treino contém x igual a −2, −1, 1 e 2; a validação contém −1.5, −0.5, 0.5 e 1.5; o teste contém −1.25, −0.25, 0.25 e 1.25. Os rótulos seguem a regra conhecida x>0. Confira que nenhum identificador se repete. Essa prova local não é uma análise geral de duplicação de dados: em uma operação, dois identificadores diferentes ainda podem representar o mesmo pedido ou cliente. Aqui ela documenta uma separação construída para o exercício.

Determine o baseline usando apenas os rótulos de treino. São duas ocorrências de cada classe, então o desempate previamente definido escolhe zero. Mantenha o limiar da rede em 0.5 e os checkpoints em cem, quinhentos e mil e quinhentos passos. Não escolha esses valores após observar o teste. O relatório deve registrar as decisões antes de exibir os resultados finais, tornando possível verificar se o conjunto reservado participou indevidamente da seleção. O baseline será avaliado junto com a rede no mesmo conjunto final, mantendo a comparação consistente.

↗ 6.036 Introduction to Machine Learning

Implemente sigmoid com duas expressões equivalentes, escolhidas pelo sinal de z. Para valores negativos, exp(z)/(1+exp(z)) evita calcular um expoente positivo enorme. forward calcula primeiro h, depois z da saída e finalmente p. Não confunda h com o rótulo nem z com probabilidade. No caso w=0,b=0,c=1,d=0,x=2, a ativação oculta deve ser 0.5 e a probabilidade aproximadamente 0.622459. Essa conta isolada localiza erros na passagem direta antes de discutir o treinamento.

A função example usa o logit para calcular uma forma estável da perda binária. Ela também valida que y seja zero ou um. Usar uma categoria dois nesse contrato não é uma classificação multiclasse válida: seria um alvo fora do problema definido. Evite corrigir probabilidades com recortes arbitrários e manter um gradiente de outra função, pois isso pode criar inconsistência entre loss e gradient. Nossa fórmula de perda e δ=p−y representam o mesmo objetivo. Essa consistência será conferida por diferença central, não apenas pela aparência das probabilidades.

Use delta=p−y para a saída. O gradiente de c é delta×h e o de d é delta. Para a camada oculta, multiplique delta por c e por h(1−h). O resultado multiplica x para atualizar w e permanece igual para atualizar b. Compare as quatro componentes com o caso manual: ele mantém h exatamente em 0.5, facilitando a conferência. Os pesos que entram nessa conta são os atuais, antes de qualquer atualização. Backpropagation reutiliza os valores da passagem direta para aplicar a regra da cadeia pelas camadas.

↗ CS229 Lecture Notes — Deep Learning

Em batch, acumule a média das perdas e de cada gradiente. Depois altere separadamente w,b,c,d em mais e menos 0.00001 no ponto de teste numérico e compare as diferenças centrais. Retire temporariamente o fator c do gradiente oculto: os testes de w e b devem acusar a omissão. Retire o fator x: o teste de w deve falhar. Esses experimentos distinguem qual caminho da composição foi implementado incorretamente. Apenas constatar que a perda cai não identificaria uma derivada com escala errada.

Inicialize w=0.2,b=0,c=0.5,d=0. A cada passo, calcule o gradiente médio no treino e crie um novo objeto de parâmetros com taxa 0.5. Guarde cópias dos parâmetros nos três checkpoints; guardar apenas uma referência mutável poderia fazer todas as entradas apontarem para o último estado. Calcule a perda de validação de cada cópia e escolha a menor, preservando uma regra de desempate consistente. A redução da perda de treino confirma que o procedimento ajustou o exemplo; a seleção por validação responde a uma pergunta separada.

A função evaluateTest tem uma guarda que permite uma única avaliação efetiva. Ela calcula acurácia da rede, acurácia do baseline e probabilidades dos quatro pontos. Uma tentativa seguinte lança erro antes de percorrer os dados. A guarda é uma demonstração pedagógica: em um projeto real, disciplina experimental e registro de acesso são necessários para evitar inspeção manual indevida. Nossa solução alcança quatro acertos contra dois do baseline constante, mas a regra conhecida já resolve a tarefa sem treinamento. Escreva essa comparação junto ao resultado para não apresentar complexidade como benefício automático.

Use uma rubrica de cinco evidências: separação de conjuntos, conta manual, gradientes numéricos, seleção documentada e interpretação limitada do teste. Para cada item, mostre um trecho de código ou uma conta e explique o que não foi demonstrado. Retome a inferência: uma acurácia de um em quatro casos não autoriza certeza sobre uma taxa populacional. Retome também a álgebra: a entrada de cada camada começa por uma soma ponderada. Essa conexão fecha a preparação matemática e oferece uma base concreta para estudar arquiteturas maiores no restante do curso.