Cálculo e otimização: derivadas que orientam o ajuste

Registre a definição exata: cada perda é metade do erro ao quadrado e o resultado do lote é a média. Não chame esse número apenas de erro, porque soma absoluta, soma quadrática e média quadrática medem objetos diferentes. A função loss recebe parâmetros e registros, valida dados finitos e rejeita lote vazio. Para [b,m]=[0,0], os erros dos três pedidos são −1, −2 e −2. A soma das metades dos quadrados é 0.5+2+2=4.5 e a média é 1.5. Essa expectativa manual permite verificar loss antes de usá-la para diagnosticar gradient.

Na sequência, escreva as contribuições do gradiente nessa origem: o componente de b é (−1−2−2)/3=−5/3 e o de m é (0−2−4)/3=−2. Confira as duas posições separadamente, evitando associar um resultado correto à coordenada errada. As derivadas parciais e a regra da cadeia usadas aqui retomam a base de cálculo; o exercício acrescenta a disciplina de manter o objetivo e sua implementação sob o mesmo contrato.

↗ 18.02SC Multivariable Calculus — syllabus

Implemente numerical copiando o vetor original em duas listas. Em uma, some h à coordenada j; na outra, subtraia h. Avalie loss e divida a diferença por 2h. Não altere theta diretamente, pois isso contaminaria a próxima coordenada e a comparação. Use o ponto [0.3,−0.2] em vez da solução final. Nesse ponto há erros não nulos e fatores de x ativos, tornando o teste capaz de detectar uma regra da cadeia incompleta. Compare cada componente com tolerância explicitada no código.

Faça a mutação experimental de retirar x da contribuição da inclinação. A diferença central deve discordar nesse ponto. Depois duplique as linhas do lote e confira que a média e o gradiente médio permanecem iguais. Essa segunda propriedade captura a omissão da divisão por n. Uma derivada pode ser proporcional à correta e ainda mover o modelo na direção útil; por isso a queda da perda sozinha seria um teste fraco. Guarde no relatório qual defeito cada verificação detecta, para não confundir execução sem erro com evidência completa de correção.

A função step calcula g uma única vez e cria novos parâmetros pela fórmula value−rate×g. Isso garante que ambas as coordenadas usam o mesmo estado. Execute um registro x=2,y=1 a partir de [0,0]. Com taxa 0.1, o novo vetor é [0.1,0.2], a previsão passa a 0.5 e a perda cai. Com taxa um, o vetor é [1,2], previsão cinco e perda cresce. Esse caso inclui intercepto e inclinação; ele difere do exemplo da leitura, em que apenas a inclinação podia variar. Identificar essa diferença evita comparar resultados de problemas distintos.

O código também mantém a conta unidimensional da leitura para demonstrar perdas 0.5, 0.18 e 4.5. Se sua execução devolver outros números, confira primeiro quais parâmetros estão livres. Em seguida mude temporariamente a atualização para recalcular a derivada de m após alterar b. Você estará executando outro procedimento, e a igualdade com step simultâneo deixará de valer. Não há necessidade de chamar todo procedimento sequencial de incorreto; o erro é afirmar que implementou a fórmula simultânea enquanto executa uma atualização diferente.

Execute mil e quinhentos passos com taxa 0.1 sobre os três registros. Em cada iteração, compare a nova perda com a anterior e registre alguns pontos da trajetória. O programa deve aproximar intercepto 7/6, inclinação 0.5 e perda 1/36. Essa referência vem da resolução algébrica anterior, oferecendo uma segunda rota para conferir o ajuste. Um teste de monotonicidade é adequado a esta quadrática com a taxa escolhida; não deve ser copiado como requisito universal para treinamento estocástico, no qual lotes diferentes podem produzir oscilações.

No relatório, apresente objetivo, derivadas, tolerância, histórico e diagnósticos negativos. Dê um ponto de evidência a cada um desses cinco elementos; o resultado final sozinho não substitui os anteriores. Inclua uma limitação: o caso é pequeno, convexo e sem separação de avaliação, portanto prova apenas que nossa rotina ajusta esta função. Retome a probabilidade: ter poucos registros torna uma conclusão operacional incerta, mesmo que a otimização seja exata. Na unidade seguinte, a divisão dos dados tratará a diferença entre aprender a amostra e avaliar novos exemplos.