Probabilidade e inferência: evidência, base e incerteza

Abra probability.mjs e calcule primeiro as contagens esperadas para mil pedidos. Guarde nove verdadeiros e 49.5 falsos, depois divida nove pelo total 58.5. Implemente posterior com probabilidades entre zero e um. Ela calcula a probabilidade total do alerta e só então divide a contribuição verdadeira por esse total. O caso prior=0 e falsePositive=0 torna o evento alerta impossível: não existe conjunto de alertas para condicionar. A solução deve lançar erro, em vez de retornar zero e sugerir uma posterior bem definida.

Confira a função por uma conta independente e acrescente o caso de taxa de base 0.1, cuja resposta é dois terços. Agora introduza o erro intencional de retornar sensitivity diretamente. Os dois testes devem quebrar. Se somente um teste fosse usado e a taxa de base escolhida produzisse por acaso resultado próximo da sensibilidade, o erro poderia passar. A variação controlada das entradas mostra se o componente respeita a estrutura de condicionamento que a leitura apresentou.

↗ 18.05 Introduction to Probability and Statistics — syllabus

A função interval recebe contagens inteiras, não uma proporção pronta. Essa decisão mantém visível o denominador da avaliação. Ela rejeita n menor ou igual a zero, sucessos negativos e sucessos maiores que n. Adicionamos uma condição didática: ao menos dez sucessos e dez fracassos. Não é uma garantia universal da aproximação, mas impede aplicá-la justamente em casos de fronteira evidentes. Se todos os cem resultados forem aceitos, estimar erro padrão zero pela fórmula normal daria uma certeza enganosa; o programa interrompe e exige outro método.

Calcule à mão o caso oitenta de cem: raiz de 0.8×0.2/100 igual a 0.04. A margem é 1.96×0.04=0.0784. O código devolve estimativa, erro padrão e dois limites separados, permitindo rastrear a conta. Não limite artificialmente os resultados para esconder uma aproximação inadequada. Nesta atividade, os casos permitidos ficam dentro da faixa de probabilidade. Para uma aplicação geral, escolha e documente um método apropriado ao desenho e às contagens; não transforme nossa guarda em uma certificação automática de validade estatística.

Uma variável Bernoulli sintética será gerada comparando um número uniforme entre zero e um com p. Para cada amostra, repetimos a operação cem vezes e contamos aceitações. O gerador usa uma semente e uma recorrência inteira simples. Ele foi escolhido para transparência e execução offline, não para estudos estatísticos exigentes ou criptografia. Duas execuções com a mesma semente devem devolver a mesma contagem. Esse teste protege o procedimento de depuração; não precisa exigir que a contagem coincida exatamente com oitenta, pois oitenta é a média esperada, não o resultado obrigatório de toda amostra.

Teste também p=0 e p=1. Esses extremos devem gerar nenhuma aceitação e cem aceitações, respectivamente. Eles ajudam a detectar uma comparação invertida entre sorteio e probabilidade. Em seguida produza duzentas amostras com sementes diferentes, calcule os intervalos permitidos pela guarda e conte quantos contêm 0.8, que conhecemos por construção. Exiba tanto o número de intervalos usados quanto os cobertos. O experimento ilustra o procedimento de cobertura sob um modelo sintético; não estabelece taxa real de aceitação para respostas de IA.

Imagine que os cem registros vieram de dez clientes, com dez respostas parecidas de cada um. Nosso código não conhece essa estrutura e usará n=100. Uma dependência positiva dentro de cliente pode fazer a incerteza calculada parecer menor do que deveria. Escreva esse contraexemplo no relatório, identificando cliente como possível unidade de agrupamento. Outro caso é selecionar só perguntas que o sistema respondeu rapidamente: o conjunto exclui falhas lentas e altera a pergunta estimada. Ambos passam na validação numérica, mostrando por que um contrato de tipos não substitui um desenho de avaliação.

A rubrica tem quatro dimensões: posterior por contagens, intervalo por fórmula, comportamento negativo e interpretação do experimento. Para cada uma, apresente uma evidência observável e uma limitação. Uma entrega que apenas imprime covered/usable não explica inferência. Retome a álgebra da unidade anterior: a média é uma combinação linear dos resultados, mas a hipótese de independência é uma afirmação sobre como foram obtidos. Uma transformação matemática correta pode operar sobre uma amostra inadequada; separar essas camadas será essencial quando avaliarmos modelos treinados.