Inferência, sampling, modelos locais, custo

Escreva uma política fictícia de três parágrafos com uma regra, uma exceção e uma condição de ativação. Primeiro faça seu próprio resumo e destaque as frases que não podem desaparecer. Essa tentativa oferece um gabarito argumentado, em vez de copiar a primeira resposta do modelo. A rubrica terá três dimensões: preservação da regra, preservação da exceção e ausência de afirmações sem base. Defina rejeição se qualquer condição decisiva for perdida. Retome a separação entre geração e evidência: o texto do documento sustenta a avaliação; fluência sozinha não sustenta aceitação. Guarde casos adicionais que não serão usados para ajustar o prompt.

↗ Generation

Escolha três configurações realmente disponíveis e registre serviço ou artefato local, versão, hardware quando relevante e parâmetros suportados. Não envie top-k a um endpoint apenas porque outro aceita esse nome. Preserve o mesmo documento e o mesmo objetivo, mas documente traduções necessárias de formato. Para uma execução local, confira licença e memória disponível antes de baixar. Se quantizar, registre método e representação para não comparar como se fossem o mesmo artefato. Se um modelo receber imagem e outro receber texto extraído, você mudou também a entrada; trate esse teste como comparação de sistemas, não como efeito isolado do modelo.

↗ Ollama API introduction↗ Quantization overview

Execute o agregador com os dados fictícios para compreender a conta e mantenha esse arquivo separado das observações reais. Na coleta, marque início, primeiro fragmento quando houver streaming e conclusão. Preserve falhas de limite, recusas e respostas rejeitadas. O denominador da aceitação inclui todas as tentativas comparáveis. Para custo, utilize consumo reportado e preço documentado com data e unidade; registre despesas locais não incluídas. Se duas configurações têm entradas diferentes por tokenizador, mostre essa diferença sem inventar equivalência exata. O relatório precisa separar qualidade, latência e custo para permitir uma decisão que não esconda compromissos.

↗ Latency optimization↗ API pricing

Examine uma saída aceita e uma rejeitada de cada opção quando existirem. Procure a condição omitida e a provável origem: truncamento, instrução, leitura de imagem ou geração. Mude uma variável na próxima rodada para testar a hipótese. Se a máquina local não suporta a carga, a restrição operacional é um resultado relevante. Se a amostra tem apenas um caso, conclua sobre aquele caso e proponha expansão, em vez de declarar vencedor universal. Compare custo por resumo aceito com duração e manutenção. A escolha pode favorecer controle local ou disponibilidade remota conforme o objetivo, desde que os critérios e as lacunas estejam explícitos.

↗ Generation strategies

Execute o script em Node.js com suporte a Object.groupBy ou substitua o agrupamento por Map na versão disponível. Acrescente duas tentativas rejeitadas com respostas curtas. Observe que a média de duração pode cair enquanto o trabalho útil não aumenta. Em seguida, crie registros reais em arquivo separado, mantendo a resposta integral e o julgamento da rubrica. Não altere o gabarito para acomodar o modelo preferido.

Se o modelo devolve sempre um resumo curto e incompleto, confira limite de saída, entrada efetiva e instrução antes de mudar temperatura. Se a execução local fica lenta após algumas chamadas, investigue fila, memória e concorrência. A hipótese precisa de medida que possa refutá-la. Registrar apenas a duração total não separa tempo de espera de geração; registrar apenas um caso não caracteriza a carga.

Para observar geração sem credenciais pagas, instale o Ollama pelo site oficial e mantenha o serviço somente no computador local. Execute ollama pull qwen3:0.6b; esse modelo pequeno tem artefato quantizado de aproximadamente 523 MB na consulta, mas exige memória adicional durante a inferência. O tamanho do arquivo não é o consumo de RAM. Confira licença, plataforma e capacidade do equipamento. Se o serviço não estiver em execução, abra outra janela e execute ollama serve. Não há garantia de latência ou qualidade em hardware específico.

↗ Ollama API introduction↗ Qwen3 0.6b no catálogo Ollama

Salve o código seguinte como local-inference.mjs em uma pasta de laboratório e execute node local-inference.mjs usando Node 22+. Ele consulta a versão do runtime e o digest do modelo, realiza três gerações e conserva prompts, evidências e respostas. Depois de inspecionar o primeiro arquivo, configure COURSE_MODEL_DIGEST com o digest registrado para impedir comparação silenciosa com outro artefato. No PowerShell, use $env:COURSE_MODEL_DIGEST='digest-do-arquivo'; no terminal Unix, export COURSE_MODEL_DIGEST='digest-do-arquivo'. Cada novo artefato exige uma nova avaliação.

↗ Ollama Generate API↗ Ollama List models API

import { writeFile } from "node:fs/promises";

// Node 22+. Download a local model first; this program never calls a paid provider.
const base = "http://127.0.0.1:11434";
const model = process.env.COURSE_MODEL || "qwen3:0.6b";
async function request(route, body) {
  const response = await fetch(base + route, {
    method: body ? "POST" : "GET",
    headers: { "content-type": "application/json" },
    body: body ? JSON.stringify(body) : undefined,
    signal: AbortSignal.timeout(180000),
  });
  if (!response.ok) throw new Error(`Ollama HTTP ${response.status}`);
  return response.json();
}
const version = await request("/api/version");
const tags = await request("/api/tags");
const installed = tags.models.find((item) => item.name === model || item.model === model);
if (!installed) throw new Error(`Instale primeiro: ollama pull ${model}`);
if (process.env.COURSE_MODEL_DIGEST && process.env.COURSE_MODEL_DIGEST !== installed.digest)
  throw new Error("O artefato do modelo mudou; revise antes de comparar resultados");
const corpus = [
  { id: "A-1", tenant: "A", version: 1, text: "A política fictícia da loja A admite devolução em 30 dias." },
  { id: "B-1", tenant: "B", version: 1, text: "A política fictícia da loja B admite devolução em 7 dias." },
];
const cases = [
  { id: "prazo-A", tenant: "A", question: "Qual é o prazo de devolução?", term: "devolução", expectation: "30 dias; citar A-1" },
  { id: "prazo-B", tenant: "B", question: "Qual é o prazo de devolução?", term: "devolução", expectation: "7 dias; citar B-1" },
  { id: "lacuna-A", tenant: "A", question: "Qual é o prazo da garantia?", term: "garantia", expectation: "Declarar ausência de evidência; não inventar prazo" },
];
const results = [];
for (const item of cases) {
  // Literal retrieval for this small exercise, explicitly not semantic embedding search.
  const evidence = corpus.filter((doc) => doc.tenant === item.tenant && doc.text.includes(item.term));
  const prompt = `Use somente as evidências. Cite o ID. Se não houver evidência, diga que não sabe.\n${JSON.stringify(evidence)}\nPergunta: ${item.question}`;
  const output = await request("/api/generate", { model, prompt, stream: false, think: false, options: { temperature: 0, num_predict: 128, num_ctx: 2048 } });
  if (output.done !== true || typeof output.response !== "string") throw new Error("Resposta incompleta ou inválida");
  results.push({ ...item, evidence, prompt, response: output.response, doneReason: output.done_reason, tokens: output.eval_count, durationNanoseconds: output.total_duration });
}
await writeFile("inference-evidence.json", JSON.stringify({ capturedAt: new Date().toISOString(), runtime: version, model, digest: installed.digest, size: installed.size, results }, null, 2));
console.log("Evidências salvas em inference-evidence.json. Avalie factualidade, citação e abstenção manualmente; este script não declara aprovação automática.");

↗ Ollama Generate API↗ Ollama List models API

No arquivo inference-evidence.json, compare prazo-A e prazo-B. A geração de A deveria usar 30 dias com A-1; B deveria usar 7 dias com B-1. lacuna-A deve comunicar falta de evidência, sem inventar garantia. O backend seleciona documentos por tenant antes de montar o prompt; os dados são fictícios. A recuperação aqui é literal, sem embeddings. Um modelo que confunde os prazos falhou na fidelidade da geração; se o arquivo evidence contém outro tenant, a falha ocorreu antes do modelo. Separe esses diagnósticos e registre um resultado por ID.

Três casos não estabelecem taxa de qualidade generalizável. Crie perguntas novas em um conjunto de desenvolvimento, preserve estes casos como avaliação inicial e repita com registro da versão. O exercício de 50 casos da fase de avaliação ensina como tratar IDs, saídas ausentes e gates. Não há saída real previamente capturada apresentada como evidência nesta aula. Quem não consegue executar o modelo pode revisar os prompts, critérios e o runner offline; isso pratica avaliação de contratos, mas não observa geração real.