Cada token enviado custa dinheiro, consome contexto e pode diluir a resposta. Depois de construir vários produtos de IA, fiquei focado em eficiência de tokens e criei o LCC (Local Context Compiler) para transformar esse foco em uma ferramenta repetível.
Um prompt típico de suporte contém instrução de sistema, histórico, contexto recuperado e a última mensagem. Em escala, mais da metade disso é informação redundante, cabeçalhos repetidos ou trechos irrelevantes. O LCC aplica quatro reduções.
A normalização de espaços remove linhas em branco, corta espaços no fim e elimina blocos vazios. A deduplicação estrutural mantém uma cópia quando o mesmo parágrafo aparece em chunks de RAG sobrepostos. A compressão por abreviação substitui frases longas repetidas por tokens mais curtos apenas onde o significado não muda. A medição de tokens conta o custo exato de cada bloco com tiktoken.
A compressão não é grátis de ser racionalizada. O LCC reduz o volume bruto de tokens entre 35% e 45% em sistemas de produção sem degradação mensurável da qualidade. A faixa depende de quão redundante a entrada é; um texto limpo ganha pouco.
Ponha pontuação por relevância, recência e a consulta atual, mantendo apenas o que cabe em um limite de tokens em vez de reenviar o histórico inteiro. Conversas longas são cortadas no segmento que realmente importa.
O contexto cabe numa janela de 128k, mas a atenção degrada em entradas longas. Um prompt focado de 4000 tokens com contexto altamente relevante supera um de 40.000 tokens com tudo incluído. Menos é mais apenas quando esse 'menos' é selecionado com intenção.
O LCC é de código aberto e roda localmente sem chamadas de API. É um pipeline determinístico: texto de entrada, texto otimizado de saída. Use-o como etapa de pré-processamento antes de cada chamada quando o orçamento importa.
O LCC planeja um checkpoint de sessão para agentes mantarem um contexto limpo entre turnos. Consulte antes de ampliar o prompt. O repositório documenta o contrato de projeto e o relatório de auditoria de cada bloco descartado.
Referência: repositório open-source do LCC documenta redução de tokens offline e verificável. Referência: prompt caching da OpenAI para a semântica de prefix matching.