O custo da IA à vista, a cada pergunta

o problema

Margem de SaaS de IA morre no consumo invisível de tokens. Como tornar esse custo visível antes da fatura?

o projeto

O BUFF-O foi a minha tentativa de transformar o Janis num produto. A ideia era uma comunidade: cada pessoa montava o seu próprio assistente de IA a partir de um template e o compartilhava numa galeria pública, organizada por tags, para os outros copiarem e adaptarem. A peça de que mais me orgulho funciona de verdade — o custo de cada conversa com a IA aparecia na tela em tempo real, sem surpresa na fatura no fim do mês. A parte de comunidade ficou no estágio de galeria de templates; o fórum em si nunca saiu do papel. Não segui em frente com o projeto, mas foi onde aprendi muito do que hoje aplico em sistema de cliente.

O ponto cego de quem cobra por IA

• SaaS de IA cobra uma assinatura fixa e absorve o custo de token — que é variável e invisível até a fatura do provedor chegar no fim do mês.
• Quem não mede o custo por requisição descobre a margem furada tarde demais, sem saber qual usuário ou qual conversa pesou.
• Definir cada agente no código significa um deploy para cada ajuste de personalidade — e quem escreve a persona raramente é quem escreve o código.
• Um monólito com estado espalhado aguenta o protótipo, mas não uma plataforma com muitos usuários.

As decisões difíceis

o pulo do gato

O custo descendo na tela, em tempo real

Cada requisição ao modelo passa por um contador que calcula o custo daquele consumo pelo preço do modelo, debita do saldo e publica a mudança. A tela assina essa mudança e o número cai sozinho, sem recarregar a página.

requisição ─▶ contador de token
                 ├─ conta tokens de entrada + saída
                 ├─ aplica o preço do modelo usado
                 └─ debita o saldo ─▶ tempo real
                                          │
                        tela assina ◀────┘
                        (o saldo cai na tela, ao vivo)

O que eu refiz

Comecei a versão comercial convencido de que valia sair do monólito para muitos serviços separados. Há uma ironia que eu assumo: o BUFF-O roda em CrewAI — o mesmo framework que, no Janis, eu rejeitei e expliquei por quê. Na prática, subestimei o tamanho de uma reescrita distribuída para uma pessoa só, e a parte de comunidade encolheu de fórum para galeria de templates. Não segui em frente. A lição: a prova de valor — o custo por token visível — já estava de pé na primeira versão, e eu deveria tê-la mantido viva enquanto o resto amadurecia, em vez de tratar o que funcionava como descartável.

Onde chegou

O rastreio de custo funciona ponta a ponta, e a fábrica de agentes por template — com persona e compartilhamento — foi ao ar como galeria pública. É a base de ideias que hoje reaparecem, mais maduras, em projeto de cliente.