Você está colocando IA em produção sem testar. Eu sei porque eu faço a mesma coisa.
Escreve o prompt, testa com 3 exemplos na mão, funciona “mais ou menos”, sobe pra produção. Reza. Espera o cliente não reclamar. Soa familiar? Na minha experiência com 300+ software houses, esse é o padrão de 95% das empresas que estão integrando IA nos seus produtos. E honestamente? É assustador.
A gente não faria isso com código normal. Ninguém sobe um CRUD sem rodar os testes. Mas com IA? “Ah, é diferente, é probabilístico, não dá pra testar.” Dá sim. E agora a OpenAI apostou US$ milhões pra provar isso — comprando o Promptfoo, a ferramenta open-source que faz exatamente isso.
O Que É o Promptfoo
Promptfoo é uma CLI e biblioteca open-source para testar, avaliar e fazer red-teaming de aplicações que usam LLMs. Pensa nele como o Jest dos seus prompts.
Os números falam por si:
- 17.548 stars no GitHub (+ 5.000 só esta semana)
- 300.000+ desenvolvedores usando
- 127 empresas Fortune 500 adotaram
- 1.512 forks e contribuição ativa
- MIT License — continua open-source mesmo após a aquisição
Em 16 de março de 2026 — literalmente 3 dias atrás — a equipe do Promptfoo anunciou que se juntou à OpenAI. Não é uma aquisição qualquer: é a OpenAI dizendo “testing de IA vai ser tão fundamental quanto testing de software”.
O Problema Que Ninguém Quer Admitir
Vou ser direto: a maioria das software houses está fazendo “vibe-based testing” com IA.
O dev escreve um prompt, pede pro ChatGPT responder, olha a resposta, fala “parece bom” e sobe pra produção. Não existe suite de testes. Não existe CI/CD pra prompts. Não existe red-teaming pra descobrir se o seu chatbot vai vazar dados do cliente.
E quando o prompt quebra em produção? “Ah, a IA é assim mesmo.” Não. A IA é previsível quando você testa direito.
O que está em jogo: imagina o chatbot do seu cliente bancário respondendo com alucinações sobre taxas de juros. Ou o assistente jurídico do seu ERP dando conselho errado sobre tributação. Esses cenários não são ficção — são o que acontece quando você não testa prompts sistematicamente.
Como Funciona (Sem Enrolação)
Promptfoo é absurdamente simples de começar. Três comandos:
npm install -g promptfoo
promptfoo init --example getting-started
promptfoo evalTambém funciona via brew install promptfoo ou pip install promptfoo — não importa sua stack.
O coração é um arquivo YAML onde você define:
- Prompts — os prompts que quer testar
- Providers — quais modelos usar (GPT-4, Claude, Gemini, Llama, Ollama…)
- Test cases — o que esperar de cada resposta
E o Promptfoo roda tudo localmente. Seus prompts e dados nunca saem da sua máquina. Pra uma software house que trabalha com dados sensíveis de clientes, isso é ouro.
Depois de rodar promptfoo eval, você abre promptfoo view e tem um dashboard comparando modelos lado a lado, mostrando o que passou e o que falhou. Visual, claro, compartilhável com o time.
Os 5 Superpoderes Que Importam Para Sua Software House
1. Comparação de modelos com dados, não achismo
Quer saber se trocar do GPT-4 pro Claude vale a pena? Em vez de “testar na mão”, configure os dois providers no YAML e rode 100 test cases. Resultado em minutos, com métricas reais.
2. Red-teaming automático (50+ vulnerabilidades)
O Promptfoo escaneia seus prompts pra mais de 50 tipos de vulnerabilidade: injeção de prompt, vazamento de PII, jailbreaks, alucinações perigosas. Aquele chatbot que você construiu pra um cliente? Rode o red-team antes de entregar.
3. CI/CD pra prompts
Integra direto no seu pipeline. Mudou o prompt? O CI roda os testes automaticamente. Se regredir, quebra o build. Exatamente como você já faz com código.
4. Code scanning em PRs
O Promptfoo analisa pull requests que tocam em código de LLM e flagra problemas de segurança e compliance. Imagina isso integrado no code review da sua equipe.
5. Redução de custo mensurável
Quer saber se pode usar um modelo 10x mais barato sem perder qualidade? Rode os mesmos testes com GPT-4o-mini, Claude Haiku, ou um modelo local via Ollama. Os números vão te responder.
Por Que a OpenAI Comprou Isso?
Essa é a pergunta que importa. A OpenAI — a empresa que VENDE os modelos — comprou a ferramenta que TESTA os modelos. O que isso significa?
Significa que testing de IA não é “nice to have”. É infraestrutura. A OpenAI entendeu que pra IA escalar de verdade no enterprise, as empresas precisam de ferramentas de qualidade tão maduras quanto as que existem pra software tradicional.
E comprando o Promptfoo, a OpenAI está dizendo: “Esse é o padrão.” É o mesmo movimento que a Microsoft fez comprando o GitHub. Quando o dono da plataforma compra a ferramenta de tooling, essa ferramenta vira o default da indústria.
Para software houses, o recado é claro: se você não está testando seus prompts hoje, vai estar testando amanhã. E o Promptfoo é o cavalo em que a OpenAI apostou.
Como Começar Amanhã Na Sua Software House
Eu sei que “mais uma ferramenta” é a última coisa que você quer ouvir. Mas essa aqui tem ROI imediato. Meu conselho:
- Instale:
npm install -g promptfoo(5 segundos) - Rode o exemplo:
promptfoo init --example getting-started && promptfoo eval(2 minutos) - Pegue UM prompt real do seu produto e escreva 10 test cases pra ele
- Rode o red-team:
promptfoo redteam init && promptfoo redteam run— vai descobrir coisas que não quer saber - Coloque no CI: um job a mais no GitHub Actions. Pronto.
Se sua software house desenvolve qualquer coisa com IA — chatbots, copilots, RAG, automação — o Promptfoo não é opcional. É higiene.
O Que Eu Penso
Olha, eu adoro quando uma ferramenta open-source resolve um problema real de forma simples. O Promptfoo não é “mais um framework de IA” que tenta fazer tudo. Ele faz UMA coisa: testar IA. E faz muito bem.
A aquisição pela OpenAI é o selo de aprovação final. Mas o que me convence mesmo é a simplicidade: YAML + CLI + dashboard local. Qualquer dev da sua equipe consegue usar em 10 minutos.
Na minha experiência mentorando 300+ software houses, o maior risco com IA não é a tecnologia falhar — é a tecnologia falhar E ninguém perceber até o cliente ligar reclamando. O Promptfoo é o alarme que avisa antes.
Se tem uma coisa que eu repito pra todo CEO de software house: não basta adotar IA. Tem que adotar IA com disciplina de engenharia. O Promptfoo é essa disciplina.
Sou Thulio, mentoro 300+ SHs desde 2016.
Fontes: GitHub — promptfoo/promptfoo | Promptfoo Docs | Promptfoo joins OpenAI | Promptfoo Review 2026
