Claude Opus 5.5 sozinho vs com Five Dots: um estudo de caso de auditoria de pipeline
Plantamos 11 problemas no pipeline de vendas de uma empresa fictícia e pedimos ao Claude Opus 5.5 que o auditasse 20 vezes, sozinho e com Five Dots. Com Five Dots, ele encontrou 94% dos problemas, contra 65%.
Com Five Dots, o Claude Opus 5.5 encontrou 94% dos problemas plantados no pipeline de vendas de uma empresa fictícia, contra 65% sozinho, e 98% das suas descobertas estavam certas, contra 90%. A diferença vem do cliente: Five Dots pergunta o que o CRM não consegue mostrar.
- No que o CRM mostra, o Opus sozinho já é forte. A diferença está nos problemas que só o cliente conhece: 100% com Five Dots, 24% sozinho.
- O Opus sozinho não fez nenhuma pergunta ao cliente em nenhuma das 10 auditorias. Com Five Dots, fez duas ou três rodadas de perguntas todas as vezes.
- Um avaliador às cegas preferiu a auditoria com Five Dots em 8 de 10 comparações diretas, e a do Opus sozinho em nenhuma.
Os resultados em resumo
As duas configurações fizeram a mesma auditoria de pipeline 10 vezes em 15 de novembro de 2026, com a versão atual da Five Dots. A coluna do consultor humano é a nossa estimativa com base nas auditorias de consultoria da própria Revenue Wizards, não um resultado deste teste: nenhum consultor auditou a empresa do teste. Ela mostra onde as duas configurações de IA ficam em relação ao trabalho que substituem.
| Métrica | Opus 5.5 sozinho | Opus 5.5 + Five Dots | Consultor humano (estimativa) |
|---|---|---|---|
| Problemas plantados encontrados, ponderados por gravidade | 65% | 94% | 97% |
| Problemas visíveis nos dados do CRM | 84% | 91% | 93% |
| Problemas que só o cliente conhecia | 24% | 100% | 100% |
| Descobertas certas (precisão) | 90% | 98% | 98% |
| Descobertas erradas por auditoria | 0.5 | 0.1 | 0.1 |
| Armadilhas apontadas por engano como problema, por auditoria | 0.3 | 0 | 0 |
| Rodadas de perguntas ao cliente | 0 | 2–3 | 5–7 |
| Quão específicas são as correções (1–5) | 2.9 | 3.4 | 4.5 |
| Correções do top 3 que batem com o gabarito (de 3) | 1.1 | 1.0 | 2 |
| Tempo por auditoria | 1.5 min | 4.7 min | Mais de 12 horas |
| Custo por auditoria | $0.39 em processamento de IA | $1.55 em processamento de IA | cerca de $2,000 em honorários |
O teste: uma empresa, um pipeline, onze problemas plantados
As duas configurações auditaram o pipeline de vendas da mesma empresa inventada, com o mesmo CRM, o mesmo cliente e o mesmo pedido. A única diferença era o conector da Five Dots.
A empresa, Kestrelview Analytics, é fictícia, assim como todos os nomes nela. Ela vende software de análise de produto para varejistas online de médio porte: cerca de 70 pessoas, Série A, vendas conduzidas pelo time comercial, teste grátis de 14 dias e contratos de cerca de $24k por ano nos EUA e no Reino Unido. O HubSpot dela tem 44 negócios, três vendedores e o histórico de atividades deles.
A cliente, uma Head of Revenue Operations, foi interpretada por uma IA separada. Ela responde ao que lhe perguntam e não oferece nada além disso, então alguns problemas só aparecem se o auditor perguntar.
Um avaliador independente, também o Claude Opus, leu cada auditoria final às cegas, sem os nomes dos produtos, e conferiu cada descoberta com o gabarito e os registros do CRM. Problemas de gravidade alta contam três vezes, os médios duas e os baixos uma. Três armadilhas, coisas que parecem erradas mas são intencionais, contaram contra a auditoria que as apontou como erros.
| Problema plantado | Gravidade | Como pode ser encontrado |
|---|---|---|
| Negócios abertos sem atividade há 60+ dias, com grande parte do valor do pipeline | Alta | Dados do CRM |
| Negócios abertos com data de fechamento no passado | Alta | Dados do CRM |
| Negócios abertos sem data de fechamento ou com valor 0 | Média | Dados do CRM |
| Negócios perdidos sem motivo de perda | Média | Dados do CRM |
| Renovações e expansões passando pelo pipeline de novos negócios | Alta | Dados do CRM |
| Negócios parados em Contract Sent por semanas | Média | Dados do CRM |
| Negócios ganhos que pularam os estágios intermediários | Baixa | Dados do CRM |
| Um vendedor é dono da maioria dos negócios parados | Baixa | Dados do CRM |
| Nenhum critério de saída de estágio por escrito | Alta | Só perguntando ao cliente |
| A previsão é feita na planilha pessoal do VP Sales | Alta | Só perguntando ao cliente |
| Nenhuma revisão regular do pipeline | Média | Só perguntando ao cliente |
As perguntas: o Opus sozinho não fez nenhuma
O Opus sozinho não fez nenhuma pergunta em nenhuma das suas 10 auditorias: leu o HubSpot e foi direto às descobertas. O Opus com Five Dots leu o HubSpot primeiro e depois perguntou sobre o que os dados não conseguiam explicar, em duas ou três rodadas por auditoria. A tabela acompanha uma auditoria típica com Five Dots.
A última linha importa tanto quanto as outras. Uma resposta “não sei” foi mantida como pergunta para quem saberia responder, e não registrada como problema.
| O que Five Dots perguntou | O que a cliente respondeu | O que isso mudou |
|---|---|---|
| 10 de 24 negócios abertos são renovações, expansões ou pilotos no pipeline de novos negócios. Isso é intencional? | Os pilotos são intencionais: pilotos pagos de 30 dias. Sobre as renovações, ela não soube dizer. | Pilotos não tratados como erro; renovações registradas como pergunta em aberto para o VP Sales |
| O negócio de $140k está certo, diante de um contrato médio de $24k? | Ele é real: o maior prospect da empresa. | Não apontado como erro de dados (uma das armadilhas) |
| Existe uma revisão regular do pipeline, e quem percebe quando um negócio fica parado? | Não há revisão. Os negócios são vistos quando surge algo; a única cadência fixa é uma atualização trimestral para o conselho. | Nova descoberta: nenhuma revisão do pipeline |
| Por que os ganhos saltam do primeiro estágio para Closed Won? Os critérios de estágio estão por escrito? | Nada está por escrito. Os vendedores movem um negócio quando acham que é a hora. | Nova descoberta: nenhum critério de estágio |
| De onde vêm a previsão e o número apresentado ao conselho? | O VP Sales monta toda sexta-feira na própria planilha, porque ninguém confia no HubSpot. | Nova descoberta, classificada em primeiro lugar entre as correções |
| Quando os negócios perdidos foram revisados juntos pela última vez? | Ela não sabia. | Registrado como pergunta em aberto, não como descoberta |
A apresentação: uma nota, responsáveis e um critério de conclusão
Os dois entregam uma tabela de descobertas clara, com evidências. Five Dots acrescenta uma nota, separa o que os dados provam do que o cliente disse, nomeia um responsável e um critério de conclusão para cada correção e mantém as perguntas em aberto à parte.
Na empresa do teste, Jonas é um dos vendedores e Daniel é o VP Sales. O Opus sozinho escreveu sua primeira correção assim: “Limpem o pipeline esta semana. Revisem os negócios de cada vendedor, começando pelo Jonas. Para cada negócio parado ou atrasado, encerrem-no com um motivo de perda ou deem a ele um próximo passo e uma data de fechamento reais.”
O Opus com Five Dots escreveu: “Comecem uma revisão semanal do pipeline e montem a previsão a partir do HubSpot. Responsável: Daniel. Por que primeiro: hoje o número do conselho vem de uma planilha porque ninguém confia no HubSpot. Concluído quando: a revisão tiver acontecido quatro semanas seguidas e a previsão de sexta-feira for lida do HubSpot.”
A primeira correção é sensata, mas trata o sintoma, os negócios parados. A segunda vai atrás da causa, que Five Dots descobriu perguntando: ninguém revisa o pipeline, então a previsão vive em uma planilha.
| Parte do resultado | Opus sozinho | Opus + Five Dots |
|---|---|---|
| Veredito geral | “Um problema, prioridade alta” | Pontuado como vermelho em uma escala fixa, com a versão da metodologia e a data |
| Descobertas | Uma tabela com 10, só de dados | Descobertas pontuadas a partir dos dados; o que o cliente disse; padrões observados; o que está funcionando |
| Incógnitas | Misturadas às descobertas (“vale verificar”) | Listadas à parte, cada uma com quem deve respondê-la |
| Correções | 5 em ordem, com o que fazer | 4 em ordem, cada uma com responsável, por que vem primeiro, o que muda e quando conta como concluída |
| Onde fica | Uma página de notas no Notion do cliente | A página do módulo, a visão geral da auditoria e a memória, o diário e o registro de decisões do cliente no Notion dele |
Como ler isto
Uma área, uma empresa. Isto cobre apenas o pipeline de vendas, uma das dez áreas da auditoria Five Dots, para uma empresa inventada. Uma auditoria real cobre mais e depende do CRM real.
O cliente é simulado. Clientes reais dizem mais, menos e de outro jeito. O cliente simulado guarda fatos ocultos até que perguntem, e é isso que faz a pergunta importar.
O avaliador também é uma IA. Ele lê cada auditoria às cegas, sem os nomes dos produtos, e foi testado antes com uma auditoria sabidamente boa e outra sabidamente ruim.
Nenhum dado do cliente sai do ambiente do próprio cliente. Nas execuções com Five Dots, o conector recebeu apenas os nomes das ferramentas conectadas e o módulo solicitado, nunca um negócio, nome ou número. Cada execução verifica isso.
Nossa recomendação
Use Five Dots para trabalhos de auditoria que seguem um método conhecido e recorra à experiência humana onde o método não alcança.
| Situação | O que usar | Por quê |
|---|---|---|
| Auditorias padrão: um diagnóstico do pipeline, uma revisão trimestral, uma nova área da auditoria de GTM | Five Dots | Encontra quase o mesmo que um consultor encontraria, em minutos em vez de dias, por uma fração do custo, e mantém o resultado no seu próprio workspace. |
| Trabalho complexo, com experiência em RevOps na equipe | Five Dots, conduzido pelo seu líder de RevOps | Um profissional experiente leva as descobertas e as perguntas em aberto adiante: pesa os prós e contras, conduz as conversas com as partes interessadas e transforma o roadmap em um plano de mudança. |
| Temas de nicho e lacunas de conhecimento: desenho de comissões, precificação, arquitetura complexa de CRM, um mercado desconhecido | Especialista humano, com Five Dots como ponto de partida | Um especialista traz o que nenhuma das configurações de IA tem: padrões de muitas empresas parecidas e julgamento nos casos-limite. |
| Validação de uma decisão importante antes que ela vá ao conselho ou mude a forma como as pessoas são pagas | Especialista humano | Uma verificação externa de alguém que responde pela decisão. |
Fontes e leituras adicionais
Coloque o método em prática.
Faça a mesma auditoria no seu próprio pipeline, no assistente de IA que você já usa.