Como monitorar e melhorar o agente ao longo do tempo
Nível: Intermediário
Tempo de leitura: 7 min
O agente não está pronto no dia do lançamento
O lançamento é o começo, não o fim. Agentes que não são monitorados degradam: as informações ficam desatualizadas, os clientes mudam as perguntas que fazem, e comportamentos problemáticos se acumulam sem que ninguém perceba.
O ciclo de melhoria é simples: observar, identificar o problema, ajustar, repetir.
O que monitorar e com que frequência
| Métrica | Onde ver | Frequência recomendada |
|---|---|---|
| Taxa de resolução | Dashboard | Semanal |
| Avaliação média | Dashboard | Semanal |
| Conversas com transbordo | Lista de conversas | Semanal |
| Perguntas frequentes | Painel do agente | Quinzenal |
| Conversas com nota baixa | Lista de conversas | A cada nova avaliação |
| Eventos de conversão | Painel do agente | Semanal |
Lendo as conversas certas
Não é necessário ler todas as conversas. Priorize as que mais ensinam:
Conversas com avaliação baixa: são as que o cliente explicitamente disse que a experiência foi ruim. Leia para entender o que falhou: foi a resposta errada? Tom inadequado? Agente que não soube encaminhar?
Conversas que geraram transbordo: especialmente as que o próprio agente pediu transbordo por não saber responder. Essas são lacunas diretas na base de conhecimento ou no prompt.
Conversas longas sem resolução: quando o cliente e o agente trocam muitas mensagens sem chegar a uma conclusão, geralmente há um problema de compreensão ou de conteúdo insuficiente.
Conversas com perguntas novas: leia as perguntas frequentes no painel do agente. Se aparecerem temas que o agente não cobre bem, considere adicionar conteúdo na base de conhecimento ou ajustar o prompt.
Identificando a causa dos erros
Todo erro do agente tem uma causa raiz em um desses três lugares:
1. Prompt desatualizado ou incompleto
Sintomas: o agente responde de forma genérica, ultrapassa os limites configurados ou tem comportamento inconsistente.
O que fazer: adicione a instrução que está faltando, remova contradições, seja mais específico nos comportamentos esperados.
2. Base de conhecimento com lacunas ou desatualizada
Sintomas: o agente diz que não sabe responder sobre algo que você tem documentado, ou responde com informações antigas.
O que fazer: adicione o documento faltante, atualize o arquivo desatualizado e remova versões antigas antes de subir versões novas.
3. Pergunta fora do escopo do agente
Sintomas: clientes fazem perguntas que o agente nunca foi configurado para responder.
O que fazer: decidir conscientemente: ou expandir o escopo do agente (atualizar prompt e base de conhecimento) ou deixar explícito no prompt que aquele assunto não é coberto e orientar o usuário.
Usando as perguntas frequentes como guia
O painel individual do agente mostra as 15 perguntas iniciais mais comuns dos usuários. Esse relatório é uma lista direta do que seus clientes precisam.
Para cada pergunta frequente, pergunte:
- O agente responde corretamente?
- A resposta está boa o suficiente ou pode ser melhorada?
- Há algum documento na base de conhecimento que cobre isso?
Se uma pergunta aparece frequentemente e o agente não responde bem, é prioridade de ajuste.
Acompanhando a taxa de resolução
A taxa de resolução mede a porcentagem de conversas resolvidas pelo agente sem intervenção humana.
| Taxa | Interpretação |
|---|---|
| Acima de 80% | Agente bem calibrado para o volume atual |
| Entre 60% e 80% | Há oportunidades claras de melhoria |
| Abaixo de 60% | O agente está falhando sistematicamente |
Uma queda repentina na taxa de resolução geralmente indica uma mudança que não foi refletida no agente: um produto novo, uma política alterada, um processo que mudou.
Ciclo de melhoria contínua
Publicar → Monitorar → Identificar problema → Ajustar → Testar → Republicar
Esse ciclo não tem fim. Os melhores agentes em produção são os que passam por esse processo regularmente, não os que foram configurados com mais cuidado no lançamento.
Cadência sugerida para os primeiros 30 dias:
- Dias 1 a 7: revisão diária das conversas
- Dias 8 a 30: revisão semanal
Depois dos primeiros 30 dias:
- Revisão quinzenal das métricas
- Revisão mensal das perguntas frequentes
- Atualização imediata sempre que houver mudança de produto, preço ou política
Quando considerar criar um novo agente
Melhorar o agente existente nem sempre é a resposta certa. Considere criar um agente separado quando:
- Você quer cobrir um escopo muito diferente do atual (ex: adicionar suporte técnico a um agente de vendas)
- A base de conhecimento cresceu a ponto de os assuntos se misturarem nas respostas
- A taxa de resolução não melhora apesar de vários ciclos de ajuste
Nesse caso, um fluxo de multi-agentes pode ser a evolução natural.