Outcomes

Um outcome é um veredito sobre uma conversa finalizada: success, failure ou unknown, geralmente com uma justificativa em uma frase — o modelo pode omitir a justificativa, e o veredito ainda assim é armazenado e exibido sem ela. Você descreve como é uma boa conversa, e as conversas elegíveis são avaliadas de acordo com essa descrição depois que terminam. Os resultados aparecem nas análises e nos Chat Logs.

A avaliação é executada como parte da análise periódica de conversas, então os resultados não são instantâneos: uma conversa é processada assim que fica cerca de um dia sem atividade, e só são analisadas conversas em que o visitante enviou pelo menos duas mensagens — uma troca de uma única pergunta nunca é avaliada.

Definindo Critérios de Sucesso

Abra a página Configurações → Outcomes do seu agente e escreva seus critérios em linguagem simples, com até 1.000 caracteres. Por exemplo:

The visitor's question was answered or their issue was resolved
without needing a human.

Para pular a avaliação completamente, deixe o campo vazio e não defina nenhum campo de extração — qualquer um dos dois mantém a avaliação ativa. Os critérios são aplicados quando uma conversa é analisada, não quando você salva: conversas que ainda não foram analisadas (incluindo as mais antigas, ou todas assim que você fizer upgrade) são avaliadas de acordo com os critérios em vigor no momento da análise, e conversas já analisadas só são revisitadas se receberem novas mensagens.

Como Funciona a Avaliação

Quando uma conversa é analisada, a transcrição e seus critérios são passados para um modelo. Conversas muito longas são truncadas antes da avaliação — cada mensagem é limitada a 2.000 caracteres e a transcrição inteira a 20.000, mantendo o início — portanto, em uma conversa incomumente longa, uma resolução que ocorra bem no final pode ficar fora do que o modelo vê. O modelo retorna:

• outcome - success, failure ou unknown. unknown é usado quando a transcrição não fornece um sinal confiável em nenhuma direção.
• rationale - uma frase, com até 300 caracteres. O modelo é instruído a evitar nomes, endereços de e-mail, números de telefone, números de pedido e outros valores identificáveis, mas isso é best-effort — o texto retornado é armazenado como está, sem um processo de redação forçado — portanto, trate as rationale como potencialmente contendo detalhes da conversa.

Coletando Dados das Conversas

Na mesma página de configurações, você pode definir até 10 campos de extração — por exemplo, um endereço de e-mail ou um número de pedido. Cada campo tem:

Use string para identificadores como números de pedido, chamado ou cliente, mesmo quando parecerem numéricos: um campo number passa pela coerção numérica do JavaScript, que descarta zeros à esquerda e pode arredondar silenciosamente identificadores com mais de cerca de 15 dígitos. Reserve number para quantidades genuínas.

Escreva a descrição como uma regra de reconhecimento, não como um desejo. O modelo é instruído a registrar um campo apenas quando o visitante realmente forneceu o valor, e a nunca adivinhar ou inferir um valor, e valores vazios são descartados em vez de armazenados. Isso é uma instrução, não uma etapa de verificação — os valores extraídos não são conferidos com a transcrição, portanto trate-os como dados não verificados derivados da conversa, e não como fatos confirmados, e valide tudo aquilo sobre o que você agir posteriormente.

Disponibilidade por Plano

Você pode escrever critérios e adicionar campos em qualquer plano. A avaliação em si requer análises avançadas: "Você já pode definir seus critérios agora — começaremos a avaliar as conversas assim que seu workspace estiver no plano Pro."

Até lá, nada é avaliado, nenhuma justificativa é escrita e nenhuma taxa de resolução aparece. Sua configuração salva entra em vigor no momento em que o workspace for atualizado.

Lendo a Taxa de Resolução

O cartão Resolution rate em Analytics mostra:

• A taxa - sucessos divididos pelas conversas que receberam um veredito decidido, como uma porcentagem. Em outras palavras, success ÷ (success + failure).
• Vereditos unknown são excluídos da taxa. Contá-los reduziria o número para conversas que o modelo não conseguiu julgar em nenhuma direção. Eles ainda são contados no total avaliado mostrado abaixo da taxa, ao lado da contagem decidida.
• Um link "Ver falhas" que abre os Chat Logs filtrados para as conversas com falha, para que você possa ler o que deu errado.

Se nada foi avaliado ainda, o cartão é substituído por uma solicitação para configurar os outcomes.

Quando você restringe as análises a um período, a associação de uma conversa a esse período segue o momento em que ela começou, não o momento em que foi avaliada — uma conversa avaliada hoje atualiza os números do período em que começou.

Dicas Práticas

1. Descreva a vitória do visitante, não o comportamento do agente - "o problema foi resolvido" é melhor do que "o agente foi educado"
2. Nomeie também o caso de falha - diga o que conta como um erro para que conversas limítrofes não caiam todas em unknown
3. Comece sem campos de extração - adicione-os quando os vereditos parecerem corretos
4. Leia as falhas semanalmente - a justificativa junto com a transcrição geralmente aponta para uma fonte ausente

Próximos Passos

• Voltar à visão geral de analytics
• Leia as conversas com falha nos Chat Logs