O mundo funciona baseado em algo que chamo de confiança cega qualificada. Ou seja, não conhecemos as pessoas por trás da maioria dos nossos sistemas diários, mas confiamos nelas para cozinhar nossa comida, guardar nosso dinheiro, dar nossas prescrições e até mesmo pilotar nossos aviões. Confiamos nelas não porque nos disseram para confiar, mas porque confiamos no treinamento, teste e avaliação e certificação frequente necessários para manter seus papéis. Então, quando alguém pergunta por que você deve confiar em outro chatbot AI como o Suwali, bem, você não deve, porque pedimos.
Em vez disso, você deveria perguntar: "confio no processo que o chatbot seguiu?"
Uma vez que a confiança é conquistada ao confiar no processo, queremos mostrar a você, neste blog, várias das maneiras pelas quais avaliamos o Suwali antes de decidir que ele poderia funcionar para você. Existem três componentes principais para avaliar o Suwali e chatbots similares: um conjunto de dados dourados, avaliações automáticas e avaliações humanas.
O conjunto de dados dourados
O conjunto de dados dourados é a base das nossas avaliações do Suwali. São chamados de dourados porque representam o padrão pelo qual medimos as respostas do Suwali. Os conjuntos de dados foram desenvolvidos por nossos Gerentes de Programa regionais, com vários tendo a contribuição de parceiros regionais que são todos falantes nativos ou fluentes de hindi, árabe, português brasileiro, inglês e francês. Esses conjuntos de dados consistem em perguntas reais sobre uma gama diversificada de tópicos, desde leis locais de poluição até segurança global de IA e de saúde reprodutiva a guerras em andamento. Todas as perguntas que esperamos que um usuário do Suwali faça. As perguntas são emparelhadas com uma resposta escrita por humanos, que chamamos de resposta dourada, formada usando fontes selecionadas escritas por humanos. As mesmas perguntas são feitas ao Suwali e avaliamos cada uma de suas respostas com um conjunto diversificado de testes.
Avaliações automáticas
Gosto de pensar no Suwali como um estudante que responde perguntas aprendendo a partir da leitura e do conhecimento de usuários confiáveis. Os estudantes fazem testes regulares para garantir que estão atendendo às expectativas e fazemos o mesmo. Os testes consistem tanto em avaliações automáticas quanto avaliações com humanos que cobrem todos os aspectos das operações do Suwali. Estes se dividem em duas áreas que queríamos garantir que o Suwali acertasse: recuperação e geração.
A recuperação é a etapa onde o aluno vai à biblioteca para procurar os livros certos, e Suwali é como ter um bibliotecário dedicado que ajuda o aluno a "recuperar" os livros certos para a questão entre centenas ou milhares de livros. Avaliamos a capacidade de recuperação sabendo que há exatamente três livros na biblioteca que respondem nossas perguntas. O bibliotecário também pode trazer outros livros que acha que podem ser úteis, então podemos verificar os 5 principais livros recomendados. Se trouxer todos os 3 livros dentro dos 5 principais, ganha 100%; se apenas 2 forem trazidos, isso é 66% (⅔), o que é chamado de recall@5 no jargão técnico. É exatamente assim que avaliamos se o Suwali está encontrando as informações certas para fundamentar suas respostas, e temos orgulho de dizer que Suwali consegue 83% em todos os conjuntos de dados.
Com os livros que o bibliotecário trouxe de volta, o estudante pode começar a responder à pergunta da redação. Esta etapa, onde uma grande quantidade de informação é sintetizada, é chamada de geração no Suwali. Avaliar a resposta gerada é complicado porque dois estudantes diferentes podem apresentar a mesma informação de maneiras muito diferentes. Se pedirem para responder à pergunta: "Descreva como as plantas obtêm sua energia?" Um pode escrever "plantas obtêm energia da luz solar" enquanto o outro responde "plantas convertem luz solar, água e dióxido de carbono em carboidratos e oxigênio". Nenhuma está errada, pois oferecem duas respostas corretas, mas diferentes, com graus variados de detalhes. As respostas de modelos de linguagem também não têm uma única resposta correta, e as melhores avaliações acabam sendo "depende," o que significa que não comparamos simplesmente a resposta do Suwali com a resposta dourada. Avaliamos a geração de forma mais holística usando uma série de avaliações automáticas e com humanos.
Para tornar uma tarefa subjetiva ligeiramente reproduzível, pedimos aos autores do conjunto de dados dourados que incluíssem uma lista de fatos que a resposta deve incluir para ser considerada correta. Semelhante a como um ensaio sobre a mesma pergunta pode ganhar os mesmos pontos apresentando a mesma informação de maneira diferente. Chamamos isso de pontuação de completude de fatos, que alcançamos 84% antes de lançarmos o Suwali.
Demos um passo a mais para testar se o Suwali não respondeu apenas com base em seu conhecimento interno, avaliando a fundamentação de sua resposta ao compará-la com os documentos recuperados, como um professor pode julgar quão bem as respostas são formadas com base em uma lista de leituras atribuídas. Fazemos isso usando a métrica epônima de fundamentação, que corresponde a aproximadamente a uma pontuação baseada na porcentagem de fontes recuperadas nas quais a resposta aparece. Essa métrica alcançou apenas 70% antes do lançamento, dando-nos espaço para melhorar a resposta.
Avaliações humanas
A última etapa da avaliação é a definitiva, por um oráculo onisciente, sob a perspectiva do Suwali, os autores originais do conjunto de dados dourados. Convidamos os autores para julgar cegamente quatro versões de cada resposta gerada por quatro modelos diferentes. Eles votaram nas respostas, e implantamos o modelo que recebeu mais votos. Os votos deles foram baseados em uma série de avaliações: se o tom adequava-se ao contexto (na redação jornalística ser mais factual e formal, enquanto em uma organização de saúde mais empático), se a resposta se encaixa no uso natural da linguagem, e mais importante, qual simplesmente leu melhor ao responder a pergunta. Essa avaliação é admitidamente subjetiva, mas foi importante garantir que as respostas atendessem às necessidades dos usuários sob a perspectiva regional e linguística.
A avaliação do Suwali não foi uma tarefa única, mas um processo recorrente que desenvolvemos para garantir que pudéssemos monitorar o desempenho do Suwali. Estamos constantemente expandindo nossos conjuntos de dados dourados com novas áreas temáticas e perguntas mais difíceis. Também estamos constantemente adicionando novas métricas para avaliar qualidades que nossas métricas atuais deixam de lado, como segurança, aderência à linguagem e quão bem o Suwali se recusa a responder. A avaliação do Suwali é uma avaliação rigorosa e repetível que criamos para garantir que a versão que você está usando atenda ao padrão que esperamos.
