El mundo funciona con lo que llamo confianza ciega calificada. Es decir, no conocemos a las personas detrás de la mayoría de nuestros sistemas diarios, pero confiamos en que cocinen nuestra comida, manejen nuestro dinero, nos den recetas o incluso piloten nuestros aviones. Confiamos en ellos no porque nos dijeran que debíamos hacerlo, sino porque confiamos en la formación, pruebas y evaluación y certificación frecuentes necesarias para mantener sus roles. Así que cuando alguien pregunta por qué deberías confiar en otro chatbot de IA como Suwali, bueno, no deberías porque te lo pedimos.
En su lugar, deberías preguntar: "¿Confío en el proceso que ha seguido el chatbot?"
Como la confianza se gana confiando en el proceso, queremos mostrarte, en este blog, varias de las muchas formas en que evaluamos Suwali antes de decidir que podía funcionar para ti. Hay tres componentes clave para evaluar Suwali y chatbots similares: un conjunto de datos de oro, evaluaciones automatizadas y evaluaciones humanas.
El conjunto de datos de oro
El conjunto de datos de oro es la base de nuestras evaluaciones de Suwali. Se llaman de oro porque representan el estándar con el que medimos las respuestas de Suwali. Los conjuntos de datos fueron desarrollados por nuestros Gerentes de Programa regionales, con varios teniendo aportes de socios regionales que son todos hablantes nativos o fluidos de hindi, árabe, portugués brasileño, inglés y francés. Estos conjuntos de datos consisten en preguntas reales sobre una amplia gama de temas, desde las leyes locales de contaminación hasta la seguridad global de IA, pasando por la salud reproductiva hasta guerras en curso. Todas las preguntas que esperamos que un usuario de Suwali pregunte. Las preguntas se emparejan con una respuesta escrita por humanos, que llamamos la respuesta de oro, formada usando fuentes escritas por humanos seleccionadas. Las mismas preguntas se posan a Suwali, y evaluamos cada una de sus respuestas con un conjunto diverso de pruebas.
Evaluaciones automatizadas
Me gusta pensar en Suwali como un estudiante que responde preguntas aprendiendo de la lectura y del conocimiento de usuarios de confianza. Los estudiantes se someten a pruebas regulares para asegurar que están cumpliendo las expectativas y nosotros hacemos lo mismo. Las pruebas consisten en evaluaciones tanto automatizadas como con humanos en el proceso que cubren todos los aspectos de las operaciones de Suwali. Estos se dividen en dos áreas que queríamos asegurarnos de que Suwali hiciera bien: recuperación y generación.
La recuperación es el paso donde el estudiante va a la biblioteca a buscar los libros correctos, y Suwali es como tener un bibliotecario dedicado que ayuda al estudiante a "recuperar" los libros correctos para la pregunta entre los cientos o miles de libros. Evaluamos la capacidad de recuperación sabiendo que hay exactamente tres libros en la biblioteca que responden nuestras preguntas. El bibliotecario también puede traer otros libros que cree que pueden ser útiles, por lo que podemos verificar los 5 mejores libros recomendados. Si traen los 3 libros dentro de sus 5 principales, obtienen el 100%; si solo traen 2, eso es un 66% (⅔), lo que se llama recall@5 en la jerga técnica. Así es exactamente como evaluamos si Suwali está encontrando la información correcta para basar sus respuestas, y estamos orgullosos de decir que Suwali alcanza el 83% en todos los conjuntos de datos.
Con los libros que el bibliotecario trajo, el estudiante puede ahora comenzar a responder su pregunta de ensayo. Este paso, donde se sintetiza una gran cantidad de información, se llama generación en Suwali. Evaluar la respuesta generada es complicado porque dos estudiantes diferentes pueden presentar la misma información de maneras muy diferentes. Si se le pregunta sobre el tema: "¿Describe cómo obtienen su energía las plantas?" Uno puede escribir "las plantas obtienen energía de la luz solar" mientras el otro responde "las plantas convierten la luz solar, el agua y el dióxido de carbono en carbohidratos y oxígeno". Ninguno está mal, ya que ofrecen dos respuestas correctas pero diferentes con grados variables de hechos. Las respuestas LLM también no tienen una única respuesta correcta, y las mejores evaluaciones terminan siendo "depende", lo que significa que no simplemente comparamos la respuesta de Suwali con la respuesta de oro. Evaluamos la generación de forma más holística usando una variedad de evaluaciones automatizadas y con humanos en el proceso.
Para hacer una tarea subjetiva ligeramente repetible, pedimos a los autores del conjunto de datos de oro que incluyan una lista de hechos que la respuesta debe incluir para ser considerada correcta. Similar a cómo un ensayo sobre la misma pregunta puede obtener los mismos puntos al presentar la misma información de manera diferente. Llamamos a esto la puntuación de completitud de hechos, que logramos 84% antes de lanzar Suwali.
Vamos un paso más allá para probar que Suwali no respondió únicamente de su conocimiento interno al evaluar la fundamentación de su respuesta comparándola con los documentos recuperados, como un maestro podría juzgar cuán bien están formadas las respuestas basándose en una lista de lecturas asignadas. Hacemos esto usando la métrica homónima groundedness, que corresponde aproximadamente a una puntuación basada en el porcentaje de fuentes recuperadas en las que aparece la respuesta. Esta métrica alcanzó solo el 70% antes del lanzamiento, dándonos margen para mejorar la respuesta.
Evaluaciones humanas
El último paso de la evaluación es el supremo, por un oráculo omnisciente, desde la perspectiva de Suwali, los autores originales del conjunto de datos de oro. Invitamos a los autores a juzgar a ciegas cuatro versiones de cada respuesta generada por cuatro modelos diferentes. Votaron sobre las respuestas, y desplegamos el modelo que recibió más votos. Sus votos se basaron en una serie de evaluaciones: si el tono era adecuado para el contexto (una sala de redacción debe ser más factual y formal, mientras que una organización de salud más empática), si la respuesta se ajusta al uso natural del idioma y, lo más importante, cuál simplemente se leía mejor al responder la pregunta. Esta evaluación es ciertamente subjetiva, pero fue importante asegurarse de que las respuestas satisfagan las necesidades de los usuarios desde perspectivas regionales y lingüísticas.
La evaluación de Suwali no fue una tarea única, sino un proceso recurrente que realizamos para asegurar que pudiéramos rastrear el rendimiento de Suwali. Constantemente estamos ampliando nuestros conjuntos de datos de oro con nuevas áreas temáticas y preguntas más difíciles. También estamos constantemente añadiendo nuevas métricas para evaluar cualidades que nuestras métricas actuales pierden, como la seguridad, la adherencia al idioma y qué tan bien Suwali se niega a contestar. La evaluación de Suwali es una rigurosa y repetible evaluación que hemos construido para garantizar que la versión que estás usando cumpla con el estándar que esperamos.
