Nueva sesión de trabajo de los equipos de 1MillionBot y Lucentia Lab para avanzar en el análisis de datos generados por chatbots.
Lucentia Lab ha analizado una muestra del corpus de datos anonimizados del chatbot Carina (COVID-19), con un total de 69.284 conversaciones distintas y 212.953 mensajes, con el fin de profundizar en la eficiencia de la IA en las interacciones con el usuario, así como las dudas de éstos en relación al COVID-19. El trabajo ha sido realizado por Juan Carlos Trujillo, Alejandro Maté, José M. Barrera y Alejandro Reina.
Algunas conclusiones de la sesión de trabajo:
- La tecnología y metodología de 1MillionBot permite que las respuestas sean eficientes a través de un diseño personalizado que permite cubrir los objetivos ajustados a la función del chatbot Carina.
- La metodología de Lucentia Lab permite identificar cómo de precisa está siendo la interacción del usuario con la inteligencia artificial (llamadas “intenciones”), conocer preguntas que no tienen la respuesta deseada, o respuestas no deseadas que hacen que el usuario abandone la interacción con el chatbot, además de identificar los patrones de conversaciones o visualizar la evolución de las interacciones con el chatbot a lo largo del tiempo. Dicha información puede ser consultada a partir de un cuadro de mando o dashboard facilitando la comprensión y visualización de la información y ayudando a la toma de decisiones y la evolución del chatbot en el día a día.
- El estudio confirma que las intenciones principales del chatbot funcionan correctamente.
- Se identifica la capacidad de mejorar la respuesta mediante una corrección de mensajes previo envío al servidor ya que gran parte de los fallos del chatbot corresponden a errores gramaticales u ortográficos de los usuarios.
- Los usuarios han tratado el tema con seriedad: un 88% de las conversaciones tenían al menos una pregunta relacionada con el COVID-19.
- Las dudas y preguntas de los usuarios han ido evolucionando según avanzaba la pandemia, desde el número de casos y cómo saber si se estaba infectado; hasta cuáles eran las medidas de protección y cómo ha avanzado la investigación.
La anticipación de 1MillionBot en la construcción del chatbot antes de la declaración del estado de alarma ha permitido dar una respuesta a un gran número de usuarios a nivel mundial cuando éstos más dudas tenían. De hecho, el estudio indica que en el momento de inicio del estado de alarma y los días posteriores es el período en que más se ha interactuado con Carina.