Los equipos de 1MillionBot y Lucentia Lab han mantenido una sesión de trabajo en torno al análisis del data que genera un chatbot.
Lucentia ha llevado a cabo un análisis de una muestra del corpus de datos anonimizados del chatbot Lola (horóscopos) en total 10.051 conversaciones distintas y 96.414 mensajes.
El objetivo principal ha siso profundizar sobre la eficiencia de la IA en las conversaciones reales. El trabajo ha sido llevado a cabo por: Juan Carlos Trujillo, Alejandro Maté, Jose M. Barrera y Alejandro Reina.
Algunas conclusiones de la sesión de trabajo conjunta:
- La tecnología y metodología de 1MillionBot permite que las respuestas con «peor score», ejemplo preguntas con muchas intenciones, historias personales… son eficientes a través de un diseño que permite cubrir los objetivos ajustados a la función del chatbot.
- La metodología de Lucentia Lab permite identificar órdenes directas que no tienen la respuesta deseada. Ejemplos: identificación de hábitos de usuario (user experience) al usar la palabra “menu” o “éxito” y no tener intención asociada, salen de la conversación.
- El estudio confirma que las intenciones principales del chatbot funcionan correctamente
- Se identifica la capacidad de mejorar la respuesta mediante una corrección de mensajes previo envío al servidor ya que gran parte de los fallos del chatbot corresponden a faltas de ortografía de los usuarios.
- Debate sobre exceso de intenciones vs eficiencia de las respuestas ofrecidas por la IA.