¿Cómo probar chatbots en el marco Rasa?

Los chatbots están en todas partes, por lo que la calidad de la conversación que brindan debe recibir una importancia cada vez mayor.

Los chatbots son las nuevas aplicaciones. Son la nueva interfaz con la que los usuarios pueden interactuar para obtener un servicio en particular. Al igual que en el caso de las aplicaciones móviles, la experiencia del usuario y la calidad deberían ser el objetivo principal de los desarrolladores.

La variedad de herramientas no es tan abundante como en el caso de las interfaces web y móviles y muchos desarrolladores piensan que las conversaciones de prueba son los testing más difíciles que existen. El principal problema es que las conversaciones son confusas. No podemos obligar al usuario a seguir el happy path que hemos diseñado.

La mayoría de las plataformas de chatbots no proporcionan todas las herramientas necesarias para mejorar la calidad de la conversación. Por ejemplo, en DialogFlow podemos evaluar la calidad de las intenciones, con respecto a si fallan o tienen éxito en la conversación, pero eso es todo. No podemos profundizar más y obtener más información, la cual sí es necesaria para proporcionar una mejor interfaz de conversación.

El framework Rasa es diferente porque proporciona más herramientas para desarrolladores y evaluadores. Podemos probar los chatbots de muchas formas y entender cómo mejorar. Podemos escribir historias de prueba, evaluar el modelo nlu, verificar su desempeño, evaluar la intención o el desempeño de la entidad. El objetivo de este artículo es ofrecer una descripción general de esas herramientas.

Los pasos que debemos seguir para probar un chatbot se ilustran en la siguiente lista de verificación:

Confirmar datos e historias

Este es el primer paso que debemos dar antes de presionar el botón del train en Rasa. El comando

Comprueba las incoherencias en las historias o el modelo nlu. Si los hay, es posible que el modelo no entrene o tenga un mal rendimiento por lo que es bueno usarlo antes del entrenamiento para ahorrarte molestias innecesarias.

Escribir historias de prueba

Las historias de prueba son parte del desarrollo impulsado por la conversación del que hablé antes en el artículo titulado “I’m learning all the time — conversation-driven development in a chatbot for Erasmus students with Rasa framework”. Las historias de prueba se escriben en forma de conversaciones ejemplares para comprobar si el bot se comportará como se esperaba.

Puedes escribirlos en el archivo de historias de prueba en la carpeta del proyecto o si tienes Rasa X implementado en el servidor externo, puedes generar historias mientras interactúas con el chatbot.

Una vez que tengas un buen conjunto de casos de prueba, puedes ejecutar:

Debes tener el hábito de agregar nuevas historias a medida que tu chatbot crece y aprende. No es algo que puedas hacer de vez en cuando y luego olvidarte de ello.

Estoy planeando escribir un artículo sobre cómo escribir buenos casos de pruebes y testing.

Prueba el modelo NLU

Tu archivo NLU contiene todos los ejemplos de entrenamiento con los que está entrenado tu chatbot. En la vida real, el bot encontrará los ejemplos que, por supuesto, no están en el conjunto de entrenamiento. Es por eso que debes dividir tus datos para realizar pruebas y simular ese tipo de situación.

Una vez que se dividen tus datos, puedes verificar la tasa de predicción de tu modelo.

Una vez completada la prueba, puedes encontrar los resultados en la carpeta de resultados del proyecto. Si deseas probar más el chatbot, puedes usar la validación cruzada.

Evaluar el modelo de diálogo y verificar la configuración de la política

Puedes verificar tu modelo de diálogo en un grupo de historias de prueba.

Este comando generará un informe sobre historias fallidas y una matriz de confusión para cada historia, independientemente de si fallaron o no.

Podemos probar la configuración de la política de manera similar. Las políticas son modelos previamente entrenados que puedes utilizar en tu formación. Evaluar tu rendimiento te ayudará a decidir qué configuración es la mejor para tu chatbot.

Puedes crear dos o más archivos de configuración para comprobar qué conjunto de modelos funciona mejor.

Rasa te proporciona las herramientas necesarias para evaluar la calidad de la conversación. Gracias a eso, puedes brindar a los usuarios una mejor experiencia mientras usan tu chatbot.