
44
Foro-ia
Asimismo, la utilización de agentes virtuales, alimentados con IA
Generativa, conlleva un aumento del volumen y las fuentes de
procedencia de los datos empleados (tanto para el entrenamiento de
los modelos cómo para su explotación) y más velocidad de gestión y
procesamiento de los mismos, lo que obliga a extremar los controles
de gobierno del dato y ciberseguridad.
Por otro lado, existen desafíos asociados a las características propias
de esta tecnología, y es que seguimos sin tener un control total y
absoluto de las respuestas que puedan darnos los asistentes y
agentes basados en LLMs.
A finales de 2023, la startup Vectara, lanzó su
LLM Hallucination
Leaderboard
9
en un esfuerzo por cuantificar el problema de las
alucinaciones en los grandes modelos de lenguaje. Llegó a la
conclusión de que modelos como GPT-4 Turbo y GPT-4 eran bastante
precisos; sin embargo, no desaparecía por completo el riesgo de que
estos cometieran errores u ofrecieran detalles “inventados”. En su
última revisión (mayo de 2024) esos casos arrojaban un porcentaje
de imprecisiones de un 2,5 y un 3% respectivamente, aunque en otros
modelos estas podían alcanzar hasta un 22%.
A medida que estos sistemas avancen y se vuelvan más sofisticados,
estos riesgos se verán minimizados, pero estamos aún lejos de acabar
con ellos por completo ―si es que lo logramos algún día―. De hecho,
esta es una de las principales excusas para limitar su despliegue: que
la máquina se equivoque al lanzar una oferta a un cliente, o que
acabe comunicándose en un tono que no es coherente con la marca
o faltando al respeto a un usuario puede representar serios riesgos
reputacionales y económicos que nadie quiere correr.
En la actualidad, estos obstáculos pueden superarse con técnicas
como el ya mencionado RAG (o
Retrieval Augmented Generation,
por
sus siglas en inglés) o el
Reinforcement Learning from Human
Feedback
(RLHF), en el que hay personas que revisan las respuestas
de la máquina y las califican o proporcionan comentarios detallados
sobre su calidad, coherencia o relevancia para para ajustar y entrenar
el modelo. Otro procedimiento también interesante para reducir el
riesgo de errores e imprecisiones son los
system prompts
, que son
instrucciones predefinidas que se añaden automáticamente a
prompt
que introduce el usuario para guiar el comportamiento del
chatbot y evitar que responda de manera inapropiada.