Microsoft hace que sea más difícil para los usuarios engañar a los chatbots de IA

Índice
  1. Que quieres saber
  2. Detectar alucinaciones será más fácil

Que quieres saber

  • Microsoft finalmente tiene una solución para las técnicas de ingeniería engañosas que engañan a los chatbots para que se salgan de control.
  • También lanzó una herramienta para ayudar a los usuarios a identificar cuándo un chatbot está alucinando mientras genera respuestas.
  • También ofrece métricas elaboradas para ayudar a los usuarios a mejorar su ingeniería rápida.

Una de las principales preocupaciones que pesan sobre la adopción generalizada de la IA generativa es la seguridad, la privacidad y la confiabilidad. Los dos primeros han causado estragos en el panorama de la IA en los últimos meses, desde imágenes virales falsas generadas por IA de la estrella del pop Taylor Swift apareciendo en línea hasta usuarios que desatan el interior de la bestia Microsoft Copilot, Supremacy AGI, que exige ser adorado y muestra su superioridad sobre la humanidad. .

Afortunadamente, parece que Microsoft tiene una solución, pero para algunos de estos problemas. Como se compartió recientemente, la compañía está presentando nuevas herramientas para su sistema Azure AI, diseñadas para mitigar y contrarrestar los ataques de inyección rápida.

Según Microsoft:

“Los ataques de inyección rápida se han convertido en un desafío importante, donde actores maliciosos intentan manipular un sistema de inteligencia artificial para que haga algo fuera de su propósito previsto, como producir contenido dañino o filtrar datos confidenciales. »

Detectar alucinaciones será más fácil

Imagen en píxeles de un robot escribiendo en un escritorio con plantas y un bloc de notas.

(Crédito de la imagen: Bing Image Creator)

Las alucinaciones han sido uno de los principales retos a los que se han enfrentado los chatbots basados ​​en IA durante su aparición. lo tenian asi bardo Lástima que Microsoft haya tenido que imponer límites de caracteres a su herramienta para mitigar los episodios graves de alucinaciones.

Aunque Microsoft Copilot es significativamente mejor, eso no significa necesariamente que el problema no persista ocasionalmente. Como tal, Microsoft está lanzando GroundednessDetection, diseñado para ayudar a los usuarios a identificar alucinaciones textuales. La función detectará automáticamente "elementos sin fundamento" en el texto para respaldar la calidad de los resultados del LLM, promoviendo así la calidad y la confianza.

(Crédito de la imagen: Microsoft)

Los usuarios que se suben a la ola de la IA a menudo comparan ChatGPT de OpenAI con Microsoft Copilot, citando que el primero ofrece un mejor rendimiento. Sin embargo, Microsoft refutó recientemente estas afirmaciones y afirmó que los usuarios no están aprovechando las capacidades de Copilot AI como se esperaba.

Microsoft citó la falta de conocimientos técnicos adecuados y la renuencia a utilizar nuevas versiones de aplicaciones como las principales razones por las que la mayoría de los usuarios afirmaron que ChatGPT era mejor que Copilot AI. La empresa utiliza vídeos para intentar dotar a los usuarios de estas habilidades; se basa en este principio con Azure AI, que permite a los usuarios “basar modelos básicos en fuentes de datos confiables y crear mensajes del sistema que guían el uso óptimo de estos datos básicos y el comportamiento general”.

La compañía dice que los cambios sutiles en un mensaje mejoran significativamente la calidad y seguridad del chatbot. Microsoft planea integrar plantillas de mensajes del sistema de seguridad directamente en Azure AI Studio y Azure OpenAI Service para ayudar a los usuarios a crear mensajes efectivos del sistema.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir