Un informe sobre los beneficios de la IA supuestamente estaba lleno de alucinaciones de IA
En octubre del año pasado, KPMG publicó un informe titulado Experiencia Total: redefiniendo la excelencia en la era de la IA agente, que trataba sobre cómo las empresas están utilizando la IA para satisfacer las necesidades de los clientes. KPMG es una de las 'Cuatro Grandes' firmas de servicios profesionales y contabilidad en el mundo, junto con Deloitte, PricewaterhouseCoopers y Ernst & Young. Sin embargo, al parecer, ese informe estaba lleno de alucinaciones de IA e incluía ejemplos de IA agentes que o bien no existían o no tenían las capacidades que KPMG afirmó en el documento. Investigadores de GPTZero, el creador de una herramienta de detección de contenido de IA, encontraron inexactitudes y pies de página falsos por todo el informe, que también fueron verificados por el Financial Times. En su informe de investigación, GPTZero dijo que solo cinco citas de 45 en el documento apuntaban con precisión a fuentes reales. Un total de 28 citas parafrasearon títulos o agregaron componentes falsos a fuentes reales, mientras que 12 estaban expresadas de manera tan vaga que era imposible determinar si realmente existían. GPTZero calificó la creación de referencias falsas por modelos de IA como 'citación de vibra'. Además de las citas falsas o inexactas, los investigadores también descubrieron que aproximadamente la mitad de las afirmaciones en el documento eran falsas o estaban mal atribuidas. Era 'probablemente el resultado de una herramienta de investigación de IA que cumplió demasiado con una solicitud de encontrar ejemplos de 'IA agente' en la naturaleza', escribió GPTZero. En un ejemplo, KPMG afirmó que Emirates lanzó un chatbot móvil llamado Sara que puede hablar con los pasajeros y modificar sus vuelos por ellos. Sara era un asistente móvil lanzado en 2023 y no un chatbot impulsado por IA, y tampoco tenía el poder de cambiar reservaciones para los pasajeros. KPMG también afirmó que el banco de inversión multinacional suizo UBS integró IA agente en su 'asesoría de inversiones, gestión de riesgos y monitoreo de cumplimiento.' El banco le dijo al Times que la información era 'factualmente incorrecta.' En otro ejemplo, KPMG dijo que los Ferrocarriles Federales Suizos (SBB) tienen agentes de IA que pueden ayudar a los pasajeros a planificar, reservar y optimizar sus viajes según preferencias, condiciones en tiempo real y el impacto de carbono. Un portavoz de SBB dijo que eso 'no era preciso.' Los documentos de empresas como KPMG suelen ser citados en otros documentos de investigación y artículos, ya que se consideran fuentes altamente confiables. Edward Tian, director ejecutivo de GPTZero, explicó que los documentos llenos de errores publicados por las Cuatro Grandes podrían 'envenenar el pozo de información' y podrían llevar a alucinaciones de IA de segunda mano. Un portavoz de KPMG le dijo al Times que la empresa 'se toma en serio la precisión y la integridad de su contenido publicado.' KPMG desde entonces ha retirado el documento y ahora está.
