Un informe sobre los beneficios de la IA estaba supuestamente lleno de alucinaciones de IA
En octubre del año pasado, KPMG publicó un informe titulado Experiencia Total: Redefiniendo la Excelencia en la Era de la IA Agente, que trataba sobre cómo las empresas están utilizando la IA para atender las necesidades de los clientes. KPMG es una de las 'Cuatro Grandes' firmas de servicios profesionales y contabilidad en el mundo, junto con Deloitte, PricewaterhouseCoopers y Ernst & Young. Sin embargo, aparentemente, ese informe estaba lleno de alucinaciones de IA e incluía ejemplos de IAs agentes que o bien no existían o no tenían las capacidades que KPMG afirmaba en el documento. Investigadores de GPTZero, creador de una herramienta de detección de contenido de IA, encontraron inexactitudes y notas al pie falsas en todo el informe, que también fueron verificadas por el Financial Times. En su informe de la investigación, GPTZero dijo que solo cinco citas de 45 en el documento apuntaban con precisión a fuentes reales. Un total de 28 citas parafrasearon títulos o añadieron componentes falsos a fuentes reales, mientras que 12 estaban formuladas de manera demasiado vaga para determinar si realmente existían. GPTZero llamó a la creación de referencias falsas por parte de modelos de IA 'citas de ambiente'. Además de las citas falsas o inexactas, los investigadores también encontraron que aproximadamente la mitad de las afirmaciones en el documento eran falsas o mal atribuidas. Eran 'probablemente el resultado de que una herramienta de investigación de IA cumpliera en exceso con una solicitud para encontrar ejemplos de 'IA agente' en la naturaleza,' escribió GPTZero. En un ejemplo, KPMG afirmó que Emirates lanzó un chatbot móvil llamado Sara que puede hablar con los pasajeros y cambiar sus vuelos. Sara fue un asistente móvil lanzado en 2023 y no un chatbot impulsado por IA, y además no tenía el poder de modificar reservas para los pasajeros. KPMG también afirmó que el banco de inversión multinacional suizo UBS integró IA agente en su 'asesoría de inversiones, gestión de riesgos y monitoreo de cumplimiento.' El banco dijo al Times que la información era 'factualmente incorrecta.' En otro ejemplo, KPMG dijo que los Ferrocarriles Federales Suizos (SBB) tienen agentes de IA que pueden ayudar a los pasajeros a planificar, reservar y optimizar sus viajes basándose en preferencia, condiciones en tiempo real e impacto de carbono. Un portavoz de SBB dijo que eso no era 'exacto.' Los documentos de empresas como KPMG suelen ser citados en otros documentos de investigación y artículos, ya que se consideran fuentes altamente confiables. El director ejecutivo de GPTZero, Edward Tian, explicó que los documentos llenos de errores publicados por las Cuatro Grandes podrían 'envenenar el pozo de información' y podrían llevar a alucinaciones de IA de segunda mano. Un portavoz de KPMG declaró al Times que la empresa 'toma en serio la precisión e integridad de su contenido publicado.' Desde entonces, KPMG ha retirado el documento y ahora está 'revisando las circunstancias.
