Descubrimiento de patronus AI: Limitaciones de los modelos de IA en análisis financieros
Patronus AI, una empresa emergente en el campo de la inteligencia artificial (IA), ha revelado limitaciones significativas en los modelos de IA al analizar los archivos de la Comisión de Bolsa y Valores (SEC). Este descubrimiento, informado por CNBC el martes (19 de diciembre), destaca los desafíos que enfrentan los modelos de IA, subrayando la necesidad de mejoras para satisfacer las demandas de industrias reguladas, especialmente en finanzas.
El estudio se centró en modelos de lenguaje de gran escala (LLMs), que se utilizan comúnmente para analizar los archivos de la SEC. Se descubrió que incluso la configuración de modelo de IA más eficiente solo logró una precisión del 79% al responder preguntas proporcionando el archivo completo junto con la pregunta.
Un problema importante identificado fue la tendencia de los modelos de IA a negarse a responder preguntas o proporcionar información incorrecta que no está presente en los archivos de la SEC. Esta falta de precisión y fiabilidad es preocupante, especialmente en industrias reguladas donde la precisión es crucial.
La industria financiera valora la capacidad de extraer rápidamente datos importantes y analizar narrativas financieras. Si los modelos de IA pudieran resumir con precisión los archivos de la SEC o responder rápidamente preguntas sobre su contenido, podrían proporcionar una ventaja competitiva en el sector financiero.
Sin embargo, la incorporación de modelos de IA en la industria no ha estado exenta de desafíos. Uno de los principales retos señalados por Patronus AI es la naturaleza no determinista de los LLMs, lo que implica que estos modelos no producen consistentemente el mismo resultado para la misma entrada, haciendo esencial una prueba rigurosa para garantizar resultados precisos y fiables.
Patronus AI, fundada por Anand Kannappan y Rebecca Qian, tiene como objetivo abordar este desafío automatizando la prueba de LLMs con software.
A pesar de los retos y limitaciones identificados en el estudio, los cofundadores de Patronus AI se mantienen optimistas sobre el potencial de los LLMs para asistir a profesionales en la industria financiera. Creen que con mejoras continuas, estos modelos pueden ofrecer un soporte valioso a analistas e inversores. Sin embargo, por ahora, la intervención humana es necesaria para garantizar la precisión y fiabilidad.
PYMNTS Intelligence ha encontrado que los chatbots financieros están evolucionando en solucionadores de problemas altamente capaces. En el futuro de la banca al consumidor, los asistentes digitales no solo escucharán, sino también entenderán y anticiparán las necesidades de los consumidores, según “AI and Banking’s New Dawn: From Conversations to Conversions”, una colaboración entre PYMNTS y Galileo.