Cuando Morgan Stanley anunció la semana pasada sus nuevas herramientas de apoyo basadas en la inteligencia artificial (IA) generativa para asesores financieros, habló de ganar eficiencia a partir de sus capacidades de toma de notas. Pero quienes siguen la pista de la firma financiera de 54.000 millones de dólares dicen que su objetivo es mucho mayor.
El objetivo anunciado de Debrief, una de las herramientas de IA generativa que la empresa está desarrollando para sus asesores financieros, es grabar, transcribir y resumir los puntos clave de las más de un millón de conferencias telefónicas que los empleados de Morgan Stanley realizan cada año.
Desarrollada por OpenAI, la herramienta Debrief también creará un correo electrónico que el asesor financiero podrá editar y enviar a su discreción, y grabará una nota sobre la llamada en el sistema Salesforce de la consultora.
Pero lo que hace que la medida sea potencialmente poderosa no es la captura y el resumen a través de la IA, ya que las empresas llevan años haciéndolo a través de dispositivos Apple y Android, conferencias telefónicas de Zoom, Microsoft y Google, y una amplia gama de aplicaciones independientes. El verdadero beneficio vendrá de que todos los empleados y contratistas de Morgan Stanley utilicen exactamente el mismo paquete para esos resúmenes, lo que significa que los datos estarán todos en el mismo formato y, por tanto, podrán analizarse de forma exhaustiva.
Esto significará, en teoría, que la dirección de Morgan Stanley podrá ver el análisis de cada llamada realizada en toda la empresa, a menudo a los pocos minutos de finalizar la llamada. ¿Están diciendo lo que la empresa quiere que digan? ¿Qué destacan o ignoran los clientes? ¿Qué preguntan los clientes y ha cambiado su opinión con respecto al mes pasado?
Análisis en profundidad
Aaron Cirksena, fundador y consejero delegado de MDRN Capital, afirma que el valor real de este movimiento para Morgan Stanley es obtener una visión analítica global en profundidad, basándose en la coherencia de datos esperada a través de una oferta centralizada.
“Mejorará mucho su análisis de datos. Básicamente, se trata de un ‘Gran Hermano’, porque van a tener un ojo puesto en cada una de sus conversaciones”, afirma Cirksena. “¿Hablaron nuestros empleados realmente de lo que se les dijo que hablaran?”.
Jonathan Murray, director de Estrategia de la empresa de marketing Mod Op, coincidió en que el movimiento de Morgan Stanley con la IA tiene un importante potencial analítico. “Las interacciones que la mayoría de las empresas tienen con sus clientes suelen ser una fuente de información sin explotar. Morgan Stanley está señalando cómo los nuevos modelos de lenguaje de gran tamaño permiten ahora que estas interacciones se conviertan en una rica fuente de información que todas las organizaciones querrán aprovechar”, afirmó Murray.
La ejecutiva residente Monica Richter, colega de Murray en Mod Op, añadió que el valor potencial dependerá de la profundidad con la que los ejecutivos de Morgan Stanley analicen sus nuevos datos. “¿Utilizarán la IA para agregar lo que se escucha entre los clientes con el fin de generar ideas para la investigación o las órdenes de compra/venta? Si un cliente habló de empezar a crear una cuenta de jubilación, ¿ayudará la IA no sólo a tomar nota de esa solicitud, sino a responder automáticamente y enviar por correo electrónico artículos clave sobre cuentas individuales que coincidan con las necesidades de cartera del cliente?”, preguntó Richter.
Descubrimiento
Incluso si funciona exactamente como está previsto, algunos se preguntan si este análisis podría tener algún inconveniente para Morgan Stanley. Todos los datos a los que pueda acceder la empresa también pueden ser reclamados en litigios, señaló Rebecca George, directora general de la consultora de IA Slalom.
George se pregunta qué pasaría si alguien quisiera saber si Morgan Stanley asesora de forma diferente a sus clientes en función de su sexo, etnia o raza. “Aquí es donde la cultura y la ética empiezan a colisionar. Ahora todo se podrá descubrir. Esto supone un nuevo nivel de exposición. ¿Están dispuestos a ello?”.
Varios observadores también señalaron una extraña omisión en la declaración de Morgan Stanley: ninguna referencia a cómo se protegerán los datos sensibles de los clientes dada la naturaleza de los sistemas OpenAI.
“Los clientes van a preguntar: ‘¿Cómo nos protegen? Morgan Stanley necesita tener una estrategia” y discutirla públicamente, dijo HP Newquist, director ejecutivo de la consultora de IA The Relayer Group.
Los principales interrogantes en torno a la protección o la fuga de datos giran en torno a la forma en que Morgan Stanley aloja el código de OpenAI y a si la firma interactúa con las API de los servidores de OpenAI.
Cuando se les preguntó, las personas familiarizadas con la operativa de Morgan Stanley en este proyecto dijeron que esos detalles son confidenciales y no ofrecerían garantías de que esta aplicación no está interactuando con los servidores de OpenAI.
Peter Gaugenti, presidente de Tabnine, expresó serias preocupaciones sobre la protección de datos.
“Desde nuestra perspectiva, enviar datos a la API de otra empresa para su procesamiento y consumo ya no es privado”, dijo Gaugenti. “Sin embargo, haga caso omiso de nuestra perspectiva y pregúntese qué pensaría un cliente. ¿Se sentiría cómodo el cliente medio sabiendo que su llamada fue grabada, enviada por Internet a un tercero, y luego procesada por una plataforma de IA para documentar un resumen, y que esos datos fueron enviados de vuelta a su asesor financiero? ¿Consideraría el cliente típico que eso es privado?”.
Gaugenti dijo que Morgan Stanley debería ser transparente sobre cómo esta nueva aplicación protegerá los datos de los clientes. “Las conversaciones que tienes con tu asesor financiero son algunas de las más íntimas que puedes tener, y la información cubierta podría hacerte un daño tremendo si se expusiera. ¿Por qué aprobaría que se compartiera una grabación completa de esa conversación con una gran marca tecnológica de terceros, especialmente cuando la forma en que se procesa y utiliza esa información es una completa caja negra?”.
Implantación progresiva
El comunicado de Morgan Stanley hace hincapié en lo integrado que está diseñado este sistema.
“Lo que distingue a esta tecnología es que es la primera que se integra a la perfección en los flujos de trabajo de los asesores, por lo que no hay que alternar entre pantallas, un problema habitual para los trabajadores. Todas las interacciones con el cliente, con su consentimiento, se capturan y registran en nuestro CRM con facilidad”, explica la empresa. “Después de la reunión, resume los puntos clave, crea un correo electrónico para que un asesor lo edite y envíe a su discreción, y guarda una nota en Salesforce”.
Morgan Stanley ha estado experimentando con este recurso de IA generativa desde septiembre de 2023, un piloto que comenzó con 50 asesores financieros (FA) y finalmente trabajó con 300 asesores financieros revisando “cientos” de reuniones de clientes, según una fuente que trabaja con Morgan Stanley en el lanzamiento.
Esa fuente de Morgan Stanley se mostró dubitativa cuando se le preguntó por el objetivo de análisis global. “Ese no es el objetivo, al menos hoy”, dijo la fuente, añadiendo que los esfuerzos iniciales no serán necesariamente revisados por la empresa. “No tendremos (inicialmente) acceso al libro de una FA. Si quieren enviárselo a su director de sucursal, pueden hacerlo, pero no vamos a revisar el resultado técnico”, dijo la fuente.
Antes del lanzamiento de la nueva aplicación de IA, algunos asesores financieros tardaban una hora después de una llamada en limpiar sus notas. Y algunos ni siquiera tomaban notas, sino que pedían a un profesional de apoyo que acudiera a la reunión con el único fin de tomar notas y luego crear un resumen, explicó Koren Picariello, responsable de IA generativa y ejecución de Morgan Stanley Wealth Management, que gestionó el proyecto.
Este esfuerzo de IA “devolverá tiempo a ese profesional de apoyo, tiempo que podrá emplear de forma más valiosa”, afirmó Picariello en una entrevista con CIO.com.
Otros riesgos potenciales
Otras personas del sector especularon sobre posibles problemas técnicos que podrían tener que resolverse.
“¿Qué ocurre cuando alguien en la reunión dice ‘olvídalo’ o ‘ignóralo’? Eso podría suponer efectivamente un riesgo de inyección rápida. Pero la alucinación es el riesgo más destacado que surge al resumir una conversación y los puntos de acción, porque los LLM se inventan cosas, lo cual es una responsabilidad. Podría llevar a conclusiones erróneas y decisiones equivocadas”, afirma Yossi Altevet, CTO de DeepKeep. “El rendimiento es otro riesgo importante, porque un LLM que no resuma correctamente -como, por ejemplo, omitir información o colocar mal un énfasis- acabará llevando a una conclusión errónea, a la insatisfacción del cliente y a la pérdida de clientes”. Altevet también señaló los riesgos derivados del tratamiento de información de identificación personal, como filtraciones o “sacar conclusiones basadas en información personal que conduzcan a sesgos e incumplimientos”.
Otra preocupación es cómo se verificarán los resúmenes generados. Al principio, es probable que el personal de Morgan Stanley sea muy meticuloso a la hora de verificar lo que ofrece la aplicación, sobre todo asegurándose de que no se ha pasado por alto nada importante. Con el tiempo, sin embargo, según Cirksena, es posible que la gente empiece a confiar demasiado en la aplicación y deje de dedicar tiempo a la verificación.
“¿Quitarán el pie del acelerador?”. pregunta Cirksena. “Es propio de la naturaleza humana que con el tiempo empiecen a flojear”. “Morgan Stanley necesitará mandatos que las revisiones no puedan cambiar en el futuro”.
Cirksena también planteó la posibilidad de desplegar aún más IA para vigilar la IA. Por ejemplo, los empleados también podrían tomar notas desde Zoom u otros medios y, a continuación, utilizar otra IA para comparar los dos resultados y señalar las diferencias. “¿Qué probabilidades hay de que ambos sistemas de IA se equivoquen en lo mismo?”.
