Swami Sivasubramanian comparte ideas sobre la preparación para el futuro, la conexión y la democratización de los datos

Es la tercera vez que voy a AWS re:Invent, y este año llegué con un enfoque en el análisis de datos y la ciencia de datos con la esperanza de obtener una comprensión más profunda de las situaciones que nuestros clientes nos solicitan con frecuencia. Con las sesiones técnicas en las que me registré lo logré, pero me impresionó más la demanda de estas sesiones. La mayoría de las sesiones, si no todas, estaban completamente llenas. Los temas variaron mucho, pero hubo algunos hilos comunes en la mayoría de las sesiones a las que asistí. Las sesiones incluyeron debates sobre cómo los datos en los pipelines de ETL deben procesarse rápidamente antes de que se deprecie su valor, cómo las organizaciones necesitan resolver la escalabilidad al procesar grandes volúmenes de datos y la democratización de los datos. Estos temas volvieron a surgir durante la ponencia de Swami Sivasubramanian esta mañana.

Sivasubramanian, vicepresidente de datos y machine learning en AWS, ahondó en estos temas apelando a vívidas analogías de neurociencia y el cerebro humano, y lecciones aprendidas de las antiguas tribus indias que cultivaban raíces de árboles para construir puentes entre los valles. Sin embargo, a mí me cautivaron los paralelismos que expuso en su presentación sobre cómo los datos en las organizaciones pueden compararse con el proceso del pensamiento humano, y cómo los obstáculos dentro de las organizaciones impiden que los datos que se almacenan naturalmente en silos fluyan a través de vías analíticas.

Hubo tres temas principales a lo largo de la ponencia de Sivasubramanian que se abordaron como estrategias de datos modernas que todas las organizaciones pueden seguir. La primera fue la preparación para el futuro de una base de datos a fin de eliminar el trabajo pesado, la segunda trató sobre el tejido conectivo entre los silos y la tercera sobre la democratización de los datos en toda la organización, todas ellas haciendo referencia a las mismas analogías perspicaces con las que comenzó.

No muy lejos de la sesión, se hizo el primer gran anuncio de Amazon Athena para Apache Spark, una nueva capacidad que Athena tiene para análisis interactivos en Apache Spark, que permite a los usuarios crear aplicaciones Spark usando una interfaz de computadora portátil simplificada en la consola Athena o las API de Athena. Unos minutos más tarde, también se anunció Amazon DocumentDB Elastic Clusters, que brinda la capacidad de escalar y manejar cualquier cantidad de solicitudes de lectura/escritura con poco o ningún tiempo de inactividad.

La primera oradora invitada fue Rathi Murthy, directora de tecnología de Expedia Group y presidenta de productos y tecnología de Expedia. Murthy habló sobre cómo su organización recolecta los comportamientos de viaje de sus clientes y las necesidades de los socios como catalizadores para no solo transformar su propia empresa, sino también la propia industria turística. Murthy habló sobre el poder de los datos y la innovación. Compartió cómo su equipo utiliza los servicios de IA y machine learning, como las configuraciones de alta disponibilidad de EKS, DynamoDB y SageMaker, para hacer casi 600 mil millones de predicciones de IA por año, impulsadas por más de 70 petabytes de datos, y cómo tienen 360,000 permutaciones de una página de una de sus marcas para demostrar la escala. Demostró la innovación de su modelo de negocio de reservas de viajes, que mejora la experiencia del cliente incorporando recomendaciones y predicciones vinculadas a las rutas de vuelo para que los clientes puedan reservar su viaje con confianza.

También descubrimos que Geospatial ML para Amazon SageMaker ahora admite herramientas incorporadas de visualización y redes neuronales precapacitadas para casos de uso comunes. Este anuncio fue seguido por un segundo orador invitado, Kumar Chellapilla, GM, ML/AI Services, AWS, quien brindó una demostración convincente de cómo el machine learning y las imágenes satelitales inmediatamente disponibles pueden ayudar a pronosticar desastres naturales y gestionar tiempos de respuesta de emergencia utilizando datos geoespaciales que permiten a los socorristas tomar decisiones de vida o muerte.

También me entusiasmó saber que AWS Machine Learning University ahora ofrece capacitación para educadores, un programa de capacitación para capacitadores que otorga becas destinadas a ayudar a las instituciones educativas a mantenerse al día con la demanda de machine learning. AWS predice que el crecimiento de los servicios de IA y machine learning creará tanta demanda que pronto superará la oferta de educadores en la disciplina. Algunos podrían argumentar que esto ya ha ocurrido, pero el anuncio de este programa enfatiza la importancia que la práctica del machine learning ya tiene en nuestro campo.

Shikha Verma, jefa de producto de Amazon DataZone, dio una demostración de cómo los productores y consumidores de datos —como analistas, científicos e ingenieros— pueden gestionarse dentro de una zona unificada para gobernar y compartir recursos a los que normalmente es difícil asignar permisos u otorgar acceso.

Anna Berg Asberg, vicepresidenta global de Investigación y Desarrollo de AstraZeneca, hizo una presentación convincente y sincera sobre cómo AstraZeneca utiliza los datos y la IA/machine learning para ayudar a proteger las vidas de los pacientes. Habló sobre cuán masiva es la base de datos de genomas, que utiliza 25 petabytes de datos en toda la red global de AWS, y cómo su ambiente utiliza Step Functions, Lambda y AWS Batch para optimizar sus cargas de trabajo de cómputo y Amazon S3 para el almacenamiento. Se pueden realizar más de 110 mil millones de pruebas estadísticas en menos de 30 horas, lo que genera información útil para uso científico. Asberg también explicó cómo se combinan los datos de pacientes, de tejidos tumorales e imágenes médicas para detectar patrones en los pacientes y hacer predicciones sobre ellos, y cómo se está produciendo un crecimiento exponencial en este campo. Su mensaje principal se centró en cómo las organizaciones necesitan democratizar los datos usando SageMaker y Service Catalog para desarrollar ambientes MLOps en pocos minutos.

Para concluir, Sivasubramanian también se refirió al tiempo que se pierde en los esfuerzos manuales que se realizan cuando las organizaciones y los equipos intentan conectar datos entre los silos. Estos esfuerzos a menudo requieren procesos de extracción, transformación y carga (ETL) muy complejos. Por lo tanto, cada vez que una organización desea realizar una nueva consulta de datos, tiene que desarrollar un modelo de machine learning y un pipeline de datos de ETL diferentes. Es por eso que AWS está invirtiendo en un futuro sin ETL, para que la integración de datos pueda ser fluida y las organizaciones no tengan que desarrollar manualmente pipelines de datos cada vez que esto suceda.

Las reflexiones finales de Sivasubramanian para la sesión hacen referencia a lo que se necesita para que una organización desarrolle ideas significativas sobre los datos. Afirmó que "son los individuos los que, en última instancia, crean estas chispas, pero es responsabilidad de los líderes dotarles de una cultura basada en datos que les ayude a conseguirlo".  Imagine qué información estratégica puede obtener su organización con la base de datos analíticos adecuada.