Por qué necesitas un marco de MLOps para estandarizar las operaciones de IA y aprendizaje automático

Organizaciones de todos los sectores y tamaños han adoptado cada vez más la IA y el aprendizaje automático (IA/ML) en los últimos años, y se espera que esta tendencia continúe. Son varios los factores que impulsan este crecimiento, entre ellos el aumento de la disponibilidad de datos y una renovada atención al uso de la analítica de datos para generar conocimientos más profundos en apoyo de una mejor toma de decisiones.

Sin embargo, el rápido crecimiento deAI/ML ha creado el caos en muchas organizaciones. En particular, las empresas se enfrentan a complicaciones debidas a procesos empresariales y de desarrollo obsoletos. Además, las operaciones de aprendizaje automático no suelen ser una competencia básica para la mayoría de los equipos de ciencia de datos.

Este caos ha creado una necesidad acuciante de operaciones estandarizadas de aprendizaje automático (MLOps) para agilizar y escalar los procesos de IA/ML.

Creación de una sólida solución MLOps

En los últimos años, el mercado ha experimentado un auge de las soluciones MLOps. Sin embargo, muchas de estas soluciones se quedan cortas, ya que carecen de funcionalidades clave esenciales para afrontar los retos actuales. Una limitación predominante es su incapacidad para integrarse perfectamente en la pila tecnológica existente de una organización.

En Rackspace Technology®, nuestros equipos de aprendizaje automático han observado un patrón de arquitectura coherente mientras implementaban y gestionaban soluciones MLOps para un número cada vez mayor de empresas. En respuesta a los retos identificados, hemos desarrollado una solución integral denominada Rackspace MLOps Foundations.

Rackspace MLOps Foundations está diseñado específicamente para alinearse con la infraestructura de Google Cloud. Es una solución muy adaptable y personalizable para gestionar todo el ciclo de vida del aprendizaje automático. Su capacidad para integrarse a la perfección con herramientas de automatización populares como Jenkins y Airflow ayuda a garantizar una colaboración fluida y una gestión eficaz del flujo de trabajo.

Cómo funciona Rackspace MLOps Foundations

Rackspace MLOps Foundations ofrece una solución MLOps completa que incluye servicios y herramientas nativos de Google Cloud, como Cloud Build, Vertex AI Pipelines y otros. Estas herramientas ayudan a afrontar los retos de llevar los modelos de aprendizaje automático del desarrollo a la producción.

Estos servicios y herramientas también pueden automatizar el preprocesamiento de datos, el almacenamiento de características, el desarrollo de modelos, la garantía de calidad, la implantación y el escalado, y la supervisión y explicabilidad. Algunos ejemplos son la replicación de entornos sin fisuras, el empaquetado de código, el seguimiento de experimentos y artefactos y el control de versiones.

Rackspace MLOps Foundations unifica la potencia de estos servicios y herramientas para crear un ciclo de vida de desarrollo de aprendizaje automático estandarizado y ofrecer estas ventajas:

• Una implantación coherente, rentable y rápida
• Rendimiento del modelo repetible y reproducible
• Procesos de implantación fiables
• Procesos bien definidos, estandarizados y modularizados

Rackspace MLOps Foundations ofrece una experiencia de colaboración optimizada que permite a los equipos de datos y operaciones trabajar juntos sin problemas en el desarrollo de modelos de aprendizaje automático. Con esta solución, puede automatizar el empaquetado y la implantación en varios entornos y eliminar problemas habituales como los retrasos y la incompatibilidad.

Ejemplo de uso de Rackspace MLOps Foundations

El siguiente diagrama de arquitectura muestra una implementación minimalista de Rackspace MLOps Foundations en Google Cloud para uno de nuestros clientes. Se trataba de un proyecto sencillo de previsión de inventarios utilizando datos de entrenamiento y previsiones almacenadas en BigQuery. Este proyecto requería AutoML, versionado de código y seguimiento de experimentos y artefactos, pero no necesitaba despliegue de modelos ni pruebas de control de calidad. 

Esta implementación consistió en un ciclo de desarrollo de aprendizaje automático en dos etapas que incluyó una etapa de desarrollo con un proyecto de Google Cloud.  

< entidad-drupal data-align="left" data-embed-button="media_entity_embed" data-entity-embed-display="view_mode:media.full" data-entity-type="media" data-entity-uuid="ffc70d81-8bc0-42e9-b646-2faec089e354" data-langcode="en"> < /drupal-entity>

Este proyecto también necesitaba Vertex AI Pipelines y un CI/CD pipeline para ejecutarlo todo. Vertex AI Pipelines realiza estas funciones:

• Recuperar y preprocesar datos
• Formación y despliegue de modelos
• Consultar un modelo mediante inferencias por lotes y almacenar los resultados
• Notificar a los propietarios de la tubería la finalización del proceso
• Producir registros

El canal CI/CD ofrece las siguientes funciones:

• Facilita el desarrollo de un repositorio GitHub con las ramas adecuadas
• Gestiona y mantiene el código dentro de las ramas
• Activa automáticamente la canalización cuando el código se envía a la rama de desarrollo
• Permite la ejecución directa de un Jupyter Notebook
• Almacena cualquier artefacto generado durante el proceso de ejecución en un cubo designado
• Admite varias implantaciones dentro del mismo proyecto de Google Cloud
• Se adhiere a las prácticas de seguridad estándar del sector

Los científicos e ingenieros de datos utilizan un cuaderno Jupyter alojado en Vertex-AI para llevar a cabo experimentos utilizando Vertex AI Pipelines, incluido el preprocesamiento de datos, el entrenamiento de modelos y la predicción por lotes. Una vez empujado a una rama específica en un repositorio de GitHub, el marco de fábrica de modelos ejecuta el cuaderno, crea una solicitud de extracción para la siguiente rama y espera la aprobación humana.

A continuación, un miembro designado del equipo revisa el código, los artefactos de modelado y el rendimiento, y decide aprobar o rechazar la pull request. Si se rechaza, se anulan todos los artefactos producidos y los recursos aprovisionados. En caso contrario, el proceso de despliegue pasa a la etapa siguiente.

Un proceso de desarrollo típico implica una rama de lanzamiento a partir de la cual se crean varias ramas de características que finalmente se fusionan en la rama de lanzamiento. La creación de un pull request contra la rama DevOps inicia el proceso MLOps." data-embed-button="media_entity_embed" data-entity-embed-display="view_mode:media.full" data-entity-type="media" data-entity-uuid="ba0da54f-506c-4b68-b916-87f7ed6dc591" data-langcode="en"> 

Más información sobre Rackspace MLOps Foundations

Para obtener más información sobre Rackspace MLOps Foundations, nuestra hoja de datos, "MLOps Foundations on Google Cloud," resume el valor de nuestra solución MLOps, la arquitectura, las características clave y los resultados.