Machine learning: acelere la implementación de sus modelos

By Mark McQuade -

abstract graphic

 

Los modelos de negocio dependen de los datos para impulsar decisiones y realizar proyecciones de futuro crecimiento y rendimiento. Tradicionalmente, las analíticas de negocio han sido reactivas, guiando las decisiones en respuesta al rendimiento pasado. Pero las principales empresas de la actualidad están recurriendo al machine learning (ML) y a la inteligencia artificial, a fin de aprovechar sus datos para realizar análisis predictivos. Sin embargo, este cambio conlleva importantes desafíos.

Según IDC, casi el 30 % de las iniciativas de inteligencia artificial y machine learning fracasan. Los principales culpables detrás de este fracaso son los datos de mala calidad, la baja experiencia y las dificultades de la puesta en operación. Su mantenimiento también insume muchísimo tiempo, ya que se necesita entrenar repetidamente los modelos de machine learning con datos nuevos durante todo el ciclo de desarrollo, debido a la degradación de la calidad de los datos a lo largo del tiempo.

Exploremos los desafíos que se presentan al desarrollar modelos de machine learning y cómo el marco de fábrica de modelos de Rackspace Technology simplifica y acelera el proceso, para que usted pueda superar estos desafíos.

 

Desafíos del machine learning 

Uno de los aspectos más difíciles del machine learning es el proceso de puesta en operación de modelos de machine learning desarrollados que generen información de forma precisa y rápida para cubrir sus necesidades comerciales. Es probable que ya haya experimentado algunos de los obstáculos más destacados, por ejemplo:

  • Coordinación ineficaz en la gestión del ciclo de vida entre los equipos de operaciones y los ingenieros de machine learning. Según Gartner, el 60 % de los modelos no llega a producción debido a esta desconexión.
     
  • Un alto grado de expansión de modelos, que es una situación compleja en la que se ejecutan múltiples modelos simultáneamente en diferentes ambientes, con distintos conjuntos de datos e hiperparámetros. Llevar un control de todos estos modelos y de sus asociativos puede resultar difícil.
     
  • Los modelos pueden desarrollarse con rapidez, pero el proceso de implementación suele demorar meses, lo que limita el tiempo de creación de valor. Las organizaciones carecen de marcos definidos para preparación de datos, entrenamiento de modelos, implementación y monitoreo, junto con sólidos controles de gobernanza y seguridad.
     
  • El modelo DevOps para el desarrollo de aplicaciones no funciona con los modelos de machine learning. El enfoque lineal estandarizado se hace redundante debido a la necesidad de volver a entrenar durante el ciclo de vida de un modelo con nuevos conjuntos de datos, a medida que los datos envejecen y se tornan menos utilizables.

 

El ciclo de vida del modelo de machine learning es bastante complejo, comenzando por la ingesta de datos, la transformación y la validación para que se ajuste a las necesidades de la iniciativa. A continuación se desarrolla y se valida un modelo, seguido de un entrenamiento. Dependiendo de la duración del tiempo de desarrollo, es posible que se necesite realizar repetidamente el entrenamiento, a medida que un modelo va pasando por los ambientes de desarrollo, pruebas e implementación. Después del entrenamiento, el modelo se pone en producción, donde comienza a cumplir con objetivos comerciales. Durante esta etapa, el rendimiento del modelo se registra y se monitorea para garantizar su idoneidad.

 

Desarrolle modelos con rapidez con Amazon SageMaker

Entre las herramientas disponibles para que pueda acelerar este proceso se encuentra Amazon SageMaker. Esta plataforma de machine learning de Amazon Web Services (AWS) ofrece un conjunto más completo de capacidades para desarrollar, entrenar y ejecutar rápidamente sus modelos de machine learning en la nube o en el perímetro. La pila de Amazon SageMaker viene equipada con modelos para servicios de inteligencia artificial como las capacidades de visión y voz artificial, y de motores de recomendación, así como modelos para servicios de machine learning que le ayudan a implementar capacidades de aprendizaje profundo. También es compatible con los principales marcos, interfaces y opciones de infraestructura de machine learning.

Sin embargo, emplear los conjuntos de herramientas adecuados es solamente la mitad de la historia. Las mejoras significativas en la implementación de modelos de machine learning solamente se pueden lograr cuando se considera también la posibilidad de mejorar la eficiencia de la gestión del ciclo de vida en los equipos que trabajan en ellos. Los diferentes equipos en distintas organizaciones prefieren diferentes conjuntos de herramientas y marcos, lo cual puede introducir retrasos a lo largo del ciclo de vida de un modelo. Una solución abierta y modular, que sea independiente de la plataforma, las herramientas o el marco de machine learning, permite una sencilla adaptación e integración en soluciones probadas de AWS. Una solución como esta les permitirá a sus equipos utilizar las herramientas con las que se sientan cómodos.

Ahí es donde entra en juego el marco de fábrica de modelos de Rackspace Technology, al proporcionar una canalización de integración continua/implementación continua (CI/CD) para sus modelos que los hace más fáciles de implementar y controlar.

Analicemos con más detalle cómo esto mejora la eficiencia y la velocidad en el desarrollo, la implementación, el monitoreo y la gobernanza de los modelos, a fin de acelerar la puesta en producción de los modelos de machine learning.

 

Estrategia integral de machine learning

En la etapa de desarrollo, los modelos de machine learning se mueven fluidamente entre los equipos de ciencia de datos y los equipos de operación. Como hemos señalado anteriormente, las diferencias de preferencias entre estos equipos pueden introducir una gran cantidad de retraso al no existir una estandarización.

El marco de fábrica de modelos de Rackspace Technology proporciona una solución de administración del ciclo de vida de modelos en forma de un patrón arquitectónico modular, desarrollado con herramientas de código abierto, que son independientes de la plataforma, las herramientas y el marco. Está diseñado para mejorar la colaboración entre los científicos de datos y los equipos de operaciones, de modo que puedan desarrollar modelos, automatizar el empaquetado e implementar en varios entornos con rapidez.

El marco permite la integración con los servicios de AWS y herramientas de automatización estándar de la industria, como Jenkins, Airflow y Kubeflow. Admite una variedad de marcos, como TensorFlow, scikit-learn, Spark ML, spaCy y PyTorch, y se puede implementar en diferentes plataformas de hospedaje, como Kubernetes o Amazon SageMaker. 

 

Ventajas del marco de fábrica de modelos de Rackspace Technology

El marco de fábrica de modelos de Rackspace Technology permite lograr grandes aumentos de eficacia, lo que reduce el ciclo de vida de machine learning de un promedio de 15 o más pasos a tan solo cinco. Empleando una única fuente de verdad para la gestión, también automatiza el proceso de transferencia entre equipos y simplifica el mantenimiento y la solución de problemas.

Desde la perspectiva de los científicos de datos, el marco de fábrica de modelos hace que su código sea estandarizado y reproducible en todos los ambientes, y permite realizar experimentos y seguimiento del entrenamiento. También puede suponer un ahorro de hasta el 60 % de los costos de computación gracias al acceso mediante scripts al entrenamiento de instancias puntuales. Para los equipos de operaciones, el marco ofrece herramientas integradas para diagnóstico, monitoreo del rendimiento y mitigación de la degradación de modelos. También ofrece un registro de modelos para llevar un control de las versiones de los modelos a lo largo del tiempo. En general, esto ayuda a su organización a mejorar el tiempo de implementación de modelos y a reducir el esfuerzo, acelerando el tiempo de obtención de información estratégica comercial y el retorno de la inversión.

 

Resumen de la solución: desde el desarrollo y la implementación hasta el monitoreo y la gobernanza

El marco de fábrica de modelos emplea una lista seleccionada de plantillas de Notebooks y lenguajes exclusivos específicos de cada dominio, lo que simplifica la incorporación, la reproducción en distintos ambientes, el seguimiento de los experimentos, el ajuste de los hiperparámetros y el empaquetado uniforme de modelos y de código independiente del dominio.

Una vez empaquetado, el marco puede llevar a cabo el flujo de extremo a extremo que ejecutará las tareas de preprocesamiento, ingeniería de funciones y entrenamiento, registrará las métricas y los errores, e implementará el modelo en varios ambientes.

  • Desarrollo: El marco de fábrica de modelos admite múltiples vías de desarrollo. Los usuarios pueden desarrollar a nivel local, integrarse con Notebooks Server utilizando ambientes de desarrollo integrado (IDE) o utilizar SageMaker Notebooks. Incluso pueden usar la implementación automatizada de ambientes utilizando herramientas de AWS, como AWS CodeStar.
     
  • Implementación: Se admiten varios backends de plataforma para el mismo código de modelo, y los modelos pueden implementarse en Amazon SageMaker, Amazon EMR, Amazon ECS y Amazon EKS. Se realiza un seguimiento de los historiales de revisión, lo cual incluye errores y cuadernos con flujos de inferencia por lotes y por streaming en tiempo real.
     
  • Monitoreo: Las solicitudes de modelos y las respuestas se monitorean para realizar un análisis detallado que permite abordar la degradación de modelos y de datos.
     
  • Gobernanza: Los errores de datos y de modelos se separan con claridad, y el acceso puede controlarse utilizando AWS IAM y políticas de aislamiento que controlan los almacenes de características del modelo, los modelos y los errores asociados del flujo. El marco también admite el control de acceso basado en reglas a través de Amazon Cognito, trazabilidad con el control de versiones de datos, y auditoría y contabilidad a través de un amplio etiquetado.

 

Utilizando una combinación de aceleradores comprobados, herramientas nativas de AWS y el marco de fábrica de modelos, las empresas pueden experimentar una aceleración significativa en la automatización del desarrollo de modelos, lo que reduce el nivel de demoras y esfuerzo, y genera mejoras en el tiempo de obtención de información estratégica y retorno de inversión.

Si su organización tiene interés en utilizar el marco de fábrica de modelos para simplificar y acelerar sus casos de uso de machine learning, visite nuestras páginas de inteligencia artificial y machine learning para obtener más información, lo cual incluye historias de clientes, detalles de las plataformas compatibles y otros recursos útiles.

 

Utilice sus datos para transformar las experiencias de sus clientes. Descubra cómo podemos ayudarle