Warum Sie ein MLOps-Framework für die Standardisierung von KI- und maschinellen Lernprozessen benötigen

Unternehmen aller Branchen und Größen haben in den letzten Jahren zunehmend KI und maschinelles Lernen (KI/ML) eingesetzt, und dieser Trend wird sich voraussichtlich fortsetzen. Mehrere Faktoren treiben dieses Wachstum an, darunter die zunehmende Datenverfügbarkeit und die erneute Konzentration auf die Nutzung von Datenanalysen, um tiefere Einblicke zur Unterstützung einer besseren Entscheidungsfindung zu gewinnen.

Das rasante Wachstum von KI/ML hat jedoch in vielen Unternehmen zu einem Chaos geführt. Vor allem stehen die Unternehmen vor Komplikationen aufgrund veralteter Geschäfts- und Entwicklungsprozesse. Außerdem gehören die Abläufe des maschinellen Lernens in der Regel nicht zu den Kernkompetenzen der meisten Data-Science-Teams.

Dieses Chaos hat einen dringenden Bedarf an standardisierten Machine Learning Operations (MLOps) geschaffen, um KI/ML-Prozesse zu rationalisieren und zu skalieren.

Schaffung einer robusten MLOps-Lösung

In den letzten Jahren hat der Markt einen starken Anstieg von MLOps-Lösungen erlebt. Viele dieser Lösungen sind jedoch unzureichend, da ihnen wichtige Funktionen fehlen, die für die Bewältigung der heutigen Herausforderungen unerlässlich sind. Eine wesentliche Einschränkung besteht darin, dass sie sich nicht nahtlos in das bestehende technische System eines Unternehmens integrieren lassen.

Bei Rackspace Technology® haben unsere Teams für maschinelles Lernen bei der Bereitstellung und Verwaltung von MLOps-Lösungen für eine wachsende Anzahl von Unternehmen ein einheitliches Architekturmuster beobachtet. Als Antwort auf die festgestellten Herausforderungen haben wir eine umfassende Lösung namens Rackspace MLOps Foundations entwickelt.

Rackspace MLOps Foundations ist speziell auf die Google Cloud-Infrastruktur abgestimmt. Es ist eine äußerst anpassungsfähige und anpassbare Lösung für die Verwaltung des gesamten Lebenszyklus des maschinellen Lernens. Die nahtlose Integration in gängige Automatisierungstools wie Jenkins und Airflow sorgt für eine reibungslose Zusammenarbeit und ein effizientes Workflow-Management.

Wie Rackspace MLOps Foundations funktioniert

Rackspace MLOps Foundations bietet eine vollwertige MLOps-Lösung, die native Google Cloud-Services und -Tools wie Cloud Build, Vertex AI Pipelines und andere umfasst. Diese Tools helfen bei der Bewältigung der Herausforderungen, die sich bei der Überführung von Modellen des maschinellen Lernens von der Entwicklung in die Produktion ergeben.

Diese Dienste und Werkzeuge können auch die Vorverarbeitung von Daten, die Speicherung von Merkmalen, die Modellentwicklung, die Qualitätssicherung, die Bereitstellung und Skalierung sowie die Überwachung und Erklärbarkeit automatisieren. Beispiele hierfür sind die nahtlose Replikation von Umgebungen, die Verpackung von Code, die Verfolgung von Experimenten und Artefakten sowie die Versionierung.

Rackspace MLOps Foundations vereint die Leistungsfähigkeit dieser Services und Tools, um einen standardisierten Entwicklungslebenszyklus für maschinelles Lernen zu schaffen und diese Vorteile zu bieten:

• Konsistente, kosteneffiziente und schnelle Bereitstellung
• Wiederholbare und reproduzierbare Modellleistung
• Zuverlässige Bereitstellungsprozesse
• Gut definierte, standardisierte und modularisierte Prozesse

Rackspace MLOps Foundations bietet eine optimierte Zusammenarbeit, die es Daten- und Betriebsteams ermöglicht, bei der Entwicklung von Machine Learning-Modellen nahtlos zusammenzuarbeiten. Mit dieser Lösung können Sie die Paketierung und Bereitstellung über mehrere Umgebungen hinweg automatisieren und häufige Probleme wie Verzögerungen und Inkompatibilität beseitigen.

Rackspace MLOps Foundations Anwendungsfallbeispiel

Das folgende Architekturdiagramm zeigt eine minimalistische Implementierung von Rackspace MLOps Foundations in Google Cloud für einen unserer Kunden. Es handelte sich um ein einfaches Projekt zur Bestandsprognose unter Verwendung von Trainingsdaten und in BigQuery gespeicherten Prognosen. Dieses Projekt erforderte AutoML, Codeversionierung, Experimente und Artefaktverfolgung, aber keine Modellbereitstellung oder Qualitätssicherungsprüfungen. 

Diese Implementierung bestand aus einem zweistufigen Entwicklungszyklus für maschinelles Lernen, der eine Entwicklungsphase mit einem Google Cloud-Projektumfasste.  

< Drupal-Entität data-align="left" data-embed-button="media_entity_embed" data-entity-embed-display="view_mode:media.full" data-entity-type="media" data-entity-uuid="ffc70d81-8bc0-42e9-b646-2faec089e354" data-langcode="en"> < /drupal-entity>

Dieses Projekt benötigte auch Vertex AI Pipelines und eine CI/CD-Pipeline, um alles auszuführen. Vertex AI Pipelines führt diese Funktionen aus:

• Abrufen und Vorverarbeiten von Daten
• Modelle trainieren und einsetzen
• Abfrage eines Modells durch Batch-Inferencing und Speicherung der Ergebnisse
• Benachrichtigung der Pipelinebesitzer über den Abschluss des Prozesses
• Protokolle erstellen

Die CI/CD-Pipeline bietet die folgenden Möglichkeiten:

• Erleichtert die Entwicklung eines GitHub-Repositorys mit entsprechenden Zweigen
• Verwaltung und Pflege des Codes innerhalb der Zweigstellen
• Automatisches Auslösen der Pipeline, wenn Code in den Entwicklungszweig verschoben wird
• Ermöglicht die direkte Ausführung eines Jupyter-Notebooks
• Speichert alle während des Ausführungsprozesses erzeugten Artefakte in einem bestimmten Bucket
• Unterstützt mehrere Bereitstellungen innerhalb desselben Google Cloud-Projekts
• Einhaltung der branchenüblichen Sicherheitspraktiken

Datenwissenschaftler und Ingenieure verwenden ein von Vertex-AI gehostetes Jupyter-Notebook, um Experimente mit Vertex-AI-Pipelines durchzuführen, einschließlich Datenvorverarbeitung, Modelltraining und Batch-Vorhersage. Sobald es in einen bestimmten Zweig eines GitHub-Repositorys verschoben wurde, führt das Model Factory Framework das Notebook aus, erstellt eine Pull-Anfrage für den nächsten Zweig und wartet auf die Genehmigung durch einen Menschen.

Als Nächstes prüft ein bestimmtes Teammitglied den Code, die Modellierungsartefakte und die Leistung und entscheidet, ob die Pull-Anforderung genehmigt oder abgelehnt wird. Bei Ablehnung werden alle produzierten Artefakte und bereitgestellten Ressourcen zurückgesetzt. Andernfalls wird der Verteilungsprozess mit dem nächsten Schritt fortgesetzt.

Ein typischer Entwicklungsprozess beinhaltet einen Release-Zweig, von dem aus mehrere Feature-Zweige erstellt und schließlich in den Release-Zweig zusammengeführt werden. Das Erstellen einer Pull-Anfrage gegen den DevOps-Zweig startet den MLOps-Prozess." data-embed-button="media_entity_embed" data-entity-embed-display="view_mode:media.full" data-entity-type="media" data-entity-uuid="ba0da54f-506c-4b68-b916-87f7ed6dc591" data-langcode="en"> 

Erfahren Sie mehr über Rackspace MLOps Foundations

Weitere Informationen zu Rackspace MLOps Foundations finden Sie in unserem Datenblatt "MLOps Foundations on Google Cloud", das einen Überblick über den Wert unserer MLOps-Lösung, die Architektur, die wichtigsten Funktionen und die Ergebnisse bietet.