MLOps mit Dataiku
ML-Projekte in Produktionsumgebungen bereitstellen, überprüfen und verwalten.
Übertragung der Projekte in die Produktionsumgebung
Der Dataiku Deployer verwaltet die Übertragung von Projektdateien zwischen Entwicklungs- und Produktionsknoten für Batch- und Echtzeitbewertungen. Die Projekt-Bundles enthalten alle wichtigen Informationen aus der Entwicklungsumgebung, mit denen das Projekt in der Produktionsumgebung ausgeführt werden kann.
Datenwissenschaftler können alle bereitgestellten Bundles abrufen und Dateningenieure erkennen schnell, wann ein neues Bundle getestet und eingeführt werden soll.
Batch-Bewertungen mit Automatisierungsknoten
Die Automatisierungsknoten in Dataiku sind Produktionsknoten mit effizienten Automatisierungsfunktionen. Damit können Routineaufgaben für Projekte in der Produktionsumgebung, wie Monitoring, Daten-Updates und erneute Trainings für Modelle, mithilfe eines Zeitplans oder Triggers festgelegt werden.
Dank der Automatisierungsknoten werden KI-Projekte reibungslos ausgeführt und Unternehmen können mehr Projekte bereitstellen.
Echtzeitbewertungen mit API-Knoten
Für die Bereitstellung von Prognosen für Echtzeitanwendungen sind andere Funktionen als für Batch-Bewertungen erforderlich, zum Beispiel die dynamische Skalierung von Ressourcen, um schnell auf neue Anforderungen reagieren zu können.
Mit der Dataiku-API lassen sich API-Endpunktservices ganz einfach in flexible, hochverfügbare Infrastrukturen einbinden, um Echtzeitbewertungen zu unterstützen. Über API-Knoten können Unternehmen mehr Projekte bereitstellen und nachgeordnete KI-Anwendungen und -Prozesse entwickeln.
ONNX-Bereitstellungen, auch am Edge
Immer häufiger müssen aufgrund der Verbindungen und Geschwindigkeiten oder aus Kosten- und Datenschutzgründen das Modell, der Sensor und die Daten auf kleinen Geräten wie Smartphones oder eingebetteten Prozessoren ausgeführt werden.
ONNX ist ein offenes Format, das von Facebook und Microsoft für die Kompatibilität zwischen gängigen Deep-Learning-Frameworks entwickelt wurde. Dataiku unterstützt die Bereitstellung von Prognosemodellen im ONNX-Format in diversen Umgebungen – auch am Edge.
Monitoring und Erkennung von Abweichungen
Wenn KI-Projekte dann in der Produktionsumgebung ausgeführt werden, beginnt die eigentliche Arbeit. Daten, Batch- und Echtzeitbewertungen werden in KI-Pipelines verarbeitet.
Dataiku kontrolliert, dass alle Prozesse ordnungsgemäß ausgeführt werden, und warnt die Verantwortlichen gegebenenfalls bei Problemen. Bei Modellen kann Dataiku auch Abweichungen erkennen. So wird sichergestellt, dass die Bewertungs- und Trainingsdaten immer vergleichbar sind, damit das Modell zuverlässige Ergebnisse liefert.
Automatisches erneutes Training von Modellen
Produktionsmodelle müssen in regelmäßigen Abständen aktualisiert werden, zum Beispiel wenn neuere Daten verfügbar sind, Datenabweichungen erkannt wurden oder ein bestimmter Zeitplan festgelegt wurde.
Für Dataiku-KI-Projekte wird automatisch ein erneutes Training durchgeführt, entweder nach einem vorgegebenen Zeitplan oder bei Triggern wie gravierenden Abweichungen. Da das erneute Training automatisch durchgeführt wird, kann sich das Ops-Team stärker auf andere wichtige Aufgaben wie die Fehlerbehebung oder die Bereitstellung neuer Projekte in der Produktionsumgebung kümmern.
Aktualisierungen in Produktionsumgebungen
Manuell Projektänderungen in Produktionsumgebungen vorzunehmen kann ziemlich schwierig und riskant sein und im schlimmsten Fall zu einem Ausfall wichtiger KI-Initiativen führen.
Mit Dataiku lassen sich Artefakte in Produktionsumgebungen – auch Modelle – ganz einfach aktualisieren. Die Plattform bietet eine umfassende Git-Integration und Versionsmanagement. Da die Dataiku-Produktionsknoten auch einfache Test- und Produktionsumgebungen unterstützen, können auch für Updates alle Phasen (Entwicklung, Test und Produktion) mit mehreren Produktionsknoten abgedeckt werden.
Automatische CI/CD über APIs für DevOps
DevOps-Tools und -Prozesse sind in den meisten Projekten mit Unternehmenssoftware längst die Norm. KI-Projekte unterscheiden sich zwar in bestimmten Bereichen, aber auch sie umfassen Code-Artefakte und profitieren daher von einer kontinuierlichen Integration und Bereitstellung (Continuous Integration/Deployment, CI/CD).
Dataiku bietet eine umfassende API, über die auch Prozesse externer Managementsysteme der DevOps-Teams durchgeführt werden können. Dataiku kann in die bereits vorhandenen DevOps-Tools wie beispielsweise Jenkins, GitLabCI, Travis CI oder Azure Pipelines integriert werden.