Cloudomation Daten-Integrations-Plattform
Lösung
Cloudomation Daten-Integrations-Plattform
Cloudomation ist eine Integrationsplattform mit flexibler Funktionalität zur Definition von maßgeschneiderten Schnittstellen, um Daten zur Verfügung zu stellen, sowie vieler Möglichkeiten für Datentransformation und -kombination. Mit vielen Konnektoren für Standardschnittstellen und einer breiten Palette an Protokollen für Zugriff auf Softwaresysteme verschiedenster Art können über Cloudomation Daten aus verschiedenen Quellen und in verschiedenen Formaten ausgelesen, verarbeitet und wieder zur Verfügung gestellt werden.
Dabei gliedert sich die Plattform in drei zentrale Layer:
(1) System-Layer: Konnektoren ermöglichen sichere Verbindung zu verschiedenen Datenquellen. Um z.B. mit einer MSSQL Datenbank zu verbinden muss der SQL Konnektor einmalig konfiguriert werden, dann kann auf die Datenbank sicher zugegriffen, Daten und Metadaten gelesen und geschrieben werden.
(2) Transformations-Layer: Auf der Plattform wird in Python flexibel definiert, wie die Daten verarbeitet werden, z.B:
* Zusammenschließen von Daten aus unterschiedliche Quellen,
* Validierung von Daten auf Vollständigkeit, Überprüfung des Datenschemas und andere Qualitätschecks,
* Umstrukturierung der Daten in andere Formate,
* Verarbeitung der Daten, z.B. Aggregation oder komplexe Verarbeitungen und Auswertungen.
(3) Schnittstellen-Layer: in Cloudomation können Schnittstellen (custom APIs) eingerichtet werden. Benutzer können frei definieren, welche Daten in welchem Format über die Schnittstellen zur Verfügung gestellt werden sollen. Damit können Daten genau so zur Verfügung gestellt werden, wie sie vom Datenkonsumenten benötigt werden.
Dabei ist die Schnittstelle reiner Datentransporteur: die Daten werden nicht in der Plattform selbst gehalten, sondern dynamisch aus dem Quellsystem gelesen, sobald sie abgefragt werden. Damit bleiben die Daten dezentral in ihren Quellsystemen und sind immer “frisch”.
Gleiches gilt für die Metadaten: über eine Metadaten-API können Metadaten abgefragt werden, die entweder in der Plattform zwischengespeichert oder zum Abfragezeitpunkt aus dem Quellsystem neu ausgelesen werden.
Die Plattform kann in der Cloud als SaaS genutzt, oder im eigenen Rechenzentrum als on-premise Lösung installiert werden.
Rechtemanagement, automatisches Logging, Monitoring, Benachrichtigungen, Abhängigkeitsmanagement, Visualisierungen, automatische Analyse von Datenquellen (z.B. automatische Erfassung von Metadaten), Versionierung von Datenladungsprozessen, Scheduling für Datenladungen, Zusammenschluss von mehreren Cloudomation workspaces in unterschiedlichen Netzwerksegmenten und weitere Features komplettieren den Funktionsumfang der Plattform.
Die der Plattform zugrunde liegende Technologie wird von der FFG als herausragend innovativ beurteilt und die Entwicklung der Plattform von der FFG gefördert.
Die Sicherheit der Plattform wird zweimal jährlich von externen IT-Security Experten überprüft. IDS Zertifizierung liegt noch keine vor.
Dabei gliedert sich die Plattform in drei zentrale Layer:
(1) System-Layer: Konnektoren ermöglichen sichere Verbindung zu verschiedenen Datenquellen. Um z.B. mit einer MSSQL Datenbank zu verbinden muss der SQL Konnektor einmalig konfiguriert werden, dann kann auf die Datenbank sicher zugegriffen, Daten und Metadaten gelesen und geschrieben werden.
(2) Transformations-Layer: Auf der Plattform wird in Python flexibel definiert, wie die Daten verarbeitet werden, z.B:
* Zusammenschließen von Daten aus unterschiedliche Quellen,
* Validierung von Daten auf Vollständigkeit, Überprüfung des Datenschemas und andere Qualitätschecks,
* Umstrukturierung der Daten in andere Formate,
* Verarbeitung der Daten, z.B. Aggregation oder komplexe Verarbeitungen und Auswertungen.
(3) Schnittstellen-Layer: in Cloudomation können Schnittstellen (custom APIs) eingerichtet werden. Benutzer können frei definieren, welche Daten in welchem Format über die Schnittstellen zur Verfügung gestellt werden sollen. Damit können Daten genau so zur Verfügung gestellt werden, wie sie vom Datenkonsumenten benötigt werden.
Dabei ist die Schnittstelle reiner Datentransporteur: die Daten werden nicht in der Plattform selbst gehalten, sondern dynamisch aus dem Quellsystem gelesen, sobald sie abgefragt werden. Damit bleiben die Daten dezentral in ihren Quellsystemen und sind immer “frisch”.
Gleiches gilt für die Metadaten: über eine Metadaten-API können Metadaten abgefragt werden, die entweder in der Plattform zwischengespeichert oder zum Abfragezeitpunkt aus dem Quellsystem neu ausgelesen werden.
Die Plattform kann in der Cloud als SaaS genutzt, oder im eigenen Rechenzentrum als on-premise Lösung installiert werden.
Rechtemanagement, automatisches Logging, Monitoring, Benachrichtigungen, Abhängigkeitsmanagement, Visualisierungen, automatische Analyse von Datenquellen (z.B. automatische Erfassung von Metadaten), Versionierung von Datenladungsprozessen, Scheduling für Datenladungen, Zusammenschluss von mehreren Cloudomation workspaces in unterschiedlichen Netzwerksegmenten und weitere Features komplettieren den Funktionsumfang der Plattform.
Die der Plattform zugrunde liegende Technologie wird von der FFG als herausragend innovativ beurteilt und die Entwicklung der Plattform von der FFG gefördert.
Die Sicherheit der Plattform wird zweimal jährlich von externen IT-Security Experten überprüft. IDS Zertifizierung liegt noch keine vor.
Mehrwert
Geschwindigkeit
Durch die breite Palette vorhandener Konnektoren ist das Anbinden von Datenquellen mit wenig Aufwand verbunden.
Anpassbarkeit und Flexibilität
Alle auf der Plattform ablaufenden Prozesse kann der Nutzer komplett frei definieren: Abfrage der Daten, Validierung, Transformation, Verarbeitung und Datenlieferung können ganz flexibel nach Anforderungen definiert werden und einfach erweitert und angepasst werden.
Es stehen (open source) Templates für gängige Abläufe zur Verfügung, die schnell angepasst werden können. Bei Bedarf können einzelne Schritte oder der gesamte Prozess neu definiert werden, um die Anforderungen bestimmter Branchen oder Anwendungsfälle maßgeschneidert umzusetzen.
Der Aufwand, einen kompletten Datenladungsprozess zu definieren kann zwischen 45 Minuten und mehreren Wochen liegen, je nachdem wie komplex und speziell die Anforderungen sind.
Erweiterbarkeit
Dank der offenen Architektur der Plattform können externe Software-Komponenten eingebunden werden um die Funktionalität der Plattform zu erweitern. So bestehen z.B. bereits tiefe Integrationen mit einem Secrets-Management-System (Hashicorp Vault) sowie einem Versionskontrollsystem (git). Hinzufügen von z.B. pricing Komponenten ist möglich.
Demonstrierter Nutzen
Kunden in Österreich, Deutschland und der Schweiz nutzen Cloudomation täglich. Beschreibungen umgesetzter Projekte finden sich hier: https://cloudomation.com/de/erfolgsgeschichten/
Durch die breite Palette vorhandener Konnektoren ist das Anbinden von Datenquellen mit wenig Aufwand verbunden.
Anpassbarkeit und Flexibilität
Alle auf der Plattform ablaufenden Prozesse kann der Nutzer komplett frei definieren: Abfrage der Daten, Validierung, Transformation, Verarbeitung und Datenlieferung können ganz flexibel nach Anforderungen definiert werden und einfach erweitert und angepasst werden.
Es stehen (open source) Templates für gängige Abläufe zur Verfügung, die schnell angepasst werden können. Bei Bedarf können einzelne Schritte oder der gesamte Prozess neu definiert werden, um die Anforderungen bestimmter Branchen oder Anwendungsfälle maßgeschneidert umzusetzen.
Der Aufwand, einen kompletten Datenladungsprozess zu definieren kann zwischen 45 Minuten und mehreren Wochen liegen, je nachdem wie komplex und speziell die Anforderungen sind.
Erweiterbarkeit
Dank der offenen Architektur der Plattform können externe Software-Komponenten eingebunden werden um die Funktionalität der Plattform zu erweitern. So bestehen z.B. bereits tiefe Integrationen mit einem Secrets-Management-System (Hashicorp Vault) sowie einem Versionskontrollsystem (git). Hinzufügen von z.B. pricing Komponenten ist möglich.
Demonstrierter Nutzen
Kunden in Österreich, Deutschland und der Schweiz nutzen Cloudomation täglich. Beschreibungen umgesetzter Projekte finden sich hier: https://cloudomation.com/de/erfolgsgeschichten/
Rückfragen & Kommentare
Bereits eingereichte Lösungen
Cookies
Wir verwenden Cookies, um sicherzustellen, dass wir Ihnen das beste Erlebnis auf unserer Website bieten.
Erfahren Sie mehr unter "Erhebung von Zugriffsdaten, Logfiles und Cookies" in unserer Datenschutzerklärung.
Bitte melden Sie sich an, wenn Sie ein Feedback hinterlassen möchten.