Transbase® Edge für Digitalisierung, Big Data Analytics & IoT


Die Herausforderungen von heute - Cloud & Edge Computing für Big Data

Big Data und das Internet of Things (IoT) stellen neue Anforderungen an Datenbankmanagementsysteme (DBMS), die wir als Hersteller von Transbase® Edge erfüllen. 
IoT-Daten triggern in Echtzeit Aktionen auf bestimmte Events. Ist beispielsweise die Temperatur einer Maschine zu hoch, so muss in möglichst kurzer Zeit nach Eintreten des Events (Schwellwertüberschreitung der Temperatur) eine Aktion (Kühlung einschalten) ausgelöst werden.

IoT-Sensoren erzeugen permanent Daten in sehr großen Mengen. Dabei führt der Verlust von Daten z.B. innerhalb eines Messintervalls in der Regel nicht zu wesentlichen Entscheidungsänderungen (die Kühlung wird eingeschaltet, weil der Schwellwert überschritten wird, auch wenn nur 50 statt 60 Messwerte ausgewertet werden), im Gegensatz zu Entscheidungen im klassischen IT-Umfeld (eine Aktie soll exakt bei 1,50€ gekauft und exakt bei 1,51€ wieder verkauft werden). 

Ein DBMS im IoT-Umfeld muss demnach hoch skalierbar, sehr schnell, schlank und sicher (4S-Technologie) sein. Transbase® ist in seiner Architektur und Konzeption gänzlich auf die Erfüllung dieser Kritierien optimiert. 

Durch seine neue Crowd-Funktionalität kann Transbase® Edge verteilt betrieben werden. Ergebnisse können über Gruppen von Edge-Knoten aggregiert und konsolidiert ausgewertet werden. Die Daten können für komplexere Auswertungen auch an Analysewerkzeuge weitergeleitet werden. Transbase® Edge Datenbanken können auch als Datenbank-Cluster oder Grids betrieben werden.

Transbase® Edge und Crowd

Transbase® Edge ermöglicht über die neue Crowd-Funktion (ab V. 8.3) die Steuerung paralleler Datenbankabfragen über beliebig viele verbundene Transbase® Edge Datenbanken von einer zentralen Instanz aus.

Während sich die ursprünglichen Daten nach wie vor auf den Endgeräten befinden, können die Abfrageergebnisse von der Zentralinstanz gesammelt und aggregiert werden. Damit eignet sich Transbase® Edge hervorragend als IoT-Datenbank.

Unterhält ein Unternehmen beispielsweise 1 Mio. Geräte, die jeweils 1 kB Daten pro Sekunde produzieren, so sind 109 B/s oder 1 GB/s erforderlich, um diese Daten auf den Server zu übertragen und dort zu speichern. Im Gegensatz dazu kann eine Transbase® Crowd-Abfrage aller registrierten Transbase® Edge Datenbanken in wenigen Sekunden durchgeführt und deren Ergebnisse gesammelt werden.

Über die Transbase® Crowd-Funktion können Daten auch horizontal über einen Pool von Datenbanken mit identischem Datenbankschema partitioniert und verteilt werden. Die vertikale Partitionierung von Daten kann über die Integration des Primärschlüssels in einer View erreicht werden.

Die Crowd-Hierarchiestufen:

Transbase® Datenbanken lassen sich problemlos in eine Transbase® Edge Crowd einbinden - eine lose verknüpfte Hierarchie von Datenbanken mit gleichem oder ähnlichem Datenbankschema (siehe Abbildung).

Edge-Node

Jede Transbase® Edge Datenbank verfügt als 'Edge-Node' über eine 'übergeordnete Datenbank' ('Parent'), bei dem er registriert werden kann. Jede Transbase® Edge Installation (egal ob als Edge-Node oder Parent) verfügt über exakt denselben Funktionsumfang. Eine Änderung der Hierarchie bzw. Konstellation ist somit ganz einfach und ohne Programmieraufwand durchführbar.

Parent

Transbase® Edge kümmert sich als 'Parent' (Zwischenknoten) um die registrierten Edge-Nodes und kann Abfragen an diese registrierten Edge-Nodes senden und die Abfrageergebnisse sammeln. Durch diesen Mechanismus kann Transbase® Edge Abfragen über alle registrierten Edge-Nodes verarbeiten.

Jeder Parent kann direkt abgefragt werden, wenn nur die folgenden Edge-Nodes Teil der Abfrage sein sollen. Diese Funktionalität ist für IoT-Umgebungen besonders interessant, da nur Daten herangezogen werden, die in den entsprechenden IoT-Geräten erzeugt und gespeichert wurden. Sie können dort problemlos gespeichert, analysiert und verarbeitet werden.

Root

Jede Hierarchie hat eine Transbase® Edge Datenbank als 'Root', die abgefragt werden kann, wenn alle Edge-Nodes und Parents in der Hierarchie an der Abfrage teilnehmen sollen. Diejenige Edge-Nodes und Parents, die nicht an der Abfrage beteiligt sind (z.B. weil sie offline sind), werden einfach nicht berücksichtigt.

Bei der Gestaltung der Abfrage können verschiedene Timeouts angegeben werden, um entweder genauere Ergebnisse zu erzielen, die von mehr teilnehmenden Edge-Nodes gesendet wurden, oder um schnellere Ergebnisse von weniger teilnehmenden Edge-Nodes zu erzielen.

Es besteht auch die Möglichkeit, ein Zeitintervall anzugeben, innerhalb dessen sich ein Edge-Node oder Parent (nach-)registrieren kann. Die Abfrage wird dann zeitverzögert nach Ablauf dieses Zeitintervalls ausgeführt, um z.B. möglichst viele Edge-Nodes in eine Abfrageergebnis miteinzubeziehen.

Transbase® Edge für IoT bietet sich immer dann an, wenn es Limitationen bei der Beschaffung oder Verarbeitung von IoT-Daten gibt wie z.B.
  • die Bandbreite ist nicht groß genug, um die Daten zu übertragen
  • die Serverdatenbank ist nicht schnell genug, um die Daten zu empfangen
  • es gibt Datenschutzbeschränkungen, die eine solche Übertragung verhindern könnten
  • die Skalierbarkeit des Gesamtsystems reicht nicht aus, um das  Wachstum der Geräteanzahl zu unterstützen

Edge Nodes und Parents können sich jederzeit registrieren oder abmelden, entweder absichtlich oder aufgrund einer fehlgeschlagenen Datenbankverbindungen. Die Abfrageergebnisse sind demnach unvollständig und können wiederholt werden, wenn die Verbindung wieder hergestellt wurde.

Transbase® Edge & IIoT Highlights - erklärt

Transbase® Edge Flash Speicher Support:

IoT-Geräte verwenden in der Regel einen nichtflüchtigen Speicher (Flash-Speicher), der auf einem elektrisch programmierbaren High-Speed-Speicher basiert (vgl. Solid State Drive = SSD). Dabei können Daten mit hoher Geschwindigkeit geschrieben und I/O-Operationen sehr schnell durchgeführt werden. Flash-Speicher benötigen keinen Strom, um die Integrität gespeicherter Daten aufrechtzuerhalten. Die Daten werden in Speicherzellen gespeichert, wobei die Zellen mit zuvor geschriebenen Daten erst gelöscht werden müssen, bevor neue Daten geschrieben werden können.

Flash-Speicher sind zwar sehr schnell, jedoch kann zu häufiges Schreiben ihre Lebensdauer erheblich verkürzen. Transbase® Edge ist optimiert für Flash-Speicher. Es erkennt potenzielle Speicherfehler bei dauerhaft gespeicherten Daten und kann zudem die Anzahl der Schreibvorgänge so gering wie möglich halten.

Transbase® Edge regelt dies durch die flexible Konfiguration seines Hauptspeicher-Caches. Je nach Applikation wird der Cache  so groß wie nötig konfiguriert, wodurch die physischen I/O-Operationen minimiert werden. Die Applikation wird schneller und schreibt seltener. Der Transbase® Cache wird geladen und je nach Cachegröße, spätestens beim Herunterfahren der Datenbank, in den Flash-Speicher zurückgeschrieben.

Transbase® Edge Protokoll:

Zur Gewährleistung der Beständigkeit von Datenbankänderungen wird das Transbase® Protokoll dauerhaft auf Festplatte geschrieben. Dies kann von der IoT-Applikation flexibel beeinflusst werden.

Zum einen kann die Größe des Protokoll-Blocks größer als die Größe des Datenbankblocks konfiguriert werden, was sich sowohl auf die Leistung als auch auf die Zuverlässigkeit auswirkt. Außerdem wird das Protokoll immer dann asynchron geschrieben, wenn ein Protokoll-Block abgeschlossen ist. Dadurch ist immer nur ein Protokoll-Block im Speicher und nicht auf Festplatte, was die Anzahl verlorener Updates bei einem Stromausfall begrenzt.

Der Zeitpunkt und Häufigkeit, wie oft ein Protokoll-Block geschrieben wird, können konfiguriert werden.

Der Einsatz von Transbase® Edge im embedded Umfeld bietet zahlreiche Vorteile hinsichtlich Effizienz, Robustheit, Performanz, Wiederverwendbarkeit, Modularisierung, und Sicherheit. Durch das durchgängige Transaktionskonzept lassen sich Softwareprodukte in einer ganz anderen Qualitätsstufe entwickeln.

Trotz uneingeschränkter und umfassender Funktionalität beträgt der komplette Footprint (Code- und Systemdaten) bei entsprechend angepasster Installation und Konfiguration weniger als 2 MByte. Da sämtliche Schnittstellen von Transbase® identisch bleiben, können auch klassische PC-Anwendungen auf Basis von Transbase® ganz einfach und ohne Modifikationen auf eingebettete Plattformen portiert werden.

Anwendungen und Daten können unverändert auf diesen Plattformen eingesetzt werden.

Haben Sie Fragen zu Transbase® Edge? Gerne zeigen wir Ihnen unser System live. Vereinbaren Sie einen Termin.