ForeSight – Zwischenbilanz 01/2022

Im ersten Quartal des Jahres 2022 wurden in ForeSight bemerkenswerte Fortschritte beim sogenannten softwarebasierten „Multisensor“ erzielt. Softwarebasierte Sensoren nutzen künstliche Intelligenz. Sie sind besonders interessant, weil viele wichtige Daten – zum Beispiel für Sicherheit und Assistenz, aber auch Energieersparnis – mit Ihrer Hilfe mit einem sehr geringen Hardwareaufwand erhoben werden können. Forscher des DFKI und des Konsortialpartners INSTA entwickelten eine verbesserte zweite Version und verbauten diesen Software-definierten Sensor in den Laborumgebungen der FH Dortmund und weiterer Testwohnungen. Die historischen, realzeitnahmen Daten der Multisensoren und weiterer Smart Home Sensorik fließen seitdem in den ForeSight Dataspace ein.
Multisensor ForeSight
Multisensor ForeSight

Während klassische Sensorprodukte für einen Zweck optimiert wurden (z.B. Bewegungsmelder), bieten Software-definierte Sensoren die Möglichkeit, mit gleichartigen Sensorpaketen virtuelle, „Sensoren“ zu bilden, die bei gleicher grundlegender Hardware-Ausstattung mit Künstlicher Intelligenz- bzw. Machine Learning-Methoden unterschiedliche, kontextabhängige, virtuelle Funktionen ermöglichen. Virtuelle Sensoren können in Verbindung mit künstlicher Intelligenz nicht nur völlig neuartige Sensordaten liefern, sondern sogar auch – je nach Situation – fehlende Hardware-Sensoren in Gebäuden ersetzen. Die Basis für Software-definierte Sensoren ist das sogenannte Thinking Object-Konzept, welches zusammen mit Software-definierten Sensoren einen wesentlichen Beitrag für die geforderte Langfriststabilität der angebotenen Fähigkeiten und Funktionen einer Wohnung bzw. eines Gebäudes liefert.

Ein Beispiel: Reine Präsenz- oder Bewegungsmelder sind seit Jahrzehnten zur automatischen Lichtschaltung oder Alarmmeldung im Einsatz. Im Smart Home der Zukunft können weitere Aktionen vorgenommen werden, je nach er­kann­ter Situation und dem aktuellen Wohnumfeld der Mietenden. Die Aktivitätserkennung über den Multisensor in Verbindung mit KI hilft beispielsweise die Beleuchtung, Temperatur und Belüftung aktivitätsadaptiv zu regeln. Die Kontexterkennung kann für Komfortmerkmale genutzt werden, z.B. die passende Musik in der richtigen Lautstärke zu spielen, dazu die geeignete Lichtstimmung einzustellen oder sogar den bevorzugten Menulieferdienst zu kontaktieren.

Technische Aspekte des Multisensors

Die Sensoranbindungen des Multisensors kommunizieren mit den Sensoren über die entsprechenden Schnittstellen und den dazwischenliegenden Hardware-Treibern (I²C, SPI, I²S). Alle Sensorwerte, die durch MQTT nach außen übertragen werden, werden zentral durch das Modul „Messwerte-Erfassung“ eingeschrieben und weiterverarbeitet. Hier werden ebenfalls alle benötigten Filter für die Werte implementiert, welche durch die entsprechende MQTT-Konfiguration hinzugeschaltet werden können. Daten mit hohen Echtzeitanforderungen (z.B. Mikrofon-Audio-Stream) werden per RTP übertragen. Die Grundkonfiguration (WLAN, NTP, MQTT) geschieht über Website oder Konfigurations-App.

Zu Beginn des Jahres 2022 wurde die Firmware-Entwicklung des Multisensors optimiert und den geänderten Anforderungen in Zusammenarbeit mit der FH Dortmund angepasst. Die Stabilität des Programmablaufs und der Datenübertragung ist nun für Serienaufnahmen in der Applikationsumgebung geeignet. Seitdem sind zehn Multisensoren in der Loborumgebung des Konsortialpartners FH Dortmund im Einsatz, acht weitere in verschiedenen Testfeldern bei Insta bzw. – begünstigt durch das mobile Arbeiten in Corona-Zeiten – im heimischen Umfeld von involvierten Mitarbeitern.

foresight

Auswahl und Update der Multisensor-Firmware unabhängig vom Ort

Intensiv wurde auch die Kalibrierung aller einzelnen Sensoren betrieben, insbesondere die maßgebliche Temperaturkompensation mittels eines dem Kalibrierdienst unterlegenen Eichgerätes. Ein Bootload-Prozess für die Multisensor-Firmware wurde erstellt, der bei Zugriffsmöglichkeit auf das Internet die Möglichkeit zu Auswahl und Update der Multisensor-Firmware unabhängig vom Ort erlaubt. Hierzu wurde ein Firmware-Manager als Cloud-Service erstellt (EntwicklungsTool: Flutter), der ausschließlich für die Bereitstellung der Firmware (Produktiv-Version oder Betaversion) für Entwickler erstellt wurde.

Historische, realzeitnahe Daten aus den Multisensoren, als auch aus weiterer SmartHome Sensorik, werden nun über das Sematic Gateway mit dem IKT Cloud Digital Twin synchronisiert und weiter in die ForeSight Plattform geleitet. Die im IKT Cloud Digital Twin zur Verfügung stehenden Thing Descriptions (SENSE WoT) werden zyklisch vom ForeSight Thing Discovery Service synchronisiert.

Weiterführende Links

Weitere Beiträge

duotec GmbH E-Nose Technologie

Assoziierte Partner im Gespräch: duotec GmbH

duotec ist ein weltweit agierender Elektronik-Dienstleister in den Bereichen innovativer Fertigungstechnologien und modernster Mikroelektronik. Wir sprechen mit unserem assoziierten Partner über die smarten Möglichkeiten im Bereich der Sensorik- und Konnektivitätslösungen und darüber, welches Potenzial durch die Kombination von ForeSight und der Sensorik im Bereich Predictive Maintenance steckt.

Akzeptanzstudie ForeSight

KI ja. Kamera nein. Smarte Ernährungsmanager stoßen auf geteilte Akzeptanz.

Der dritte Teil der ForeSight-Serie „Akzeptanz von Künstlicher Intelligenz in Wohngebäuden“ widmet sich KI-gestützten Ernährungsmanagern, bei der der smarte Kühlschrank eine besondere Rolle spielt. Die digitale, unterwegs abrufbare Übersicht über die Haushaltsvorräte im Hinblick auf eine mögliche Lebensmittelverschwendung überzeugte die Teilnehmenden. Allerdings stehen einige dem Einbau der erforderlichen Technik wie Kameras, dem Einlesen von Lebensmitteln und der damit verbundenen Weitergabe persönlicher Daten eher skeptisch gegenüber. Immerhin: Diejenigen Personen, die einen prinzipiellen Nutzen in dem Ernährungsassistenten sehen, wären bereit, die KI beim Lernen der Lebensmittelerkennung zu unterstützen.

Energiemanager

KI-gestützter Energiemanager ist Favorit bei Mieterinnen und Mietern 

In ForeSight wird ein KI-gestützter Energiemanager entwickelt, der den Mietenden Transparenz über ihren Energieverbrauch liefert. Doch wie steht es um die Akzeptanz und Nutzungsbereitschaft von intelligenten Energieprognosen und gerätespezifischen Energiesparempfehlungen mithilfe von KI? Teil 2 der ForeSight-Serie „Akzeptanz von Künstlicher Intelligenz in Wohngebäuden“ zeigt, dass die Voraussage über die Strom-, Heiz- sowie Warmwasserkosten von den Teilnehmern der Akzeptanzstudie besonders positiv bewertet wird.