Unsere Motivation

Im Zuge des aktuellen weltweiten Ausbruchs von Covid-19 (sog. “Corona-Krise”) ist ein sprungartiger Anstieg der Patientenzahlen in den betroffenen Ländern zu verzeichnen. In einzelnen Ländern (z.B. Italien) ist dieser Anstieg so rasant, dass die Kapazität des medizinischen Systems bei weitem überschritten wird. Um die Infizierten zu behandeln oder aber auch um Kapazitäten durch Umlagerung von regulären Krankenhauspatienten für diese zu schaffen, kommen Notunterkünfte/bzw. Feldlazarette beispielsweise in Turn- oder Messehallen zum Einsatz. Vor Ort ist eine entsprechende Infrastruktur an Geräten zum Vitaldatenmonitoring nicht vorhanden und zusätzlich ist mit einem Mangel an medizinischem Fachpersonal zu rechnen.

Wem nützt es wie?

Im Rahmen des Hackathon der Bundesregierung #wirvsVirus hat das Team "SmartHeart" eine Lösung entwickelt, mit der jedes Smartphone in einen medizinischen Monitor verwandelt werden kann. Das System kommt genau dann zum Einsatz, wenn die Zahl der Patienten die Anzahl der verfügbaren Monitore um ein Vielfaches übersteigt, wie zum Beispiel in großen Notunterkünften. Diese kommen im Falle von China und Italien für milde bis schwere Verläufe zum Einsatz bzw. in Deutschland ist es derzeit angedacht Kapazitäten in Krankenhäusern durch Auslagern von nicht kritischen Behandlungsfällen in solche Örtlichkeiten zu schaffen. Ohne ein technisches Monitoring ist es für das medizinische Personal nicht möglich den Überblick zu behalten und eine schnelle Reaktion auf kritische Zustände der Patienten zu leisten.

Hier setzt das neue System "SmartHeart" an. Es ermöglicht mit geringem Aufwand die medizinische Überwachung von sehr vielen Patienten. Der Vorteil des Systems besteht darin, dass nur ein handelsübliches Smartphone benötigt wird. Die Hardware ist somit sehr gut verfügbar und die Kosten sind sehr gering.

Das Herzstück des Systems bildet eine ausgeklügelte Signalverarbeitung, die Puls und Atmung der Patienten mit den Beschleunigungssensoren des Smartphones bestimmt. Dazu wird das Gerät einfach auf die Brust der Patienten gelegt. Verlässt einer der Werte den jeweils zulässigen Bereich, klingelt das Smartphone und ruft Hilfe herbei. Alternativ kann die Pulsrate bestimmt werden indem ein Finger auf Kamera und Blitz gehalten wird.

Zusätzlich ist es möglich die einzelnen Smartphones mit einem Dashboard zu koppeln. So erhält das medizinische Personal einen Überblick aller Patienten und kann schnell und gezielt reagieren. Das System "SmartHeart" wurde für einen "PowerOn-And-Go"-Betrieb entwickelt wodurch Aufbau und Inbetriebnahme auch für Laien einfach möglich ist. Die Kopplung der Smartphones mit dem Dashboard erfolgt dabei durch das Scannen eines QR-Codes am Dashboard sowie am Bett.

Entwicklungsprozess

Vor dem Hackaton fand bereits eine Anforderungsanalyse und Interviews zur Lösung der MANV-artigen Lage mit relevanten Stakeholdern des Gesundheitssystems statt, soweit diese verfügbar waren. Dies umfasste neben Anästhesisten, Pneumologen auch Experten im Bereich des Katastrophenschutzes . Dies führte zu den Mockups die in der Galerie zu finden sind. Darüber hinaus existierte im Umfeld des Teams mehrere Arbeiten zur kamerabasierten (PPGI) Vitaldatenanalyse, Plattformen zum intersektoralen Austausch von Daten mittels Blockchain oder Apps zur Anzeige von Vitaldaten.

Während des Hackathons fand eine grundlegende Konsolidierung der Anforderungen statt, die durch den Input im Slack Channel deutlich erweitert wurde (An dieser Stelle nochmal vielen Dank an alle Beteiligten). Beispielsweise ändert sich das Verständnis der Behandlungslage und des Zielbenutzer, sowie die daraus abgeleiteten Anforderungen an das zu entwickelnde System - es muss aus dem Stand heraus unktionieren und nicht auf zusätzliche Hardware setzten bzw. auf äußere Randbedingungen wie eine homogene Beleuchtung (PPGI). Daher wurde als Zielhardware die integrierte Sensorik handelsüblicher Smartphones in Form des Accelerometers und Gyroskop ausgewählt und als Dashboard eine universell distribuierbare Docker Lösung auserkoren.

Zuerst wurde hierzu ein Gerüst aus einer mobilen App mit integriertem Algorithmenkern entwickelt, die im ersten Schritt eine Herzratenerfassung per Kamera und LED des Smartphones ermöglichte. Diese wurde im zweiten Schritt mit dem neuentwickelten Backend verheiratet. Dies ermöglichten den Entwicklern mit einem ersten MVP die grundsätzliche Funktionalität abzubilden und weitere Features zu implementieren. Dies war zum einen auf der App/Backendseite ein geführter Onboardingprozess (siehe Galerie), der Implementierung der Atemrateerfassung per Intertialsensorik und der Alarmschwellwertintegration in App- und Backend. Nachfolgend fand final eine Integration der Algorithmik zur Herzratenerfassung per Intertialsensorik statt.

Die Herausforderung

  • Feldzugang bzw. erschwerte Anforderungsanalyse mangels Ansprechpartner mit Zeit in der aktuellen Krisensituation
  • Validierungsmöglichkeiten mangels Corona-bedingter Zugang zu Referenz-Messgeräten
  • zusätzlicher Transferaufwand durch Portierung der Algorithmen auf das Smartphone
  • Verteilter Online-Hackaton (während einem verregnetem Wochenende)
  • Slack am Freitag mit zuvielen Teilnehmern

Ergebnisse, auf die wir stolz sind!

  • TeamSpirit & Teamwork!!!!!!!!!!!!!!
  • Minimum Viable Product in kürzester Zeit aufgebaut
  • Pitch Video

Lessons Learned

  • Technisches System nur bedingt geeignet für ursprünglich adressiertes Anwendungsszenario (Corona Infizierte in Turnhalle), dennoch übertragbar für viele andere Anwendungsfälle (Normale Patienten die in Turnhallen ausgelagert werden) bzw. für Krisengebiete mit mangelndem medizinischem Equipement (z.B. Syrien)
  • Teamarbeit trotz / über HomeOffice
  • Improvisieren - bzgl. Validierung der entwickelten Algorithmen

Wie geht es für SmartHealth weiter?

  • Validierung der Algorithmen
  • Verbesserung der User experience
  • Benchmarking
  • Datenschutz & Security
  • Feldevaluation
  • Einsetzen im Feld

Wie kann ich es testen?

Ask for it - Auf Grund nicht klinisch validierter Algorithmen und MPG Charakter aus Haftungsgründen keine allgemeine Veröffentlichung, Sorry. Sprecht uns einfach an, wir finden eine individuelle Lösung.


Inspiration

In the course of the current worldwide outbreak of Covid-19 (the so-called "corona crisis"), there has been a sharp increase in the number of patients in the affected countries. In some countries (e.g. Italy) this increase is so rapid that the capacity of the medical system is far exceeded. In order to treat the infected patients or to create capacities for them by transferring regular hospital patients, emergency accommodation/field hospitals are used, for example in gymnasiums or exhibition halls. On site, there is no corresponding infrastructure of devices for vital data monitoring and in addition, a lack of medical personnel is to be expected.

What it does

As part of the federal government's hackathon #wirvsVirus, the "SmartHeart" team has developed a solution that turns any smartphone into a medical monitor. The system is used precisely when the number of patients exceeds the number of available monitors many times over, such as in large emergency shelters. In the case of China and Italy, these are used for mild to severe cases, and in Germany it is currently being considered to create capacity in hospitals by outsourcing non-critical treatment cases to such locations. Without technical monitoring it is not possible for medical staff to keep an overview and to react quickly to critical conditions of patients.

This is where the new "SmartHeart" system comes in. It enables the medical monitoring of a large number of patients with little effort. The advantage of the system is that only a standard smartphone is required. The hardware is therefore very readily available and the costs are very low.

The heart of the system is a sophisticated signal processing system that determines the pulse and respiration of the patients with the acceleration sensors of the smartphone. To do this, the device is simply placed on the patient's chest. If one of the values leaves the permitted range, the smartphone rings and calls for help. Alternatively, the pulse rate can be determined by holding a finger on the camera and flash.

In addition, it is possible to link the individual smartphones to a dashboard. This gives the medical staff an overview of all patients and enables them to react quickly and specifically. The "SmartHeart" system was developed for "PowerOn-And-Go" operation, which makes setup and commissioning easy even for laymen. The Smartphones are coupled with the dashboard by scanning a QR code on the dashboard as well as on the bed.

How we built it

Prior to the Hackaton, a requirements analysis and interviews to solve the MANV-like situation were already conducted with relevant stakeholders of the health care system, as far as they were available. This included anaesthetists, pneumologists and experts in the field of disaster control. This led to the mockups that can be found in the gallery. In addition, the team also worked on camera-based (PPGI) vital data analysis, platforms for intersectoral data exchange via block chain or apps for displaying vital data.

During the hackathon, a fundamental consolidation of requirements took place, which was significantly expanded by the input in the slack channel (At this point, thanks again to all participants). For example, the understanding of the treatment situation and the target user, as well as the requirements derived from this for the system to be developed, changes - it must be able to function from a standing start and not rely on additional hardware or external boundary conditions such as homogeneous lighting (PPGI). Therefore, the integrated sensor technology of commercially available smartphones in the form of an accelerometer and gyroscope was selected as target hardware and a universally distributable docker solution was chosen as dashboard.

First, a framework consisting of a mobile app with an integrated algorithm core was developed, which in a first step enabled heart rate monitoring via camera and LED of the smartphone. This was married to the newly developed backend in the second step. This enabled the developers to map the basic functionality with a first MVP and implement additional features. On the one hand, this was a guided onboarding process on the app/backend side (see gallery), the implementation of the respiratory rate detection via intertial sensors and the alarm threshold integration in app and backend. Subsequently, an integration of the algorithm for heart rate detection via intertial sensors was finally carried out.

Challenges we ran into

  • Field access or difficult requirements analysis due to lack of contact persons with time in the current crisis situation
  • Validation possibilities due to lack of corona-conditioned access to reference measuring instruments
  • additional transfer effort by porting the algorithms to the smartphone
  • Distributed online hackaton (during a rainy weekend)
  • Slack on Friday with too many participants

Accomplishments that we are proud of

  • TeamSpirit & Teamwork!!!!!!!!!!!!!!!
  • Minimum Viable Product built in the shortest time
  • Great Pitch video

What we learned

  • Technical system only conditionally suitable for originally addressed application scenario (corona infected in conference buildings), but nevertheless transferable for many other applications (normal patients who are transferred to conference buildings) or for crisis areas with lack of medical equipment (e.g. Syria)
  • Teamwork despite / via HomeOffice
  • Improvising - with regard to validation of the developed algorithms

What's next for SmartHealth

  • Validation of the algorithms
  • Improvement of the user experience
  • Benchmarking
  • Privacy & Security
  • Field evaluation
  • Deployment in the field

Try it out

Ask for it - Due to not clinically validated algorithms and MDR character for liability reasons no general publication, Sorry. Just talk to us.

Built With

+ 32 more
Share this project:

Updates