01
Testen, wo sich die Sensoren widersprechen
Der Widerspruch ist der ganze Grund, warum es den zweiten Sensor gibt. Ein Benchmark, der ihn nie erzeugt, testet die Fusion nicht.
Technologien
Multimodale Sensorfusion
Sensoren fusioniert man nicht, um mehr Daten zu haben. Man fusioniert sie, weil sie unterschiedlich versagen. Die Kombination bleibt unter Bedingungen verfügbar, unter denen ein einzelner Kanal es nicht ist.
Fusionsebenen
Früh · Merkmal · Spät
Standardstart
Späte Fusion
Testfokus
Erschwerte Bedingungen
Typischer Aufbau
Gelerntes Frontend, klassischer Zustandsschätzer
Warum überhaupt fusionieren
Jeder Sensor ist für etwas anderes blind
Fusion rechtfertigt ihre erhebliche Komplexität, wenn die Kombination unter Bedingungen verfügbar ist, unter denen kein einzelner Kanal es ist. Das ist eine konkrete Behauptung, und genau sie sollten Sie prüfen, bevor Sie sich auf eine Multisensor-Architektur festlegen. Denn ein zweiter Sensor, der unter denselben Bedingungen ausfällt wie der erste, bringt zusätzliche Kosten, Gewicht, Leistungsaufnahme und Kalibrieraufwand und dafür fast keinen Gewinn.
- Kamera
- Leicht zu interpretieren und nutzlos bei Nebel, in der Nacht und mit Blick in die Sonne.
- Radar
- Funktioniert bei jedem Wetter und bei Dunkelheit und liefert etwas, das kein Mensch intuitiv lesen kann.
- Wärmebild
- Sieht Wärme statt Details. Für manche Fragen ist das genau richtig, für andere nutzlos.
- Lidar
- Liefert Geometrie direkt und hat Probleme mit Regen und spiegelnden Oberflächen.
Was wir kombinieren
Dieselbe Szene, gesehen von Sensoren, die sich uneinig sind, was daran interessant ist.
Kamerabilder mit Wärmebild und Prozessdaten an einer Fertigungslinie. Radar mit Kamera, wo Wetter und Dunkelheit über die Verfügbarkeit entscheiden. Elektrooptik mit thermischem Infrarot. Lidar und Geometrie. SAR mit Optik, wobei das Radar die Verfügbarkeit bei jedem Wetter liefert und die Optik die Interpretierbarkeit. Hochfrequenz und andere passive Quellen.
Dazu der Kontext jenseits der Sensoren. Er ist häufig die günstigste verfügbare Verbesserung der Genauigkeit, meist günstiger als ein zusätzlicher Sensor, und wird zugunsten eines solchen fast immer übersehen.
Sensorkombinationen
Kamera + Wärmebild Radar + Kamera EO + thermisches Infrarot Lidar und Geometrie SAR + Optik HF und passive Quellen
Kontext jenseits der Sensoren
Prozessdaten der Maschine selbst
Anlagen- und Instandhaltungsdaten
Wetter
Geländemodelle
Bekannte Verkehrs- und Schiffsdaten
Wo fusioniert wird
Früh, auf Merkmalsebene oder spät
Bei sicherheits- und einsatzrelevanten Systemen beginnen wir in der Regel mit später Fusion. Früher fusionieren wir nur dort, wo der Genauigkeitsgewinn gemessen ist und die Ausrichtung der Sensoren garantiert werden kann.
-
01Frühe Fusion
Kombiniert Roh- oder nahezu rohe Daten vor dem Modell. Höchste Genauigkeit, wenn die Sensoren zeitlich und räumlich gut ausgerichtet sind. Wenn nicht, verzeiht sie nichts.
-
02Fusion auf Merkmalsebene
Kombiniert gelernte Repräsentationen. Der übliche Mittelweg, der eine moderate Fehlausrichtung toleriert.
-
03Späte Fusion
Kombiniert Entscheidungen unabhängiger Verarbeitungsketten je Sensor. In der Spitze weniger genau, bei allem anderen deutlich besser: Sie verschlechtert sich kontrolliert, wenn ein Sensor ausfällt, jede Kette lässt sich einzeln testen und zertifizieren, und Sie können einem Bediener oder Auditor erklären, warum das System zu seinem Ergebnis gekommen ist.
Methode
Klassische Schätzverfahren und gelernte Fusion, meist im selben System.
Kalman-Filter, Faktorgraphen und Bayes-Schätzer sind nach wie vor die richtige Antwort für Tracking, Zustandsschätzung und alles, bei dem die Dynamik bekannt ist und das Verhalten vorhersagbar und erklärbar sein muss. Gelernte Fusion lohnt sich dort, wo der Zusammenhang zwischen den Modalitäten kompliziert und schwer zu formulieren ist, etwa beim Abgleich einer Radarsignatur mit einer optischen Detektion.
Die meisten Produktivsysteme, an denen wir arbeiten, sind Hybride: ein gelerntes Wahrnehmungs-Frontend je Sensor und ein klassischer Schätzer, der den fusionierten Zustand führt. Die Wahl ist eine Engineering-Entscheidung. Sie sollte sich daraus ergeben, was zertifiziert, erklärt und um drei Uhr morgens debuggt werden muss.
Klassische Schätzverfahren
Kalman-Filter Faktorgraphen Bayes-Schätzer
Wo sich gelernte Fusion lohnt
Zusammenhänge zwischen Modalitäten, die schwer zu formulieren sind
Abgleich einer Radarsignatur mit einer optischen Detektion
Wahrnehmungs-Frontends, je Sensor
Mit einem klassischen Schätzer, der weiterhin den fusionierten Zustand führt
Die schwierigen Teile
Das Schwierige ist nicht das Modell
Keiner dieser Punkte lässt sich mit einer besseren Architektur lösen, und jeder sieht wie eine Verschlechterung des Modells aus, wenn er schiefgeht.
- 01
Zeitsynchronisation
Sensoren tasten mit unterschiedlichen Raten und Latenzen ab. Ein nicht modellierter Versatz von einigen zehn Millisekunden wird zu einem Positionsfehler, der mit der Relativgeschwindigkeit wächst. Keine nachgelagerte Verarbeitung behebt ihn.
- 02
Kalibrierdrift
Intrinsische und extrinsische Parameter driften mit Temperatur, Vibration und Zeit. Ein System, das davon ausgeht, dass eine Werkskalibrierung auf einem Fahrzeug, einem Mast oder einem Maschinengestell fünf Jahre hält, wird langsam schlechter. Das sieht aus wie eine Verschlechterung des Modells, ist aber keine.
- 03
Koordinatensysteme und Geometrie
Unterschiedliche Sensoren, unterschiedliche Projektionen, unterschiedliche Montagepunkte und ein einziges Weltmodell, auf das sich alle einigen müssen.
- 04
Kalibrierte Unsicherheit
Fusion funktioniert nur, wenn jeder Kanal eine kalibrierte Konfidenz meldet und nicht bloß einen Score, der zufällig zwischen null und eins liegt.
- 05
Modelle sind von Haus aus schlecht kalibriert
Das gilt für die meisten Deep-Learning-Modelle. Das zu beheben ist oft die größte einzelne Verbesserung der Genauigkeit, die irgendwo im Fusions-Stack zu holen ist.
- 06
Fehlende Eingaben
Ein Sensor wird ausfallen, verdeckt, geblendet oder gestört werden. Das System braucht für diesen Fall ein vorab definiertes Verhalten und nicht das, was das Modell zufällig tut, wenn es Nullen erhält.
Evaluierung
Benchmarks für den Durchschnittsfall verbergen genau das Verhalten, für das Sie Fusion kaufen.
Entscheidend sind die Tests, bei denen sich die Sensoren widersprechen, und die, bei denen ein Kanal beeinträchtigt oder ausgefallen ist: Nebel, Dunkelheit, Blendung, Starkregen, Verdeckung, Störungen, eine ausgefallene Kamera, ein blockiertes Radom.
02
Testen mit beeinträchtigtem oder ausgefallenem Kanal
Nebel, Dunkelheit, Blendung, Starkregen, Verdeckung, Störungen, eine ausgefallene Kamera, ein blockiertes Radom: jeder Fall für sich, nicht weggemittelt.
03
Den beeinträchtigten Fall separat ausweisen
Bei einer Gesamtzahl kann ein starkes Ergebnis bei klarem Wetter einen Einbruch verdecken. Der Wert im eingeschränkten Betrieb ist der, für den das System gekauft wurde.
Ein Fusionssystem, das auf sauberen Daten besser abschneidet und zusammenbricht, sobald ein Eingang wegfällt, hat das Problem nicht gelöst, für das es gekauft wurde.
Wo das greift
Überall dort, wo ein Sensor an seine Grenzen kommt, bevor die Anforderung es tut
Fusion ist keine Fernerkundungstechnik, die gelegentlich in die Industrie überschwappt. Sie greift überall dort, wo ein einzelner Kanal nicht mehr ausreicht. Sobald die Bedingungen schwierig genug werden, ist das fast überall der Fall.
Fertigung und industrielle Inspektion
Kamerabild, Wärmebild und Prozessdaten erkennen gemeinsam, was keines davon allein erkennt: Oberflächenfehler, thermische Auffälligkeiten und eine Maschine, die bereits begonnen hatte zu driften.
Vorteile:
Oberflächen-, Wärme- und Vibrationssignale in einer Ansicht
Drift erkannt, bevor sie zum Fehler wird
Alarme über mehrere Kanäle bestätigt
Robotik und autonome Systeme
Wo eine Maschine ein brauchbares Weltmodell halten muss, während ein Sensor verdeckt, geblendet oder schlicht in die falsche Richtung ausgerichtet ist.
Vorteile:
Ein brauchbares Weltmodell, wenn ein Sensor ausfällt
Kamera und Lidar als ein System kalibriert
Definiertes Verhalten, wenn ein Kanal wegfällt
Energie und kritische Infrastruktur
Anlagen, die bei jedem Wetter, bei Dunkelheit und mit nur zeitweisem Zugang beobachtet bleiben müssen, oft ohne Personal vor Ort.
Vorteile:
Ein brauchbares Weltmodell, wenn ein Sensor ausfällt
Kamera und Lidar als ein System kalibriert
Definiertes Verhalten, wenn ein Kanal wegfällt
Luft- und Raumfahrt, Verteidigung und Fernerkundung
Überwachung und Erdbeobachtung, wo genau die relevanten Bedingungen die sind, die ein einzelner Kanal nicht abdecken kann, und wo weltraumgestützte und luftgestützte Quellen in Einklang gebracht werden müssen.
Vorteile:
Optik, Radar und Signale in einem Lagebild
Weltraum- und luftgestützte Quellen abgeglichen
Abdeckung unter den Bedingungen, auf die es ankommt
Architekturbewertung
So sieht ein erstes Projekt aus
Wenn die ehrliche Antwort lautet, dass ein gut gewählter Sensor die Aufgabe erfüllt, ist das ein günstigeres System. Dann sagen wir Ihnen das.
1
Ergänzen sich die Sensoren wirklich?
Ob die Kanäle unter den für Sie relevanten Bedingungen tatsächlich unterschiedlich versagen oder ob der zweite zusammen mit dem ersten ausfällt.
2
Wo sollte die Fusion stattfinden?
Früh, auf Merkmalsebene oder spät. Entschieden danach, was zertifiziert, erklärt und debuggt werden muss, und nicht nach einem Benchmark.
3
Was hält das System im Feld genau?
Die Kalibrier- und Synchronisationsinfrastruktur, die das System braucht, um korrekt zu bleiben, wenn Temperatur, Vibration und Zeit ihm zusetzen.
4
Wie hoch ist das Rechenbudget wirklich?
Mehrere Wahrnehmungsketten in Echtzeit plus fusionierter Schätzer, in Watt und Euro beziffert, bevor eine Geräteklasse gewählt wird.
Verwandte Themen
Wo ein Fusionsvorhaben auf den Rest des Stacks trifft
Technologien
Edge- & On-Premise-KI
Mehrere Wahrnehmungsketten gleichzeitig bedeuten eine wesentlich höhere Rechen- und Leistungslast als jede einzelne Kette. Hier ist die Wahl der Geräteklasse kein Detail mehr.
Technologien
Synthetische Daten & Simulation
Wo echte Multisensordaten knapp sind, bei seltenen Ereignissen und erschwerten Bedingungen, kann Simulation korrelierte synthetische Daten über alle Modalitäten mit exakter Ground Truth erzeugen.
Technologien
Computer Vision
Der optische Kanal für sich: worin er gut ist und unter welchen Bedingungen er nicht mehr ausreicht.
Branchen
Produktion
Kamerabild, Wärmebild und Prozessdaten an derselben Linie erkennen, was keines davon allein erkennt.
Branchen
Energie
Überwachung kritischer Infrastruktur, bei der Anlagen unter Bedingungen beobachtet bleiben müssen, an denen jeder einzelne Sensor scheitert.
Branchen
Fernerkundung
Weltraum- und luftgestützte Quellen zu einem Lagebild kombinieren, das auch bei Wetter und Dunkelheit trägt.
Strategie- & Architektur-Review vereinbaren
Sagen Sie uns, welche Bedingungen Ihr System überstehen muss.
Wir sagen Ihnen, ob sich Ihre Sensoren unter diesen Bedingungen wirklich ergänzen, wo die Fusion stattfinden sollte und wie hoch das Rechenbudget tatsächlich ausfällt.
Strategie- & Architektur-Review vereinbaren nAIxt Technologies GmbH
Am Forst 2
82166 Gräfelfing, Deutschland
+49 89 54196515
info@naixt-technologies.de