Begriffe für: Große mengen von Messdaten va Filter verdichten!?
-
Hallo Leute,
ich suche gerade Verfahren zur "verdichtung von messdaten". Dabei fehlen mir irgendwie die mathematischen Begriffe um zu Googlen^^
Hintergrund:
Ich habe messdaten bspw. 10000 werte, welche ich auf 1000 werte reduzieren will. jetzt könnte ich ja für jeden verdichtent werte das arithmetische mittel von 10 werten bilden. was gibt das den für möglichkeiten? verfahren?
Grüße
-
Da gibt es unendlich viele Verfahren.
Nur mal einige Beispiele:
- das Minimum der 10 Werte
- das Maximum der 10 Werte
- Mittelwerte - arithmetisch, logarithmisch, geometrisch
- einfach den n-ten Wert
- diverse Unterabtastungen mit Filterfunktionen zur Glättung
- Schwellwerteetc.
Alle haben entsprechende Auswirkungen auf die verdichteten Daten.
Man kann das pauschal nicht beantworten ohne zu wissen, um welche physikalische Datenart es sich handelt - je nach Datenquelle machen bestimmte Verdichtungen Sinn, andere nicht.
Nur als Beispiel: wenn es sich um Frequenzdaten handelt, und man nimmt einfach das Minimum der 10 Werte, würde man sich einen zusätzlichen Zeit-Jitter einkaufen. Ist das erlaubt? Was macht man dadurch später falsch?
Ausgehend davon kann man dann die Verdichtung wählen.
-
Danke Markus,
ja es handelt sich bspw. um Temperaturen und Spannungen Flusswerte etc. divereser sensorik. Wichtig is bspw. das Ausreißer in der messkurve nicht verloren gehen etc. Was wäre da sinnvoll!?
-
P.S. gibt da nen allg. begriff für so verfahren.. vll. ne übersicht wo ich sehe wie was funktioniert, vor und nachteile hat?
-
Kannst du ein bisschen mehr Hintergrund liefern, dann können wir auch eher helfen. Das ist bisher extrem schwammig formuliert.
Für was musst du verkleinern? Was machst du dann für Auswertungen? Was sind das für Daten?
Wenn du die Daten überabtastest und deshalb zuviel hast kannst du durch einfaches Downsampling deine Datenmenge verringern (da hilft dir das sampling Theorem von Nyquist). Falls die Daten sparse sind (in irgend einer Basis) kannst du dir auch mal Compressed Sensing anschauen.
-
Hallo Ihr,
ja die Überatastung wäre ein passender Begriff für die Thematik.
Nehmen wir an ich messe eine Temperatuir über 2 Tage hinweg, in dem ich alles 10 s einen Wert mit zeitstempel ablege.
Nun will ich die Daten abfragen, allerding so "verdichtet" das ich nur 100 werte zurück bekomme.
Nun such ich Varianten, wie ich die ca 19.000 Werte so auf 100 verdichte , das ich imemr noch die nötigensten infor darin bekomme!
grüße
-
MirFealltEsNichtEin schrieb:
das ich imemr noch die nötigensten infor darin bekomme!
Zum dritten Mal die Gegenfrage: Was sind die "nötigensten infor"?
-
Also 1000000... Daten, Aussreisser erhalten bleiben. D.h. du kannst dir die Ableitung ansehen. Ist die Anderung (erste bzw. zeite Ableitung) zum vorangegangen Messwert gross, so muss der Messwert erhalten bleiben. Wichtig ist nur, dass die herausgenommen Datenpunkte aus den uebrigen durch Interpolation leicht rekonstruiert werden koennen und der Fehler moeglichst gering gehalten wird. Andere Moeglichkeit ist, Messwerte die nahe einer Geraden liegen, eben durch eine solche zu approximieren, also nur Start- und Endpunkt uebernehen. Da sich die Temeratur nicht sprunghaft aendert und meist recht gleichmaessig ist, laesst sich das ganz gut machen.
-
Danke knivil,
es geht um prozess werte, es können temperaturen sein, ströme.. spannungen etc.
d.h. die werte könnten sich auch schlagartig ändern.
unter verdichtung versteh ich da die daten zu komprimieren so dass das kurvenprofil erhalten bleibt.
grüße
-
Du machst es einem echt nicht einfach. Ich habe den Eindruck, du weißt selber nicht, was du möchtest.
Vielleicht ein gleitender Durchschnitt mit einer überproportional starken Gewichtung für Abweicher?
-
ziehe einfach x zufällige Werte aus deinem Datensatz. Ist zumindest erwartungstreu.
-
MirFealltEsNichtEin schrieb:
ich suche gerade Verfahren zur "verdichtung von messdaten". Dabei fehlen mir irgendwie die mathematischen Begriffe um zu Googlen^^
Hintergrund:
Ich habe messdaten bspw. 10000 werte, welche ich auf 1000 werte reduzieren will. jetzt könnte ich ja für jeden verdichtent werte das arithmetische mittel von 10 werten bilden. was gibt das den für möglichkeiten? verfahren?
Nehmen wir an ich messe eine Temperatuir über 2 Tage hinweg, in dem ich alles 10 s einen Wert mit zeitstempel ablege. Nun will ich die Daten abfragen, allerding so "verdichtet" das ich nur 100 werte zurück bekomme.
Das klingt nach "Dezimierung" eines "digitalen Signals" -- um mal ein paar Stichwörter zu bringen. Dezimieren ist das Gegenteil von Interpolieren bei der Signalverarbeitung. Machne sagen auch "Downsampling", wobei streng genommen "Downsampling" eigentlich nur das "Übriglassen" von ein paar Abtastwerten bedeutet und keine Filterung impliziert.
Wenn es Dir wichtig ist, kein Aliasing zu produzieren und Du nicht genau weißt, ob Dein Signal entsprechend der Zieldatenrate bandlimitiert ist, dann müsstest Du Dein Signal durch einen Tiefpassfilter schicken und dann "downsampeln" -- siehe "Abtasttheorem". Das macht man meistens in einem Schritt, damit nicht unnötig viel berechnet werden muss (da man beim downsamplen ja viel wegschmeißt). Das arithmetische Mittel über 10 Werte ist so eine Art Filter (BoxCar) gefolgt von Downsampling. Könntest Du so machen, ja. Es würde mich wundern, wenn das von der Qualität her nicht ausreichen würde in Deinem Fall. Oder ändern sich Temperatur und co sehr schnell bei Dir?
kk
