Daten Auswerten - welches Programm?



  • Ich habe hier Messdaten in Gigabyte großen CSV-Dateien vorliegen.
    Die Daten sollen in etwa Sinuskurven beschreiben.

    Nun möchte ich diese analysieren.

    Zum ersten würde ich die Daten gerne zoombar plotten.
    Ich möchte eine scrollbare x-Achse haben, da bei einem "normalen" Plot nichts zu erkennen ist, da die Kurven zu dicht beieinander liegen.
    Zum anderen würde ich gerne eine Modell-Sinusfunktion interpolieren.
    Zum Abschluss interessieren mich noch einige Kenngrößen:
    Wie groß ist die Amplitude im Durchschnitt/maximal/minimal ?
    Wie viele vollständige Sinuskurven wurden gemessen?

    Ich denke für diese Aufgabe muss ich das Rad nicht neu erfinden und es gibt sicherlich ein gutes Programm, das damit umgehen kann.

    Noch dazu: Die Dateien sind zu groß für Excel und ich würde gerne ein etwas wissenschaftlicheres Programm anwenden.



  • Versuch's mal mit GNUPlot



  • Von wieviel GB sprechen wir?

    Wenn die zu groß für den Arbeitsspeicher sind, dann brauchst du eines, dass on the fly auf die Daten von der SSD zugreift und sie nach und nach einliest.

    Ob das Programme wie GNUPlot können musst du testen.
    Ich bezweifle das die dafür gemacht werden.
    Es kommen ja nicht einmal viele HEX Editoren mit übergroßen Dateien aus, sobald man eine Suchen und Ersetztenfunktion im HEX Editor nutzen möchte.

    In jedem Fall rate ich dir aber zu einer 64 Bit Version.

    Ansonsten musst du eben etwas selber schreiben.
    So schwer ist das nicht, einen einfachen Plotter zu schreiben.



  • Ich habe leider das Problem, dass meine Dateien nicht in den RAM passen. gnuplot scheint damit Probleme zu haben.



  • heuwiese schrieb:

    Zum ersten würde ich die Daten gerne zoombar plotten.
    Ich möchte eine scrollbare x-Achse haben, da bei einem "normalen" Plot nichts zu erkennen ist, da die Kurven zu dicht beieinander liegen.

    Folgendes ist auch ohne Plotting möglich und dürfte kein großes Thema sein:

    Zum Abschluss interessieren mich noch einige Kenngrößen:
    Wie groß ist die Amplitude im Durchschnitt/maximal/minimal ?
    Wie viele vollständige Sinuskurven wurden gemessen?

    Auch hoffe ich, dass dir klar ist, dass du bei GB an Daten ewig scrollen wirst, denn auf einen Bildschirm passt die Information der GB an Daten ohne Verlust in der Darstellungsqualität nicht drauf. Die Auflösung eines Bildschirms ist schließlich begrenzt.
    Und wenn du das zusammendrückst, dann wirst du da nicht viel erkennen können.



  • root, ganz klar root.


Anmelden zum Antworten