Arbeitspakete

Experimente an den PNI Einrichtungen, insbesondere an Synchrotron-Quellen der dritten Generation wie Petra III, an neuen Neutronenquellen wie SNS und ESS, und an Freien Elektronen Lasern (FEL), profitieren dramatisch von kontinuierlichen Verbesserungen der Quellen-Eigenschaften, wie zum Beispiel der Brillianz oder Flussdichte, Kalibration der Optik für hohen Durchsatz, und von Entwicklungen in der Detektor-Technologie. Insbesonderen das Aufkommen von modernen 2D Halbleiter-Detektoren wie CCDs, pnCCDs oder Pixel-Detektoren, die sehr hohe Bildraten erlauben, eröffnen sich neue Möglichkeiten für Hoch-Durchsatz-Experimente in verschiedensten wissenschaftlichen Bereichen. Besseres Sampling in Raum und Zeit ermöglichen Experimente mit besser räumlicher und zeitlicher Auflösung sowohl im realen wie im Phasen-Raum. Gemeinsame sind all diesen Experimenten die sehr hohe Datenraten, die der Experimentator bewätigen muss. Bereits jetzt können Experimente Datenraten in der Größenordnung von 10 MB/s bei Neutronen und einigen 100 MB/s bei Photonen generieren. Die ersten FEL-Experimente haben mehr als 20 TB wissenschaftlicher Roh-Daten innerhalb einer Woche generiert.

hdri-1-en.png

Vereinfachtes Schema des Datenflusses bei PNI Einrichtungen.

Auch in Zeiten der kontinuerlich wachsenden Compute und Speicher-Kapazitäten benötigen diese Daten-Volumina eine Dedizierte Behandlung, die sich über den gesammten Lebenszyklus der Daten erstreckt. Für die effiziente Nutzung der Messzeitz an den PNI Einrichtungen is eine sehr schnelle initiale Auswertung der gemessenen Daten unerlässlich, um die Experimente angemessen steuern zu können. Abhängig von der Experimentiertechnik kann es sich um die simple Ermittlung eines geeigneten Qualitäts-Indikators wie dem R-Faktor in der Kristallographie handeln, um die Visualisierung der Daten oder in etwas komplizierteren Fällen um die Begutachtung rekonstruierter Information wie im Falle der Tomographie. In komplexen Experimenten ist es häufig notwendig Simulationen oder Modellrechnungen mit den Daten zu vergleichen. Diese erste Datenreduktion und Auswertung muss hinreichend schnell sein um in Echtzeit zu einer Entscheidung zu gelangen, ob das Experiment erfolgreich verläuft oder auch nicht. Dieser erste Schritt im Datenfluss ist einer der wesentlichen Ziele der gemeinsamen Initiative. Dennoch sind zusätzliche Anstrengungen nötig um die Daten den Anwendern in geeigneter und sicherer Art und Weise zugänglich zu machen bis die Analyse abgeschlossen ist, die Daten zu Archivieren, und Daten die zu Publikationen geführt haben öffentlich verfügbar zu machen. Da viele dieser Aufgaben an der jeder der PNI Einrichtungen in änlicher Weise anfallen, bemüht sich diese gemeinsame Initiative die Synergien gemeinsamer Entwicklungen auszunutzen, sowohl innerhalb von PNI als auch in Zusammenarbeit mit europäischen und internationen Synchtronstrahlungs-Communities, den Neutronen und Ionenstrahl-Communities. Dies beinhaltet universitäre wie ausser-universitäre Einrichtungen und Nutzergruppen. Um die Kollaborationen in diesem Bereich zu unterstützen sollten sich die beteiligten Institute auf gewisse Standards für die Speicherung von Rohdaten und Metadaten verständigen. Die gespeicherten Dateien sollten für einen spätere Auswertung eine vollständige und konsistente Beschreibung der Daten beinhalten. Standardisierte Formate sind eine Voraussetzung für den problemlosen Austausch von Daten und Analyse-Werkzeugen zwischen den Instituten. Hardware-Standardisierung kann helfen die Anstrengungen hoch-spezialisierte Software zu programmieren auf einem nachhaltigen Niveau zu halten. Die erwarteten großen und komplexen Datensätze zu modellieren und zu analysieren wird eine formidable Herausforderung bleiben. Um diese Aufgaben zu bewältigen und darüber hinaus die Verwertbarkeit der Daten für die gesammte Nutzer-Community zu erweitern, ist es wesentlich Werkzeuge zu entwickeln die den Anwendern einen schnellen, einfachen Zugang zu ermöglichen, zur Visualierung der Daten, rechenintensive Modellierung der physikalischen Eigenschaften ein Systems und vollen Simulationen bei der instrumentierten Auflösung.