Data Processing & Analysis Consortium

Das Data Processing & Analysis Consortium (DPAC) ist ein Team von ca. 450 Wissenschaftlern, Ingenieuren und Softwareentwicklern zahlreicher Institute und Nationen in Voll- und Teilzeit, die seit 2006 mit der Vorbereitung und Auswertung der wissenschaftlichen Daten der Gaia-Mission beschäftigt sind. Eine Hauptaufgabe ist die Erstellung und Veröffentlichung der Gaia-Kataloge.

Anders als bei vielen anderen Missionen sind die Rohdaten von Gaia ohne weitere Behandlung nicht nutzbar. Die ESA musste zusammen mit DPAC neue Software entwickeln, damit die gewonnenen Daten am Boden effizient verarbeitet, archiviert und für die Nutzung aufbereitet werden können. Zudem wurden die Empfangskapazitäten und Internetverbindungen der drei 35-Meter-Antennen des ESTRACK-Netzwerks in New Norcia, Cebreros und Malargüe ausgebaut, um die hohen Datenmengen der Gaia-Mission effektiv empfangen, verarbeiten, weiterleiten und speichern zu können.

Die Daten vom Antennennetzwerk werden vom Europäischen Raumflugkontrollzentrum ESOC in Darmstadt gebündelt, zum wissenschaftlichen Zentrum (Science Operations Centre, SOC) im ESAC weitergeleitet und dort gespeichert. Das Zentrum von DPAC mit der zentralen Datenbank aller Daten befindet sich in Villafranca del Castillo in der Nähe von Madrid in Spanien und wird von der ESA bereitgestellt und unterhalten. Eine weitere Datensicherung für alle Daten besteht räumlich weit getrennt im CNES-Datenzentrum in Toulouse.

Das DPAC ist in sechs Datenzentren und neun Coordination Units (CUs) organisiert. Die Kosten für DPAC für die Weiterverarbeitung der Daten werden dabei aus nationalen Budgets bzw. von den Budgets der beteiligten Institute getragen, nicht von der ESA.

Im November 2022 wurde bekanntgegeben, dass DPAC den New York Community Trust Prize for Meritorious Work in Astronomy (der Berkeley-Preis, benannt nach Lancelot M. Berkeley) 2023 von der American Astronomical Society erhalten soll. Der Berkeley-Preis soll von Anthony Brown (Sternwarte Leiden), dem Vorsitzenden von DPAC, entgegengenommen werden. Der Preisvortrag soll am 12. Januar 2023 im Seattle Convention Center gehalten werden.^[1] Zur Begründung wird ein Artikel in A&A genannt.^[2]

DPAC ist ein hauptsächlich, aber nicht ausschließlich europäisches Projekt, das von 21 Nationen und zwei internationalen Institutionen unterstützt wird. Unterstützt wird das Projekt finanziell durch die Institutionen, die am Gaia Multi Lateral Agreement (MLA) teilnehmen. Weitere Unterstützung erfährt das Projekt durch Wissenschaftler anderer Länder, die über Austauschprojekte und Stipendien ihrer Länder teilnehmen. Die Liste der beteiligten Institute ist veränderlich, entsprechend den anfallenden Aufgaben.

Die Aufbereitung der Daten geschieht an sechs Datenverarbeitungszentren (Data processing Centres, DPC) in Villafranca, Barcelona, Cambridge, Genf, Turin und Toulouse.^[5] Die einzelnen Standorte haben ihre eigene Finanzierung und entwickeln jeweils ihren eigenen Weg zur Erfüllung ihrer Aufgaben und rekrutieren das nötige Personal; sie entscheiden selbst, welche Mittel und Technik sie dazu einsetzen und testen sie vor dem Einsatz mit simulierten Daten. Jede Arbeitsgruppe (Coordination Unit oder CU) ist einem oder mehreren Standorten zugeordnet, während die beteiligten Wissenschaftler auch an anderen Instituten und an weit verstreuten Orten arbeiten können. Die sechs Standorte sind untereinander mindestens mit 1-Gbit/s-Datenleitungen vernetzt, deren Kapazität erweiterbar ist, falls in Zukunft mehr Bandbreite benötigt wird. Alle Rohdaten, Zwischenergebnisse und Endresultate der jeweiligen Prozesse werden im Data Processing Centre at ESAC (DPCE) in Villafranca gespeichert und können von den Arbeitsgruppen wieder für die nächsten Schritte abgerufen werden.

Die Datenverarbeitungszentren befinden sich unter dem Dach bestehender Institutionen und haben eigene Namen. Jedes dieser Datenzentren betreibt entweder eigene Datenverarbeitungssysteme, greift auf die Systeme der beteiligten Institute zurück oder vergibt die Aufgaben extern an entsprechende Supercomputer oder Serviceprovider.

Das Data Processing Centre at ESAC (DPCE) ist Teil des wissenschaftlichen Missionzentrums (Science Operations Centre, SOC) im ESAC in Villafranca. Das Datenzentrum betreibt die Software der CU1 mit den Aufgaben Raw Data Base, Main Data Base (Hauptdatenbank, MDB), Mission Operations Centre Interface Task (MIT), Decompression and Calibration Service (DCS), Payload Operations System (POS) und Gaia Transfer System (GTS), ein Internet basiertes System zum Datenaustausch zwischen den Datenzentren. Für die CU3 betreibt DPCE die Module Initial Data Treatment (IDT), First Look (FL) und Astrometric Global Iterative Solution (AGIS). Zu den eigenen Aufgaben gehören die IDT/FL Database (IDTFLDB), die Daily PipeLine (DPL) und das Gaia Observing Schedule Tool (GOST). DPCE dient außerdem als Bindeglied zwischen dem Missionszentrum (MOC) in Darmstadt und den anderen Datenzentren.

Die Hauptdatenbank umfasste mit dem Stand von Gaia DR2 knapp 2,5 Milliarden Objekte, davon wurden mit Gaia EDR3 bzw. DR3 Daten von 1,8 Milliarden Objekten veröffentlicht.^[6] DPCE beherbergt die Server für die Gaia-Kataloge und das Gaia-Archiv weit über die aktive Zeit der Gaia-Mission hinaus.

Das Data Processing Centre of Barcelona (DPCB) ist eingebunden in die DPAC-Gruppe der Universität Barcelona (UB) zusammen mit dem Institute for Space Studies of Catalonia (IEEC), dem Barcelona Supercomputing Centre (BSC) und dem Consorci de Serveis Universitaris de Catalunya (CSUC) in Barcelona. Die Hardware wird vom BSC bereitgestellt, während das Team von UB und IEEC für Management, Betrieb, Entwicklung und Softwaretest verantwortlich ist. Für die CU1 betreibt das DPCB das Modul Gaia Transfer System (GTS) zum Austausch mit dem DPCE, für die CU3 das Intermediate Data Updating (IDU) und für die CU2 Datensimulationen zur Sondentelemetrie und für die Gaiakataloge. Außerdem dient es als Backup für die Hauptdatenbank und für die die Telemetriedaten. Für diese Aufgaben nutzt das BSC intensiv den MareNostrum-Supercomputer, der 2017 mit 3000 Rechenknoten und 100,8 TB Hauptspeicher ausgestattet eine Rechenleistung von 1,1 Petaflops erreichte. Für Gaia DR2 wurden 389.245 Prozessorstunden benötigt; in dieser Zahl sind nur die erfolgreichen Durchgänge gezählt.^[6] Mit dem Modul IDU wird die Basis geschaffen für die nächsten Schritte AGIS und PhotPipe. Das Modul IDU wird einmal am Ende jedes Datensegments durchgeführt, dabei werden die Daten von vielen Monaten Beobachtungszeit gemeinsam ausgewertet und Kalibrierungsdaten, beispielsweise zur Hintergrundhelligkeit, berücksichtigt.

Das Data Processing Centre at CNES (DPCC) befindet sich am CNES in Toulouse. Das CNES-Datenzentrum in Toulouse speichert einen kompletten Datensatz aller Gaia-Daten als Sicherheitskopie an einem anderen Ort, während die Hauptdatenbank in Villafranca vorgehalten wird. Das DPCC verarbeitet die Daten von CU4 mit den Sonnensystemobjekten und Mehrfachsternsystemen, von CU6 mit der Verarbeitung der spektroskopischen Daten und von CU8 mit der Bestimmung der Spektralklassen der Objekte. In Touluse beschäftigt man sich mit einigen Objektklassen: Doppel- und Mehrfachsterne, Sponnensystemobjekte, ausgedehnte Objekte wie Quasare und nicht aufgelöste Galaxien, im Allgemeinen Objekte, die sich nicht mit den üblichen astrometrischen, photometrischen und spektroskopischen Verfahren automatisiert verarbeiten lassen. Es gibt dafür acht verschiedene tägliche und wiederkehrende Prozesse. DPCC entdeckt neue Sonnensystemobjekte und gibt die Alarmmeldungen an das Gaia follow-up network for Solar-system objects, (FUN-SSO), also an das Netzwerk zur Nachverfolgung von Sonnensystemobjekten.

Die Verarbeitung der spektroskopischen Daten wertet die Ergebnisse des RVS aus. Zu den Aufgaben gehört die Überwachung, ob das Instrument korrekt funktioniert und entsprechend kalibriert ist, Berechnung der Radialgeschwindigkeit und der Rotationsgeschwindigkeit, Erkennung von variablen Sterne, Doppel- und Mehrfachsternen, gibt saubere und kalibrierte Spektren heraus. Der Prozess astrophysical-parameter processing chain (Apsis) kümmert sich um Kalibrierungsdaten und klassifiziert Gaia-Objekte.

Die Datenverarbeitung arbeitete für Gaia DR2 mit 172 Rechenknoten mit 3500 Prozessorkernen und 19 TB Hauptspeicher sowie 2,6 PB Datenspeicher. Die Rechenkapazitäten müssen zusammen mit den Aufgaben und Datenmengen erweitert werden. Am Schluss wird der Cluster ungefähr 5800 Prozessorkerne und 4.5 PB Datenspeicher benötigen. Die Backup-Lösung für die Hauptdatenbank basiert auf einem temporären Plattenspeicher mit 64 TB und einem Roboter für Bandspeicher.^[6]

Das DPCI befindet sich am Institute of Astronomy (IoA) an der University of Cambridge. DPCI verarbeitet täglich die Daten von IDT und gibt bei auffälligen Funden und vorübergehenden Phänomenen die Gaia photometric science alerts heraus. Ein Prozess konstruiert die Lichtkurven für alle bekannten Objekte und erkennt neue Objekte. DPCI betreibt die Datenverarbeitung für die CU5 mit PhotPipe. PhotPipe arbeitet zyklisch und kann die Arbeit erst aufnehmen, wenn die Daten für ein gesamtes Datensegment gesammelt sind und die Ergebnisse von IDU und AGIS vorliegen.

Für Gaia DR2 wurden 51,7 Milliarden Transits in PhotPipe verarbeitet, dabei blieben 40,9 Milliarden übrig, nachdem 10,7 Milliarden überzählige Objekte ausgefiltert worden waren, für die keine Objekte aus der Datenbank zugeordnet werden konnten. Es handelt sich dabei mehrheitlich um scheinbare Objekte: Artefakte, die durch Überstrahlung von hellen Objekten hervorgerufen wurden oder um Effekte der Weltraumstrahlung.^[6] In Cambridge arbeitet Gaia DPAC Radiation Task Force, die die Strahlenschäden und beschädigte oder defekte Pixel an den Sensoren Gaias erkennt und in ihre Modelle einbezieht.

Das Data Processing Centre in Geneva (DPCG) befindet sich an der Fakultät für Astronomie der Universität Genf. Für die Datenverarbeitung wird das IntegralScience Data Centre (ISDC) in Versoix nahe Genf genutzt. DPCG betreibt die Untersuchung der Variabilität mit der Integrated Variability Pipeline (IVP) für CU7. DPCG betreibt einen zyklischen Prozess. Diese Einheit kann erst arbeiten, wenn die Ergebnisse von verschiedenen anderen Einheiten über einen bestimmten Zeitraum vorliegen, dabei werden Daten und Ergebnisse von CU3, CU4, CU5, CU6 und CU8 verwendet.

Für jedes Objekt wird eine zeitabhängige Serie der Messungen erstellt, auch für die nicht variablen Objekte. Anhand dieser Serie werden verschiedene Statistiken geführt. Damit werden die variablen Objekte erkannt, dann werden von den variablen Objekten die periodisch veränderlichen Objekte bestimmt, weiterhin werden die Perioden, Bandweite, Phasen und Modelle bestimmt. Der Prozess zielt darauf ab, die Klassen von variablen Objekten zu bestimmen, außerdem für jedes Objekt eine Wahrscheinlichkeit, dass es einer bestimmten Klasse zugehört.

Die Ergebnisse werden entsprechend von CU4, CU6, und CU8 weiterverarbeitet. Für die Datenverarbeitung wird ein Cluster mit 850 Prozessorkernen verwendet. Alle 1,7 Milliarden Objekte aus Gaia DR2 wurden für die entsprechende Beobachtungszeit auf photometrische Variabilität untersucht.^[6]

Das Data Processing Centre at Torino (DPCT) betreibt die Datenverarbeitung für die Astrometric Verification Unit (AVU) der CU3 und spielt eine wichtige Rolle bei der Qualitätssicherung. DPCT betreibt folgende Module

• AVU/AIM: the Astrometric Instrument Model data analysis software system. Dieser Prozess überwacht Gaias astrometrischen Sensoren und findet heraus, ob und wie sich die Resultate des Instruments über die Zeit verändert haben.
• AVU/BAM: the Basic Angle Monitoring software system. Es überprüft ob und wie sich die Ergebnisse von BAM im Lauf der Zeit verändern. Mit BAM wird der Winkel zwischen den Achsen der beiden Teleskope gemessen.
• GSR: Global Sphere Reconstruction, ein Prozess, der die Ergebnisse von AGIS auf ihre Richtigkeit überprüft.

Zu den Aufgaben gehört die Überwachung und Analyse der Ausgaben der Astronometrischen Instrumente und die Überwachung des „Basic Angle Monitoring System“, das die minimalen Veränderungen des Basiswinkels zwischen den beiden Teleskopen überwacht. Die Gruppe betreibt die Einheit „Global Sphere Reconstruction“ (GSR); die Ergebnisse von AGIS werden verifiziert. Die Gruppe stellt aus den Analysen der Instrumente die Kalibrierungsdaten für die täglichen Prozesse bereit. Einer der Prozesse wird auf dem Fermi-Supercomputer der CINECA ausgeführt. Eines der Module entfernt die Drehbewegung der Teleskope und verknüpft die Daten mit dem Gaia Celestial Reference Frame.^[6]

Ein Teil der Prozesse läuft täglich, AVU/AIM läuft über die Daten von 24 Stunden. Ein Prozess verarbeitet die Rohdaten und benutzt dafür PSF und LSF und erkennt daran den Zustand der Sensoren und die Bildqualität. Es wird dabei erkannt wie stark sich die Eigenschaften der Abbildung verändern wenn sie über verschiedene Sensoren gemessen werden und findet so Daten zur Kalibrierung. Für Gaia DR3 wurde mit AIM zwischen 2 und 11 Millionen Beobachtungen täglich verarbeitet.

Die CU1 war die erste tätige Arbeitsgruppe. Sie wurde gegründet, bevor die Sonde gebaut war, und war für die Definition der Systemarchitektur zuständig, die von DPAC genutzt wird, für die dazu benötigte Hardware, Software und die nötige Technologie für die Hauptdatenbank. Außerdem war sie für die Festlegung und Überwachung von Systemstandards und Systemtests zuständig. Zu ihren Aufgaben gehörte die Anpassung an die ECSS-Standards und das MOC-Interface sowie die Definition für die Qualitätssicherung. Die CU1 legte fest, was die Aufgaben der übrigen Arbeitsgruppen sind, welcher der Standorte welche Funktion übernimmt, wie die Prozesse ablaufen, wie der Datenfluss verlaufen soll und wie die erzielten Ergebnisse am Ende wieder gesammelt werden und gespeichert werden.

Die CU2 war für die Simulationen zum Test von Hard- und Software vor dem Einsatz zuständig. Die Software wurde vor ihrem Einsatz mit umfangreichen simulierten Daten auf ihre Zuverlässigkeit getestet, bevor sie für die Verarbeitung der Gaia-Missionsdaten verwendet werden konnte. CU1 und CU2 waren die ersten aktiven Arbeitsgruppen und begannen mit ihrer Arbeit bereits lange vor dem Start des Teleskops.

Seit erfolgreicher Entwicklung und Start der Mission beschränkt sich die Aufgabe auf den Support der Software und die Herausgabe von Updates. Der Datensimulator soll während der gesamten Missionsdauer zur Verfügung stehen und wird weiterhin gewartet. Die einzelnen Arbeitsgruppen können anhand der simulierten Daten ihre Prozesse austesten und die Ergebnisse verifizieren.

Die CU3 leistet den Hauptteil der Rechenarbeit für die astrometrischen Daten und liefert die Position und Bewegungsrichtung von Objekten am Himmel. Zu den täglichen Aufgaben gehört die Dekodierung, Entpackung und Verarbeitung der Wissenschaftsdaten, die vom Missionszentrum (MOC) geliefert werden. Die Arbeitsgruppe überwacht die korrekte Funktion der Sonde und gibt ultrapräzise Auskunft über die Arbeit der Instrumente an ESOC für die Überwachung der Sonde weiter. Sie übernimmt auch eine erste Sichtung des Materials (First Look) und gibt „Science-Alerts“ aus, wenn plötzliche Ereignisse entdeckt werden.

Die CU3 arbeitet mit AGIS (astrometric global iterative solution) und übernimmt den größten Teil der mathematischen Datenreduktion. Neben der täglichen Arbeit übernimmt sie die periodische iterative Nachberechnung der Telemetriedaten, indem sie die Daten mit Hilfe verbesserter Kalibrierungsdaten nachberechnet. Dabei berücksichtigt sie die Kalibrierungsdaten der Messinstrumente, z. B. die kleinen Veränderungen des Grundwinkels, wie sie von den Sensoren des Basic Angle Monitors gemessen werden, die bei den täglichen Datenprozessen noch nicht berücksichtigt sind.

Die CU4 übernimmt die Objektberechnungen für komplexere Objekte, die nicht im Einzelnen von der CU3 behandelt werden können. Sie befasst sich mit Zweifach- und Mehrfachsternsystemen, den Objekten des Sonnensystems und mit Exoplaneten, außerdem mit ausgedehnten Objekten wie Galaxien und Sternhaufen, die nicht als einzelne Objekte verarbeitet werden können, und mit sonstigen extragalaktischen Objekten. Handelt es sich bei einem Objekt um einen Stern, so wird das Objekt mehrfach nahe einer Position gemessen; andernfalls handelt es sich wahrscheinlich um einen Asteroiden oder Kometen, der seine Position gegenüber den vorherigen Beobachtungen deutlich verändert hat. Alle so entdeckten Objekte werden mit den Bahnen von bereits bekannten Asteroiden verglichen. Ergibt sich keine Übereinstimmung, so handelt es sich potentiell um ein neu entdecktes Objekt. Bewegungen von mehr als etwa 1 as/s können bereits durch den Vergleich der unterschiedlichen Ergebnisse aus dem Feld der Astrometriesensoren während einer Erfassung erkannt werden. Die Ergebnisse werden an das Gaia-FUN-SSO-Netzwerk gemeldet, das versucht, die Objekte über einen längeren Zeitraum zu verfolgen, um mehr Bahndaten zu gewinnen und um zu verhindern, dass bereits erfasste Objekte wieder verloren gehen, bevor genügend Daten für eine Bahnbestimmung gesammelt sind.

Die CU5 konzentriert sich auf die photometrischen Daten und unternimmt die allgemeine Kalibrierung für die Helligkeit. Sie sammelt die Informationen über die Helligkeit epochenbezogen. Die CU5 gibt Science-Alerts aus, wenn Objekte ungewöhnliche Helligkeitsschwankungen zeigen, z. B. wenn eine Supernova oder ein Gravitationslinseneffekt entdeckt wird. CU5 läuft in Cambridge unter dem Dach von DPCI.

Das RVS-Instrument wurde mit Hilfe der RVS-Arbeitsgruppe am Mullard Space Science Laboratory, University College London entwickelt. Das RVS-Instrument wird von der RVS Pipeline ausgewertet, die Teil von CU6 ist.^[7]

Die CU6 verarbeitet die spektroskopischen Daten von einzelnen Sternen. Die Spektroskopie ermöglicht anhand von Dopplerverschiebung die Berechnung der Radialgeschwindigkeit und Rotationsgeschwindigkeiten. Sie bestimmt die Zusammensetzungen von Einzelsternen. Zu den Aufgaben gehört die Zuordnung der Spektren zu den helleren Objekten und die Korrektur der Spektren gegen die Strahlung des Hintergrunds. Eine weitere Aufgabe ist die Validierung der Daten.

Die CU6 begann in den Ursprüngen bereits in der Planungsphase gegen Ende der 1990er-Jahre. Eine kleine Gruppe von Spezialisten arbeitete am Konzept des Radialgeschwindigkeitsspektrometers (RVS) und führte verschiedene Simulationen durch. 2001 wurde dann die RVS-Arbeitsgruppe gegründet, die die wissenschaftlichen Ziele definierte und die Industrie bei der Umsetzung in technische Spezifikationen unterstützte. Zu den Arbeiten gehörte auch der Test der Prototypen des RVS und die Simulation und Auswertung der Daten, um die Fähigkeiten des Instruments auszutesten. 2006 wurde festgestellt, dass das Konzept in die Gaiamission integriert werden kann; in der Folge wurde dann DPAC gegründet, und die RVS-Arbeitsgruppe wurde in Coordination Unit 6 (CU6) umbenannt. Das Team von Wissenschaftlern an verschiedenen Instituten in Europa (Meudon Observatory, MSSL, AIP, Universities of Antwerp, Bordeaux, Brussels, Liege, Ljubljana, Montpellier) wurde mit der Entwicklung der entsprechenden Auswertungsmethoden betraut und hatte auch die Aufgabe, die entsprechende Infrastruktur für die Verarbeitung dieser großen Datenmengen bereitzustellen. Für die Datenverarbeitung ist CNES in Toulouse verantwortlich, zusammen mit dem Aufbau der Spectroscopic Pipeline. Eine besondere Herausforderung ist die Verbindung der Pipeline mit den Ergebnissen der vorhergehenden CUs. Die Pipeline nahm ihre Arbeit 2016 auf, und die ersten Ergebnisse wurden im Gaia DR2 veröffentlicht.^[8]

Variable Sterne werden von der CU7 untersucht, die ihre Perioden untersucht und bestimmt sowie Variabilitätsmodelle entwirft. Die Ergebnisse der CU7 gehen wiederum in die Kalibrierungsberechenungen ein. Außerdem koordiniert diese Einheit die externen Beobachtungen und gibt neu erkannte variable Sterne bekannt. Das Team untersucht die gesammelten Katalogdaten und sucht darin bisher nicht erkannte veränderliche Sterne.

Die CU8 unternimmt die Bestimmung von ausgedehnten und nicht punktförmigen Himmelsobjekten, beispielsweise Galaxien und Zwerggalaxien, Nebel etc. Sie gibt die photometrischen und spektroskopischen Parameter aus, z. B. die Spektralklasse. Sie kümmert sich um Sternbedeckungen und analysiert Objektcluster, schätzt Leuchtkraft, Alter und Masse von Objekten, teilt alle beobachteten Objekte in bestimmte Klassen ein und versucht, Gruppen von zusammengehörigen Objekten zu identifizieren. Mit Gaia DR3 werden Ergebnisse von CU8 in größerem Stil herauskommen.

Die CU9 wurde von allen Grupen als letzte gebildet. Sie betreut die Grundfunktionen Archivierung, Datenbank und Datenabrufschnittstellen und die zugehörigen Server für künftige Forschergenerationen. Die CU9 verifiziert die ermittelten Daten und bereitet die Veröffentlichung der Gaia-Kataloge vor.^[9] Die Anforderungen an den Katalog können sich mit dem wissenschaftlichen Fortschritt immer wieder ändern und künftige Entwicklungen und Fragestellungen müssen ebenfalls erfüllt werden.

Die CU9 darf vor der allgemeinen Veröffentlichung im offiziellen Katalog keine Daten an einzelne Wissenschaftler oder Institute herausgeben. In einzelnen Fällen waren solche Gaia-Daten wichtig für andere Raummissionen, z. B. half die Gaia-Mission der New-Horizons-Mission mit präzisen Daten über die Sternbedeckungen von (486958) Arrokoth. In diesen Fällen wurden die Daten vorab veröffentlicht.

Die CU9 entwickelt auch Programme und Anwendungen zur besseren Zugänglichkeit und zur Visualisierung der Daten. Außerdem unterstützt sie die Ausbildung und Lehre von Wissenschaftlern und dient auch der allgemeinen Bildung und unterstützt die Präsentation der Mission in der Öffentlichkeit. Die CU9 oder eine Nachfolgeorganisation soll die Arbeit weit über die Lebensdauer der Mission hinaus fortführen, wenn alle anderen Gruppen ihre Aufgaben bereits erfüllt und sich wieder aufgelöst haben. Die Daten der Gaiamission und die entsprechenden Server zur Abfrage und Auswertung sollen auch für folgende Forschungsgenerationen bereitgehalten werden.

Es gibt zwei grundsätzliche Arten von Gaia-Daten: zum einen Daten, die von der Raumsonde gewonnen werden, und zum anderen Daten, die begleitend zur Mission gesammelt werden. Dopplermessungen, Laufzeitmessungen und Delta-DOR Messungen der Radioteleskope und die Positionsdaten der Teleskope, die in der Ground-Based-Optical-Tracking-Einheit (GBOT) betrieben werden, also die Daten für die Positionsbestimmungen der Sonde, sind solche begleitenden Daten.

Gaia selbst produziert viele unterschiedliche Rohdaten, die unterschiedlich priorisiert und verarbeitet werden. Gaia generiert Daten von unterschiedlichen Instrumenten und Sensoren mit unterschiedlichen Datenpaketen. Es gibt drei Gruppen von Datenpaketen: SP, ASD und SIF. Wissenschaftlich verwertbare Daten sind in erster Linie in den sogenannten Star Packets (SP) und Ancillary Science Data Packets (ASD) enthalten. Während die Star Packets (SP) die eigentlichen Daten enthalten, werden die Ancillary Science Data Packets (ASD) zur Rekonstruktion von Positionen und Zeiten benötigt. Es gibt neun verschiedene Star Packets (SP1 bis SP9) und sieben verschiedene Ancillary Science Data Packets (ASD1 bis ASD7).

Außerdem gibt es noch Service Interface Packets (SIF), diese enthalten in den meisten Fällen keine wissenschaftlichen Daten, sondern Daten über die Funktion des Service-Moduls, z. B. Daten der Stromversorgung, Temperaturen und andere Messwerte und Monitordaten über die Datenverarbeitungssysteme z. B. Prozessor- und Speicherauslastung. Diese Datenpakete sind für den Betrieb der Sonde notwendig.^[10] Die SIF-Datenpakete umfassen auch die Auswertung der Starmapper, die für neun Himmelsregionen mit besonders hoher Sternendichte angefertigt wurden. Die wissenschaftliche Auswertung dieser Sensordaten war zu Beginn der Mission noch nicht eingeplant. Bei dieser Auswertung wird im laufenden Betrieb der Bildspeicher ausgelesen, ohne die übrige Datenverarbeitung zu beeinträchtigen. Die Auswertung der SIF-Daten geschieht über einen völlig unterschiedlichen Prozess als die Auswertung der SP und ASD durch AGIS.

• SP1: Die häufigsten Datenpakete. Jedes Objekt, das über die CCD-Sensoren des Teleskops zieht, bekommt ein solches Datenpaket. Enthalten sind die Daten von Starmapper (SM), Astrometrischem Feld (AF), Blauem Photometer (BP) und Rotem Fotometer (RP). Objekte in diesem Sinn sind alle registrierten Scanfenster; es ist möglich, dass das Scanfenster Doppelsterne oder überlagernde Beobachtungen aus beiden Teleskopen enthält.^[11]
• SP2: Die Datenpakete sind wie SP1; wenn das Objekt hell genug für eine Messung ist, also G-Magnitude von ≤ 16 hat, gibt es zusätzlich Daten vom Radial Velocity Spectrometer (RVS), also dem Instrument zur Bestimmung der Radialgeschwindigkeit.
• SP3: Diese Datenpakete enthalten Objekte, die sich deutlich quer zur Scanrichtung bewegen. Es handelt sich dabei zum größten Teil um Asteroiden, die sich vergleichsweise stark bewegen.
• SP4: In bestimmten Abständen werden die Werte der Basic-Angle-Monitoring-Sensors (BAM) zur Überwachung des Grundwinkels übertragen. Dies sind keine astrometrischen Informationen, sondern Kalibrierungsdaten, aber sie stammen ebenso von der Sensorebene.
• SP5: Daten vom Wave Front Sensor (WFS) zur Überwachung der Fokussierung der Teleskope.
• SP6 und SP7: Diese Pakete werden produziert, wenn ein heller Stern auftaucht, oder wenn das Lagekontrollsystem einsetzt und kurzzeitig die Lage verändert wurde. Enthalten sind die Sensordaten von SM und AF1. Diese Sternpakete werden bei der Standard-Datenverarbeitung nicht berücksichtigt.
• SP8 und SP9: Enthalten Messungen aus AF1 oder SM von hellen Sternen. Dieser Datentyp wird nur unter bestimmten Bedingungen erstellt und nicht auf dem Weg der Standard-Datenverarbeitung verarbeitet.
• ASD1: Position des Scanfensters quer zur Scanrichtung für die meisten CCDs, wird einmal pro Sekunde für jedes der sieben Bildverarbeitungssysteme (VPU) erstellt.
• ASD2: Enthält die elektronischen Werte des unbelichteten Sensors (pre-scan pixels), diese werden automatisch ungefähr 1-mal pro Minute für jede VPU erzeugt.
• ASD3: Enthält eine Information über das RVS, dass die Auflösung geändert wurde. Ursprünglich sollte dieses Datenpaket produziert werden, wenn ein Stern hell genug für die Messung mit RVS ist. Zu Beginn der Mission wurde dann entschieden, dass immer die hohe Auflösung verwendet wird und nicht gewechselt wird. Diese Datenpakete fallen daher im Normalbetrieb nicht mehr an.
• ASD4: Statistische Werte und Zählerstände, z. B. über Zahl der Objekte, Zahl der verworfenen Objekte etc.; wird automatisch jede Sekunde generiert.
• ASD5: Werte über die Zeiten, wenn Artificial Charge Injections geschehen sind, generiert jede Sekunde mit hoher Präzision. Diese Werte werden für die exakte Magnitudenbestimmung benötigt.
• ASD6: Information über die Aktivierung von Gates auf den CCD-Sensoren. Wird generiert, wenn ein Stern heller als G < 12 beobachtet wird.
• ASD7: Enthält die Informationen von Zeit und Positionen, wann und wo ein SP1, SP2 oder SP3 von der VPU festgestellt wurde.^[10]

Bis zum 31. Dezember 2018, dem 1620. Tag seit dem Beginn der wissenschaftlichen Datensammlung am 25. Juli 2014, wurden 116.023.842.167 Objekte von den Sensoren erfasst, dabei gab es 1.143.663.587.072 astrometrische Messungen durch die 62 astrometrischen und die 14 Skymapper-CCDs. Es gab 231.915.375.586 fotometrische Messungen durch die 14 blauen und roten Photometer-CCDs. Das RVS-Instrument zur Berechnung der Radialgeschwindigkeit verzeichnete 22.300.583.616 Spektren und 7.432.109.980 Objekte.^[12]

Während der täglichen Downlinkzeiten werden die Gaia-Datenpakete zur Bodenstation übermittelt. Generell werden zuerst SIF- und ASD-Datenpakete übertragen, erst dann folgen die eigentlichen Sternenpakete (SP), gestaffelt nach der Magnitude. Somit ist sichergestellt, dass in jedem Fall die Funktion der Sonde überwacht werden kann, dass keine Kalibrierungsdaten fehlen und dass alle empfangenen SP auch weiterverarbeitet werden können, selbst wenn aus irgendeinem Grund nicht alle Daten übertragen worden sind. SP ohne entsprechende Kalibrierungsdaten und ASD wären nutzlos. Die Verarbeitung kann dann bereits beim Empfang der ersten SP beginnen und muss nicht warten, bis alle Daten vollständig sind. In seltenen Fällen werden mehr Daten produziert, als gespeichert und zum Boden übertragen werden können. In diesem Fall werden die Pakete mit den lichtschwächsten Objekten zugunsten hellerer Objekte verworfen, umgekehrt werden die helleren Objekte priorisiert übertragen.

Sind die Datenpakete am Boden angelangt, so werden sie zunächst in einer täglichen Prozedur weiterverarbeitet. Neben den täglichen Arbeitsschritten gibt es epochenbezogene Arbeitsschritte zur aufwendigen rekursiven Nachkalkulation der Daten. Einige Schritte werden nur einmalig und andere rekursiv in bestimmten Abständen durchlaufen. Es gibt Algorithmen, die nur bei den täglichen Prozeduren durchlaufen werden und andere, die nur bei einer gewissen Menge an gesammelten Daten sinnvoll sind.^[13]

Die komplette Gaiamission wird zur Verarbeitung in größere Segmente eingeteilt, die jeweils einen Zeitraum von mehreren Monaten bis zu etwas mehr als einem Jahr abdecken. Einige Prozeduren benutzen die Datenbasis von einem kompletten Segment, somit können sie erst nach Abschluss eines Segments eingesetzt werden. Jedes Datenrelease umfasst die Ergebnisse aus einer Anzahl solcher Segmente.

Datensegmente

Segment	Start	Ende	Tage	Erkannte Scanobjekte (Mrd.)	DR1	DR2	EDR3 DR3
0	25-07-2014	03-06-2015	313	22,2	Ja	Ja	Ja
1	03-06-2015	16-09-2015	105	8,0	Ja	Ja	Ja
2	16-09-2015	23-05-2016	250	22,1		Ja	Ja
3	23-05-2016	28-05-2017	370	25,7[14]			Ja
4	28-05-2017	24-04-2018	331
5	24-04-2018	17-07-2019	449
6	17-07-2019	21-01-2020	188
7	21-01-2020	29-07-2020	190
8	29-07-2020
Scanobjekte sind in dieser Betrachtung Beobachtungsfenster mit Lichtquellen, nicht einzelne Himmelsobjekte. Ein solches Objekt kann mehrere punktförmige Lichtquellen wie Sterne, überlagernde Sterne aus den beiden Teleskopen, Doppel- und Mehrfachsterne, Sonnensystemobjekte, nicht aufgelöste Galaxien oder Quasare enthalten. Gaia produziert außerdem virtuelle Objekte, wenige Pixel große Bereiche, die den dunklen Himmel abbilden, um die Hintergrundhelligkeit zu bestimmen. Diese "leeren" Objekte sind nicht mitgezählt.

Direkt im Anschluss an die tägliche Übertragung wird der Datenstrom auf vollständige Übertragung überprüft, die verschiedenen Datenpakete werden identifiziert und erst einmal in der Rohdatenbank (Raw Data Base) gespeichert.^[15] Die Daten können von verschiedenen Bodenstationen stammen und an unterschiedlichen Tagen übertragen worden sein und deswegen durcheinander sein.^[13] MIT wird noch vom MOC in Darmstadt durchgeführt und die Daten werden in Villafranca gespeichert, sowie als Backup in CNES-Datenzentrum in Toulouse. Die Rohdaten gehen außerdem nach Turin für die Qualitätssicherung. Die Datenverarbeitung beginnt nach einer gewissen Zeit, noch bevor alle Datenpakete angekommen sind und ohne dass sicher ist, dass anscheinend fehlende Datenpakete jemals ankommen.

Initial Data Treatment ist die erste Aufbereitung der täglich empfangenen Datenmenge. Eine der ersten und wichtigsten Aufgaben ist Raw Data Reconstruction. In dieser Prozedur werden die komprimierten Datenpakete entpackt, die Daten der Star Packets (SP) und Ancillary Science Data Packets (ASD) werden zusammengeführt und die Details für jedes Objekt rekonstruiert: Position, Form, die Funktion der CCD-Gates, Artificial Charge Injections, Beobachtungszeit, Messung der Lichtmenge, die Daten der Photometer und vorläufige Farbe, bei hellen Objekten auch die Ergebnisse des RVS. Die genaue Kalibrierung der Daten geschieht erst später. Zugleich wird die Ausrichtung des Raumfahrzeugs und der Teleskope und der Grundwinkel der Teleskope mit den BAM mit genügend Annäherung bestimmt, sodass die Objekte als bekannte Objekte im Objektekatalog identifiziert und die zusätzlichen Beobachtungen vermerkt werden können, oder andernfalls als neu erkannte Objekte hinzugefügt werden können. Das Ergebnis des IDT ist eine Annäherung der Positionsdaten und ein Abgleich (crossmatch) mit den bereits bekannten Objekten, der zum Abschluss in der Datenbank gespeichert wird.

Für den Anfangsbetrieb wurde der Attitude Star Catalog verwendet, der in IGSL enthalten ist, um die erste Annäherung der Positionen zu ermöglichen. IGSL war dabei der erste Satz von Objekten, anhand derer die anfänglichen Beobachtungen abgeglichen wurden. Im Laufe der Mission wurde sowohl IGSL als auch der Attitude Star Catalog durch die Objektlisten der Hauptdatenbank ersetzt, die von Gaia selbst erstellt wurden.

Für gewöhnlich geschieht IDT einmal täglich und wird innerhalb von einem Tag abgeschlossen. Wenn wegen Wartungsarbeiten Teile der Datenverarbeitung zeitweise nicht in Betrieb sind, oder wenn Scans in Regionen hoher Stenendichte überdurchschnittlich viele Daten produzieren, so können die weniger relevanten Teile der Daten auch später verarbeitet werden.

Die Ergebnisse von IDT werden unabhängig davon täglich noch einmal von der Astrometric Verification Unit in Turin überprüft. Diese Einheit verwendet ähnliche Prozeduren wie IDT, berücksichtigt aber nur einen ausgewählten Teil der Objekte. Anhand dieser Objekte wird die korrekte Funktion von IDT in ESAC verifiziert und die Qualität der ankommenden Daten gesichert.

Direkt im Anschluss an IDT werden die Daten noch im ESAC analysiert. First Look (FL) ist im Wesentlichen ein Qualitätscheck der Daten. Es wird festgestellt, ob alle Systeme und Instrumente der Nutzlast wie gewünscht funktionieren, und ob die Daten den wissenschaftlichen Qualitätskriterien genügen. Dazu werden umfangreiche statistische Werte berechnet und mit simulierten oder prognostizierten Werten verglichen. Es wird frühzeitig festgestellt, wenn ein Eingreifen in den Betrieb der Sonde nötig ist und es wird festgelegt, an welchen Zeitpunkten ein neuer Abschnitt begonnen wird. Ein Teil der täglichen Kalibrierung und eine zweite verbesserte Positionsbestimmung vom Boden aus geschieht während First Look. FL identifiziert überdurchschnittlich starke Positionsveränderungen und überraschendene Magnituden- oder Spektralveränderungen von Objekten und findet so Sonnensystemobjekte, Supernovae, Sternbedeckungen und Gravitationslinseneffekte. FL identifiziert aber auch minimale ruckartige Rotationsabweichungen durch Mikrometeoriten oder „Clanks“ im Sondenbetrieb, die zu klein sind, als dass sie vom Navigationssystem erkannt würden und markiert sie als neuen Abschnitt.

First Look gibt die Science-Alerts und Daten von neu gefundenen Sonnensystemobjekten zur weiteren Verfolgung der Bahnen mit erdgebundenen Teleskopen (SSO FUN) aus.

IDT erledigt bereits eine grobe Verarbeitung der Daten des RVS und FL prüft allgemein, ob das Instrument fehlerfrei arbeitet. Die RVS Daily Routine verknüpft die Daten mit anfänglichen Kalibrierungen und fügt weitere Daten über den Zustand des RVS-Instruments hinzu. Dieses betrifft nur die Himmelsobjekte, die hell genug für eine Messung mit RVS sind.

Für die genaue Messung und Rekonstruktion der Position und Ausrichtung der Teleskope liefern die Startracker Daten mit einer Genauigkeit von einigen wenigen Bogensekunden. Das ist ausreichend für die Navigation von Satelliten und Raumsonden. Für Gaia ist dieses Verfahren aber zu ungenau, man möchte eine Genauigkeit von wenigen Mikrobogensekunden erreichen. Für dieses Ziel gibt es ein iteratives Modell.

Der erste Schritt ist Initial On-Ground-Attitude (IOGA). Dabei werden die Daten aus der Lagekontrolle der Sonde ausgewertet. OGA1 benötigt die Informationen in der richtigen Reihenfolge, wie sie von IDT bereitgestellt werden. Die Verarbeitung geschieht in Abschnitten, die z. B. durch Lageveränderungen der Sonde durch Mikrometeoriten ausgelöst werden oder durch einen „Clank“, einem Knacken innerhalb der Sonde, das durch innere Spannungen in den Komponenten der Sonde ausgelöst wird und eine kleine Erschütterung bewirkt. Die Objekte von verschiedenen Abschnitten können deswegen in einem kleinen Maß gegeneinander versetzt sein. Abschnitte können auch künstlich durch das Ende einer Datenübertragung erzeugt werden, oder wenn eine neue Berechnung startet. Die Objekte eines Abschnitts sind untereinander durch Messungen verknüpft und werden gemeinsam verarbeitet. Daten aus verschiedenen Abschnitten sind nicht untereinander durch Messungen verknüpft, die Messungen wurden aus irgendeinem Grunde unterbrochen, so dass verschiedene Abschnitte nicht zusammen verarbeitet werden, um die höchstmögliche Konsistenz der Daten zu erreichen.

Die Ergebnisse von IOGA bilden die Ausgangsdaten von First On Ground Attitude (OGA1), bei dem ein Kalman-Filter eingesetzt wird, um die Daten zu glätten und die Genauigkeit von 50 Millibogensekunden zu erreichen, im weiteren Verlauf der Mission 5 Millibogensekunden. OGA1 verarbeitet neben den vorläufigen IOGA-Daten die Transit Identifier, die Beobachtungszeit sowie die Beobachtungswinkel, inklusive der Kalibrierdaten, dazu die Objektelisten zum Abgleich. Das Ergebnis von OGA1 wird für die tägliche One Day Astrometric Solution (ODAS) verwendet.

Sobald die Ergebnisse durch den First-Look- und ODAS-Prozess gegangen sind, ergibt sich eine Verbesserung in der Genauigkeit und das Ergebnis ist OGA2. Die kleinen Verschiebungen der Abschnitte gegeneinander sind darin eliminiert. Für die ersten beiden Datensegmente erreichte OGA2 nur eine Genauigkeit von 50 mas, weil es noch an den weniger präzisen Attitude Star Katalog gebunden war, erreichte aber bereits eine Konsistenz der Daten untereinander auf einem Niveau von weniger als ein mas. Das Ergebnis ist aber noch gegen den ICRF in einer Rotationsbewegung verschoben. Es wäre möglich, OGA1-Daten für AGIS zu verwenden, aber OGA1 enthält viele Lücken und Unterbrechungen, so dass die Verwendung von OGA2 die weitere Verarbeitung vereinfacht.

Die Intermediate-Data-Updating-Prozedur wird ungefähr einmal im Halbjahr durchlaufen. Es werden die Dateien eines größeren Zeitraums, z. B. eines Datensegments, gemeinsam betrachtet. Dabei werden die bei ODAS gefundenen Daten überprüft und aktualisiert und neu kalibriert. Kalibrierung bedeutet in diesem Zusammenhang Erkennung und Bestimmung systematischer Fehlerquellen sowie die Berechnung und Minimalisierung von systematischen Fehlern aus den Daten. Kalibrierung bedeutet weiterhin Eliminierung unsystematischer Fehler, z. B. durch Erkennung von fehlerhaften Messungen und Ausreißern und Ausmittlung von Daten durch wiederholte Messungen. Überprüft wird dabei auch die anfängliche Zuordnung von Beobachtungen zu einem Objekt. Gegebenenfalls werden dabei zusätzliche Objekte generiert oder Duplikate verworfen oder eine Beobachtung kann einem anderen Objekt zugeordnet werden.

Das IDU hat vier Hauptaufgaben:

• Aktualisierter Abgleich der Objekte anhand der inzwischen verbesserten Objektkataloge mit verbesserten Positionsdaten und verbesserter geometrischer Kalibrierung
• Verbesserte Kalibrierung durch zusätzliche Daten über die Eigenschaften der CCDs z. B. zum Rauschniveau und zu individuellen Unterschieden zwischen den einzelnen Sensoren, Einbeziehung der Hintergrundhelligkeit
• Verbesserte Kalibrierung durch bessere geometrische Auswertung der Scanfenster
• Verbesserte Kalibrierung der Objektpositionen durch besser bekannten Lichtfluss der Objekte

IDU verwendet sowohl AGIS als auch PhotPipe, wobei die verbesserten Ergebnisse von IDU wiederum rekursiv von AGIS und PhotPipe verwendet werden. Die Ergebnisse von Gaia DR1 beruhen noch auf den Ergebnissen von IDT. Die Ergebnisse von Gaia DR2 beruhen auf IDU und sind daher genauer, vollständiger und konsistenter. Die IDU Prozedur wird mit dem MareNostrum-Supercomputer in Barcelona durchgeführt.

AGIS ist eine iterative mathematische Prozedur, die mittels der Methode der gewichteten kleinsten Quadrate Billionen von Daten zu mehr als zwei Milliarden Objekten schrittweise zu einer Karte der ganzen Milchstraße und des Universums zusammensetzt. Die Genauigkeit der Daten verbessert sich dabei entsprechend der Zahl der Messungen eines Objekts; entsprechend wächst auch der Rechenbedarf. Dabei werden Daten aus mehreren Beobachtungen mit bereits bekannten Objekten verglichen und die Schwankungen von BAM einbezogen. Auch ein aktualisiertes photometrisches Modell, Veränderungen der Sensoren durch Alterung und die Hintergrundhelligkeit werden einbezogen.

AGIS erledigt außerdem die Umrechnung von Positionsdaten der Objekte von der Fokussierungsebene Gaias in baryzentrische Koordinaten. Die Gaia-Mission verwendet mehrere verschiedene Koordinatensysteme und Zeitsysteme, die jeweils umgerechnet werden müssen.

AGIS nutzt einen Teil der Objekte als primäre Objekte. Diese sind bevorzugt gut beobachtete Objekte, die eine gute Verteilung von Positions- und Magnitudenmessungen haben. Dabei handelt es sich um Einzelsterne oder Quasare, die möglichst gleichmäßig über den Himmel verteilt sind. Für Gaia DR2 gab es 16 Millionen primäre Objekte, darunter rund eine halbe Million Quasare aus den bereits vorhandenen Quasarkatalogen und den ICRF-Katalogen. Die übrigen, sekundären Objekte werden jeweils einem solchen primären Objekt zugeordnet und deren Positionen untereinander relativ zum primären Ort bestimmt. Es kommen ungefähr bis zu 150 sekundäre Objekte auf ein primäres Objekt, wobei die Zahl je nach Sternendichte variiert.

AGIS durchläuft vier Phasen:

• AGIS Pre-processing: Alle Eingangsdaten werden entsprechend ihrer Verarbeitung sortiert, z. B. werden alle Beobachtungen eines Objekts gruppiert und nach der Zeit geordnet. Dabei werden Daten mit nicht plausiblen Werten ausgefiltert, ebenso solche deren Qualität nicht gesichert ist, also aus Beobachtungszeiträumen, in denen irgendeine Anomalie vorliegt. Im letzten Schritt der Vorbereitung wird für jedes Objekt das primäre Objekt ausgewählt, das benutzt wird, um die Koordinaten und die Kalibrierung festzulegen. Jedem primären Objekt werden circa 150 sekundäre Objekte in der Umgebung zugeordnet.

• Primary Source Processing: In dieser Phase werden in einem iterativen Prozess die Positionen der primären Objekte, die Position und Ausrichtung der Sonde, der Einfluss der Hintergrundhelligkeit, die Kalibrierungswerte usw. mit der bestmöglichen Genauigkeit berechnet. Im Anschluss daran werden die Koordinaten der primären Objekte am ICRF ausgerichtet. Bei diesem Prozess werden die Daten aus verschiedenen Segmenten zusammengeführt.

• Secondary Source Processing: In dieser Phase werden die Werte für die sekundären Objekte berechnet. Dabei werden die Werte für die primären Objekte aus dem Primary source processing zur Kalibrierung verwendet. Die Werte der sekundären Objekte werden jeweils relativ zu den primären Objekten berechnet, dieses vereinfacht die Berechnung enorm. Zur Sicherung der Konsistenz der Daten werden dabei die primären Objekte ein zweites Mal durchgerechnet.

• AGIS Post-processing: Im Abschluss werden die Ergebnisse des Primary und Secondary Source Processing zusammengeführt; das Ergebnis wird als OGA3 bezeichnet. Die Ergebnisse werden in der Hauptdatenbank in einem Format abgelegt, das für die Nutzer besser zu verarbeiten ist. Die Zeiten werden in OBMT umgerechnet und Zusatzinformationen, die außerhalb von AGIS keinen Nutzen haben, werden entfernt.

Ein Großteil dieser Berechnungen von AGIS werden vom MareNostrum-Supercomputer in Barcelona übernommen. Die Kontrolle über AGIS liegt bei der CU3.

Die Einheit Global Sphere Reconstruction ist eine unabhängige astrometrische Lösung mit einer anderen Rechenmethode, die nur aus den Positionen und Abständen der primären Objekte in AGIS gewonnen wird. Die Ergebnisse werden mit den Ergebnissen aus AGIS verglichen und geben Auskunft über die Qualität der Ergebnisse von AGIS. Global Sphere Reconstruction dient somit vor allem der Qualitätsüberwachung der Prozeduren.

PhotPipe ist die Aufgabe von DPCI in Cambridge. PhotPipe ist eine Prozedur zur Behandlung der Daten zur Ermittlung der G-Band-Magnitude und der beiden Magnituden G_BP und G_RP der Blauen (BP) und Roten (RP) Photometer. Einbezogen werden die Daten der Starmapper, aus dem astrometrischen Feld, sowie von den beiden Fotometern. Für die G-Band-Magnitude werden die Objekte während IDU mit Hilfe von Point-spread-Funktionen (PSF für 2D-Objekte) oder mit Line-spread-Funktionen (LSF für 1D-Objekte) ausgewertet und damit ein gesamter Lichtfluss über den gesamten Empfindlichkeitsbereich der Sensoren integriert, der als G-Band-Magnitude bezeichnet wird. Mit diesen Funktionen wird auch der Massenmittelpunkt berechnet, und es werden statistische Werte und Kenndaten für die Qualität der Messung ermittelt.^[16]

Für die Werte der beiden Photometer G_BP und G_RP wird direkt auf die Rohdaten von IDT zurückgegriffen, und die Auswertung und Kalibrierung geschieht durch PhotPipe direkt. Photpipe erledigt dabei alle Verarbeitungsschritte von den Rohdaten über die Integration der Lichtflüsse und der Kalibrierung bis zu den Ergebnissen. Photpipe verwendet den Datenabgleich der IDU, bei der verschiedenen Messungen einem bestimmten Objekt zugeordnet und Artefakte durch Überstrahlung von hellen Objekten eliminiert werden. Photpipe verwendet im Prozess Source Environment Analysis die Informationen über die Hintergrundhelligkeit, über geometrische Verzerrungen durch die Optik und über den Zustand der Sensoren, z. B. Hotpixel oder Strahlungsschäden in den Sensoren. Zur Kalibrierung werden die gefundenen Werte mit den Werten von bereits gut bekannten photometrischen Standardsternen verglichen. Die Farbinformationen verbessern wiederum die Positionsbestimmung der Astrometrie.

Die große Menge an Daten, die innerhalb einer gewissen Zeit verarbeitet werden müssen, erfordern ein verteiltes System. Photpipe verwendet dafür ein System basierend auf Apache Hadoop. Der Cluster wurde im April 2012 in Betrieb genommen und besteht aus 108 Hadoop Knoten und ein knapp 1 PB Hadoop Distributed File System (HDFS) als Plattenspeicher und InfiniBand.^[17]

Die fortgeschrittenen Auswertungen setzen die astrometrische Lösung und die Ergebnisse von Photpipe bereits voraus. Magnituden, Farben und Spektren sind dabei den Objekten bereits zugeordnet und die Daten sind schon mehr oder weniger gut kalibriert. Ab einer gewissen Anzahl von Beobachtungen können neue Erkenntnisse abgeleitet werden, die beispielsweise anhand statistischer Auswertungen oder durch die Suche nach bestimmten Mustern in den Daten gewonnen werden.

Diese Einheit untersucht Doppel- oder Mehrfach-Sternsysteme und Exoplaneten. Alle Objekte werden auf Muster untersucht, die nicht mit Einzelsternen übereinstimmen, und mit verschiedenen Modellen verglichen, die steigende Komplexität aufweisen. Die Einheit befasst sich mit den so erkannten Doppel- oder Mehrfachsystemen und identifiziert bedeckungsveränderliche Doppelsterne.

Diese Einheit durchsucht die Daten auf Sonnensystemobjekte (SSO), vor allem aus dem Asteroiden-Hauptgürtel. Bei den so erkannten Objekten, bereits bekannte Objekten und neu entdeckten Objekten, werden die Bahndaten berechnet und ihre spektrophotometrischen Eigenschaften bestimmt. Dazu gehört auch die Massenbestimmung der schwersten Asteroiden und die direkte Größenmessung, Ermittlung der Rotationsperioden und der geometrischen Eigenschaften, Eigenschaften der Oberfläche und Spektralklassen.

Diese Einheit sammelt alle verfügbaren Beobachtungen eines Objekts über die gesamte Missionszeit. Die Kombination aller Daten erlaubt Rückschlüsse auf die Umgebung eines Objekts und lässt Rückschlüsse auf Objekte zu, die selbst nicht als eigene Objekte erfasst sind, aber einen Einfluss haben, z. B. nicht sichtbare lichtschwache Begleiter, Exoplaneten, schwarze Löcher, Neutronensterne etc. Auf diese Weise werden Astrometrie und Photometrie verbessert. Die Ergebnisse werden auch für die Analyse von Mehrfachsystemen und für die Untersuchung von ausgedehnten Objekten verwendet.

Diese Einheit betrachtet alle Objekte, die nicht punktförmig sind, z. B. Galaxien oder Galaxienkerne, und versucht ihre Gestalt zu bestimmen. Die Prozedur bestimmt auch Quasare und sucht nach Eigenschaften, die verhindern, dass sie als Objekte des Referenzrahmens genutzt werden können, z. B. durch den Einfluss der umgebenden Galaxie oder Linseneffekte.

Während der nominalen Missionsdauer werden durchschnittlich ungefähr 70–80 Beobachtungen von jedem Objekt gesammelt und auf photometrische Veränderungen untersucht. So erkannte veränderliche Sterne werden klassifiziert, eine Lichtkurve erstellt und Perioden ermittelt.

Die gesamten Daten werden herangezogen, um jedes Objekt zu klassifizieren und dessen astrophysikalische Eigngenschaften zu bestimmen. Die Objekte werden bestimmt als Sonnensystemobjekt, Einzelstern mit Spektralklasse, Doppel- oder Mehrfachstern, Quasar, Galaxie etc. So erkannte Quasare werden wieder für den Bezugsrahmen zur Verbesserung der Astrometrie herangezogen. Sterne werden nach Spektralklassen eingeteilt. So bestimmte Parameter sind effektive Temperatur, Oberflächengravitation, Metallizität und Extinktion. Von den hellsten Objekten werden die Metallgehalte aus den RVS-Spektren ermittelt.

Die Ergebnisse der Arbeitsgruppen werden gesammelt und in Katalogen veröffentlicht, darin enthalten sind jeweils eine Reihe von Unterkatalogen. Alle Daten der Kataloge sind frei zugänglich und können von jedem genutzt werden. Die beteiligten Wissenschaftler benutzen die Ergebnisse für ihre eigenen Forschungsprojekte und können ihre Erkenntnisse in eigenen Publikationen unter ihrem eigenen Namen veröffentlichen, sie können dafür aber keine Daten benutzen, die bisher noch nicht veröffentlicht sind. Für bestimmte kritische Anwendungen können Daten für einzelne Objekte außerhalb der großen Publikationen veröffentlicht werden, dieses ist z. B. bei bestimmten Weltraummissionen der der Fall. Beispielsweise wurden für New Horizons im Vorfeld Daten für Okkultationen veröffentlicht.

Der erste Katalog Gaia DR1 mit 1,1 Milliarden Objekten wurde am 14. September 2016 veröffentlicht. Der zweite Katalog Gaia DR2 mit 1,7 Milliarden Objekten wurde am 25. April 2018 veröffentlicht.

Der dritte Katalog wurde in zwei Teilen veröffentlicht. Der erste Teil Gaia EDR3 mit 1,8 Milliarden Objekten mit verbesserter Astrometrie und Photometrie kam am 3. Dezember 2020 heraus. Der vollständige Katalog Gaia DR3 erschien am 13. Juni 2022, wegen Verzögerungen aufgrund der COVID-19-Pandemie, ein Jahr später als ursprünglich geplant.^[18][19]

Ein Update namens Gaia FPR (Focused Product Release) wurde am 10. Oktober 2023 veröffentlicht. Die Inhalte sind deutlich verbesserte Daten für Sonnensystemobjekte, Astrometrie und Photometrie des Kugelsternhaufens Omega Centauri mit ca. 500.000 neuen Objekten, Ergebnisse der Analyse von Quasaren und Gravitationslinsen, Analysen von interstellarem Gas und Absorptionslinien, sowie erweiterte Daten für variable Sterne mit langen Perioden.^[20]

Gaia DR4 soll die Ergebnisse aus 66 Monaten Beobachtung enthalten, erstmals auch mit einem Katalog von Exoplaneten. Er soll frühestens Mitte 2026 herauskommen. Die offizielle Verlängerung der Mission bringt mindestens eine weitere Veröffentlichung mit sich. Gaia DR5 soll nicht vor Ende 2030 herauskommen.^[20]

• DPAC-Seite der ESA
• Liste der Akronyme der Gaia-Mission. Jos de Bruijne (englisch)

• L. Lindegren, J. Hernandez, A. Bombrun, S. Klioner, U. Bastian: Gaia Data Release 2: The astrometric solution. In: Astronomy & Astrophysics. Band 616, August 2018, ISSN 0004-6361, S. A2, doi:10.1051/0004-6361/201832727, arxiv:1804.09366. 
• Gaia Collaboration, T. Prusti, J. H. J. de Bruijne, A. G. A. Brown, A. Vallenari: The Gaia mission. In: Astronomy & Astrophysics. Band 595, November 2016, ISSN 0004-6361, S. A1, doi:10.1051/0004-6361/201629272. 

1. ↑ Gaia-Kollaboration erhält Berkeley-Preis 2023. In: AIP. Abgerufen am 7. Dezember 2022. 
2. ↑ A. G. A. Brown, A. Vallenari, T. Prusti, J. H. J. de Bruijne, C. Babusiaux, M. Biermann, O. L. Creevey, D. W. Evans, L. Eyer, A. Hutton, F. Jansen, C. Jordi, S. A. Klioner, U. Lammers, L. Lindegren, X. Luri, F. Mignard, C. Panem, D. Pourbaix, S. Randich, P. Sartoretti, C. Soubiran, N. A. Walton, F. Arenou, C. a. L. Bailer-Jones, U. Bastian, M. Cropper, R. Drimmel, D. Katz, M. G. Lattanzi, F. van Leeuwen, J. Bakker, C. Cacciari, J. Castañeda, F. De Angeli, C. Ducourant, C. Fabricius, M. Fouesneau, Y. Frémat, R. Guerra, A. Guerrier, J. Guiraud, A. Jean-Antoine Piccolo, E. Masana, R. Messineo, N. Mowlavi, C. Nicolas, K. Nienartowicz, F. Pailler, P. Panuzzo, F. Riclet, W. Roux, G. M. Seabroke, R. Sordo, P. Tanga, F. Thévenin, G. Gracia-Abril, J. Portell, D. Teyssier, M. Altmann, R. Andrae, I. Bellas-Velidis, K. Benson, J. Berthier, R. Blomme, E. Brugaletta, P. W. Burgess, G. Busso, B. Carry, A. Cellino, N. Cheek, G. Clementini, Y. Damerdji, M. Davidson, L. Delchambre, A. Dell’Oro, J. Fernández-Hernández, L. Galluccio, P. García-Lario, M. Garcia-Reinaldos, J. González-Núñez, E. Gosset, R. Haigron, J.-L. Halbwachs, N. C. Hambly, D. L. Harrison, D. Hatzidimitriou, U. Heiter, J. Hernández, D. Hestroffer, S. T. Hodgkin, B. Holl, K. Janßen, G. Jevardat de Fombelle, S. Jordan, A. Krone-Martins, A. C. Lanzafame, W. Löffler, A. Lorca, M. Manteiga, O. Marchal, P. M. Marrese, A. Moitinho, A. Mora, K. Muinonen, P. Osborne, E. Pancino, T. Pauwels, J.-M. Petit, A. Recio-Blanco, P. J. Richards, M. Riello, L. Rimoldini, A. C. Robin, T. Roegiers, J. Rybizki, L. M. Sarro, C. Siopis, M. Smith, A. Sozzetti, A. Ulla, E. Utrilla, M. van Leeuwen, W. van Reeven, U. Abbas, A. Abreu Aramburu, S. Accart, C. Aerts, J. J. Aguado, M. Ajaj, G. Altavilla, M. A. Álvarez, J. Álvarez Cid-Fuentes, J. Alves, R. I. Anderson, E. Anglada Varela, T. Antoja, M. Audard, D. Baines, S. G. Baker, L. Balaguer-Núñez, E. Balbinot, Z. Balog, C. Barache, D. Barbato, M. Barros, M. A. Barstow, S. Bartolomé, J.-L. Bassilana, N. Bauchet, A. Baudesson-Stella, U. Becciani, M. Bellazzini, M. Bernet, S. Bertone, L. Bianchi, S. Blanco-Cuaresma, T. Boch, A. Bombrun, D. Bossini, S. Bouquillon, A. Bragaglia, L. Bramante, E. Breedt, A. Bressan, N. Brouillet, B. Bucciarelli, A. Burlacu, D. Busonero, A. G. Butkevich, R. Buzzi, E. Caffau, R. Cancelliere, H. Cánovas, T. Cantat-Gaudin, R. Carballo, T. Carlucci, M. I. Carnerero, J. M. Carrasco, L. Casamiquela, M. Castellani, A. Castro-Ginard, P. Castro Sampol, L. Chaoul, P. Charlot, L. Chemin, A. Chiavassa, M.-R. L. Cioni, G. Comoretto, W. J. Cooper, T. Cornez, S. Cowell, F. Crifo, M. Crosta, C. Crowley, C. Dafonte, A. Dapergolas, M. David, P. David, P. de Laverny, F. De Luise, R. De March, J. De Ridder, R. de Souza, P. de Teodoro, A. de Torres, E. F. del Peloso, E. del Pozo, M. Delbo, A. Delgado, H. E. Delgado, J.-B. Delisle, P. Di Matteo, S. Diakite, C. Diener, E. Distefano, C. Dolding, D. Eappachen, B. Edvardsson, H. Enke, P. Esquej, C. Fabre, M. Fabrizio, S. Faigler, G. Fedorets, P. Fernique, A. Fienga, F. Figueras, C. Fouron, F. Fragkoudi, E. Fraile, F. Franke, M. Gai, D. Garabato, A. Garcia-Gutierrez, M. García-Torres, A. Garofalo, P. Gavras, E. Gerlach, R. Geyer, P. Giacobbe, G. Gilmore, S. Girona, G. Giuffrida, R. Gomel, A. Gomez, I. Gonzalez-Santamaria, J. J. González-Vidal, M. Granvik, R. Gutiérrez-Sánchez, L. P. Guy, M. Hauser, M. Haywood, A. Helmi, S. L. Hidalgo, T. Hilger, N. Hładczuk, D. Hobbs, G. Holland, H. E. Huckle, G. Jasniewicz, P. G. Jonker, J. Juaristi Campillo, F. Julbe, L. Karbevska, P. Kervella, S. Khanna, A. Kochoska, M. Kontizas, G. Kordopatis, A. J. Korn, Z. Kostrzewa-Rutkowska, K. Kruszyńska, S. Lambert, A. F. Lanza, Y. Lasne, J.-F. Le Campion, Y. Le Fustec, Y. Lebreton, T. Lebzelter, S. Leccia, N. Leclerc, I. Lecoeur-Taibi, S. Liao, E. Licata, E. P. Lindstrøm, T. A. Lister, E. Livanou, A. Lobel, P. Madrero Pardo, S. Managau, R. G. Mann, J. M. Marchant, M. Marconi, M. M. S. Marcos Santos, S. Marinoni, F. Marocco, D. J. Marshall, L. Martin Polo, J. M. Martín-Fleitas, A. Masip, D. Massari, A. Mastrobuono-Battisti, T. Mazeh, P. J. McMillan, S. Messina, D. Michalik, N. R. Millar, A. Mints, D. Molina, R. Molinaro, L. Molnár, P. Montegriffo, R. Mor, R. Morbidelli, T. Morel, D. Morris, A. F. Mulone, D. Munoz, T. Muraveva, C. P. Murphy, I. Musella, L. Noval, C. Ordénovic, G. Orrù, J. Osinde, C. Pagani, I. Pagano, L. Palaversa, P. A. Palicio, A. Panahi, M. Pawlak, X. Peñalosa Esteller, A. Penttilä, A. M. Piersimoni, F.-X. Pineau, E. Plachy, G. Plum, E. Poggio, E. Poretti, E. Poujoulet, A. Prša, L. Pulone, E. Racero, S. Ragaini, M. Rainer, C. M. Raiteri, N. Rambaux, P. Ramos, M. Ramos-Lerate, P. Re Fiorentin, S. Regibo, C. Reylé, V. Ripepi, A. Riva, G. Rixon, N. Robichon, C. Robin, M. Roelens, L. Rohrbasser, M. Romero-Gómez, N. Rowell, F. Royer, K. A. Rybicki, G. Sadowski, A. Sagristà Sellés, J. Sahlmann, J. Salgado, E. Salguero, N. Samaras, V. Sanchez Gimenez, N. Sanna, R. Santoveña, M. Sarasso, M. Schultheis, E. Sciacca, M. Segol, J. C. Segovia, D. Ségransan, D. Semeux, S. Shahaf, H. I. Siddiqui, A. Siebert, L. Siltala, E. Slezak, R. L. Smart, E. Solano, F. Solitro, D. Souami, J. Souchay, A. Spagna, F. Spoto, I. A. Steele, H. Steidelmüller, C. A. Stephenson, M. Süveges, L. Szabados, E. Szegedi-Elek, F. Taris, G. Tauran, M. B. Taylor, R. Teixeira, W. Thuillot, N. Tonello, F. Torra, J. Torra, C. Turon, N. Unger, M. Vaillant, E. van Dillen, O. Vanel, A. Vecchiato, Y. Viala, D. Vicente, S. Voutsinas, M. Weiler, T. Wevers, Ł Wyrzykowski, A. Yoldas, P. Yvard, H. Zhao, J. Zorec, S. Zucker, C. Zurbach, T. Zwitter: Gaia Early Data Release 3 - Summary of the contents and survey properties. In: Astronomy & Astrophysics. Band 649, 1. Mai 2021, ISSN 0004-6361, S. A1, doi:10.1051/0004-6361/202039657 (aanda.org [abgerufen am 7. Dezember 2022]). 
3. ↑ List of Institutes involved in DPAC. Abgerufen am 9. November 2017. 
4. ↑ GAIA @SSDC. Abgerufen am 26. Dezember 2017. 
5. ↑ DPAC Consortium – Cosmos. Abgerufen am 13. August 2017 (britisches Englisch). 
6. ↑ ^{a b c d e f} Gaia Collaboration: Gaia Data Release 2; Documentation release 1.2. Hrsg.: European Space Agency and Gaia Data Processing and Analysis Consortium. 5. Juni 2019, S. 73–84 (esa.int [PDF]). 
7. ↑ Mullard Space Science Laboratory, University College London | Gaia in the UK. Abgerufen am 12. Mai 2021. 
8. ↑ GaiaDR2_CU6 - Gaia - Cosmos. Abgerufen am 3. August 2019. 
9. ↑ Delivering the promise of Gaia, Response to ESA’s Announcement of Opportunity, Proposal for the Gaia Archive. (esa.int). 
10. ↑ ^{a b} Gaia Collaboration: Gaia Data Release 1; Documentation release 1.2. Hrsg.: European Space Agency and Gaia Data Processing and Analysis Consortium. 18. Dezember 2017, S. 70–72 (esa.int [PDF]). 
11. ↑ An dieser Stelle sind zum vollen Verständnis Kenntnisse der Instrumente und Sensoren der Raumsonde Gaia notwendig. Die diesbezüglichen Informationen und Auflösungen der Akronyme sind in allen Details dem Artikel Gaia (Raumsonde) zu entnehmen.
12. ↑ Gaia Mission Status Numbers. ESA, abgerufen am 31. Dezember 2018 (englisch).  Diese Seite wird mehrmals täglich mit neuen Zahlen aktualisiert.
13. ↑ ^{a b} Gaia Collaboration: Gaia Data Release 1; Documentation release 1.2. Hrsg.: European Space Agency and Gaia Data Processing and Analysis Consortium. 18. Dezember 2017, S. 103 (esa.int [PDF]). 
14. ↑ Anthony G. A. Brown, A. Vallenari, T. Prusti, J. H. J. de Bruijne: Gaia Early Data Release 3. Summary of the contents and survey properties. In: Astronomy & Astrophysics. 3. Dezember 2020, ISSN 0004-6361, doi:10.1051/0004-6361/202039657 (aanda.org [abgerufen am 17. Dezember 2020]). 
15. ↑ C. Fabricius et al.: Gaia Data Release 1; Pre-processing and source list creation. Hrsg.: A&A. 24. November 2016, doi:10.1051/0004-6361/201628643. 
16. ↑ M. Riello, F. De Angeli, D. W. Evans, G. Busso, N. C. Hambly, M. Davidson, P. W. Burgess, P. Montegriffo, P. J. Osborne, A. Kewley, J. M. Carrasco, C. Fabricius, C. Jordi, C. Cacciari, F. van Leeuwen, G. Holland.: Gaia Data Release 2; Processing of the photometric data. Hrsg.: A&A. 616, A3, 10. August 2018, doi:10.1051/0004-6361/201832712. 
17. ↑ The Data Processing Centre (DPCI) | Gaia in the UK. Abgerufen am 5. Mai 2021. 
18. ↑ Gaia Data Release 3 overview - Gaia - Cosmos. Abgerufen am 13. Juni 2022. 
19. ↑ Gaia sees strange stars in most detailed Milky Way survey to date. Abgerufen am 13. Juni 2022 (englisch). 
20. ↑ ^{a b} Data Release scenario. ESA, abgerufen am 5. Oktober 2024 (englisch).