Peer Review

Peer Review (im Deutschen alle drei Genera möglich; von englisch Peer „Gleichrangiger“ und Review „Begutachtung“), seltener Kreuzgutachten, ist ein Evaluationsverfahren zur Qualitätssicherung einer wissenschaftlichen Arbeit oder eines Projektes durch unabhängige Gutachter aus dem gleichen Fachgebiet („Peers“).

Peer Review gilt im heutigen Wissenschaftsbetrieb als eine Standard-Methode, um die Qualität wissenschaftlicher Publikationen zu gewährleisten. Diese Qualität und die Veröffentlichungswürdigkeit korrelieren.^[1] Während zunächst vor allem Zeitschriften im Bereich STM (Science, Technology, Medicine) das Verfahren einsetzten, verbreitet es sich zunehmend für die Begutachtung von wissenschaftlichen Texten allgemein, wie beispielsweise Konferenzbeiträgen, Monografien und Forschungsanträgen.^[2] Auch in Bereichen außerhalb des Wissenschaftsbetriebs wird die Methode des Peer Reviews zur Qualitätssicherung verwendet. Das Durchlaufen eines Peer-Review-Verfahrens ist allerdings weder Garantie für die Qualität eines Werks, noch kann das Verfahren Missbrauch verhindern.

Die Variationen, wie ein Peer Review durchgeführt werden kann, haben im Lauf der Zeit zugenommen. Während die Begutachtung zunächst üblicherweise vor der Veröffentlichung stattfand und die Gutachten nicht veröffentlicht wurden, haben sich inzwischen auch Verfahren etabliert, bei denen das Peer Review nach der Erstveröffentlichung durchgeführt wird und/oder die Gutachten veröffentlicht werden (Open Peer Review).

Beim klassischen Verfahren vor der Veröffentlichung müssen die Autoren der begutachteten Arbeit etwaige von den Gutachtern geäußerte Kritik ernst nehmen und entdeckte Fehler korrigieren oder darlegen, weshalb die Kommentare der Gutachter unzutreffend sind, bevor die Studie publiziert werden kann. Daneben wird eine wissenschaftliche Behauptung zumindest in den Naturwissenschaften erst dann zu einer potentiell validen These, wenn sie erfolgreich einem Peer-Review-Prozess unterzogen wurde.^[3]

Weltweit gibt es etwa eine ständig wachsende Zahl von Zeitschriften, die verschiedene Arten von Peer Review einsetzen. Im Jahr 2019 wurde die Anzahl auf über 80.000 geschätzt, davon etwa 30.000 aus dem medizinischen Bereich.^[4] Es gibt daneben auch viele wissenschaftliche Zeitschriften, die lediglich ein Editorial Review einsetzen.

Peer-Review-Publikationen haben aufgrund der mit der Begutachtung verbundenen Qualitätsprüfung einen besseren Ruf als andere Formen der Veröffentlichung wie etwa Kongressbeiträge oder Fachzeitschriften ohne Peer Review. Die Anzahl solcher Veröffentlichungen wird als Maß für die Produktivität und den Einfluss der Autoren auf ein Wissensgebiet angesehen.

Im 17. Jahrhundert wurde in der Royal Society of London ein Verfahren zur Bewertung etabliert, um der wachsenden Zahl an Experimenten, Theorien und Beobachtungen Herr zu werden, die an sie herangetragen wurden. Ziel war, gehaltvolle Arbeiten von unseriösen zu unterscheiden und zu klären, wer als Erstentdecker eines Sachverhalts gelten durfte.^[5] Adelige, ihrer Standesehre verpflichtete Peers, sollten die Richtigkeit sicherstellen, Experimente mussten ggf. vor Zeugen wiederholt werden. Die Erlaubnis zur Publikation von Texten unter eigenen Bewertungsregeln (Royal Society: ab 1662, Académie des sciences de Paris: ab 1699) stellte einen Sonderweg der sonst üblichen Staats- und Kirchenzensur dar, die zu diesem Zeitpunkt überall in Europa etabliert war. Während Peer Review heute als Zeichen der hart erkämpften Unabhängigkeit der Wissenschaft von gesellschaftspolitischen Interessen angesehen wird, hat es sich also in Wirklichkeit zunächst als Ergebnis eines nur wenigen Akademien zugestandenen Privilegs entwickelt, mit dem diese zu Mitakteuren des Buchlizenzierungs- und Zensursystems der damaligen Zeit wurden.^[6]

Verkürzt zu einer Legende^[7] wird die Entstehung Henry Oldenburg, dem ersten Sekretär der Royal Society of London und Gründungsherausgeber der seit 1665 in London erscheinenden Philosophical Transactions, zugeschrieben. Dieser habe sich als Theologe außer Stande gesehen, die Qualität eingereichter Aufsätze zu naturwissenschaftlichen Themen selbst angemessen zu beurteilen. Er habe diese Aufgabe daher an andere Wissenschaftler delegiert, die zum jeweiligen Thema als fachkompetent galten. Dieses Verfahren wurde später von anderen wissenschaftlichen Zeitschriften übernommen.^[8] Melinda Baldwin zufolge entstand die Legende 1971.^[7] Sie gehe auf die Wissenschaftssoziologen Harriet Zuckerman und Robert K. Merton zurück, habe aber mit der wissenschaftlichen Praxis in der Royal Society des 17. Jahrhunderts so gut wie nichts zu tun.^[9]

Im akademisch-wissenschaftlichen Bereich sind Peer Reviews von Zeitschriftenartikeln (und zunehmend auch von Monografien) üblich, bei denen einer oder mehrere Experten des entsprechenden Gebietes die zur Veröffentlichung vorgeschlagene Studie bewerten. Üblicherweise schickt der Autor seinen Artikel als Manuskript an einen Verantwortlichen (z. B. den Herausgeber) einer Zeitschrift oder Schriftenreihe. Wenn dieser den Text für grundsätzlich geeignet hält, wählt er Gutachter aus, die nach inhaltlicher Prüfung ein Votum abgeben, ob der Artikel in der eingereichten Form veröffentlicht, zur Überarbeitung an den Autor zurückgeschickt oder endgültig abgelehnt werden sollte. Diese auch Reviewer oder Referee genannten Experten dürfen beim Peer Review nicht aus dem Umfeld des Autors stammen; diese Regel soll Befangenheit vermeiden. Die Unabhängigkeit des Gutachters vom zu bewertenden Objekt gilt als Voraussetzung eines Peer Reviews; sie muss von den Herausgebern sichergestellt werden.

Eine Anonymität des Gutachters ist dabei nicht unbedingt erforderlich, aber oftmals gegeben. Die Anonymität dient dazu, dem Gutachter das Äußern von Kritik und den Hinweis auf Mängel der Publikation zu ermöglichen, ohne dass er die Revanche des möglicherweise hierarchisch oder an Reputation und Einfluss höher stehenden Autors fürchten muss. Das soll eine gründliche und unvoreingenommene Überprüfung ohne Ansehen der Person des Autors sichern und letztlich zu einem höheren wissenschaftlichen Niveau beitragen. Das Prinzip der Anonymität des Gutachters ist nicht unumstritten.^[10]

Das Peer Review ist nicht als Methode gedacht, um Plagiate, Fälschungen oder in betrügerischer Absicht gemachte Experimente aufzudecken. Es kann und muss auch nicht sicherstellen, dass die wissenschaftliche Arbeit frei von Fehlern ist. Der Gutachter kann nur im Rahmen seiner Möglichkeiten die Signifikanz und Aktualität der Fragestellung, die Originalität und Validität des Lösungsansatzes und die Plausibilität der Resultate im Kontext prüfen sowie auf methodische Fehler und Probleme hinweisen.

Der Sinn der Begutachtung liegt vor allem in einer Bewertung der Qualität eines eingereichten Manuskripts, die dem Herausgeber der Fachzeitschrift Anhaltspunkte liefert, ob dieses als Artikel darin veröffentlicht werden kann. Durch die hohe Anzahl von wissenschaftlichen Fachzeitschriften und Fachgebieten sind die Bewertungsmaßstäbe oft sehr unterschiedlich und richten sich nach dem Leserkreis und der Reputation des Fachjournals. In der Regel wird der Gutachter das Manuskript nach offensichtlichen Defiziten oder Verbesserungsmöglichkeiten bewerten und nur gelegentlich auf Rechtschreibfehler oder sprachliche Unzulänglichkeiten hinweisen. Sehr detaillierte Gutachten, inklusive Prüfung der verwendeten Methoden, werden vor allem von Artikeln verlangt, die Themen in umstrittenen oder prestigeträchtigen Fachgebieten (z. B. Stammzellenforschung) behandeln oder von außerordentlich hohem Interesse für einen großen Leserkreis sind (z. B. in Nature oder Science).

Neben der Qualitätssicherung dient das Peer Review auch dem Zweck, Argumente in einer reviewten Arbeit stichhaltiger darzustellen.^[3]

Bleiben sowohl Gutachter als auch Begutachteter anonym, so wird von Doppelblindgutachten (englisch double-blind review) gesprochen. Mit diesem Verfahren soll vermieden werden, dass die Bekanntheit des Einreichenden oder eine etwaige Beziehung zwischen dem Gutachter und dem Einreichenden einen Einfluss auf die Bewertung seiner Arbeit hat oder der Einreichende den Gutachter beeinflusst. Gerade junge Wissenschaftler können durch dieses Verfahren profitieren, weil ihr Beitrag (und nicht ihr Renommee) entscheidet. Die Autoren sind dann gehalten, im Text Passagen zu vermeiden, die der Anonymität zuwiderlaufen könnten (z. B. Selbstzitierungen in der ersten Person, Hinweise auf die eigene Forschungseinrichtung). In vielen Fällen können jedoch anhand der Referenzen, der experimentellen Möglichkeiten etc. die Autoren trotzdem erraten werden, zumal wenn das betreffende Spezialgebiet von einer überschaubaren Anzahl von Leuten beforscht wird. Daher und aus anderen Gründen wird in vielen Fällen auf die Verdeckung der Autorennamen verzichtet.

Neben Zeitschriften mit echtem Peer Review gibt es auch solche, die ein qualitätssicherndes Peer Review nur vortäuschen.^[11] Angesichts einer immer größeren Zahl solcher elektronischer Open-Access-Zeitschriften, die häufig nur behaupteten, eine Art Peer Review durchzuführen, testete der Journalist John Bohannon^[12] diese 2013 mit einer gefälschten klinischen Studie eines Krebsmedikaments, die ganz offensichtliche schwere Fehler enthielt (unter anderem versprachen die Autoren, Patienten ohne Abwarten weiterer Ergebnisse mit dem Medikament zu behandeln). Es wurden mehrere Versionen der Studie an 304 Online-Journale versandt, von denen 255 antworteten und 106 einen Review durchführten. Rund 70 % (insgesamt 156) akzeptierten den Aufsatz (nicht mehr erscheinende Zeitschriften wurden dabei nicht mitgerechnet; berücksichtigt man auch diese, waren es rund 60 %). Nur eine Zeitschrift, nämlich PLOS ONE, führte einen genauen Review durch, um den Aufsatz dann wegen des schweren Verstoßes gegen Ethikregeln abzulehnen. Bohannon veröffentlichte seine Ergebnisse in der renommierten Fachzeitschrift Science, welche die Ergebnisse als deutliches Plädoyer für etablierte Zeitschriften mit seriösem Peer Review wertete.^[13] Einige der betroffenen Online-Journale stammten allerdings aus international angesehenen großen Verlagshäusern. Für Online-Journale mit unseriösen Praktiken prägte Jeffrey Beall den Begriff Predatory Journals („räuberische Zeitschriften“).

Das Peer-Review-Verfahren wird aus mehreren Gründen kritisiert:^[14]

1. Bei der Anwendung im wissenschaftlichen Publikationswesen dauert es meist etliche Monate, in manchen Fällen sogar Jahre, bis ein Fachartikel erscheint.
2. Die Neutralität der Gutachter ist nicht garantiert. Es gibt keine Gewähr, dass die Gutachter nicht ihren eigenen Standpunkt zu strittigen Fragen als Entscheidungsgrundlage heranziehen.

Vereinzelt wird kritisiert, dass es überzogenes, destruktives Kritisieren begünstige. Etablierte Experten eines Teilgebiets der Wissenschaft könnten durch unfundiert-abwertende Gutachten das Eindringen von Konkurrenten in ihre „Nische“ verhindern und müssten sich bei Anonymität dafür nicht namentlich rechtfertigen. Die Anonymität der Gutachter fördere so das „Revierverhalten“ und behindere einen effizienten Qualitätswettbewerb.

Anonymität des Gutachters kann zu Beurteilungen führen, die aus Zeitmangel, ungenügendem Interesse oder Unwissen nicht gewissenhaft genug erstellt wurden. So kann ein schlechter Artikel im Begutachtungsverfahren für gut befunden werden, ohne dass der Gutachter um seinen guten Ruf in der Wissenschaftsgemeinde fürchten muss.

Der Statistiker und Methodenkritiker John Ioannidis, selbst Autor hunderter peer-reviewter Publikationen und wissenschaftlicher Mitherausgeber zahlreicher peer-reviewter Fachzeitschriften,^[15] kritisierte 2017 das Peer-Review-Verfahren: Renommierte Prüfer könnten dadurch die Verbreitung von Forschungsresultaten unterdrücken, die ihren Erkenntnissen zuwiderlaufen, und so innerhalb ihres Forschungsfeldes falsche Dogmen aufrechterhalten. Empirische Belege zeigten, dass Expertenmeinungen äußerst unzuverlässig sind.^[16]

Peer Reviews sind wiederholt Gegenstand von Verschwörungstheorien mit naturwissenschaftlichem Bezug geworden, wie sie in den letzten Jahrzehnten häufiger auftraten, etwa im Zusammenhang mit der Klimawandelleugnung: Darin wurde ihnen unterstellt, sie würden insgeheim einer politischen Agenda folgen oder wichtige Punkte unterschlagen. Der amerikanische Soziologe Ted Goertzel plädiert daher dafür, sie transparenter zu gestalten: Die Zusammensetzung der Gutachtergremien solle nicht mehr anonym sein, sämtliche Daten der Forscher müssten ihnen zugänglich gemacht werden, Spezialisten müsse die Gelegenheit gegeben werden, auch alternative Sichtweisen darzustellen, soweit sie auf einer angemessenen Datenbasis beruhten. Gänzlich ausschließen lassen würden sich verschwörungstheoretische Verdächtigungen gegen Peer-Reviews aber wohl nie.^[17]

Vincent Calcagno et al. stellten in einer 2012 in Science veröffentlichten Studie fest, dass Aufsätze, die zunächst von einer Zeitschrift abgelehnt, dann bei einer anderen Zeitschrift eingereicht und schließlich veröffentlicht wurden, tendenziell öfter zitiert werden als andere Aufsätze in dieser Zeitschrift. Das kann daran liegen, dass in dem Aufsatz ein kontroverses Thema behandelt oder eine neue Methode angewandt wird, die von einem Gutachter kritisch gesehen wird, aber dennoch für die Fachwelt von Interesse ist.^[18]

2015 stellten Forscher in Nature eine Methode zum Bewerten der Reproduzierbarkeit von psychologischen Studien vor. Dabei konnten Gutachter in einem börsenbasierten Modell auf bestimmte Studien wetten. Dies erzielte deutlich bessere Ergebnisse als die Bewertung durch einzelne Gutachter.^[19]

Der Historiker Caspar Hirschi kritisierte 2018 die Einführung von Peer Review nach 1960 als Teil einer „präzedenzlosen Instrumentalisierung der Wissenschaft für politisch-militärische Zwecke“, die eine „ebenso präzedenzlose Kommerzialisierung der wissenschaftlichen Publizistik ermöglicht“ habe. Das anonymisierte Gutachterverfahren breite über gescheiterte Anträge den Mantel des Schweigens.^[20] „Die Effizienz von Peer Review liegt in der konfrontationsfreien Machtausübung, haben doch die Gutachter kein Gesicht und die Begutachteten keine Stimme. Das System schafft vollendete Tatsachen im Stillen. Für die kommerziellen Zeitschriftenverlage hat Peer Review den doppelten Vorteil, dass sie die Selektionsarbeit zum Nulltarif auslagern und für die Qualität der publizierten Inhalte nicht haftbar gemacht werden können. Im Fall von betrügerischen oder fehlerhaften Publikationen fällt die Verantwortung zuerst auf die Gutachter, dann auf die Herausgeber und erst zuletzt auf den Verlag.“^[21] Hirschi spricht sich für eine Abschaffung von Peer Review aus. Die Qualitätskontrolle von Manuskripten bei den Zeitschriften sollte, wie bei Buchverlagen mit teils hochstehenden wissenschaftlichen Reihen, mit eigenen Lektoren durchgeführt werden. In staatlichen Fördergesellschaften müssten entscheidungsbefugte Expertengremien so breit besetzt werden, dass bei Prüfung von Anträgen auf externe Einschätzungen mittels Peer Review verzichtet werden kann.^[22]

Der Literaturwissenschaftler und -kritiker Magnus Klaue kritisierte das Verfahren in den Geistes- und Sozialwissenschaften 2020 in einem Artikel in der Frankfurter Allgemeinen Zeitung. Insbesondere das Double-blind-Peer-Review-Verfahren, bei dem weder der Begutachtete noch die Gutachter erfahren, um welche Personen es sich jeweils handelt, sei für die Beurteilung philosophischer, kunstwissenschaftlicher oder geschichtswissenschaftlicher Texte weniger geeignet, da dort die Kenntnis der Autorschaft wichtiger sei als in den Naturwissenschaften. Klaue verglich das Verfahren mit der kollektiven Autorschaft der Wikipedia, die die Anfälligkeit für Ungenauigkeiten und Manipulationen steigere und die Notwendigkeit ständiger Selbstkontrolle bestärke. Im Gegensatz zu Wikipedia änderten Peer Reviews bei wissenschaftlichen Aufsätzen jedoch urheberrechtlich nichts an der Autorschaft der begutachteten Texte. Individuelle Autorschaft werde so formell aufrechterhalten, aber de facto aufgeweicht, da der Einfluss der Gutachter auf den Inhalt des letztlich veröffentlichten Werkes den Lesern verborgen bleibe.^[23]

Mit dem elektronischen Publizieren wurden neue Qualitätssicherungsverfahren ausprobiert. 2006 startete eine Wissenschaftler-Gruppe aus Großbritannien das Online-Journal Philica,^[24] bei dem sie die Probleme des traditionellen Peer Review zu lösen versuchten. Anders als sonst üblich wurden alle eingereichten Artikel zuerst publiziert, und der Open-Peer-Review-Prozess startet erst danach. Die Gutachter wurden dabei nicht von den Herausgebern ausgesucht, sondern jeder Forscher konnte den Artikel kritisieren. Der Gutachter blieb dabei anonym. Die Gutachten wurden am Ende jedes Artikels angehängt und geben dem Leser so eine Einschätzung der Qualität der Arbeit. Der Vorteil dieses Systems war, dass auch unorthodoxe Forschungsansätze publiziert werden und nicht, wie im klassischen Peer Review, von etablierten Experten zurückgewiesen werden können. Das Projekt lief etwa bis 2011.

Im Juni 2006 begann Nature mit einem Versuch namens parallel open peer review. Einige Artikel, die für einen traditionellen Review-Prozess eingereicht wurden, wurden parallel dazu auch öffentlich zugänglich gemacht, um kommentiert zu werden. Der Versuch wurde im Dezember 2006 als erfolglos bewertet und eingestellt.^[25]

Eine zunehmende Anzahl von Fachzeitschriften geht mittlerweile zum Format des registrierten Berichts (engl. registered report) über, um wissenschaftlichem Fehlverhalten wie HARKing und p-Hacking entgegenzutreten.^[26] Bei einem registrierten Bericht erstellen Autoren einer Studie einen Antrag, der den theoretischen und empirischen Hintergrund, Forschungsfragen und Hypothesen sowie ggf. Pilotdaten enthält. Nach Einsendung bei der Fachzeitschrift wird der Antrag begutachtet, noch bevor die eigentlichen Daten erhoben werden. Im Falle einer positiven Begutachtung wird das nach Datenerhebung zu erstellende Manuskript unabhängig von den Studienergebnissen automatisch veröffentlicht.^[27]

Im Wissenschaftsbetrieb findet Peer Review nicht nur bei Zeitschriftenveröffentlichungen statt, sondern auch bei der Bewilligung von Messzeit an Großforschungseinrichtungen und von Projektfinanzierungen. Reviews dienen den Geldgebern (staatlichen Organisationen wie der Deutschen Forschungsgemeinschaft oder dem Schweizerischen Nationalfonds, NGOs und privaten Geldgebern wie der Bill & Melinda Gates Foundation) oft als Kriterium für die Mittelvergabe.

Unternehmen setzen Peer Review zur Qualitätssicherung ein, so zum Beispiel im Bereich Wirtschaftsprüfung oder Beratung. Dabei wird ein Projekt (Wirtschaftsprüfung oder Beratungsprojekt) eines Unternehmens durch einen Experten oder ein Expertenteam eines anderen Unternehmens derselben Branche anhand von Projektunterlagen und Arbeitspapieren überprüft. Die Experten geben dann in einem Gutachten eine Bewertung über die Güte des Projektes ab. Durch die Wahl eines Fremdunternehmens als Prüfer wird die Unabhängigkeit von Prüfer und Prüfling in hohem Maße sichergestellt. Damit erhält das Peer Review bei Unternehmen in der Qualitätssicherung mehr Gewicht als z. B. ein Inter-Office-Review (Gutachter einer anderen Niederlassung) oder Local-Office-Review (Gutachter derselben Niederlassung).

Für Wirtschaftsprüfer und Wirtschaftsprüfungsgesellschaften ist in Deutschland eine regelmäßige externe Qualitätskontrolle (Peer Review) inzwischen gesetzlich vorgeschrieben. Derzeit muss die Begutachtung alle drei Jahre durchgeführt werden. Bis zum 31. Dezember 2005 musste eine erstmalige externe Qualitätskontrolle erfolgen. Mit der Siebten WPO-Novelle (Berufsaufsichtsreformgesetz) wird die Befristung der Teilnahmebescheinigung über eine durchgeführte Qualitätskontrolle für WP/vBP-Praxen, die keine börsennotierten Unternehmen prüfen, berufsrechtlich von drei auf sechs Jahre verlängert.

In den Vereinigten Staaten unterliegen Wirtschaftsprüfer und Wirtschaftsprüfungsgesellschaften der Regulierung durch das Public Company Accounting Oversight Board (PCAOB)^[28]. Das PCAOB wurde durch den Sarbanes-Oxley Act von 2002^[29] geschaffen, um die Qualität der Finanzberichterstattung von börsennotierten Unternehmen zu verbessern. Gemäß den Bestimmungen des Sarbanes-Oxley Acts müssen Wirtschaftsprüfer, die Berichte für öffentlich gehandelte Unternehmen erstellen, regelmäßig externen Qualitätskontrollen unterzogen werden. Diese Qualitätskontrollen werden von unabhängigen Prüfern durchgeführt und von der PCAOB überwacht. Die spezifischen Anforderungen und Verfahren für externe Qualitätskontrollen werden in den Regelungen des PCAOB festgelegt und können je nach Art der Prüftätigkeit und den regulatorischen Bestimmungen variieren. Die Ergebnisse der Qualitätskontrollen werden dokumentiert und können von der PCAOB als Grundlage für die Bewertung der Leistung von Wirtschaftsprüfern und -gesellschaften herangezogen werden.

Dieser Abschnitt stellt die Situation in Deutschland dar. Bitte hilf uns dabei, die Situation in anderen Staaten zu schildern.

Das Peer-Review-Verfahren wird im Rahmen des Qualitätssicherungsprogrammes der gesetzlichen Rentenversicherung durchgeführt. Zielsetzung ist die Sicherung der Prozessqualität in den von der gesetzlichen Rentenversicherung belegten Rehabilitationseinrichtungen. Hierbei wird ein durch wissenschaftliche Untersuchungen belegter Zusammenhang zwischen Prozessqualität während der Rehabilitation und der Qualität der medizinischen Entlassungsberichte zu Grunde gelegt. Konkret bedeutet das Peer-Review-Verfahren, dass erfahrene Reha-Mediziner des jeweiligen Fachgebietes nach dem Zufallsprinzip ausgewählte, anonymisierte medizinische Entlassungsberichte anderer Rehabilitationseinrichtungen (zumeist 20–25 pro Durchgang) nach bestimmten, vorher definierten Kriterien beurteilen. Beurteilt werden sechs für den Rehabilitationsprozess wichtige Teilkategorien (Anamnese, Diagnostik, Therapieziele und Therapie, Klinische Epikrise, Sozialmedizinische Epikrise sowie Weiterführende Maßnahmen und Nachsorge) nach dem Vorhandensein von Mängeln (keine Mängel, leichte Mängel, deutliche Mängel, gravierende Mängel) sowie mit einer zu vergebenden Punktzahl (10 Punkte = sehr gut, 0 Punkte = sehr schlecht). Aus den zusammenfassenden Bewertungen der Teilbereiche ergibt sich die zusammenfassende Bewertung des gesamten Rehabilitationsprozesses. Das Peer-Review-Verfahren findet sowohl in den somatischen Indikationsbereichen (Gastroenterologie, Kardiologie, Neurologie, Onkologie, Orthopädie / Rheumatologie, Pneumologie, Dermatologie) als auch für psychosomatische Erkrankungen und Abhängigkeitserkrankungen statt und sollte alle ein bis zwei Jahre auf Veranlassung der Deutschen Rentenversicherung Bund durchgeführt werden.^[30][31]

• Ann C. Weller: Editorial Peer Review: Its Strengths and Weaknesses. asis&t, 2001, ISBN 1-57387-100-1 (Übersicht von Studien über das Kreuzgutachtensystem aus verschiedenen Fachbereichen von 1945 bis 1997).
• Thomas Gold: New Ideas in Science. In: Journal of Scientific Exploration. Band 3, 1989, Nr. 2, S. 103–112.^[32]
• Gerhard Fröhlich: “Informed Peer Review” – Ausgleich der Fehler und Verzerrungen? In: Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung. Hochschulrektorenkonferenz, Bonn 2006, S. 193–204 (PDF).
• Gerhard Fröhlich: Peer Review auf dem Prüfstand der Wissenschaftsforschung. In: medizin-bibliothek-information Band 3, 2003, Nr. 2, S. 33–39 (PDF) (Memento vom 11. Januar 2005 im Internet Archive).
• Stefan Hornbostel, Meike Olbrecht: Peer Review in der DFG: Die Fachkollegiaten. iFQ-Working Paper No 2, Bonn 2007, ISSN 1864-2799 (PDF).
• Stefan Hornbostel, Dagmar Simon (Hrsg.): Wie viel (In-)Transparenz ist notwendig? – Peer Review Revisited. iFQ-Working Paper No 1. Bonn 2006, ISSN 1864-2799 (PDF).
• Heinrich Zankl: Fälscher, Schwindler, Scharlatane: Betrug in Forschung und Wissenschaft. Wiley-VCH, Weinheim 2003, ISBN 3-527-30710-9.
• Science between Evaluation and Innovation: A Conference on Peer Review (= Max-Planck-Forum. Band 6). München 2003 (Dokumentation einer Tagung der Max-Planck-Gesellschaft und der Deutschen Forschungsgemeinschaft).
• Hans-Hermann Dubben, Hans-Peter Beck-Bornholdt: Unausgewogene Berichterstattung in der medizinischen Wissenschaft. Institut für Allgemeinmedizin des Universitätsklinikums Hamburg-Eppendorf, Hamburg 2004 (PDF) (Memento vom 31. Januar 2012 im Internet Archive).
• Wissenschaftsrat: Begutachtungen im Wissenschaftssystem. Positionspapier, Berlin 2017 (PDF).

• Thekla Jahn: WISSENSCHAFTSETHIK – Heute sorgt vor allem eine Geschichte für Kopfschütteln, die das Fachmagazin Nature in sei, in Deutschlandfunk – „Forschung aktuell“ vom 27. Februar 2014.

• What is peer review?, Elsevier-Verlag (englisch), abgerufen am 1. Februar 2020.
• Martina Lenzen-Schulte: Freibrief zum Missbrauch oder Schutzschild? In: FAZ.net. 9. Januar 2011, abgerufen am 27. Dezember 2014. 
• Vera Zylka-Menhorn: Forschungsbetrug: Fachjournale in der Kritik. In: Deutsches Ärzteblatt. Band 103, Nr. 5. Deutscher Ärzte-Verlag, 3. Februar 2006, S. A-234 / B-203 / C-199 (aerzteblatt.de). 
• Center for Scientific Review (NIH) – Seite des National Institutes of Health sowohl für Reviewer, als auch für Applikanten (englisch).
• Nature’s peer review open debate (englisch)
• Peer Review – eine Entscheidungsfrage für kleine Zeitschriften Blog LIBREAS, Juni 2012.
• Robert Klanner: Vortrag auf der DPG-Tagung am 3. März 2009 zu den Erfahrungen als Herausgeber der Zeitschrift Nuclear Instruments and Methods A (Elsevier; PDF; 153 kB).
• Milka Kostic: I still remember my first peer review, in: Cell, 31. Oktober 2016.
• Caspar Hirschi: Wie die Peer Review die Wissenschaft diszipliniert, in Merkur Heft 832, September 2018.

1. ↑ Maria Gutknecht-Gmeiner: Externe Evaluierung durch Peer Review: Qualitätssicherung und -entwicklung in der beruflichen Erstausbildung. Springer-Verlag, 2008. https://books.google.co.uk/books?id=CoNxvRwPCOEC
2. ↑ Ulrich Herb: Verfahren der Wissenschaftlichen Qualitäts-/Relevanzsicherung/Evaluierung S. 317 ff. in: Grundlagen der Informationswissenschaft, herausgegeben von Rainer Kuhlen, Dirk Lewandowski, Wolfgang Semar und Christa Womser-Hacker. DeGruyter 2023, doi:10.1515/9783110769043.
3. ↑ ^{a b} Naomi Oreskes, Erik M. Conway: Die Machiavellis der Wissenschaft (Original:Merchants of Doubt: How a Handful of Scientists Obscured the Truth on Issues from Tobacco Smoke to Global Warming). Weinheim 2014, S. XVIII.
4. ↑ Suiter AM, Sarli CC. Selecting a Journal for Publication: Criteria to Consider. Missouri Medicine. 2019 Nov-Dec;116(6):461-465. PMID 31911720; PMCID PMC6913840.
5. ↑ Stefan Hornbostel (2008). Neue Evaluationsregime? Von der Inquisition zur Evaluation. In: Matthies, H., Simon, D. (Hrsg.) Wissenschaft unter Beobachtung. VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-531-90863-2_5
6. ↑ Mario Biagioli (2002). From Book Censorship to Academic Peer Review. Emergences: Journal for the Study of Media & Composite Cultures, 12(1), S. 14. https://doi.org/10.1080/1045722022000003435 PDF
7. ↑ ^{a b} Caspar Hirschi: Wie die Peer Review die Wissenschaft diszipliniert. Merkur. Heft 832, September 2018 [1]
8. ↑ Irving E. Rockwood: Peer review: more interesting than you think. In: Choice 44.2007,9, S. 1436.
9. ↑ Caspar Hirschi: Skandalexperten, Expertenskandale. Zur Geschichte eines Gegenwartsproblems. Matthes & Seitz, Berlin 2018, ISBN 978-3-95757-525-8, Die Macht einer erfundenen Traditiom, S. 304. 
10. ↑ Ronald N. Kostoff: Research Program Peer Review: Purposes, Principles, Practices, Protocols (PDF; 852 kB). Office of Naval Research, Arlington, VA, (Report) 2004, S. 23.
11. ↑ Raubverlage schaden Wissenschaft. Internetseite der Leibniz-Gemeinschaft. Abgerufen am 12. Dezember 2019.
12. ↑ J. Bohannon: Who’s Afraid of Peer Review?, Science, Band 342, 2013, S. 60–65, Online
13. ↑ Dan Vergano: Fake Cancer Study Spotlights Bogus Science Journals. National Geographic, 4. Oktober 2013.
14. ↑ Alfred Kieser: Die Tonnenideologie der Forschung. Akademische Rankings. In: Frankfurter Allgemeine Zeitung. 11. Juni 2010, abgerufen am 9. Januar 2012. 
15. ↑ Ioannidis, John P. A. Effectiveness of antidepressants: an evidence myth constructed from a thousand randomized trials?, Philosophy, Ethics, and Humanities in Medicine 3.1 (2008): 14.
16. ↑ John P. A. Ioannidis: Why Most Published Research Findings Are False. In: PLoS Medicine. Band 2, Nr. 8, 19. März 2017, S. e124, doi:10.1371/journal.pmed.0020124, PMID 16060722, PMC 1182327 (freier Volltext). 
17. ↑ T. Goertzel: Conspiracy theories in science. In: EMBO reports. Band 11, Nummer 7, Juli 2010, S. 493–499, doi:10.1038/embor.2010.84, PMID 20539311, PMC 2897118 (freier Volltext).
18. ↑ Ruth Williams: The Benefits of Rejection, The Scientist, 11. Oktober 2012
19. ↑ Reproduzierbarkeit von Studien: Der Psychologen-Markt erkennt gute Forschung. In: spektrum.de. Abgerufen am 27. Februar 2016. 
20. ↑ Caspar Hirschi: Skandalexperten, Expertenskandale. Zur Geschichte eines Gegenwartsproblems. Matthes & Seitz, Berlin 2018, ISBN 978-3-95757-525-8, Wie gut funktioniert Peer Review?, S. 318. 
21. ↑ Caspar Hirschi: Skandalexperten, Expertenskandale. Zur Geschichte eines Gegenwartsproblems. Matthes & Seitz, Berlin 2018, ISBN 978-3-95757-525-8, Wie gut funktioniert Peer Review?, S. 319–320. 
22. ↑ Caspar Hirschi: Skandalexperten, Expertenskandale. Zur Geschichte eines Gegenwartsproblems. Matthes & Seitz, Berlin 2018, ISBN 978-3-95757-525-8, Wissenschaft als repräsentative Öffentlichkeit, S. 324–325. 
23. ↑ Magnus Klaue: Spiel „Peer Review“: Die Community denkt mit. In: FAZ.NET. ISSN 0174-4909 (faz.net [abgerufen am 22. Oktober 2020]). 
24. ↑ Offizielle Website (Memento vom 15. Juli 2011 im Internet Archive) von Philica.
25. ↑ Overview: Nature’s trial of open peer review. In: nature.com. Abgerufen am 11. Juni 2009 (englisch). 
26. ↑ Promoting reproducibility with registered reports. In: Nature Human Behaviour. 1, 2017, S. 0034, doi:10.1038/s41562-016-0034.
27. ↑ Streamlined review and registered reports soon to be official at EJP. 6. Februar 2018, abgerufen am 29. Juli 2024 (amerikanisches Englisch). 
28. ↑ PCAOB | Driving improvement in audit quality to protect investors. Abgerufen am 23. April 2024 (englisch). 
29. ↑ Sarbanes-Oxley Act of 2002. Abgerufen am 23. April 2024. 
30. ↑ Deutsche Rentenversicherung – Peer Review-Verfahren. In: deutsche-rentenversicherung.de. Abgerufen am 26. Mai 2020. 
31. ↑ Peer Review. In: Bundesärztekammer. Abgerufen am 27. Februar 2016. 
32. ↑ (online) (Memento vom 9. Oktober 2010 im Internet Archive). (Anstelle konformitätsfördernder Anonymität von Spezialisten zur Begutachtung fordert Gold einen science court mit Wissenschaftlern aus unterschiedlichen Fachgebieten von einer Fakultät)