Peer Review

https://doi.org/10.54352/dozv.PMST3771

Die Publikation unabhängig begutachteter wissenschaftlicher Fachartikel bildet eines der Fundamente der evidenzbasierten wissen­schaftlichen und klinischen Praxis, welche auch im Bereich Ophthalmologie und Optometrie Anwendung findet. Studien und/oder Literatur­arbeiten, die nicht in einem peer-­reviewed Journal erscheinen, gelten nicht als evidenz­basierte Quelle.

Der grundsätzliche Ablauf einer Veröffentlichung ist bei wissenschaftlichen Fachzeitschriften nahezu identisch. Er besteht im Wesentlichen aus der Einreichung des Manuskriptes durch die Autoren (Submission), initial Screening durch einen Editor oder ein Mitglied des Editorial Boards sowie die Begutachtung durch mindestens zwei unabhängige Gutachter*innen (Peer Review), welche detaillierte Anmerkungen zum Manuskript erstellen. Diese Anmerkungen werden üblicherweise durch eine Empfehlung an den Editor ergänzt, ob ein Manuskript zur Veröffentlichung geeignet ist, ob die Autoren eventuell eine Überarbeitung des Artikels vornehmen sollten, bevor eine Veröffentlichung in Betracht gezogen werden kann, oder ob das Manuskript abgelehnt werden sollte. Letzteres kann zum Beispiel der Fall sein, wenn gravierende methodologische Mängel durch die Reviewer aufgezeigt wurden, welche nicht durch eine Überarbeitung des Artikels ausgeglichen werden können. In den meisten Fällen sind es aber Empfehlungen zur Überarbeitung einzelner Punkte des eingereichten Manuskriptes, um dieses für Leser verständlicher zu machen. Insbesondere ein frischer Blick von außerhalb der Autoren kann hier sehr hilfreich sein, die zu publizierende Arbeit nochmals deutlich zu verbessern. Bei den Autoren, die seit Jahren schon zahlreich publizieren und somit diesen Prozess kennen, wird eine Begutachtung mit neuen Inputs und Aspekten als sehr wertvoll gesehen. Die Leserschaft selbst kann bei peer-reviewed Publikationen davon ausgehen, dass ein bestimmtes Maß an wissenschaftlicher Güte, korrekter Methode und Statistik sowie Unvoreingenommenheit mit sachlicher Konklusion eingehalten wird. Das Editorial Board des relativ jungen Journals „Opto­metry & Contact Lenses (OCL)“ hat den Peer-Review-Prozess zum Standard bei der Begutachtung von Manuskripten und der Entscheidungsfindung zur wissenschaftlichen Qualität von Einreichungen übernommen und ist damit auf einer Linie mit den etablierten wissenschaftlichen Fachjournalen im Bereich der Ophthalmologie und Optometrie sowie darüber hinaus. In diesem Report beschreiben die Mitglieder des OCL Editorial Boards einige der wichtigsten Aspekte des Peer-Review-Prozesses. Ziel des Editorials ist es, den Zweck, die Vorteile sowie die Nachteile des Peer Reviews im Kontext der Entwicklung einer neuen wissenschaftlichen Fachzeitschrift darzustellen.

Der Begriff „Peer Review“ kommt aus dem Englischen und bedeutet die Begutachtung einer wissenschaftlichen Arbeit durch unabhängige Gutachter*innen aus demselben Fachgebiet. Wahrscheinlich erstmalig wurde der Terminus „Peer Review“ im Jahr 1969 benutzt.¹ Das Merriam-Webster Online-Wörterbuch ¹ definiert den Begriff „Peer Review“ wie folgt: „ein Verfahren, bei dem ein Beitrag (z. B. für eine Forschung oder Veröffentlichung) von einer Gruppe von Experten auf dem entsprechenden Gebiet bewertet wird“. Es ist ein Prozess, bei dem jemand etwas liest, prüft und seine Meinung zu etwas äußert, das von einem anderen Wissenschaftler oder Experten aus demselben Fachgebiet verfasst wurde, oder eine Arbeit, in der dies geschieht“.¹ Das Peer-Review-Verfahren dient der Qualitätssicherung eingesandter Fachartikel vor einer Publikation. In der Regel werden heute einfach blinde (Single Blind), doppelt blinde (Double Blind) sowie offene (Open Review) Peer-Review-Verfahren angewandt.² Im Single-Blind-Verfahren, welches am häufigsten genutzt wird, kennen die Gutachter*innen die Identität der Autor*innen, ohne dass diese die Gutachter*innen kennen.²

Oft werden eingereichte Manuskripte auf Basis eines doppelblinden Review-Verfahrens (Double-Blind Peer Review) überprüft. Hierbei handelt es sich um ein anonymisiertes Vorgehen, bei welchem Autor*innen und Gutachter*innen ihre Identität nicht kennen. Beim seltener angewandten dreifachblinden Review-Verfahren (Triple-Blind Peer Review) sind auch der betreuende Editor*in, Autor*innen und Reviewer*innen einander nicht bekannt.³ Beim Open Review kennen sich Autor*innen und Gutachter*innen namentlich. Die Reviewer*innen entscheiden auf Basis ihres Gutachtens, ob eine Publikation des eingereichten Papers ohne oder nach einer Überarbeitung akzeptiert oder nicht akzeptiert wird. Viele Verlage stellen den Reviewer*innen hierfür standardisierte Gutachterbögen sowie detaillierte Gutachterrichtlinien zur Verfügung. Bei stark unterschiedlichen Gutachten wird mitunter ein drittes Gutachten angefordert, oder der Editor des Fachorgans entscheidet auf Grundlage der erstellten Reviews.

Das Peer-Review-Verfahren ist heute das vorherrschende System für wissenschaftliche Publikation in Print- oder online Fachzeitschriften. Dies gilt gleichermaßen für alle akademischen Disziplinen. Weltweit investieren pro Jahr Wissenschaftler*innen annähernd 68 Millionen Arbeitsstunden für die Begutachtung eingereichter Arbeiten,² welche im Allgemeinen unentgeltlich erbracht werden. Artikel aus den Bereichen Optometrie und Ophthalmologie, welche den Peer-Review-Prozess durchlaufen haben und von einem Journal zur Publikation akzeptiert wurden, werden primär auf medizinischen Datenbänken wie zum Beispiel PubMed (https://pubmed.ncbi.nlm.nih.gov), Medline (https://www.nlm.nih.gov/medline/medline_overview.html) , und der Cochrane Library (https://www.cochranelibrary.com) gelistet. Die einzelnen Publikationen werden dort mit Abstracts geführt, die Publikationen sind selbst auf den Online-Portalen der Journale zu finden. In der Regel haben Studierende, Dozent*innen und Forscher*innen der Hochschulen direkten, kostenfreien Zugang zu allen relevanten Publikationen ihres Fachbereiches. Die wissenschaftliche Reputation eines Fachjournals spiegelt sich in seinem Ranking unter anderem auf Basis des sogenannten Journal Impact Factors wider. Das Ranking wiederum basiert auf der Anzahl von Zitierungen in wissenschaftlichen Publikationen. Eine der führenden Zeitschriften im Bereich Ophthalmology und Optometry ist die Fachzeitschrift „Progress in Retinal and Eye Research“. Weitere wichtige Fachzeitschriften sind unter anderem „Ophthalmic and Physiological Optics“, „Contact Lens and Anterior Eye“, „Graefe‘s Archive for Clinical and Experimental Ophthalmology“, „British Journal of Ophthalmology“ und „Investigative Ophthalmology and Visual Science“.⁴ Wichtige deutschsprachige Journale sind „Die Ophthalmologie“ (vormals „Der Ophthalmologe“) und „Klinische Monatsblätter für Augenheilkunde“.

Wie bereits gezeigt, wird der Peer-Review-Prozess von vielen Fachpublikationen zur Beurteilung der Qualität eines eingereichten Manuskriptes verwendet. Der Fachbereich der Ophthalmologie, Optometrie und im weiteren Sinne Vision Sciences, welcher auch Gebiete wie visuelle Psychophysik umschließt, macht hierbei keine Ausnahme. Ende der neunziger Jahre wurde in einem Editorial in „Nature Neuroscience“ darauf hingewiesen, dass anonymisierter Peer Review in sehr ähnlicher oder sogar identischer Form bei fast allen wissenschaftlichen Zeitschriften (Fachpublikationen) angewendet wird.⁵ Dabei gab es zu diesem Zeitpunkt Bestrebungen, die Anonymisierung der Reviewer*innen gegenüber den Autor*innen aufzuheben, wie am Beispiel des „British Medical Journal (BMJ)“, dargestellt. Jedoch wurden diese Veränderungen des Peer-Review-Modells von anderen Herausgebern zum Teil skeptisch beobachtet. Ein Argument, welches für die Aufhebung der Anonymität von Reviewern spricht, ist die relative Ungleichheit, in welcher Autor*innen sich nur unzureichend gegen unfaire Kommentare von Reviewer*innen verteidigen können. Befürworter*innen des nicht-anonymisierten Peer Review argumentieren, dass ein offener Review-Prozess zu einer Fokussierung auf die wissenschaftliche Qualität eines eingereichten Manuskriptes führen würde.⁵

Einige Optometrie Journale wie „Optometry and Vision Science (OVS)“, die offizielle Zeitschrift der American Academy of Optometry, benennen die Wichtigkeit des Peer Review ganz klar, wie zum Beispiel in einem Beitrag von Michael Twa, welcher den Peer Review als ein Markenzeichen hochwertiger wissenschaftlicher Publikationen beschreibt. Dies hat weiterhin den klaren Vorteil, dass ein Journal durch die klinischen sowie wissenschaftlich tätigen Praktiker*innen geführt oder gesteuert wird.⁶ In der Praxis spiegelt sich dies in der Beurteilung von Einreichungen durch Kolleg*innen und Fach­expert*innen wider, welche den Mehrwert eines Artikels sowie den möglichen Impact auf den Fachbereich und die klinische Praxis haben. Diese strikte, aber notwendige Evaluierung durch Fachkolleg*innen, führt häufig zu Ablehnungsraten von mehr als 75 Prozent aller Einreichungen, wie am Beispiel von OVS verdeutlicht wurde. Ein wichtiger Aspekt hierbei ist jedoch, dass detaillierte Anmerkungen der Reviewer*innen an die Autor*innen mit klaren Handlungsempfehlungen, um eine Publikation in gegebenenfalls einem anderen Journal zu ermöglichen, weitergeleitet werden.⁶ Die Anwendung dieser Prinzipien im Fachbereich der Ophthalmologie/Optometrie unterscheidet sich nicht von anderen Fachbereichen des Wissenschaftsbetriebes.

In der Vergangenheit haben Herausgeber*innen von wissenschaftlichen Fachzeitschriften für Verständnis für den Peer-Review-Prozess unter den Leser*innen geworben. So hat zum Beispiel Nathan Efron, langjähriger Herausgeber von „Clinical and Experimental Optometry“, festgehalten, dass der Peer-Review-Prozess Lesern in einem klinischen Umfeld eventuell als mysteriös oder undurchsichtig erscheinen könnte. Jedoch ist der Ablauf transparent, und nur durch Mitwirkung einer Vielzahl von Mitarbeiter*innen des herausgebenden Verlages und ehrenamtlichen Gutachtern sowie Mitgliedern des Editorial Boards ist es möglich, die Qualität der Publikationen sicherzustellen.⁷ Im Jahr 2007 hat der damalige Herausgeber der renommierten Fachzeitschrift „Ophthalmology“ einen kurzen Überblick über die Entscheidungskriterien von Herausgebern veröffentlicht. Diese beinhalten unter anderem die Relevanz des Themas für die Leser*innen, die strukturelle Klarheit der Darstellung des Manuskriptes sowie die Stichprobengröße bei klinischen Studien. Gleichzeitig betont er, dass auch Herausgeber nicht unfehlbar sind.⁸ Ähnlich äußerten sich Bartley und Liesegang im Jahr 2015 mit einem Überblick ihrer Erfahrungen als Herausgeber (Editor-in-Chief) zweier hochkarätiger englischsprachiger Fachzeitschriften, „Ophthalmology“ sowie „American Journal of Ophthalmology“. Sie beschreiben Schwachstellen des Peer Reviews wie zum Beispiel die Wichtigkeit der Darlegung eventueller Interessenskonflikte auf Seiten der Reviewer und des Editorial Boards. Ein Manko besteht in der deutlichen qualitativen Variabilität der Einreichungen, welche als unvermeidbar anerkannt wird. Angemerkt wird in beiden Fachzeitschriften, dass konstruktive Anmerkungen der Reviewer an die Autoren weitergegeben werden, in der Hoffnung, dass diese eine Revision und damit einhergehende Verbesserung des Artikels ermöglichen.⁹

Um die wissenschaftliche Korrektheit einer Publikation gewährleisten zu können, achten die Peer Reviewer*innen auf verschiedene, spezifizierte und auf Evidenz basierende Kriterien. Die Nützlichkeit und Relevanz der Thematik, der Originalität der Arbeit, der Stärken und Schwächen der Methodik eines Manuskripts sowie die Präsentation und Organisation der Arbeit und der Interpretation der Resultate gehören zu den wichtigen Entscheidungskriterien.¹⁰ Klinische oder statistische Auswertungen können durch Tabellen oder Grafiken anschaulich dargestellt werden. Allerdings können Daten auch auf eine Art präsentiert werden, welche eine bestimmte Interpretation der Datenlage vermitteln, zum Beispiel durch Darstellung der Daten auf einer logarithmischen statt einer linearen Skala. Dies kann in manchen Fällen dazu führen, dass zum Beispiel neuartige Interventionen, wie Operationsmethoden, als effektiver oder sicherer wahrgenommen werden als es bei einer alternativen Datendarstellung und -interpretation gegeben wäre. Eine Aufgabe der Reviewer*innen ist es, gemeinsam mit Autor*innen auf eine neutrale, wissenschaftlich fundierte Datendarstellung hinzuarbeiten und mögliche Missinterpretationen keinen Raum zu geben. Diese Qualitätssicherung ermöglicht es den Leser*innen, publizierten Erkenntnisse mit größtmöglicher Sicherheit in die Versorgung der Patienten zu einfließen lassen. Die Veröffentlichung von Manuskripten auf sogenannten Pre-Print-Servern, auf welchen Artikel online publiziert werden, bevor sie den Peer-Review-Prozess durchlaufen haben, sollten einer kritischen Beurteilung durch Leser*innen unterliegen.

Durch die Funktion der Qualitätskontrolle fungiert der Peer Review als ein essenzieller Bestandteil der Wissenschaftskommunikation und der Veröffentlichung wissenschaftlicher Artikel. In der Wissenschaft ist es von grundlegender Wichtigkeit, dass Leser*innen auf die Qualität der Methodik, statistischen Auswertung sowie Schlussfolgerungen eines Artikels vertrauen können. Aus diesem Grund ist es verständlich, dass eine Begutachtung vor Veröffentlichung der Arbeiten erwartet wird. Aber dieser Prozess hat Grenzen, welche im Jahr 2006 von Richard Smith anschaulich diskutiert wurden.¹¹ Smith fasst dies provokativ wie folgt zusammen: „Nicht nur, dass Peer Review nur begrenzt grobe Fehler feststellen kann, wahrscheinlich nutzlos ist, um Betrug aufzudecken, so ist es zusätzlich langsam, teuer, verschwendet akademische Zeit, ist subjektiv, ähnelt einer Lotterie, ist anfällig für Befangenheit und leicht zu missbrauchen.“

Ein klarer Nachteil des Peer-Review-Prozesses ist der Zeitfaktor. Viele Journale benötigen mehrere Monate und manchmal mehr als ein Jahr von der Einreichung bis zur Veröffentlichung eines Manuskriptes. Eine Arbeit wird eingereicht, vom Editor und oder Editorial Board kurz vorgeprüft – hiernach muss das Editorial Board entsprechenden Gutachter*innen einladen, dieses Manuskript zu begutachten. Oftmals dauert es Wochen bis fachkompetente Gutachter*innen gefunden werden, die auch Zeit haben, das jeweilige Manuskript zu begutachten. Die Gutachter*innen benötigen in der Regel ausreichend Zeit (je nach Journal sind zwischen zwei und acht Wochen üblich), das Manuskript genau zu prüfen. Je nach Güte des Manuskriptes kann eine Begutachtung und ausführliche Kommentierung des Manuskriptes mitunter enorm zeitaufwendig sein und viele (unbezahlte, ehrenamtliche) Stunden in Anspruch nehmen. Ist das Manuskript bereits auf hohem Niveau verfasst, geht Gutachter*innen die Begutachtung entsprechend leichter von der Hand. Letztere Manuskripte durchlaufen den Prozess vergleichsweise zügig, da die Autor*innen in der Regel nur geringfügige Änderungen des Manuskriptes vornehmen müssen. Sind aber signifikante Änderungen vonnöten, wird das überarbeitete Manuskript nach erneutem Einreichen nochmals begutachtet, um zu prüfen, ob alle Punkte und Fragen entsprechend adressiert wurden. In einigen Fällen kann es zu einem wiederholten Austausch zwischen Autor*innen und Gutachter*innen kommen, immer mit dem Ziel, die Qualität sowie die Lesbarkeit des Artikels zu verbessern. Dieser Prozess ist unter Umständen langwierig, trägt jedoch dazu bei, die Qualität der Publizierung zu gewährleisten.

Als ein weiterer Kritikpunkt jenseits des immensen Zeitaufwandes, stellt sich die Frage, wie können das Wissen, die Qualität sowie Unabhängigkeit der Gutachter*innen gewährleistet werden? In der Regel werden Gutachter*innen ausgewählt, welche als Expert*innen im entsprechenden Fachbereich publiziert haben. Jedoch müssen diese Gutachter*innen häufiger Begutachtungen aufgrund der zu zahlreichen Anfragen ablehnen. Editoren versuchen dann, alternative fachkundige Expert*innen zu finden. Da neue Gutachter*innen, zum Beispiel sogenannte „Early Career Researchers“ (Nachwuchsforscher*innen), nicht immer mit den Peer-Review-Prozessen vertraut sind, bieten einige Journale ein spezielles Gutachter-Training an. Dieses Training ist oft hilfreich, hat aber Kosten und Kapazitätsimplikationen. Ein weiterer möglicher Nachteil des Peer Review ist die gelegentlich zu beobachtende Meinungsvielfalt, welche sich in einer Inkonsistenz in der Beurteilung der Gutachter*innen zum Manuskript widerspiegeln kann. In solchen Fällen kann das Editorial Board eine Abwägung und Entscheidung vornehmen oder gegebenenfalls eine Drittbegutachtung veranlassen. Jenseits des Peer-Review-Prozesses beruht wissenschaftliche Forschung und die Veröffentlichung ihrer Ergebnisse auf Vertrauen und der Einhaltung wissenschaftlicher Standards unter den Forschenden. Trotz der genannten Nachteile bleibt der Peer Review aber ein essenzieller Prozess in der Wissenschaftskommunikation. Die bisherige, jahrzehntelange Erfahrung zeigt, dass das Vertrauen, welches sowohl Wissenschaftler als auch Herausgeber in den Peer Review haben, zu einer zuverlässigeren Wissenschaftskommunikation führt, insbesondere im Vergleich zu Veröffentlichungen, welche den Peer-Review-Prozess nicht durchlaufen haben.

Das Peer-Review-Verfahren ist nach wie vor das am besten geeignete Instrument, um eine hohe Qualität von wissenschaftlichen Fachartikeln, auch im Bereich Optometrie/Ophthalmologie, zu gewährleisten. Autor*innen, Reviewer*innen und Mitglieder der Editorial Boards sowie der Scientific Advisory Boards arbeiten kooperativ zusammen, um wissenschaftliche Forschungsergebnisse für Praktiker*innen zugänglich zu machen, sowie um bestmögliche Evidenz zu generieren. Diese Evidenz trägt unter Berücksichtigung aller anderen relevanten Publikationen zur Erstellung klinischer Leitfäden bei. Das Feedback der Reviewer*innen stellt dabei konstruktive und positive Anregungen bereit, um den Autor*innen eine effektive Überarbeitung des Manuskriptes zu ermöglichen. Solche Anmerkungen durch Reviewer*innen sind nicht als abwertende Kritik gedacht. Sie sollten als eine partnerschaftliche Handreichung und kollegiale Unterstützung bei der Erstellung einer wissenschaftlichen Publikation verstanden werden.

Literaturverzeichnis

[1] Merriam-Webster. (1969). Peer review. Merriam-Webster. https://www.merriam-webster.com/dictionary/peer review. Referencing: 17 January 2022.

[2] Rödel B. Peer Review. (2020). Entstehung – Verfahren – Kritik. Bundesinstitut für Berufsbildung. https://www.bibb.de/veroeffentlichungen/en/publication/show/10827. Referencing: 17 January 2022.

[3] BMJ Author Hub (2022). The peer review process. https://authors.bmj.com/after-submitting/peer-review-process. Referencing: 24 January 2022.

[4] SCImago, (n.d.). SJR – SCImago Journal & Country Rank (2022). Journal Rankings. http://www.scimagojr.com. Referencing: 17 January 2022.

[5] Smith, R. (1999). Pros and cons of open peer review. Nat. Neurosci., 2, 197-198.

[6] Twa, M. D. (2018). Editorial Principles, Practices, and Priorities for Optometry and Vision Science. Optom. Vis. Sci., 95, 479-80.

[7] Efron, N. (2018). In support of the journal peer review process. Clin. Exp. Optom. 101, 713-5.

[8] Schachat, A. P. (2007). Peers Review, Editors Decide, and Then, What? Am J Ophthalmol. 143, 677-8.

[9] Bartley, G. B., Liesegang, T. J. (2015). Just because it’s published doesn’t mean it’s perfect the continuing evolution of the peer review process. Ophthalmology, 122, 1958-9.

[10] Superchi, C., González, J. A., Solà, I., Cobo, E., Hren, D., Boutron, I. (2019). Tools used to assess the quality of peer review reports: A methodological systematic review. BMC Med. Res. Methodol., 19, 48.

[11] Smith, R. (2006). Peer review: A flawed process at the heart of science and journals. J. R. Soc. Med., 99, 178-182.