Diskussion

S. 165–188 – Diskussion, Schlussfolgerungen, Empfehlungen und Abschluss

7.3 KI-System und Vergleich mit ähnlichen Studien

Das KI-System erreichte eine Gesamtgenauigkeit sowie gewichtete F-Score-Werte von 94,3 %–94,5 % in der Trainingsgruppe, 93,9 %–94,1 % in der Validierungsgruppe und 91,2 %–92,2 % in der Testgruppe (Tabelle 57). Dies ist eine hohe Genauigkeit und stimmt mit internationalen Studien überein, die zuvor dargestellt wurden. Die etwas niedrigeren Werte der vorliegenden Studie lassen sich durch das unterschiedliche Studiendesign und die Art der zusammengestellten Stichprobe erklären.

Nach dem gewichteten F1-Score erzielte in der Testgruppe das Netz der vorderen Höhenkarte die höchste Genauigkeit, gefolgt von der hinteren Höhenkarte, der vorderen refraktiven Stärkekarte und der äquivalenten refraktiven Stärkekarte. Dies stimmt teilweise mit früheren Studien überein. Bei Kuo et al. (2020) erzielte die hintere Höhenkarte das beste Ergebnis, gefolgt von der hinteren Krümmungskarte, der vorderen Höhenkarte und der Dickenkarte. Bei Abdelmotaal et al. (2020) war die hintere Höhenkarte am besten, gefolgt von der vorderen sagittalen Krümmungskarte, der vorderen Höhenkarte und zuletzt der Dickenkarte (vgl. Tabelle 5).

Tabelle 57 – Zusammenfassung der Ergebnisse der neuronalen Netze und des KI-Systems.

7.4 Vergleich mit anderen Modellen

• Das KI-System, das SIRIUS-Gerät und der Arzt ohne Unterstützung erzielten ähnliche Ergebnisse, mit einem leichten Vorteil für den Arzt, gefolgt vom KI-System. Bei ihrem Vergleich bestand kein statistisch signifikanter Unterschied.
• Der Arzt mit Unterstützung des SIRIUS-Geräts erzielte jeweils bessere Ergebnisse als das KI-System, das SIRIUS-Gerät und der Arzt ohne Unterstützung. Der Unterschied gegenüber SIRIUS und dem Arzt ohne Unterstützung war statistisch signifikant; gegenüber dem KI-System war er nicht signifikant.
• Der Arzt mit Unterstützung des KI-Systems erzielte im Vergleich zu allen anderen Modellen das beste Ergebnis. Der Unterschied war gegenüber allen anderen Modellen einschließlich des Arztes mit SIRIUS-Unterstützung statistisch signifikant (Tabellen 53 und 58).

Tabelle 58 – Zusammenfassung der Ergebnisse aller Modelle.

7.5 Diskriminative Merkmals- und Heatmaps

Wie bereits erwähnt, besteht eine Einschränkung neuronaler Netze darin, dass nicht genau bekannt ist, was während der Entscheidungsfindung geschieht. Das Netz lernt aus Beispielen, und es ist schwierig zu erkennen, welche Muster es gelernt hat. Diskriminative Merkmalskarten und Heatmaps helfen dabei, die Vorgänge im Modell und die bei der Entscheidung verwendeten Muster zu verstehen. Nachfolgend werden Beispiele für die Heatmaps jedes trainierten neuronalen Netzes beschrieben. Die Netze wurden mit Bildern normaler und keratokonischer Hornhäute trainiert. Die Heatmap wurde rechts platziert und mit dem Bild der Topographiekarte links überlagert; dadurch werden die von dem Netz zur Entscheidungsfindung verwendeten Muster sichtbar.

7.5.1 Vordere sagittale Krümmungskarte

Das neuronale Netz konnte offensichtlich die symmetrische Schmetterlingsform der normalen Hornhaut und die inferioren Krümmungen der keratokonischen Hornhaut unterscheiden (Abbildung 95).

7.5.2 Hintere sagittale Krümmungskarte

Das Netz konnte offensichtlich die symmetrische Schmetterlingsform der normalen Hornhaut und die unregelmäßige Form der keratokonischen Hornhaut unterscheiden (Abbildung 96).

7.5.3 Vordere tangentiale Krümmungskarte

Das Netz konnte offensichtlich die symmetrische Schmetterlingsform der normalen Hornhaut und eine Schmetterlingsform mit inferiorer Krümmung bei der keratokonischen Hornhaut unterscheiden (Abbildung 97).

7.5.4 Hintere tangentiale Krümmungskarte

Das Netz konnte offensichtlich die symmetrische Form der normalen Hornhaut und die gekrümmten Ausbuchtungen der keratokonischen Hornhaut unterscheiden (Abbildung 98).

7.5.5 Vordere Höhenkarte

Das Netz konnte die Erhebungen unterscheiden und ihre Bedeutung einschätzen. Bei der normalen Hornhaut ignorierte es die Erhebung und interpretierte sie nicht als Hinweis auf Keratokonus. Bei der keratokonischen Hornhaut konnte es die Erhebung und die gegenüberliegende Vertiefung erkennen, als hätte es eine Aberration der Trennfläche erkannt (Abbildung 99).

7.5.6 Hintere Höhenkarte

Das Netz unterschied die Erhebungen und die zungenförmige Struktur im Bild der keratokonischen Hornhaut (Abbildung 100).

7.5.7 Dickenkarte

Das Netz konnte im Bild der keratokonischen Hornhaut den Verdünnungsbereich und die inferiore Verlagerung des dünnsten Punktes unterscheiden (Abbildung 101).

7.5.8 Äquivalente refraktive Stärkekarte

Das Netz unterschied offensichtlich die symmetrische Form im Bild der normalen Hornhaut von der deutlich asymmetrischen Form im Bild der keratokonischen Hornhaut. Dabei konzentrierte es sich auf die Bereiche mit geringerer Krümmung (Abbildung 102).

7.5.9 Vordere refraktive Stärkekarte

Das Netz unterschied offensichtlich die symmetrische Form im Bild der normalen Hornhaut von der asymmetrischen Form im Bild der keratokonischen Hornhaut. Auch hier konzentrierte es sich auf die Bereiche mit geringerer Krümmung (Abbildung 103).

7.5.10 Hintere refraktive Stärkekarte

Das Netz unterschied offensichtlich die symmetrische Form im Bild der normalen Hornhaut von der inferioren Krümmung im Bild der keratokonischen Hornhaut. Es konzentrierte sich auf die Bereiche mit stärkerer Krümmung (Abbildung 104).

7.6 Untersuchung einiger Fälle

Hier werden einige Fälle und die Ergebnisse der verschiedenen Modelle miteinander verglichen. Dazu wird jeweils die beigefügte Abbildung mit den Kartenbildern und einem Diagramm herangezogen, das die Wahrscheinlichkeit jeder Klasse durch das jeweils zuständige neuronale Netz zeigt. Abschließend wird das Endergebnis des KI-Systems mit dem Ergebnis der dem SIRIUS-Gerät beiliegenden Software verglichen.

7.6.1 Fall 1

Ein keratokonischer Fall wurde sowohl vom KI-System als auch vom Arzt diagnostiziert; die dem SIRIUS-Gerät beiliegende Software stufte ihn trotz deutlicher Zeichen eines Keratokonus als Verdachtsfall ein (Abbildung 105). Dieser Fall zeigt eine der Einschränkungen der dem SIRIUS-Gerät beiliegenden Software.

7.6.2 Fall 2

Es handelte sich um einen grenzwertigen keratokonischen Fall. Die Veränderungen auf der vorderen sagittalen Krümmungskarte waren nicht charakteristisch und ähnelten am ehesten der vertikalen Form D (Abbildung 106). Weder das KI-System noch die dem SIRIUS-Gerät beiliegende Software noch der Arzt konnten ihn diagnostizieren; er wurde als Verdachtsfall klassifiziert. Beim Vergleich der Wahrscheinlichkeit eines Keratokonus zeigte sich, dass die tangentialen Krümmungsnetze Veränderungen besser erkannten als die sagittalen. Dies stimmt mit Tummanapalli, Potluri, Vaddavalli und Sangwan (2015) überein, die fanden, dass tangentiale Karten subklinische Fälle besser erkennen. Der Fall zeigt die Bedeutung tangentialer Karten sowie der Befragung und klinischen Untersuchung: Der Scherenreflex war vorhanden, und das andere Auge wies einen eindeutigen Keratokonus auf.

7.6.3 Fall 3

Ein eindeutiger keratokonischer Fall wurde vom KI-System korrekt diagnostiziert, während Arzt und SIRIUS-Software ihn als Verdachtsfall klassifizierten. Die ärztliche Befundung mit Unterstützung des KI-Systems war korrekt (Abbildung 107). Ursache des Fehlers könnte die Ermüdung des Arztes oder mangelnde Aufmerksamkeit infolge der Arbeitsbelastung gewesen sein. Dies unterstreicht die Bedeutung der Befundung mit Unterstützung des KI-Systems und zeigt zugleich eine Einschränkung der dem SIRIUS-Gerät beiliegenden Software.

7.6.4 Fall 4

Ein keratokonusverdächtiger Fall (Forme-fruste-Keratokonus) wurde vom KI-System und vom Arzt als eindeutiger Keratokonus diagnostiziert. Die dem SIRIUS-Gerät beiliegende Software stufte ihn als Verdachtsfall ein. In den Karten zeigte sich eine Erhebung auf der hinteren Höhenkarte, jedoch außerhalb des 5-mm-Kreises. Alle Diagramme außer den Höhenkarten deuteten auf einen eindeutigen Keratokonus hin; die Höhenkarten deuteten auf einen Verdacht (Abbildung 108). Obwohl der Fall grenzwertig war, verdeutlicht er die Bedeutung einer Überprüfung der topographischen Diagnosekriterien, insbesondere der hinteren Krümmungskarten, die bei der Diagnose die hintere Höhenkarte ergänzen können.

7.6.5 Fall 5

Ein Verdachtsfall wurde vom KI-System und von der SIRIUS-Software als eindeutiger Keratokonus diagnostiziert, während der Arzt ihn als Verdachtsfall beurteilte (Abbildung 109). Die Diagramme zeigen, dass die Höhenkarten zunächst auf einen eindeutigen und danach auf einen verdächtigen Keratokonus hindeuten, ohne eindeutige Erhebungen. Bei genauer Betrachtung findet sich jedoch innerhalb des 5-mm-Kreises eine unregelmäßige Vertiefung, die auf Unregelmäßigkeiten und Aberrationen hinweist. Auch dieser grenzwertige Fall unterstreicht die Bedeutung einer Überprüfung der topographischen Keratokonus-Kriterien, insbesondere der Aberrationen.

7.6.6 Fall 6

Ein Verdachtsfall wurde vom KI-System und vom Arzt als normal beurteilt, aber von der SIRIUS-Software und vom Arzt mit Unterstützung korrekt erkannt (Abbildung 110). Die hintere Höhenkarte enthält eine deutliche Erhebung; das zugehörige Diagramm weist auf einen Keratokonus hin. Das Endergebnis des KI-Systems gab jedoch eine Wahrscheinlichkeit von 53 % für normal und 46 % für verdächtig aus. Dies unterstreicht die Bedeutung der Befundung mit Unterstützung des KI-Systems.

7.6.7 Fall 7

Ein Verdachtsfall wurde von der SIRIUS-Software und vom Arzt als normal beurteilt, aber vom KI-System und von der ärztlichen Befundung mit KI-Unterstützung korrekt erkannt. Die hintere Höhenkarte enthält eine deutliche Erhebung und das zugehörige Diagramm weist auf einen Keratokonus hin; auch die Diagramme der meisten übrigen Karten deuten auf einen eindeutigen oder verdächtigen Keratokonus hin (Abbildung 111). Dies unterstreicht die Bedeutung der Befundung mit KI-Unterstützung und zeigt, dass SIRIUS den Fall trotz deutlicher hinterer Erhebung nicht erkannte.

7.6.8 Fall 8

Ein normaler Fall wurde vom KI-System, der SIRIUS-Software und dem Arzt als Verdachtsfall beurteilt. Die Höhenkarten deuteten auf einen eindeutigen oder verdächtigen Keratokonus hin, ohne die zuvor genannten topographischen Zeichen (Abbildung 112). Bei genauer Betrachtung finden sich jedoch innerhalb des 5-mm-Kreises einander gegenüberliegende Erhebung und Vertiefung; dies weist auf Unregelmäßigkeiten und Aberrationen hin und könnte die Diagnose erklären.

7.6.9 Fall 9

Ein normaler Fall wurde vom KI-System als Verdachtsfall beurteilt, während SIRIUS-Software und Arzt ihn korrekt als normal klassifizierten. Die hintere Höhenkarte deutete auf einen eindeutigen oder verdächtigen Keratokonus hin, ohne die zuvor genannten topographischen Zeichen (Abbildung 113). Bei genauer Betrachtung finden sich jedoch innerhalb des 5-mm-Kreises einander gegenüberliegende Erhebung und Vertiefung; auch dies weist auf Unregelmäßigkeiten und Aberrationen hin und könnte die Diagnose erklären.

7.7 Stärken und Schwächen unserer Studie

Stärken:

• Die einzige Studie, die zehn verschiedene Karten topographischer Bilder einbezog.
• Verwendung eines von uns vorgeschlagenen neuen Netzwerkmodells sowie von Transfer Learning und Data Augmentation während des Trainings.
• Training mit realen Bildern.
• Relativ große Trainingsstichprobe.
• Drei Klassen in Training und Test: normale, keratokonische und verdächtige Hornhäute.
• Unabhängige Testgruppe, getrennt von Trainings- und Validierungsgruppe.
• Verwendung des SIRIUS-Geräts, das Placido-Scheibe und Pentacam-Kamera kombiniert.
• Untersuchung der Heatmaps zum Verständnis der Netzwerkfunktion.
• Untersuchung der ärztlichen Kartenbefundung mit Unterstützung des vorgeschlagenen KI-Systems.

Schwächen:

• Trainings-, Validierungs- und Testgruppen waren unausgewogen. Dies beeinflusst Training und Genauigkeitskennwerte. Deshalb wurde während des Trainings ein nach Klassenanteil gewichteter Loss verwendet; die Kennwerte wurden entsprechend der Prävalenzanteile berechnet, einschließlich PPV und NPV. Zusätzlich wurde der F1-Score untersucht, da er in solchen Situationen geeigneter ist als der reine Genauigkeitskennwert.
• Obwohl SIRIUS ein modernes und genaues Gerät ist, entwickeln sich Topographiegeräte laufend weiter. AS-OCT-Geräte gelten als genauer, da sie von Narben weniger beeinflusst werden und eine Epithel-Dickenkarte der Hornhaut liefern, die vermutlich eine wichtige Rolle bei der Erkennung früher Keratokonusfälle spielen wird; dieser Gegenstand wird weiter untersucht (Kanellopoulos & Asimellis, 2014).