PhD Kapitel 6

Kapitel 6 · vollständige deutsche Übersetzung

Ergebnisse

S. 114–137 – Ergebnisse der Karten-Netze

Kapitel 6: Ergebnisse

  1. Ergebnisse des neuronalen Netzes zur vorderen sagittalen Krümmungskarte
  2. Ergebnisse des neuronalen Netzes zur hinteren sagittalen Krümmungskarte
  3. Ergebnisse des neuronalen Netzes zur vorderen tangentialen Krümmungskarte
  4. Ergebnisse des neuronalen Netzes zur hinteren tangentialen Krümmungskarte
  5. Ergebnisse des neuronalen Netzes zur Dickenkarte
  6. Ergebnisse des neuronalen Netzes zur vorderen Höhenkarte
  7. Ergebnisse des neuronalen Netzes zur hinteren Höhenkarte
  8. Ergebnisse des neuronalen Netzes zur vorderen refraktiven Stärkekarte
  9. Ergebnisse des neuronalen Netzes zur hinteren refraktiven Stärkekarte
  10. Ergebnisse des neuronalen Netzes zur äquivalenten refraktiven Stärkekarte
  11. Ergebnisse der Gesamtgenauigkeit des KI-Systems
  12. Ergebnisse der dem SIRIUS-Gerät beiliegenden Software
  13. Ergebnisse der ärztlichen Befundung ohne Unterstützung des KI-Systems
  14. Ergebnisse der ärztlichen Befundung mit Unterstützung des KI-Systems
  15. Ergebnisse der ärztlichen Befundung mit Unterstützung des SIRIUS-Geräts
  16. Anwendung des McNemar-Tests zum Vergleich der vorstehenden Modelle

6.1 Ergebnisse des Netzes für die vordere sagittale Krümmungskarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 48, 49 und 50 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver prädiktiver Wert, negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 16, 17 und 18).

6.1.1 Trainingsgruppe

  • Keratokonus: Sensitivität 94,2 %, Spezifität 97,4 %, positiver prädiktiver Wert 61,6 %, negativer prädiktiver Wert 99,7 %, F1-Score 93,9 %; Genauigkeit zur Erkennung dieser Klasse 96,5 %.
  • Normale Hornhäute: Sensitivität 98,4 %, Spezifität 75,0 %, positiver prädiktiver Wert 94,7 %, negativer prädiktiver Wert 90,9 %, F1-Score 92,2 %; Genauigkeit 89,6 %.
  • Verdächtige Hornhäute: Sensitivität 1,5 %, Spezifität 100,0 %, positiver prädiktiver Wert 100,0 %, negativer prädiktiver Wert 86,4 %, F1-Score 2,9 %; Genauigkeit 91,5 %.
Extrahierte Originalabbildung 48: Konfusionsmatrix der Trainingsgruppe (vordere sagittale Krümmungskarte)
Abbildung 48. Konfusionsmatrix der Trainingsgruppe (vordere sagittale Krümmungskarte) Quelle: Originaldissertation, Original S. 115. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 16: Genauigkeitskennwerte der Trainingsgruppe (vordere sagittale Krümmungskarte).

6.1.2 Validierungsgruppe

  • Keratokonus: Sensitivität 98,2 %, Spezifität 96,0 %, positiver prädiktiver Wert 52,3 %, negativer prädiktiver Wert 99,9 %, F1-Score 94,4 %; Genauigkeit 96,6 %.
  • Normale Hornhäute: Sensitivität 99,2 %, Spezifität 81,9 %, positiver prädiktiver Wert 96,2 %, negativer prädiktiver Wert 95,6 %, F1-Score 94,5 %; Genauigkeit 92,8 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 91,5 %.
Extrahierte Originalabbildung 49: Konfusionsmatrix der Validierungsgruppe (vordere sagittale Krümmungskarte)
Abbildung 49. Konfusionsmatrix der Validierungsgruppe (vordere sagittale Krümmungskarte) Quelle: Originaldissertation, Original S. 116. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 17: Genauigkeitskennwerte der Validierungsgruppe (vordere sagittale Krümmungskarte).

6.1.3 Testgruppe

  • Keratokonus: Sensitivität 100,0 %, Spezifität 91,0 %, positiver prädiktiver Wert 33,0 %, negativer prädiktiver Wert 100,0 %, F1-Score 41,3 %; Genauigkeit 91,2 %.
  • Normale Hornhäute: Sensitivität 93,4 %, Spezifität 46,4 %, positiver prädiktiver Wert 88,8 %, negativer prädiktiver Wert 60,9 %, F1-Score 92,7 %; Genauigkeit 87,2 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 89,8 %.
Extrahierte Originalabbildung 50: Konfusionsmatrix der Testgruppe (vordere sagittale Krümmungskarte)
Abbildung 50. Konfusionsmatrix der Testgruppe (vordere sagittale Krümmungskarte) Quelle: Originaldissertation, Original S. 117. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 18: Genauigkeitskennwerte der Testgruppe (vordere sagittale Krümmungskarte).

6.2 Ergebnisse des Netzes für die hintere sagittale Krümmungskarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 51, 52 und 53 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 19, 20 und 21).

6.2.1 Trainingsgruppe

  • Keratokonus: Sensitivität 95,1 %, Spezifität 98,3 %, positiver prädiktiver Wert 71,2 %, negativer prädiktiver Wert 99,8 %, F1-Score 95,4 %; Genauigkeit 97,4 %.
  • Normale Hornhäute: Sensitivität 99,5 %, Spezifität 75,6 %, positiver prädiktiver Wert 94,9 %, negativer prädiktiver Wert 97,0 %, F1-Score 92,9 %; Genauigkeit 90,5 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 91,4 %.
Extrahierte Originalabbildung 51: Konfusionsmatrix der Trainingsgruppe (hintere sagittale Krümmungskarte)
Abbildung 51. Konfusionsmatrix der Trainingsgruppe (hintere sagittale Krümmungskarte) Quelle: Originaldissertation, Original S. 118. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 19: Genauigkeitskennwerte der Trainingsgruppe (hintere sagittale Krümmungskarte).

6.2.2 Validierungsgruppe

  • Keratokonus: Sensitivität 97,3 %, Spezifität 97,1 %, positiver prädiktiver Wert 59,9 %, negativer prädiktiver Wert 99,9 %, F1-Score 95,2 %; Genauigkeit 97,2 %.
  • Normale Hornhäute: Sensitivität 100,0 %, Spezifität 80,6 %, positiver prädiktiver Wert 95,9 %, negativer prädiktiver Wert 100,0 %, F1-Score 94,6 %; Genauigkeit 92,8 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 91,5 %.
Extrahierte Originalabbildung 52: Konfusionsmatrix der Validierungsgruppe (hintere sagittale Krümmungskarte)
Abbildung 52. Konfusionsmatrix der Validierungsgruppe (hintere sagittale Krümmungskarte) Quelle: Originaldissertation, Original S. 119. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 20: Genauigkeitskennwerte der Validierungsgruppe (hintere sagittale Krümmungskarte).

6.2.3 Testgruppe

  • Keratokonus: Sensitivität 92,3 %, Spezifität 97,6 %, positiver prädiktiver Wert 62,7 %, negativer prädiktiver Wert 99,7 %, F1-Score 68,6 %; Genauigkeit 97,4 %.
  • Normale Hornhäute: Sensitivität 99,5 %, Spezifität 35,7 %, positiver prädiktiver Wert 87,6 %, negativer prädiktiver Wert 93,5 %, F1-Score 95,0 %; Genauigkeit 91,0 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 89,8 %.
Extrahierte Originalabbildung 53: Konfusionsmatrix der Testgruppe (hintere sagittale Krümmungskarte)
Abbildung 53. Konfusionsmatrix der Testgruppe (hintere sagittale Krümmungskarte) Quelle: Originaldissertation, Original S. 120. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 21: Genauigkeitskennwerte der Testgruppe (hintere sagittale Krümmungskarte).

6.3 Ergebnisse des Netzes für die vordere tangentiale Krümmungskarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 54, 55 und 56 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 22, 23 und 24).

6.3.1 Trainingsgruppe

  • Keratokonus: Sensitivität 85,2 %, Spezifität 99,8 %, positiver prädiktiver Wert 95,5 %, negativer prädiktiver Wert 99,3 %, F1-Score 91,8 %; Genauigkeit 95,6 %.
  • Normale Hornhäute: Sensitivität 99,9 %, Spezifität 66,1 %, positiver prädiktiver Wert 93,1 %, negativer prädiktiver Wert 99,3 %, F1-Score 90,8 %; Genauigkeit 87,3 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 99,9 %, positiver prädiktiver Wert 0,0 %, negativer prädiktiver Wert 86,2 %, F1-Score nan %; Genauigkeit 91,3 %.
Extrahierte Originalabbildung 54: Konfusionsmatrix der Trainingsgruppe (vordere tangentiale Krümmungskarte)
Abbildung 54. Konfusionsmatrix der Trainingsgruppe (vordere tangentiale Krümmungskarte) Quelle: Originaldissertation, Original S. 121. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 22: Genauigkeitskennwerte der Trainingsgruppe (vordere tangentiale Krümmungskarte).

6.3.2 Validierungsgruppe

  • Keratokonus: Sensitivität 88,3 %, Spezifität 97,5 %, positiver prädiktiver Wert 60,8 %, negativer prädiktiver Wert 99,5 %, F1-Score 90,7 %; Genauigkeit 94,8 %.
  • Normale Hornhäute: Sensitivität 99,2 %, Spezifität 72,2 %, positiver prädiktiver Wert 94,2 %, negativer prädiktiver Wert 95,1 %, F1-Score 92,0 %; Genauigkeit 89,1 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 99,7 %, positiver prädiktiver Wert 0,0 %, negativer prädiktiver Wert 86,2 %, F1-Score nan %; Genauigkeit 91,2 %.
Extrahierte Originalabbildung 55: Konfusionsmatrix der Validierungsgruppe (vordere tangentiale Krümmungskarte)
Abbildung 55. Konfusionsmatrix der Validierungsgruppe (vordere tangentiale Krümmungskarte) Quelle: Originaldissertation, Original S. 122. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 23: Genauigkeitskennwerte der Validierungsgruppe (vordere tangentiale Krümmungskarte).

6.3.3 Testgruppe

  • Keratokonus: Sensitivität 92,3 %, Spezifität 99,8 %, positiver prädiktiver Wert 94,4 %, negativer prädiktiver Wert 99,7 %, F1-Score 92,3 %; Genauigkeit 99,5 %.
  • Normale Hornhäute: Sensitivität 100,0 %, Spezifität 23,2 %, positiver prädiktiver Wert 85,6 %, negativer prädiktiver Wert 100,0 %, F1-Score 94,5 %; Genauigkeit 89,8 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 89,8 %.
Extrahierte Originalabbildung 56: Konfusionsmatrix der Testgruppe (vordere tangentiale Krümmungskarte)
Abbildung 56. Konfusionsmatrix der Testgruppe (vordere tangentiale Krümmungskarte) Quelle: Originaldissertation, Original S. 123. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 24: Genauigkeitskennwerte der Testgruppe (vordere tangentiale Krümmungskarte).

6.4 Ergebnisse des Netzes für die hintere tangentiale Krümmungskarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 57, 58 und 59 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 25, 26 und 27).

6.4.1 Trainingsgruppe

  • Keratokonus: Sensitivität 94,9 %, Spezifität 99,2 %, positiver prädiktiver Wert 83,9 %, negativer prädiktiver Wert 99,8 %, F1-Score 96,4 %; Genauigkeit 97,9 %.
  • Normale Hornhäute: Sensitivität 99,6 %, Spezifität 75,7 %, positiver prädiktiver Wert 94,9 %, negativer prädiktiver Wert 97,6 %, F1-Score 93,0 %; Genauigkeit 90,7 %.
  • Verdächtige Hornhäute: Sensitivität 2,2 %, Spezifität 99,4 %, positiver prädiktiver Wert 38,8 %, negativer prädiktiver Wert 86,5 %, F1-Score 4,1 %; Genauigkeit 91,1 %.
Extrahierte Originalabbildung 57: Konfusionsmatrix der Trainingsgruppe (hintere tangentiale Krümmungskarte)
Abbildung 57. Konfusionsmatrix der Trainingsgruppe (hintere tangentiale Krümmungskarte) Quelle: Originaldissertation, Original S. 124. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 25: Genauigkeitskennwerte der Trainingsgruppe (hintere tangentiale Krümmungskarte).

6.4.2 Validierungsgruppe

  • Keratokonus: Sensitivität 93,7 %, Spezifität 97,1 %, positiver prädiktiver Wert 59,0 %, negativer prädiktiver Wert 99,7 %, F1-Score 93,3 %; Genauigkeit 96,1 %.
  • Normale Hornhäute: Sensitivität 99,6 %, Spezifität 81,2 %, positiver prädiktiver Wert 96,0 %, negativer prädiktiver Wert 97,7 %, F1-Score 94,5 %; Genauigkeit 92,8 %.
  • Verdächtige Hornhäute: Sensitivität 3,0 %, Spezifität 98,6 %, positiver prädiktiver Wert 25,5 %, negativer prädiktiver Wert 86,5 %, F1-Score 5,1 %; Genauigkeit 90,4 %.
Extrahierte Originalabbildung 58: Konfusionsmatrix der Validierungsgruppe (hintere tangentiale Krümmungskarte)
Abbildung 58. Konfusionsmatrix der Validierungsgruppe (hintere tangentiale Krümmungskarte) Quelle: Originaldissertation, Original S. 125. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 26: Genauigkeitskennwerte der Validierungsgruppe (hintere tangentiale Krümmungskarte).

6.4.3 Testgruppe

  • Keratokonus: Sensitivität 92,3 %, Spezifität 99,5 %, positiver prädiktiver Wert 89,4 %, negativer prädiktiver Wert 99,7 %, F1-Score 88,9 %; Genauigkeit 99,3 %.
  • Normale Hornhäute: Sensitivität 100,0 %, Spezifität 25,0 %, positiver prädiktiver Wert 85,9 %, negativer prädiktiver Wert 100,0 %, F1-Score 94,6 %; Genauigkeit 90,0 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 89,8 %.
Extrahierte Originalabbildung 59: Konfusionsmatrix der Testgruppe (hintere tangentiale Krümmungskarte)
Abbildung 59. Konfusionsmatrix der Testgruppe (hintere tangentiale Krümmungskarte) Quelle: Originaldissertation, Original S. 126. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 27: Genauigkeitskennwerte der Testgruppe (hintere tangentiale Krümmungskarte).

6.5 Ergebnisse des Netzes für die Dickenkarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 60, 61 und 62 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 28, 29 und 30).

6.5.1 Trainingsgruppe

  • Keratokonus: Sensitivität 84,3 %, Spezifität 93,9 %, positiver prädiktiver Wert 37,9 %, negativer prädiktiver Wert 99,3 %, F1-Score 84,5 %; Genauigkeit 91,1 %.
  • Normale Hornhäute: Sensitivität 94,5 %, Spezifität 74,4 %, positiver prädiktiver Wert 94,4 %, negativer prädiktiver Wert 74,7 %, F1-Score 90,1 %; Genauigkeit 86,9 %.
  • Verdächtige Hornhäute: Sensitivität 3,0 %, Spezifität 97,4 %, positiver prädiktiver Wert 15,4 %, negativer prädiktiver Wert 86,3 %, F1-Score 4,6 %; Genauigkeit 89,3 %.
Extrahierte Originalabbildung 60: Konfusionsmatrix der Trainingsgruppe (Dickenkarte)
Abbildung 60. Konfusionsmatrix der Trainingsgruppe (Dickenkarte) Quelle: Originaldissertation, Original S. 127. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 28: Genauigkeitskennwerte der Trainingsgruppe (Dickenkarte).

6.5.2 Validierungsgruppe

  • Keratokonus: Sensitivität 79,3 %, Spezifität 93,1 %, positiver prädiktiver Wert 33,9 %, negativer prädiktiver Wert 99,0 %, F1-Score 80,7 %; Genauigkeit 89,1 %.
  • Normale Hornhäute: Sensitivität 96,7 %, Spezifität 74,3 %, positiver prädiktiver Wert 94,5 %, negativer prädiktiver Wert 83,2 %, F1-Score 91,3 %; Genauigkeit 88,4 %.
  • Verdächtige Hornhäute: Sensitivität 3,0 %, Spezifität 98,0 %, positiver prädiktiver Wert 19,6 %, negativer prädiktiver Wert 86,4 %, F1-Score 4,9 %; Genauigkeit 89,9 %.
Extrahierte Originalabbildung 61: Konfusionsmatrix der Validierungsgruppe (Dickenkarte)
Abbildung 61. Konfusionsmatrix der Validierungsgruppe (Dickenkarte) Quelle: Originaldissertation, Original S. 128. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 29: Genauigkeitskennwerte der Validierungsgruppe (Dickenkarte).

6.5.3 Testgruppe

  • Keratokonus: Sensitivität 76,9 %, Spezifität 94,1 %, positiver prädiktiver Wert 36,8 %, negativer prädiktiver Wert 98,9 %, F1-Score 42,6 %; Genauigkeit 93,6 %.
  • Normale Hornhäute: Sensitivität 96,4 %, Spezifität 41,1 %, positiver prädiktiver Wert 88,2 %, negativer prädiktiver Wert 71,8 %, F1-Score 93,9 %; Genauigkeit 89,1 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 99,5 %, positiver prädiktiver Wert 0,0 %, negativer prädiktiver Wert 86,2 %, F1-Score nan %; Genauigkeit 89,3 %.
Extrahierte Originalabbildung 62: Konfusionsmatrix der Testgruppe (Dickenkarte)
Abbildung 62. Konfusionsmatrix der Testgruppe (Dickenkarte) Quelle: Originaldissertation, Original S. 129. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 30: Genauigkeitskennwerte der Testgruppe (Dickenkarte).

6.6 Ergebnisse des Netzes für die vordere Höhenkarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 63, 64 und 65 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 31, 32 und 33).

6.6.1 Trainingsgruppe

  • Keratokonus: Sensitivität 93,5 %, Spezifität 97,1 %, positiver prädiktiver Wert 59,0 %, negativer prädiktiver Wert 99,7 %, F1-Score 93,2 %; Genauigkeit 96,1 %.
  • Normale Hornhäute: Sensitivität 98,3 %, Spezifität 78,1 %, positiver prädiktiver Wert 95,3 %, negativer prädiktiver Wert 90,8 %, F1-Score 93,0 %; Genauigkeit 90,7 %.
  • Verdächtige Hornhäute: Sensitivität 6,7 %, Spezifität 99,2 %, positiver prädiktiver Wert 55,9 %, negativer prädiktiver Wert 87,0 %, F1-Score 11,6 %; Genauigkeit 91,2 %.
Extrahierte Originalabbildung 63: Konfusionsmatrix der Trainingsgruppe (vordere Höhenkarte)
Abbildung 63. Konfusionsmatrix der Trainingsgruppe (vordere Höhenkarte) Quelle: Originaldissertation, Original S. 130. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 31: Genauigkeitskennwerte der Trainingsgruppe (vordere Höhenkarte).

6.6.2 Validierungsgruppe

  • Keratokonus: Sensitivität 98,2 %, Spezifität 96,7 %, positiver prädiktiver Wert 57,3 %, negativer prädiktiver Wert 99,9 %, F1-Score 95,2 %; Genauigkeit 97,2 %.
  • Normale Hornhäute: Sensitivität 99,2 %, Spezifität 83,3 %, positiver prädiktiver Wert 96,4 %, negativer prädiktiver Wert 95,7 %, F1-Score 94,9 %; Genauigkeit 93,3 %.
  • Verdächtige Hornhäute: Sensitivität 9,1 %, Spezifität 99,7 %, positiver prädiktiver Wert 83,7 %, negativer prädiktiver Wert 87,3 %, F1-Score 16,2 %; Genauigkeit 92,0 %.
Extrahierte Originalabbildung 64: Konfusionsmatrix der Validierungsgruppe (vordere Höhenkarte)
Abbildung 64. Konfusionsmatrix der Validierungsgruppe (vordere Höhenkarte) Quelle: Originaldissertation, Original S. 131. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 32: Genauigkeitskennwerte der Validierungsgruppe (vordere Höhenkarte).

6.6.3 Testgruppe

  • Keratokonus: Sensitivität 100,0 %, Spezifität 96,1 %, positiver prädiktiver Wert 53,2 %, negativer prädiktiver Wert 100,0 %, F1-Score 61,9 %; Genauigkeit 96,2 %.
  • Normale Hornhäute: Sensitivität 98,4 %, Spezifität 50,0 %, positiver prädiktiver Wert 90,0 %, negativer prädiktiver Wert 87,0 %, F1-Score 95,5 %; Genauigkeit 91,9 %.
  • Verdächtige Hornhäute: Sensitivität 9,3 %, Spezifität 99,7 %, positiver prädiktiver Wert 84,9 %, negativer prädiktiver Wert 87,3 %, F1-Score 16,7 %; Genauigkeit 90,5 %.
Extrahierte Originalabbildung 65: Konfusionsmatrix der Testgruppe (vordere Höhenkarte)
Abbildung 65. Konfusionsmatrix der Testgruppe (vordere Höhenkarte) Quelle: Originaldissertation, Original S. 132. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 33: Genauigkeitskennwerte der Test-/Validierungsgruppe (vordere Höhenkarte; Bezeichnung wie in der Quelle).

6.7 Ergebnisse des Netzes für die hintere Höhenkarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 66, 67 und 68 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 34, 35 und 36).

6.7.1 Trainingsgruppe

  • Keratokonus: Sensitivität 96,9 %, Spezifität 94,9 %, positiver prädiktiver Wert 45,6 %, negativer prädiktiver Wert 99,9 %, F1-Score 92,4 %; Genauigkeit 95,4 %.
  • Normale Hornhäute: Sensitivität 98,3 %, Spezifität 86,2 %, positiver prädiktiver Wert 97,0 %, negativer prädiktiver Wert 91,6 %, F1-Score 95,2 %; Genauigkeit 93,8 %.
  • Verdächtige Hornhäute: Sensitivität 9,0 %, Spezifität 98,9 %, positiver prädiktiver Wert 55,9 %, negativer prädiktiver Wert 87,2 %, F1-Score 14,8 %; Genauigkeit 91,1 %.
Extrahierte Originalabbildung 66: Konfusionsmatrix der Trainingsgruppe (hintere Höhenkarte)
Abbildung 66. Konfusionsmatrix der Trainingsgruppe (hintere Höhenkarte) Quelle: Originaldissertation, Original S. 133. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 34: Genauigkeitskennwerte der Trainingsgruppe (hintere Höhenkarte).

6.7.2 Validierungsgruppe

  • Keratokonus: Sensitivität 97,3 %, Spezifität 94,9 %, positiver prädiktiver Wert 46,0 %, negativer prädiktiver Wert 99,9 %, F1-Score 92,7 %; Genauigkeit 95,6 %.
  • Normale Hornhäute: Sensitivität 97,9 %, Spezifität 88,2 %, positiver prädiktiver Wert 97,4 %, negativer prädiktiver Wert 90,4 %, F1-Score 95,6 %; Genauigkeit 94,3 %.
  • Verdächtige Hornhäute: Sensitivität 12,1 %, Spezifität 98,3 %, positiver prädiktiver Wert 53,3 %, negativer prädiktiver Wert 87,5 %, F1-Score 18,6 %; Genauigkeit 91,0 %.
Extrahierte Originalabbildung 67: Konfusionsmatrix der Validierungsgruppe (hintere Höhenkarte)
Abbildung 67. Konfusionsmatrix der Validierungsgruppe (hintere Höhenkarte) Quelle: Originaldissertation, Original S. 134. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 35: Genauigkeitskennwerte der Validierungsgruppe (hintere Höhenkarte).

6.7.3 Testgruppe

  • Keratokonus: Sensitivität 100,0 %, Spezifität 96,1 %, positiver prädiktiver Wert 53,2 %, negativer prädiktiver Wert 100,0 %, F1-Score 61,9 %; Genauigkeit 96,2 %.
  • Normale Hornhäute: Sensitivität 96,7 %, Spezifität 53,6 %, positiver prädiktiver Wert 90,5 %, negativer prädiktiver Wert 78,2 %, F1-Score 94,9 %; Genauigkeit 91,0 %.
  • Verdächtige Hornhäute: Sensitivität 7,0 %, Spezifität 97,4 %, positiver prädiktiver Wert 29,6 %, negativer prädiktiver Wert 86,8 %, F1-Score 10,7 %; Genauigkeit 88,2 %.
Extrahierte Originalabbildung 68: Konfusionsmatrix der Testgruppe (hintere Höhenkarte)
Abbildung 68. Konfusionsmatrix der Testgruppe (hintere Höhenkarte) Quelle: Originaldissertation, Original S. 135. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 36: Genauigkeitskennwerte der Testgruppe (hintere Höhenkarte).

6.8 Ergebnisse des Netzes für die vordere refraktive Stärkekarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 67, 68 und 69 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 37, 38 und 39).

6.8.1 Trainingsgruppe

  • Keratokonus: Sensitivität 93,7 %, Spezifität 98,5 %, positiver prädiktiver Wert 73,1 %, negativer prädiktiver Wert 99,7 %, F1-Score 94,9 %; Genauigkeit 97,1 %.
  • Normale Hornhäute: Sensitivität 98,9 %, Spezifität 80,7 %, positiver prädiktiver Wert 95,9 %, negativer prädiktiver Wert 94,0 %, F1-Score 94,0 %; Genauigkeit 92,1 %.
  • Verdächtige Hornhäute: Sensitivität 21,6 %, Spezifität 98,9 %, positiver prädiktiver Wert 76,6 %, negativer prädiktiver Wert 88,8 %, F1-Score 32,6 %; Genauigkeit 92,3 %.
Extrahierte Originalabbildung 69: Konfusionsmatrix der Trainingsgruppe (vordere refraktive Stärkekarte)
Abbildung 69. Konfusionsmatrix der Trainingsgruppe (vordere refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 136. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 37: Genauigkeitskennwerte der Trainingsgruppe (vordere refraktive Stärkekarte).

6.8.2 Validierungsgruppe

  • Keratokonus: Sensitivität 94,6 %, Spezifität 94,9 %, positiver prädiktiver Wert 45,3 %, negativer prädiktiver Wert 99,7 %, F1-Score 91,3 %; Genauigkeit 94,8 %.
  • Normale Hornhäute: Sensitivität 91,8 %, Spezifität 83,3 %, positiver prädiktiver Wert 96,2 %, negativer prädiktiver Wert 69,0 %, F1-Score 91,0 %; Genauigkeit 88,6 %.
  • Verdächtige Hornhäute: Sensitivität 12,1 %, Spezifität 95,2 %, positiver prädiktiver Wert 28,7 %, negativer prädiktiver Wert 87,2 %, F1-Score 14,8 %; Genauigkeit 88,1 %.
Extrahierte Originalabbildung 70: Konfusionsmatrix der Validierungsgruppe (vordere refraktive Stärkekarte)
Abbildung 70. Konfusionsmatrix der Validierungsgruppe (vordere refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 137. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 38: Genauigkeitskennwerte der Validierungsgruppe (vordere refraktive Stärkekarte).

6.8.3 Testgruppe (Beginn auf S. 137)

  • Keratokonus: Sensitivität 84,6 %, Spezifität 99,3 %, positiver prädiktiver Wert 83,7 %, negativer prädiktiver Wert 99,3 %, F1-Score 81,5 %; Genauigkeit 98,8 %.

Hinweis zur Fußnote 1 der Quelle: Wenn im Ergebnis- oder Diskussionsteil im Text oder in Tabellen nan erscheint, bedeutet dies, dass der Wert wegen eines Nenners von null nicht definiert ist. Meist konnte das neuronale Netz keinen verdächtigen Hornhaut-Fall korrekt oder falsch erkennen; dadurch konnten positiver prädiktiver Wert oder F1-Score nicht berechnet werden. Alternativ waren Sensitivität und positiver prädiktiver Wert gleich null, sodass der F1-Score nicht definiert war.

S. 138–157 – Ergebnisse, Modellvergleiche und McNemar-Tests

Fortsetzung 6.8.3 Testgruppe: vordere refraktive Stärkekarte

  • Normale Hornhäute: Sensitivität 100,0 %, Spezifität 28,6 %, positiver prädiktiver Wert 86,4 %, negativer prädiktiver Wert 100,0 %, F1-Score 94,8 %; Genauigkeit 90,5 %.
  • Verdächtige Hornhäute: Sensitivität 2,3 %, Spezifität 99,7 %, positiver prädiktiver Wert 58,4 %, negativer prädiktiver Wert 86,5 %, F1-Score 4,4 %; Genauigkeit 89,8 %.
Extrahierte Originalabbildung 71: Konfusionsmatrix der Testgruppe (vordere refraktive Stärkekarte)
Abbildung 71. Konfusionsmatrix der Testgruppe (vordere refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 138. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 39: Genauigkeitskennwerte der Testgruppe (vordere refraktive Stärkekarte).

6.9 Ergebnisse des Netzes für die hintere refraktive Stärkekarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 72, 73 und 74 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 40, 41 und 42).

6.9.1 Trainingsgruppe

  • Keratokonus: Sensitivität 91,7 %, Spezifität 99,2 %, positiver prädiktiver Wert 83,4 %, negativer prädiktiver Wert 99,6 %, F1-Score 94,7 %; Genauigkeit 97,0 %.
  • Normale Hornhäute: Sensitivität 99,9 %, Spezifität 71,9 %, positiver prädiktiver Wert 94,2 %, negativer prädiktiver Wert 99,4 %, F1-Score 92,2 %; Genauigkeit 89,5 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 91,4 %.
Extrahierte Originalabbildung 72: Konfusionsmatrix der Trainingsgruppe (hintere refraktive Stärkekarte)
Abbildung 72. Konfusionsmatrix der Trainingsgruppe (hintere refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 139. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 40: Genauigkeitskennwerte der Trainingsgruppe (hintere refraktive Stärkekarte).

6.9.2 Validierungsgruppe

  • Keratokonus: Sensitivität 97,3 %, Spezifität 97,8 %, positiver prädiktiver Wert 66,6 %, negativer prädiktiver Wert 99,9 %, F1-Score 96,0 %; Genauigkeit 97,7 %.
  • Normale Hornhäute: Sensitivität 100,0 %, Spezifität 79,2 %, positiver prädiktiver Wert 95,6 %, negativer prädiktiver Wert 100,0 %, F1-Score 94,2 %; Genauigkeit 92,2 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 91,5 %.
Extrahierte Originalabbildung 73: Konfusionsmatrix der Validierungsgruppe (hintere refraktive Stärkekarte)
Abbildung 73. Konfusionsmatrix der Validierungsgruppe (hintere refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 140. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 41: Genauigkeitskennwerte der Validierungsgruppe (hintere refraktive Stärkekarte).

6.9.3 Testgruppe

  • Keratokonus: Sensitivität 92,3 %, Spezifität 99,3 %, positiver prädiktiver Wert 84,8 %, negativer prädiktiver Wert 99,7 %, F1-Score 85,7 %; Genauigkeit 99,1 %.
  • Normale Hornhäute: Sensitivität 100,0 %, Spezifität 26,8 %, positiver prädiktiver Wert 86,1 %, negativer prädiktiver Wert 100,0 %, F1-Score 94,7 %; Genauigkeit 90,3 %.
  • Verdächtige Hornhäute: Sensitivität 0,0 %, Spezifität 100,0 %, positiver prädiktiver Wert nan %, negativer prädiktiver Wert 86,3 %, F1-Score nan %; Genauigkeit 89,8 %.
Extrahierte Originalabbildung 74: Konfusionsmatrix der Testgruppe (hintere refraktive Stärkekarte)
Abbildung 74. Konfusionsmatrix der Testgruppe (hintere refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 141. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 42: Genauigkeitskennwerte der Testgruppe (hintere refraktive Stärkekarte).

6.10 Ergebnisse des Netzes für die äquivalente refraktive Stärkekarte

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 75, 76 und 77 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 43, 44 und 45).

6.10.1 Trainingsgruppe

  • Keratokonus: Sensitivität 91,9 %, Spezifität 98,5 %, positiver prädiktiver Wert 72,7 %, negativer prädiktiver Wert 99,6 %, F1-Score 93,9 %; Genauigkeit 96,6 %.
  • Normale Hornhäute: Sensitivität 98,5 %, Spezifität 73,8 %, positiver prädiktiver Wert 94,5 %, negativer prädiktiver Wert 91,3 %, F1-Score 92,0 %; Genauigkeit 89,3 %.
  • Verdächtige Hornhäute: Sensitivität 3,7 %, Spezifität 99,2 %, positiver prädiktiver Wert 43,4 %, negativer prädiktiver Wert 86,6 %, F1-Score 6,7 %; Genauigkeit 91,0 %.
Extrahierte Originalabbildung 75: Konfusionsmatrix der Trainingsgruppe (äquivalente refraktive Stärkekarte)
Abbildung 75. Konfusionsmatrix der Trainingsgruppe (äquivalente refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 142. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 43: Genauigkeitskennwerte der Trainingsgruppe (äquivalente refraktive Stärkekarte).

6.10.2 Validierungsgruppe

  • Keratokonus: Sensitivität 96,4 %, Spezifität 96,4 %, positiver prädiktiver Wert 54,2 %, negativer prädiktiver Wert 99,8 %, F1-Score 93,9 %; Genauigkeit 96,4 %.
  • Normale Hornhäute: Sensitivität 99,2 %, Spezifität 81,2 %, positiver prädiktiver Wert 96,0 %, negativer prädiktiver Wert 95,6 %, F1-Score 94,3 %; Genauigkeit 92,5 %.
  • Verdächtige Hornhäute: Sensitivität 3,0 %, Spezifität 99,7 %, positiver prädiktiver Wert 63,1 %, negativer prädiktiver Wert 86,6 %, F1-Score 5,7 %; Genauigkeit 91,5 %.
Extrahierte Originalabbildung 76: Konfusionsmatrix der Validierungsgruppe (äquivalente refraktive Stärkekarte)
Abbildung 76. Konfusionsmatrix der Validierungsgruppe (äquivalente refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 143. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 44: Genauigkeitskennwerte der Validierungsgruppe (äquivalente refraktive Stärkekarte).

6.10.3 Testgruppe

  • Keratokonus: Sensitivität 92,3 %, Spezifität 98,5 %, positiver prädiktiver Wert 73,7 %, negativer prädiktiver Wert 99,7 %, F1-Score 77,4 %; Genauigkeit 98,3 %.
  • Normale Hornhäute: Sensitivität 99,2 %, Spezifität 33,9 %, positiver prädiktiver Wert 87,2 %, negativer prädiktiver Wert 90,1 %, F1-Score 94,8 %; Genauigkeit 90,5 %.
  • Verdächtige Hornhäute: Sensitivität 2,3 %, Spezifität 99,2 %, positiver prädiktiver Wert 31,9 %, negativer prädiktiver Wert 86,4 %, F1-Score 4,3 %; Genauigkeit 89,3 %.
Extrahierte Originalabbildung 77: Konfusionsmatrix der Testgruppe (äquivalente refraktive Stärkekarte)
Abbildung 77. Konfusionsmatrix der Testgruppe (äquivalente refraktive Stärkekarte) Quelle: Originaldissertation, Original S. 144. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 45: Genauigkeitskennwerte der Testgruppe (äquivalente refraktive Stärkekarte).

6.11 Ergebnisse der Gesamtgenauigkeit des KI-Systems

Die aus Trainings-, Validierungs- und Testgruppe resultierenden Konfusionsmatrizen sind nacheinander in den Abbildungen 78, 79 und 80 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabellen 46, 47 und 48).

6.11.1 Trainingsgruppe

  • Keratokonus: Sensitivität 94,6 %, Spezifität 99,8 %, positiver prädiktiver Wert 95,9 %, negativer prädiktiver Wert 99,8 %, F1-Score 97,0 %; Genauigkeit 98,3 %.
  • Normale Hornhäute: Sensitivität 98,8 %, Spezifität 91,7 %, positiver prädiktiver Wert 98,2 %, negativer prädiktiver Wert 94,2 %, F1-Score 97,0 %; Genauigkeit 96,1 %.
  • Verdächtige Hornhäute: Sensitivität 62,7 %, Spezifität 97,5 %, positiver prädiktiver Wert 79,8 %, negativer prädiktiver Wert 94,3 %, F1-Score 66,1 %; Genauigkeit 94,5 %.
Extrahierte Originalabbildung 78: Konfusionsmatrix der Trainingsgruppe (KI-System)
Abbildung 78. Konfusionsmatrix der Trainingsgruppe (KI-System) Quelle: Originaldissertation, Original S. 145. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 46: Genauigkeitskennwerte der Trainingsgruppe (KI-System).

6.11.2 Validierungsgruppe

  • Keratokonus: Sensitivität 93,8 %, Spezifität 99,3 %, positiver prädiktiver Wert 85,2 %, negativer prädiktiver Wert 99,7 %, F1-Score 95,9 %; Genauigkeit 97,7 %.
  • Normale Hornhäute: Sensitivität 98,8 %, Spezifität 91,8 %, positiver prädiktiver Wert 98,2 %, negativer prädiktiver Wert 94,2 %, F1-Score 97,0 %; Genauigkeit 96,1 %.
  • Verdächtige Hornhäute: Sensitivität 60,6 %, Spezifität 97,5 %, positiver prädiktiver Wert 79,2 %, negativer prädiktiver Wert 94,0 %, F1-Score 64,5 %; Genauigkeit 94,3 %.
Extrahierte Originalabbildung 79: Konfusionsmatrix der Validierungsgruppe (KI-System)
Abbildung 79. Konfusionsmatrix der Validierungsgruppe (KI-System) Quelle: Originaldissertation, Original S. 146. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 47: Genauigkeitskennwerte der Validierungsgruppe (KI-System).

6.11.3 Testgruppe

  • Keratokonus: Sensitivität 92,3 %, Spezifität 99,5 %, positiver prädiktiver Wert 89,4 %, negativer prädiktiver Wert 99,7 %, F1-Score 88,9 %; Genauigkeit 99,3 %.
  • Normale Hornhäute: Sensitivität 98,4 %, Spezifität 57,1 %, positiver prädiktiver Wert 91,3 %, negativer prädiktiver Wert 88,4 %, F1-Score 96,0 %; Genauigkeit 92,9 %.
  • Verdächtige Hornhäute: Sensitivität 39,5 %, Spezifität 98,2 %, positiver prädiktiver Wert 77,3 %, negativer prädiktiver Wert 91,1 %, F1-Score 50,7 %; Genauigkeit 92,2 %.
Extrahierte Originalabbildung 80: Konfusionsmatrix der Testgruppe (KI-System)
Abbildung 80. Konfusionsmatrix der Testgruppe (KI-System) Quelle: Originaldissertation, Original S. 147. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 48: Genauigkeitskennwerte der Testgruppe (KI-System).

6.12 Ergebnisse der dem SIRIUS-Gerät beiliegenden Software

Die Konfusionsmatrix der Testgruppe ist in Abbildung 81 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabelle 49).

  • Keratokonus: Sensitivität 84,6 %, Spezifität 99,5 %, positiver prädiktiver Wert 88,5 %, negativer prädiktiver Wert 99,3 %, F1-Score 84,6 %; Genauigkeit 99,1 %.
  • Normale Hornhäute: Sensitivität 98,1 %, Spezifität 58,9 %, positiver prädiktiver Wert 91,6 %, negativer prädiktiver Wert 87,1 %, F1-Score 96,0 %; Genauigkeit 92,9 %.
  • Verdächtige Hornhäute: Sensitivität 41,9 %, Spezifität 97,6 %, positiver prädiktiver Wert 73,7 %, negativer prädiktiver Wert 91,3 %, F1-Score 51,4 %; Genauigkeit 91,9 %.
Extrahierte Originalabbildung 81: Konfusionsmatrix der Testgruppe (SIRIUS)
Abbildung 81. Konfusionsmatrix der Testgruppe (SIRIUS) Quelle: Originaldissertation, Original S. 148. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 49: Genauigkeitskennwerte der Testgruppe (SIRIUS).

6.13 Ergebnisse der ärztlichen Befundung ohne KI-Unterstützung

Die Konfusionsmatrix der Testgruppe ist in Abbildung 82 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabelle 50).

  • Keratokonus: Sensitivität 84,6 %, Spezifität 99,8 %, positiver prädiktiver Wert 93,9 %, negativer prädiktiver Wert 99,3 %, F1-Score 88,0 %; Genauigkeit 99,3 %.
  • Normale Hornhäute: Sensitivität 98,1 %, Spezifität 60,7 %, positiver prädiktiver Wert 91,9 %, negativer prädiktiver Wert 87,5 %, F1-Score 96,1 %; Genauigkeit 93,1 %.
  • Verdächtige Hornhäute: Sensitivität 46,5 %, Spezifität 97,6 %, positiver prädiktiver Wert 75,7 %, negativer prädiktiver Wert 92,0 %, F1-Score 55,6 %; Genauigkeit 92,4 %.
Extrahierte Originalabbildung 82: Konfusionsmatrix der Testgruppe (Arzt ohne Unterstützung des KI-Systems)
Abbildung 82. Konfusionsmatrix der Testgruppe (Arzt ohne Unterstützung des KI-Systems) Quelle: Originaldissertation, Original S. 149. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 50: Genauigkeitskennwerte der Testgruppe (Arzt ohne KI-Unterstützung).

6.14 Ergebnisse der ärztlichen Befundung mit KI-Unterstützung

Die Konfusionsmatrix der Testgruppe ist in Abbildung 83 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabelle 51).

  • Keratokonus: Sensitivität 92,3 %, Spezifität 99,8 %, positiver prädiktiver Wert 94,4 %, negativer prädiktiver Wert 99,7 %, F1-Score 92,3 %; Genauigkeit 99,5 %.
  • Normale Hornhäute: Sensitivität 99,7 %, Spezifität 76,8 %, positiver prädiktiver Wert 95,1 %, negativer prädiktiver Wert 98,4 %, F1-Score 98,1 %; Genauigkeit 96,7 %.
  • Verdächtige Hornhäute: Sensitivität 67,4 %, Spezifität 99,5 %, positiver prädiktiver Wert 95,3 %, negativer prädiktiver Wert 95,0 %, F1-Score 78,4 %; Genauigkeit 96,2 %.
Extrahierte Originalabbildung 83: Konfusionsmatrix der Testgruppe (Arzt mit Unterstützung des KI-Systems)
Abbildung 83. Konfusionsmatrix der Testgruppe (Arzt mit Unterstützung des KI-Systems) Quelle: Originaldissertation, Original S. 150. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 51: Genauigkeitskennwerte der Testgruppe (Arzt mit Unterstützung des KI-Systems).

6.15 Ergebnisse der ärztlichen Befundung mit SIRIUS-Unterstützung

Die Konfusionsmatrix der Testgruppe ist in Abbildung 84 dargestellt. Für jede Klasse wurden Sensitivität, Spezifität, positiver und negativer prädiktiver Wert, F1-Score und Genauigkeit berechnet (Tabelle 52).

  • Keratokonus: Sensitivität 92,3 %, Spezifität 99,8 %, positiver prädiktiver Wert 94,4 %, negativer prädiktiver Wert 99,7 %, F1-Score 92,3 %; Genauigkeit 99,5 %.
  • Normale Hornhäute: Sensitivität 98,9 %, Spezifität 69,6 %, positiver prädiktiver Wert 93,7 %, negativer prädiktiver Wert 93,3 %, F1-Score 97,2 %; Genauigkeit 95,0 %.
  • Verdächtige Hornhäute: Sensitivität 58,1 %, Spezifität 98,7 %, positiver prädiktiver Wert 87,5 %, negativer prädiktiver Wert 93,7 %, F1-Score 68,5 %; Genauigkeit 94,5 %.
Extrahierte Originalabbildung 84: Konfusionsmatrix der Testgruppe (Arzt mit Unterstützung des SIRIUS-Geräts)
Abbildung 84. Konfusionsmatrix der Testgruppe (Arzt mit Unterstützung des SIRIUS-Geräts) Quelle: Originaldissertation, Original S. 151. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

Tabelle 52: Genauigkeitskennwerte der Testgruppe (Arzt mit Unterstützung des SIRIUS-Geräts).

6.16 Anwendung des McNemar-Tests zum Vergleich der vorstehenden Modelle

Zur Feststellung, ob zwischen den vorstehenden Modellen (KI-System, SIRIUS-Gerät, Arzt ohne Unterstützung, Arzt mit KI-Unterstützung und Arzt mit SIRIUS-Unterstützung) ein tatsächlicher Unterschied besteht, wurden ihre Ergebnisse mit dem McNemar-Test verglichen. Jeweils zwei Modelle wurden miteinander verglichen (Tabelle 53, Abbildungen 85–94).

Tabelle 53: Zusammenfassung der McNemar-Tests.

6.16.1 KI-System gegenüber SIRIUS-Gerät

Bei Anwendung des McNemar-Tests auf die binäre Konfusionsmatrix (korrekte gegenüber falschen Ergebnissen der beiden Modelle) ergab sich P = 100,0 % > 5 %. Somit bestand kein statistisch signifikanter Unterschied zwischen den Ergebnissen des KI-Systems und des SIRIUS-Geräts.

Extrahierte Originalabbildung 85: Binäre Konfusionsmatrix (KI-System gegenüber SIRIUS-Ergebnis)
Abbildung 85. Binäre Konfusionsmatrix (KI-System gegenüber SIRIUS-Ergebnis) Quelle: Originaldissertation, Original S. 153. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.2 KI-System gegenüber Arzt ohne Unterstützung

Der McNemar-Test der binären Konfusionsmatrix ergab P = 72,0 % > 5 %. Somit bestand kein statistisch signifikanter Unterschied zwischen den Ergebnissen des KI-Systems und des Arztes ohne Unterstützung.

Extrahierte Originalabbildung 86: Binäre Konfusionsmatrix (KI-System gegenüber Ergebnis des Arztes ohne Unterstützung)
Abbildung 86. Binäre Konfusionsmatrix (KI-System gegenüber Ergebnis des Arztes ohne Unterstützung) Quelle: Originaldissertation, Original S. 153. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.3 KI-System gegenüber Arzt mit KI-Unterstützung

Der McNemar-Test ergab P = 0,0 % < 5 %. Somit bestand ein statistisch signifikanter Unterschied zwischen den Ergebnissen des KI-Systems und des Arztes mit KI-Unterstützung.

Extrahierte Originalabbildung 87: Binäre Konfusionsmatrix (KI-System gegenüber Ergebnis des Arztes mit KI-Unterstützung)
Abbildung 87. Binäre Konfusionsmatrix (KI-System gegenüber Ergebnis des Arztes mit KI-Unterstützung) Quelle: Originaldissertation, Original S. 154. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.4 KI-System gegenüber Arzt mit SIRIUS-Unterstützung

Der McNemar-Test ergab P = 7,6 % > 5 %. Somit bestand kein statistisch signifikanter Unterschied zwischen den Ergebnissen des KI-Systems und des Arztes mit Unterstützung des SIRIUS-Geräts.

Extrahierte Originalabbildung 88: Binäre Konfusionsmatrix (KI-System gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung)
Abbildung 88. Binäre Konfusionsmatrix (KI-System gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung) Quelle: Originaldissertation, Original S. 154. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.5 SIRIUS-Gerät gegenüber Arzt ohne Unterstützung

Der McNemar-Test ergab P = 50,3 % > 5 %. Somit bestand kein statistisch signifikanter Unterschied zwischen den Ergebnissen des SIRIUS-Geräts und des Arztes ohne Unterstützung.

Extrahierte Originalabbildung 89: Binäre Konfusionsmatrix (SIRIUS-Ergebnis gegenüber Ergebnis des Arztes ohne Unterstützung)
Abbildung 89. Binäre Konfusionsmatrix (SIRIUS-Ergebnis gegenüber Ergebnis des Arztes ohne Unterstützung) Quelle: Originaldissertation, Original S. 155. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.6 SIRIUS-Gerät gegenüber Arzt mit KI-Unterstützung

Der McNemar-Test ergab P = 0,0 % < 5 %. Somit bestand ein statistisch signifikanter Unterschied zwischen den Ergebnissen des SIRIUS-Geräts und des Arztes mit KI-Unterstützung.

Extrahierte Originalabbildung 90: Binäre Konfusionsmatrix (SIRIUS-Ergebnis gegenüber Ergebnis des Arztes mit KI-Unterstützung)
Abbildung 90. Binäre Konfusionsmatrix (SIRIUS-Ergebnis gegenüber Ergebnis des Arztes mit KI-Unterstützung) Quelle: Originaldissertation, Original S. 155. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.7 SIRIUS-Gerät gegenüber Arzt mit SIRIUS-Unterstützung

Der McNemar-Test ergab P = 0,1 % < 5 %. Somit bestand ein statistisch signifikanter Unterschied zwischen den Ergebnissen des SIRIUS-Geräts und des Arztes mit SIRIUS-Unterstützung.

Extrahierte Originalabbildung 91: Binäre Konfusionsmatrix (SIRIUS-Ergebnis gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung)
Abbildung 91. Binäre Konfusionsmatrix (SIRIUS-Ergebnis gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung) Quelle: Originaldissertation, Original S. 156. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.8 Arzt ohne Unterstützung gegenüber Arzt mit KI-Unterstützung

Der McNemar-Test ergab P = 0,0 % < 5 %. Somit bestand ein statistisch signifikanter Unterschied zwischen den Ergebnissen des Arztes ohne Unterstützung und des Arztes mit KI-Unterstützung.

Extrahierte Originalabbildung 92: Binäre Konfusionsmatrix (Ergebnis des Arztes ohne Unterstützung gegenüber Ergebnis des Arztes mit KI-Unterstützung)
Abbildung 92. Binäre Konfusionsmatrix (Ergebnis des Arztes ohne Unterstützung gegenüber Ergebnis des Arztes mit KI-Unterstützung) Quelle: Originaldissertation, Original S. 156. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.9 Arzt ohne Unterstützung gegenüber Arzt mit SIRIUS-Unterstützung

Der McNemar-Test ergab P = 3,9 % < 5 %. Somit bestand ein statistisch signifikanter Unterschied zwischen den Ergebnissen des Arztes ohne Unterstützung und des Arztes mit SIRIUS-Unterstützung.

Extrahierte Originalabbildung 93: Binäre Konfusionsmatrix (Ergebnis des Arztes ohne Unterstützung gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung)
Abbildung 93. Binäre Konfusionsmatrix (Ergebnis des Arztes ohne Unterstützung gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung) Quelle: Originaldissertation, Original S. 157. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

6.16.10 Arzt mit KI-Unterstützung gegenüber Arzt mit SIRIUS-Unterstützung

Der McNemar-Test ergab P = 3,9 % < 5 %. Somit bestand ein statistisch signifikanter Unterschied zwischen den Ergebnissen des Arztes mit KI-Unterstützung und des Arztes mit SIRIUS-Unterstützung.

Extrahierte Originalabbildung 94: Binäre Konfusionsmatrix (Ergebnis des Arztes mit KI-Unterstützung gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung)
Abbildung 94. Binäre Konfusionsmatrix (Ergebnis des Arztes mit KI-Unterstützung gegenüber Ergebnis des Arztes mit SIRIUS-Unterstützung) Quelle: Originaldissertation, Original S. 157. Abbildungsbereich lokal aus dem Original-PDF extrahiert.

S. 158–164 – Diskussion, Limitationen und Schlussfolgerungen

Kapitel 7: Diskussion

  1. Demografische Informationen
  2. Topographiekarten
  3. KI-System und Vergleich mit ähnlichen Studien
  4. Vergleich mit anderen Modellen
  5. Diskriminative Merkmals- und Heatmaps
  6. Untersuchung einiger Fälle
  7. Stärken und Schwächen unserer Studie

7.1 Demografische Informationen

7.1.1 Prävalenz

In der Trainingsgruppe ist die hohe Prävalenz von Keratokonus (30,4 %) und keratokonusverdächtigen Hornhäuten (7,8 %) deutlich. Dies ist darauf zurückzuführen, dass die Stichprobe aus den Akten eines universitären Referenzkrankenhauses zusammengestellt wurde. Topographische Untersuchungen werden gewöhnlich bei Verdachtsfällen während der Routineuntersuchung oder zur Verlaufskontrolle einer bereits diagnostizierten Erkrankung durchgeführt. Hinzu kommt ein Selektionsbias des Forschers: Für diese Stichprobe sollten möglichst viele Bilder aus allen drei Gruppen gesammelt werden, um das KI-System zu trainieren.

In der Testgruppe war die Prävalenz von Keratokonus (4,27 %) und Verdachtsfällen (13,74 %) deutlich geringer. Diese Stichprobe wurde zufällig und ohne Bias aus Patientinnen und Patienten mit unterschiedlichen Beschwerden der Augenambulanz gewonnen und bildet deshalb die Realität besser ab, obwohl ihre Werte über den weltweit genannten Werten von 0,0003–2,3 % liegen; die Stichprobe stammt aus einem universitären Referenzkrankenhaus (Nikhil S. Gokhale, 2013).

7.1.2 Altersverteilung nach Diagnose

In der Trainingsgruppe war das mittlere Alter der verdächtigen Hornhäute (40,32 Jahre) statistisch signifikant höher als das der normalen (31,03 Jahre) und keratokonischen Hornhäute (30,97 Jahre). Dies könnte dadurch erklärt werden, dass einige altersbezogene Veränderungen als Verdachtszeichen interpretiert wurden. In der Testgruppe bestand dieser Befund nicht; der Unterschied zwischen den mittleren Alterswerten der drei Gruppen war statistisch nicht signifikant (Keratokonus 25,92, normal 27,02, verdächtig 32,11 Jahre).

7.1.3 Geschlechtsverteilung nach Diagnose

Weder in der Trainings- noch in der Testgruppe bestand ein statistisch signifikanter Unterschied in der Verteilung von Männern und Frauen innerhalb der drei Gruppen. In internationalen Studien ist dies jedoch kontrovers: Einige Studien fanden keinen Unterschied der Keratokonusprävalenz zwischen Männern und Frauen, während andere je nach Studie einen Unterschied zugunsten der Männer oder der Frauen fanden (Nikhil S. Gokhale, 2013).

7.2 Topographiekarten

Zur Diskussion der Genauigkeitskennwerte der Topographiekarten wurden die Werte nach den drei Klassen (keratokonisch, normal, verdächtig) in drei Tabellen zusammengefasst. Jede Tabelle enthält für jeden Kennwert und jede Gruppe (Training, Validierung, Test) die Karten mit den höchsten Werten. Anschließend wurde der Schnitt der gemeinsamen Karten der drei Gruppen gebildet; zugrunde gelegt wurden die Karten mit der höchsten Genauigkeit in der Trainingsgruppe (95 %). Die neuronalen Netze wurden in drei Kategorien eingeteilt (Tabellen 54, 55 und 56):

  • Netze mit hoher Fähigkeit zur Bestätigung der Diagnose: hohe Spezifität und hoher positiver prädiktiver Wert; ein positives Testergebnis bestätigt die Diagnose, während ein negatives sie wegen falsch-negativer Ergebnisse nicht ausschließt.
  • Netze mit hoher Fähigkeit zum Ausschluss der Diagnose: hohe Sensitivität und hoher negativer prädiktiver Wert; ein negatives Testergebnis schließt die Diagnose aus, während ein positives sie wegen falsch-positiver Ergebnisse nicht bestätigt.
  • Vergleich der Netze bei der Erkennung positiver Fälle: hoher F1-Score. Die Genauigkeit (Accuracy) wurde wegen der unausgewogenen Gruppen hier nicht verwendet.

7.2.1 Unterscheidung eindeutiger keratokonischer Hornhäute von normalen und verdächtigen Hornhäuten

Netze mit hoher Fähigkeit zur Bestätigung: Dies trifft auf das Netz der vorderen tangentialen Krümmung zu. Die Veränderungen sind demnach so ausgeprägt, dass sie nicht auf die hintere Fläche begrenzt bleiben, sondern sich auf die Vorderfläche ausdehnen. Diese lokalen Veränderungen werden von tangentialen Karten am besten unterschieden (Mazen M. Sinjab, 2018a).

Netze mit hoher Fähigkeit zum Ausschluss: Dazu gehören die Netze der vorderen und hinteren Höhenkarten sowie der vorderen sagittalen Krümmung. Dies stimmt weitgehend mit der für die topographische Diagnose des Keratokonus verwendeten Definition überein: Das Fehlen einer hinteren Höhenkarte oder einer vorderen sagittalen Krümmungskarte, die mit einer keratokonischen Hornhaut vereinbar ist, spricht gegen die Diagnose (Mazen M. Sinjab, 2018d).

Vergleich der Netze bei positiven Fällen: Den höchsten Wert erzielte das Netz der vorderen tangentialen Krümmung, gefolgt von der hinteren tangentialen Krümmung sowie – in dieser Reihenfolge – den Netzen der hinteren, vorderen und äquivalenten refraktiven Stärke.

Tabelle 54 – Zusammenfassung der Genauigkeitskennwerte der neuronalen Netze zur Erkennung keratokonischer Hornhäute. Die Abkürzungen und die Rangfolge der Quelle werden unverändert beibehalten; die Dezimalwerte sind Kennwerte zwischen 0 und 1.

7.2.2 Unterscheidung normaler Hornhäute von keratokonischen und verdächtigen Hornhäuten

Dieser Fall ist besonders wichtig, da das Hauptziel jedes Kennwerts oder Tests die Unterscheidung normaler von verdächtigen und erkrankten Fällen ist. Zur Erinnerung: Eine Karte, die sensitiv für die Diagnose einer normalen Hornhaut ist, ist definitionsgemäß spezifisch für die Diagnose einer keratokonischen oder verdächtigen Hornhaut; dies gilt auch für die prädiktiven Werte.

Netze mit hoher Fähigkeit zur Bestätigung: Kein Netz erfüllt diese Bedingung. Alle Netze haben eine niedrige Spezifität und einen niedrigen positiven prädiktiven Wert. Daher sind auch Sensitivität und negativer prädiktiver Wert bei der Erkennung keratokonischer oder verdächtiger Hornhäute niedrig; kein einzelnes Netz kann alle Fälle erkennen.

Netze mit hoher Fähigkeit zum Ausschluss: Dazu gehören die Netze der vorderen und hinteren refraktiven Stärke sowie der vorderen und hinteren tangentialen Krümmung. Diese Netze können somit die Diagnose einer normalen Hornhaut ausschließen und die Diagnose einer keratokonischen oder verdächtigen Hornhaut bestätigen.

Vergleich der Netze bei positiven Fällen: Den höchsten Wert erzielte die vordere Höhenkarte, gefolgt von der hinteren sagittalen Krümmung, der hinteren Höhenkarte, den Netzen der äquivalenten sowie der vorderen und hinteren refraktiven Stärke; danach folgten die hintere und die vordere tangentiale Krümmung. Insgesamt lagen die Werte nahe beieinander.

Tabelle 55 – Zusammenfassung der Genauigkeitskennwerte der neuronalen Netze zur Erkennung normaler Hornhäute.

7.2.3 Unterscheidung verdächtiger Hornhäute von normalen und keratokonischen Hornhäuten

Netze mit hoher Fähigkeit zur Bestätigung: Kein Netz erfüllt diese Bedingung.

Netze mit hoher Fähigkeit zum Ausschluss: Kein Netz erfüllt diese Bedingung.

Vergleich der Netze bei positiven Fällen: Ein Vergleich ist nicht möglich.

Daraus folgt, dass kein einzelnes Netz verdächtige Hornhäute von normalen und keratokonischen Hornhäuten unterscheiden konnte. Kein Netz konnte charakteristische Muster der verdächtigen Hornhäute extrahieren. Daher sind verdächtige Hornhäute offenbar ein Spektrum zwischen normalen und keratokonischen Hornhäuten; jedes Netz wird diese Hornhäute je nach ihrer Position innerhalb dieses Spektrums entweder als normal oder als keratokonisch klassifizieren.

Tabelle 56 – Zusammenfassung der Genauigkeitskennwerte der neuronalen Netze zur Erkennung verdächtiger Hornhäute.