- 02.09.2026 - 08:00
Kernaussage
Ein kommerziell erhältlicher KI-Algorithmus wurde retrospektiv anhand von 22’673 Mammographien evaluiert und zeigte deutliche Unterschiede zwischen den drei Mammographiegeräten. Ein einheitlicher, allgemeiner Schwellenwert reduzierte die KI-basierte Screening-Leistung im Vergleich zur herkömmlichen doppelten menschlichen Befundung deutlich. Gerätespezifische Schwellenwerte konnten dies teilweise kompensieren, indem sie beispielsweise die Anzahl der von der KI markierten Mammographien um fast ein Drittel senkten – bei einem Gerät blieb die Leistung jedoch weiterhin schwach.
Hintergrund
KI-Algorithmen werden zunehmend eingesetzt, um die Krebserkennungsrate zu verbessern und die Arbeitsbelastung des medizinischen Personals in organisierten Brustkrebsfrüherkennungsprogrammen zu reduzieren. Die Festlegung des KI-Schwellenwerts zur Markierung verdächtiger Mammographien ist dabei eine zentrale Aufgabe. Die meisten publizierten Evaluationen beruhen jedoch auf einem einzigen Screening-Standort mit einem einzigen Gerät eines einzigen Herstellers, was die Generalisierbarkeit einschränkt.
Methodik
Wir analysierten retrospektiv 22’673 Mammographien von Frauen im Alter von 50–69 Jahren, die 2022–2023 am Brustkrebsfrüherkennungsprogramm «donna» im Kanton St. Gallen teilgenommen hatten. Diese Mammographien wurden an sechs Screening-Standorten auf drei verschiedenen Geräten erstellt. Sämtliche Aufnahmen wurden mit einem kommerziell erhältlichen KI-Algorithmus ausgewertet. Der Datensatz umfasste 115 durch Screening entdeckte Krebsfälle sowie 15 innerhalb eines Jahres aufgetretene Intervallkarzinome. Die optimalen Schwellenwerte wurden einmal geräteübergreifend und einmal für jedes Gerät separat bestimmt. Die Screening-Leistung wurde anhand von Sensitivität, Spezifität, balanced accuracy und Krebserkennungsrate beurteilt.
Ergebnisse
Die Verteilung der KI-Scores unterschied sich merklich je nach Gerät. Insbesondere bei einem Gerät lag der mediane Score signifikant tiefer als bei den beiden anderen. Dieser Unterschied blieb auch nach Berücksichtigung von Brustdichte, Alter und weiteren Faktoren bestehen. Ein allgemeiner Schwellenwert markierte 18,6% aller Mammographien; gerätespezifische Schwellenwerte reduzierten diesen Anteil deutlich auf 12,7% und verbesserten gleichzeitig die Screening-Leistung. Bei dem Gerät mit der deutlich abweichenden Score-Verteilung blieb die Screening-Leistung jedoch schwach.
Bedeutung für Praxis & Politik
KI-Algorithmen sollten vor ihrer Einführung auf jedem Gerät validiert und danach engmaschig überwacht werden, um die diagnostische Genauigkeit zu gewährleisten. Gerätespezifische Schwellenwerte sind notwendig, reichen jedoch möglicherweise nicht aus, wenn der Algorithmus für ein bestimmtes Gerät nicht ausreichend trainiert wurde. Radiologinnen und Radiologen müssen sich der unterschiedlichen KI-Score-Verteilungen zwischen den Geräten bewusst sein, um Interpretationsfehler zu vermeiden.
Publikation
Titel: AI performance varies considerably across mammography devices: a multi-site and multi-vendor retrospective study
Autoren: Marcel Blum, Rudolf Morant, Alena Eichenberger, Alexander Geissler, Jonas Subelack, Justus Vogel, David Ehlig
Vollständiger Artikel: https://rdcu.be/fCeh4
