Generative Künstliche Intelligenz (KI) und Large Language Models (LLMs) sind längst im Arbeitsalltag angekommen – auch in der Pharmaindustrie. Doch gerade in regulierten Umfeldern stellt sich nicht die Frage ob, sondern wie KI regelkonform, sicher und sinnvoll eingesetzt werden kann. Zwischen Effizienzpotenzialen, EU AI Act, GMP-Anforderungen und dem Draft des Annex 22 herrscht bei vielen Unternehmen Unsicherheit.

Im Experts Talk „Pharmatauglicher Einsatz von generativer KI“ zeigten wir praxisnah auf, welche regulatorischen Rahmenbedingungen gelten, wo reale Risiken liegen und welche KI-Anwendungen heute bereits compliant und validierbar eingesetzt werden können. Dieser Beitrag fasst die wichtigsten Inhalte des Webinars zusammen.

Warum generative KI im Pharmaumfeld ein kritisches Thema ist

Die Relevanz von KI im pharmazeutischen Umfeld ist unbestritten. Studien und Marktanalysen zeigen, dass insbesondere in Quality Control / Manufacturing ein hohes Potenzial für KI-gestützte Anwendungen besteht. Gleichzeitig verdeutlichen aktuelle Zahlen ein ernstzunehmendes Risiko: Ein Großteil der Mitarbeitenden nutzt KI-Tools bereits heute, häufig ohne Freigabe, ohne Schulung und ohne klare Regeln.

Dieses Phänomen wird als Shadow AI bezeichnet. Es entsteht immer dann, wenn Mitarbeitende generische KI-Tools einsetzen, ohne dass das Unternehmen davon weiß oder den Einsatz kontrolliert. Die Folgen reichen von Datenschutzproblemen über Compliance-Risiken bis hin zu Verstößen gegen den EU AI Act, insbesondere gegen die Pflicht zur AI Literacy.

Welche Regularien gelten beim Einsatz von LLMs in der Pharmaindustrie?

Ein zentrales Thema ist die Einordnung der geltenden und kommenden Regularien. Entscheidend ist dabei: Nicht jedes KI-System unterliegt denselben Anforderungen. Der Einsatzkontext bestimmt die regulatorische Tiefe.

Der EU AI Act

Der EU AI Act gilt sektorübergreifend und betrifft sämtliche KI-Anwendungen im Unternehmen, vom Office-Chatbot bis zur Entscheidungsunterstützung in der Qualitätssicherung. Besonders relevant für Pharmaunternehmen sind:

• Pflicht zur AI Literacy (Schulung der Mitarbeitenden)
• Klassifizierung von KI-Anwendungen als High-Risk
• Verpflichtende menschliche Aufsicht bei Hochrisiko-Systemen

Pharma zählt klar zu den Hochrisiko-Branchen, sodass automatisierte Entscheidungen ohne Human-in-the-Loop nicht zulässig sind.

GMP-Rahmenwerke

Unabhängig vom Annex 22 greifen bereits bestehende GMP-Regularien, unter anderem:

• ICH Q9 – Qualitätsrisikomanagement
• Annex 15 – Qualifizierung und Validierung
• Annex 11 – Datenmanagement
• GAMP 5 (Version 2) mit explizitem KI-Bezug

Diese bilden bereits heute den Rahmen für eine risikobasierte Bewertung und Validierung von KI-Systemen.

Annex 22 (Draft)

Der Draft des Annex 22 konkretisiert erstmals die Erwartungen an KI im GMP-Umfeld. Besonders relevant:

• Keine generative KI für kritische GMP-Anwendungen
• Nur statische Modelle (kein automatisches Retraining)
• Deterministische Ergebnisse (gleicher Input → gleicher Output)
• Anforderungen an Erklärbarkeit (XAI) – keine Black-Box-Systeme

Im Fokus stehen Anwendungen mit direktem Einfluss auf Patientensicherheit, Produktqualität oder Datenintegrität.

Was bedeutet das konkret? KI-Use-Cases im GMP-Umfeld

Trotz klarer Einschränkungen bleibt ein breites Feld an zulässigen, validierbaren und wirtschaftlich sinnvollen Einsatzmöglichkeiten.

Compliant nutzbare Anwendungsfälle:

Zu den praxistauglichen Use-Cases zählen unter anderem:

• Unterstützung beim Dokumentenentwurf
• Klassifikation und Extraktion von Informationen (z. B. Abweichungen)
• Recherche in vorhandenen Dokumenten und GAP-Identifikation
• Hyperindividualisiertes Training für Mitarbeitende
• Datenaggregation und Trend- oder Clusteranalysen
• Identifikation wiederkehrender Abweichungen

Diese Anwendungen sind unterstützend, nicht entscheidend – und lassen sich mit klarer Governance validierbar betreiben.

Kritische Anwendungen mit hohem Risiko:

Nicht oder nur sehr eingeschränkt zulässig sind u. a.:

• Automatischer Batch Release
• Echtzeit-Entscheidungen ohne menschliche Kontrolle
• Automatische CAPA-Generierung
• Vollautomatische Vorfallsbeschreibungen

Hier ist das Risiko von Halluzinationen, Fehlentscheidungen und regulatorischen Verstößen besonders hoch.

Human-in-the-Loop, Intended Use & Performance Monitoring

Human-in-the-Loop (HITL) bedeutet, dass KI-Systeme Mitarbeitende unterstützen, die Entscheidung jedoch immer beim Menschen verbleibt. Dieses Prinzip ist sowohl im EU AI Act als auch im Draft des Annex 22 gefordert und notwendig.

Gleichzeitig wurde aus der Praxis aufgezeigt, dass Human-in-the-Loop allein nicht ausreicht. Der langfristige Einsatz von KI kann das Entscheidungsverhalten von Mitarbeitenden beeinflussen. Wenn KI-Vorschläge über längere Zeit als zuverlässig wahrgenommen werden, besteht die Gefahr, dass Entscheidungen zunehmend unkritisch bestätigt werden.

Deshalb sind zusätzliche Maßnahmen erforderlich:

• Klar definierter Intended Use: Es muss eindeutig festgelegt werden, wofür die KI genutzt werden darf und wofür nicht. Da generative KI oft mehr kann als ursprünglich geplant, muss jede Nutzung außerhalb des definierten Anwendungszwecks bewusst geprüft werden.
• Überwachung des Zusammenspiels von Mensch und KI: Neben der technischen Funktion der KI muss beobachtet werden, wie Mitarbeitende mit den KI-Vorschlägen umgehen und ob Entscheidungen weiterhin aktiv und kritisch getroffen werden.
• Performance-Validierung und Versionskontrolle: Die Leistung der KI muss über die Zeit hinweg überprüft werden – insbesondere bei Änderungen von Prozessen, Regularien oder Daten. Gleichzeitig muss nachvollziehbar sein, welche System- oder Modellversion zu welchem Zeitpunkt im Einsatz war.
• Strukturiertes Datenmanagement: Trainings-, Test- und produktiv genutzte Daten müssen klar getrennt, dokumentiert und nachvollziehbar sein, um die Qualität und Validierbarkeit der KI-Anwendung sicherzustellen.

Diese Punkte wurden im Webinar als zentrale Voraussetzungen benannt, um generative KI im GMP-Umfeld kontrolliert, nachvollziehbar und regelkonform einzusetzen.

Praxisbeispiel: Generative KI mit MyGPT von Leftshift One

Im zweiten Teil des Experts Talks zeigte Robert Spari von Leftshift One anhand von MyGPT, wie generative KI kontrolliert und compliant eingesetzt werden kann.

MyGPT ist eine KI-Plattform, die:

• in einer geschützten Private-Cloud-Umgebung betrieben wird
• garantiert, dass keine Daten für Retraining gespeichert werden
• sich in bestehende Systeme integrieren lässt
• den Einsatz generativer KI ohne Datenabfluss ermöglicht (interne oder sensible Daten verlassen das kontrollierte System nicht und werden nicht für andere Zwecke weiterverwendet)

Typische Anwendungsbeispiele:

• Strukturierung unstrukturierter Audit-Notizen zu formalen Audit-Reports
• Unterstützung bei wissenschaftlichen Texten nach definierten Formalkriterien
• Nutzung interner GMP-Dokumente mittels Retrieval-Augmented Generation (die KI greift bei Anfragen gezielt auf freigegebene interne Dokumente zu, ohne diese zu trainieren oder dauerhaft zu speichern)
• Transparente Quellenangaben zur Nachvollziehbarkeit (XAI-Ansatz)

Besonders wichtig: Die Systeme sind so konfiguriert, dass sie nicht halluzinieren, sondern ausschließlich auf freigegebene Inhalte zugreifen, was einen entscheidenden Faktor für die GMP-Tauglichkeit darstellt. Bei Fragen zu dem Tool können Sie sich gerne an Robert Spari wenden: robert.spari@leftshift.one

Fazit: Generative KI ist mit klaren Leitplanken nutzbar

Generative KI ist kein No-Go für die Pharmaindustrie, aber auch kein Selbstläufer. Unternehmen müssen heute:

• Shadow AI aktiv adressieren
• KI-Use-Cases strukturiert erfassen und bewerten
• AI Literacy sicherstellen
• Governance, Dokumentation und Human-in-the-Loop konsequent umsetzen

Wer frühzeitig handelt, kann KI als Effizienz- und Qualitätshebel nutzen, statt sie als Compliance-Risiko zu erleben.

Weitere Fragen? Treffen Sie uns live auf den Lounges in Karlsruhe

Wenn Sie das Thema pharmatauglicher Einsatz von KI weiter vertiefen möchten, freuen wir uns auf den persönlichen Austausch auf den Lounges Cleanroom and Processes 2026 in Karlsruhe. Die Messe bringt Expert*innen aus Pharma, Biotechnologie, Medizintechnik und angrenzenden Branchen zusammen und bietet Raum für fachlichen Austausch zu Reinräumen, Prozessen, Technologie und regulatorischen Anforderungen.

Unser KI-Vortrag auf den LOUNGES 2026

Voraussichtlich am 24.03.2026 | 11:30 – 12:00 Uhr | Raum 11
Qualitätsentscheidungen mit KI: Annex 22 und EU AI Act

In diesem Vortrag zeigen wir, wie sich KI und Large Language Models für Qualitätsentscheidungen einsetzen lassen – ohne regulatorische Anforderungen zu verletzen. Wir geben Einblicke aus realen Projekten, ordnen Annex 22 und den EU AI Act praxisnah ein und sprechen offen über Chancen, Grenzen und typische Hürden bei der Umsetzung.

Weitere Vorträge von uns am 25.03.2026:

• Annex 1: Große Worte, kleine Media-Fill-Taten – strategische Nutzung von Media-Fill-Tests zur nachhaltigen Verbesserung steriler Prozesse
• Water Wars: Herausforderungen und Chancen von Reinstwasser – Biofilm-Risiken, Anlagendesign, Standardisierung und Nachhaltigkeit in der Reinstwasseraufbereitung

Besuchen Sie uns an Stand K6.1 – wir freuen uns auf spannende Gespräche und den fachlichen Austausch! Kostenfreie Tickets erhalten Sie mit dem Code EXPERTSLOUNGES26 (Registrierung erforderlich). Über folgenden Link können Sie ein Ticket buchen: https://cleanroom-processes.de/lounges-karlsruhe-2026/besuchertickets-lounges-karlsruhe-2026/

Wie das Experts Institut Sie unterstützen kann

Das Experts Institut begleitet Pharmaunternehmen bei der Einordnung regulatorischer Anforderungen, der praxisnahen Umsetzung von KI-Governance sowie bei Schulungen und Workshops rund um EU AI Act, Annex 22 und KI im GMP-Umfeld. Get ahead and in touch with us: info@expertsinstitut.de

Ergänzend zu diesem Beitrag lohnt sich ein Blick in unseren Blogartikel zum Thema Annex 22 und EU AI Act. Dort zeigen wir auf, welche KI-Anwendungen aus regulatorischer Sicht als risikoarm, begrenzt oder hochkritisch einzustufen sind und welche Vorbereitungen Unternehmen bereits heute treffen sollten: https://experts-institut.de/ki-in-der-pharmaindustrie-annex-22-eu-ai-act/

Bleiben Sie außerdem auf LinkedIn über weitere Experts Talks, Blogbeiträge und Veranstaltungen informiert: https://de.linkedin.com/company/expertsinstitut