EMA doprecyzowuje zasady stosowania sztucznej inteligencji w GMP. Annex 22 nabiera konkretnego kształtu

Sztuczna inteligencja w zakładzie farmaceutycznym przestaje być wyłącznie narzędziem do analizy danych, optymalizacji harmonogramu czy wspomagania pracownika. Coraz częściej może mieć wpływ na decyzje dotyczące jakości, procesu i dokumentacji. To właśnie dlatego regulatorzy zaczynają zadawać znacznie bardziej praktyczne pytania: czy model może zmieniać swoje działanie po walidacji, kto odpowiada za jego błędną decyzję, jak kontrolować aktualizacje dostawcy i co zrobić, gdy system działa w chmurze poza bezpośrednią kontrolą producenta.

2 października Europejska Agencja Leków opublikowała raport ze specjalistycznego warsztatu dotyczącego przygotowywanego Aneksu 22 do unijnych wytycznych GMP. Dokument ma określić ramy stosowania sztucznej inteligencji i uczenia maszynowego w środowisku regulowanym. Sam fakt przygotowywania Aneksu 22 nie jest nowy, natomiast raport pokazuje znacznie dokładniej, z jakimi problemami regulator będzie musiał zmierzyć się przed dopuszczeniem bardziej zaawansowanych modeli do procesów GMP.

Największy problem zaczyna się wtedy, gdy model się zmienia

Klasyczny zwalidowany system komputerowy powinien działać w sposób przewidywalny. Jeżeli producent wprowadza zmianę, przechodzi ona przez kontrolę zmian, ocenę wpływu i odpowiednie testy. W przypadku części modeli sztucznej inteligencji sytuacja jest trudniejsza. Model może być aktualizowany, ponownie trenowany albo dostosowywany do nowych danych. W skrajnym przypadku jego zachowanie w przyszłości nie musi być identyczne z zachowaniem w chwili pierwotnej kwalifikacji. To właśnie dlatego jednym z tematów warsztatu były modele dynamiczne i adaptacyjne. EMA pyta wprost, jakie elementy strategii kontroli byłyby konieczne, aby takie rozwiązania można było stosować w aplikacjach GMP. Dla producenta leków jest to fundamentalne pytanie. Jeżeli model wspiera np. analizę trendów środowiskowych, predykcję odchylenia, klasyfikację defektów na linii wizyjnej albo analizę zapisów produkcyjnych, zmiana jego zachowania może wpływać na decyzję jakościową. Nie wystarczy więc stwierdzić, że „system był zwalidowany”. Trzeba wiedzieć, która wersja modelu została zwalidowana, na jakich danych, w jakim zakresie oraz w jaki sposób producent dowie się, że system zaczął zachowywać się inaczej.

Generatywna AI w GMP nie może działać jak zwykły asystent biurowy

Osobny problem stanowią duże modele językowe i generatywna sztuczna inteligencja. EMA uwzględniła je wprost w dyskusji nad przyszłym Aneksu 22. W środowisku biurowym błędnie wygenerowany akapit może zostać poprawiony przez użytkownika. W środowisku GMP sytuacja jest poważniejsza. System może wygenerować podsumowanie odchylenia, zasugerować klasyfikację zdarzenia, przygotować fragment procedury lub analizować dane z procesu. Wtedy problemem nie jest tylko to, czy odpowiedź „brzmi przekonująco”. Trzeba udowodnić, że jest prawidłowa, że dane wejściowe są odpowiedniej jakości i że wynik nie przekracza zakresu, w którym system został dopuszczony do użycia. Dla producentów oznacza to konieczność zdefiniowania granic zastosowania. Co AI może zrobić samodzielnie? Co może jedynie zasugerować? Które decyzje zawsze wymagają zatwierdzenia przez człowieka?

System w chmurze oznacza nowy problem kwalifikacji dostawcy

Jednym z najmocniejszych punktów dyskusji jest outsourcing infrastruktury AI. EMA zwraca uwagę na ryzyko sytuacji, w której część infrastruktury zabezpieczającej model znajduje się poza bezpośrednią kontrolą producenta. Pojawiają się pytania o kwalifikację dostawcy, widoczność zmian oraz możliwość niezależnego audytu w łańcuchu dostaw rozwiązań chmurowych. To może mieć duże znaczenie dla praktyki. W klasycznym systemie zwalidowanym firma często kontroluje serwer, wersję aplikacji i harmonogram aktualizacji. W modelu SaaS dostawca może aktualizować algorytm, zmieniać infrastrukturę albo modyfikować sposób przetwarzania danych. Jeżeli taki system bierze udział w procesie GMP, producent nie może przyjąć założenia, że każda aktualizacja dostawcy jest neutralna. Może to wymusić nowe podejście do umów jakościowych, powiadamiania o zmianach, kontroli wersji i dokumentowania wpływu aktualizacji.

Cyberbezpieczeństwo staje się częścią jakości

W warsztacie pojawiło się również pytanie, czy ochrona systemów AI przed ingerencją lub nieautoryzowanym dostępem powinna być szerzej uwzględniona w Annex 22, czy wystarczą mechanizmy przewidziane w Annex 11. To pokazuje, jak mocno zbliżają się do siebie dwa światy: IT security i quality assurance. Jeżeli ktoś zmieni parametry modelu, dane wejściowe albo sposób działania mechanizmu decyzyjnego, nie jest to wyłącznie incydent cybernetyczny. Może bezpośrednio wpłynąć na decyzję dotyczącą produktu. Dla zakładów oznacza to konieczność lepszej współpracy QA, IT, automatyki oraz cyberbezpieczeństwa.

Walidacja modelu to nie jednorazowy test

Najbardziej prawdopodobny kierunek rozwoju wymagań jest więc zbieżny z tym, co farmacja zna już z innych obszarów: zarządzanie przez cały cykl życia. Model będzie trzeba nie tylko sprawdzić przed wdrożeniem, lecz również monitorować po uruchomieniu. Istotne stanie się kontrolowanie jakości jego wyników, śledzenie zmian, okresowa ocena działania i zdefiniowanie warunków, w których system powinien zostać wyłączony albo skierować decyzję do człowieka. To ważne zwłaszcza w rozwiązaniach wykorzystujących dane procesowe. Z czasem zmienia się sprzęt, zakres procesu, dostawcy surowców i charakterystyka produkowanych serii. Model zbudowany na danych sprzed kilku lat może więc pracować w coraz bardziej odmiennym środowisku.

Co producent powinien zrobić już teraz?

Annex 22 nie jest jeszcze finalnym zestawem wymagań. Nie oznacza to jednak, że firmy powinny czekać z uporządkowaniem AI do dnia publikacji ostatecznego dokumentu.

Pierwszym krokiem powinno być ustalenie, gdzie w organizacji AI już jest używana.

Nie tylko w zatwierdzonych projektach IT. Równie ważne są narzędzia używane indywidualnie przez pracowników: generowanie tekstów, analiza dokumentów, streszczanie odchyleń czy przetwarzanie danych produkcyjnych w zewnętrznych usługach. Dopiero potem można podzielić zastosowania według ryzyka i określić, które z nich mają wpływ na dane GxP, decyzje jakościowe albo dokumentację. Najważniejsza zmiana nie polega więc na tym, że EMA „dopuszcza AI”. Polega na tym, że sztuczna inteligencja jest coraz wyraźniej traktowana jak kolejny element systemu GMP, który musi mieć właściciela, określony zakres działania, kontrolę zmian i udokumentowaną odpowiedzialność.