AI może przygotować procedurę, ale odpowiedzialności GMP nie da się zautomatyzować

Sztuczna inteligencja może w kilka sekund przygotować projekt procedury, specyfikację produktu albo wzór dokumentacji produkcyjnej. To kuszące szczególnie w organizacjach, które mają setki procedur i tysiące stron dokumentacji. Problem zaczyna się wtedy, gdy wygenerowany tekst trafia do systemu jakości bez odpowiedniej oceny merytorycznej.

6 października Pharmaceutical Technology wrócił do konkretnego przypadku opisanego w Warning Letter FDA. Podczas inspekcji Purolea Cosmetics Lab firma poinformowała regulatora, że wykorzystywała agentów AI do tworzenia m.in. specyfikacji produktów leczniczych, procedur oraz głównych zapisów produkcyjnych i kontrolnych. FDA nie zakwestionowała samego faktu użycia sztucznej inteligencji. Zakwestonowała brak odpowiedniej weryfikacji dokumentów przygotowanych przez AI.

AI nie zmienia odpowiedzialności działu jakości

To najważniejsza lekcja z tego przypadku. FDA wskazała, że jeśli firma używa AI jako pomocy w tworzeniu dokumentów, musi zweryfikować, czy wygenerowana treść jest prawidłowa i zgodna z wymaganiami CGMP. W Warning Letter regulator odniósł ten problem bezpośrednio do odpowiedzialności Quality Unit. Technologia nie tworzy więc nowej kategorii odpowiedzialności.

Jeżeli procedura przygotowana przez człowieka zawiera błąd, firma za niego odpowiada. Jeśli tę samą procedurę wygeneruje algorytm, odpowiedzialność nadal pozostaje po stronie organizacji. W praktyce oznacza to, że zdanie „system AI tak zasugerował” nie jest uzasadnieniem dla nieprawidłowego zapisu GMP.

Najbardziej ryzykowne jest to, że błędny dokument może wyglądać bardzo dobrze

Klasyczny błąd człowieka w procedurze często łatwo zauważyć: brak fragmentu, literówka, niespójność. Generatywna AI może natomiast stworzyć dokument językowo perfekcyjny, logiczny i przekonujący, który jednocześnie zawiera błędne odniesienie regulacyjne albo wymóg niepasujący do rzeczywistego procesu. To zwiększa ryzyko automatycznego zaufania.

Jeżeli system wygeneruje SOP dotyczący pobierania próbki, a następnie kilku pracowników zacznie wykonywać tę procedurę, pojedynczy błąd modelu może zostać wbudowany w sposób pracy całej organizacji. Z tego powodu review dokumentu wygenerowanego przez AI nie powinno być traktowane jak korekta stylistyczna. Musi być merytoryczną weryfikacją wykonywaną przez osobę, która rozumie proces i wymagania GMP.

Szczególnie niebezpieczne są główne instrukcje produkcyjne

Warning Letter jest interesujący dlatego, że AI nie została wykorzystana wyłącznie do materiałów pomocniczych. FDA wskazała także na główne zapisy dotyczące produkcji i kontroli. To znacznie podnosi ryzyko. Taki dokument może określać kolejność operacji, ilości surowców, parametry procesu, wymagane kontrole i sposób rejestrowania danych. Jeżeli AI błędnie zinterpretuje wymaganie lub dopisze element, który nie wynika z zatwierdzonego procesu, rezultat może wpłynąć na rzeczywistą produkcję. Dlatego im bliżej dokument znajduje się produktu i procesu, tym silniejszy powinien być mechanizm weryfikacji.

Czy trzeba przechowywać prompty?

To pytanie nie zostało jeszcze jednoznacznie rozstrzygnięte regulacyjnie we wszystkich zastosowaniach, ale dla systemu jakości jest bardzo praktyczne.

Jeżeli AI współtworzy krytyczny dokument, organizacja powinna wiedzieć:

• jaka wersja narzędzia została wykorzystana,
• jakie dane wejściowe przekazano,
• kto ocenił wynik,
• jakie zmiany człowiek wprowadził przed zatwierdzeniem,
• czy wynik można odtworzyć.

Nie oznacza to automatycznie obowiązku archiwizowania każdej rozmowy z modelem w każdym przypadku. Zakres dokumentacji powinien wynikać z ryzyka. Jednak dla zastosowań mających realny wpływ na GMP brak możliwości odtworzenia sposobu powstania dokumentu może stać się problemem.

Zewnętrzny model to także kwestia poufności i integralności danych

Sztuczna inteligencja jest często dostępna jako usługa chmurowa. Pracownik może więc wkleić do narzędzia dokument produkcyjny, wynik odchylenia, fragment walidacji albo dane o recepturze. Tu powstają dwa różne ryzyka. Pierwsze dotyczy GMP i integralności danych. Jeśli zapis GMP trafia poza kontrolowany system, trzeba ocenić, czy nie narusza to zasad dotyczących przechowywania, dostępu i zmian danych. Drugie dotyczy tajemnicy przedsiębiorstwa. Receptura, parametry procesu czy dane o wydajności mogą być informacjami wrażliwymi biznesowo. Świeża dyskusja branżowa z 6 października zwraca uwagę właśnie na potrzebę określenia, gdzie dane są przechowywane, kto ma do nich dostęp i jak długo dostawca je zatrzymuje.

„Shadow AI” może być większym problemem niż oficjalny projekt AI

Firma może prowadzić profesjonalny projekt wdrożenia AI z pełną kwalifikacją dostawcy, oceną ryzyka i nadzorem QA. Jednocześnie pracownicy mogą samodzielnie korzystać z publicznych narzędzi do przygotowywania dokumentów. Z perspektywy organizacji ten drugi przypadek jest często trudniejszy do kontrolowania. Nie wiadomo, jakie dane są wprowadzane, jakie wersje modeli są używane ani czy wygenerowana treść została zweryfikowana. Dlatego polityka dotycząca AI nie powinna obejmować wyłącznie „zatwierdzonych systemów”. Musi również określać zasady korzystania z narzędzi ogólnodostępnych.

AI może przyspieszyć pracę, ale nie może skrócić odpowiedzialności

Case FDA nie oznacza, że regulator zakazuje stosowania generatywnej AI do dokumentacji. Wręcz przeciwnie, takie narzędzia mogą przyspieszać przygotowanie projektów SOP, porządkowanie informacji czy tworzenie wstępnych szablonów. Różnica polega na tym, że projekt wygenerowany przez AI nie powinien być traktowany jak dokument gotowy do zatwierdzenia tylko dlatego, że wygląda profesjonalnie. Najbezpieczniejszym podejściem jest potraktowanie AI jak bardzo szybkiego autora wersji roboczej. Ostateczny dokument pozostaje produktem organizacji, a wraz z nim cała odpowiedzialność za jego treść.