W ekosystemie AI coraz wyraźniej widoczny jest podział odpowiedzialności pomiędzy twórców modeli a organizacje, które je wdrażają. Dostawcy technologii, tacy jak Anthropic, koncentrują się na bezpieczeństwie samych modeli – obejmuje to ich projektowanie zgodnie z określonymi zasadami, testowanie pod kątem niepożądanych zachowań (tzw. red-teaming) oraz kontrolę możliwości przed udostępnieniem ich użytkownikom.
Jednak równie istotny, a w praktyce znacznie bardziej złożony, jest obszar związany z wykorzystaniem AI w środowisku przedsiębiorstwa. To po stronie organizacji oraz dostawców rozwiązań bezpieczeństwa leży odpowiedzialność za to, w jaki sposób modele są wykorzystywane w praktyce – jakie mają uprawnienia, do jakich danych uzyskują dostęp oraz jakie działania wykonują. Obejmuje to zarówno kontrolę dostępu do informacji, monitorowanie aktywności agentów AI, jak i egzekwowanie polityk bezpieczeństwa w całym środowisku IT.
To właśnie ten drugi obszar stanowi dziś największe wyzwanie. Nawet najbardziej zaawansowany i bezpieczny model może stać się źródłem ryzyka, jeśli działa bez odpowiedniego nadzoru w środowisku firmowym, mając dostęp do wrażliwych danych i kluczowych systemów biznesowych.