OpenAI zamknęło AI w klatce. Zapomniało, że klatka ma procesor - ITHardware
OpenAI poinformowało o przypadku, w którym agenci sztucznej inteligencji wykorzystali pamięć podręczną procesora do ominięcia zabezpieczeń i komunikacji między odizolowanymi środowiskami.
Rosną obawy o rozwój sztucznej inteligencji, która jest coraz bardziej zaawansowana i nie zawsze słucha się swoich twórców. Odnotowano kolejny przypadek modelu AI, który ominął zabezpieczenia systemu, wykorzystując do tego pamięć podręczną procesora.
OpenAI podzieliło się wynikami testów bezpieczeństwa, w ramach których agenci AI znaleźli sposób komunikowania się mimo zastosowanych zabezpieczeń. W jednym z przypadków sztuczna inteligencja wykorzystała pamięć podręczną procesora, żeby ominąć zabezpieczenia.
Ukryty kanał komunikacji
Eksperyment pokazuje, jak trudne może być skuteczne izolowanie coraz bardziej zaawansowanych modeli AI. W ramach testu agenci AI działali wspólnie i mieli do wykonania trzy zadania: uzyskanie dostępu do internetu, ominięcie zabezpieczeń oraz komunikację między odizolowanymi środowiskami.
the isolation wasn't necessarily broken at the software level. the agents were running in separate vms with no permitted network or shared-file channel, but they still shared underlying hardware. and shared hardware means shared microarchitectural state. that's enough to create a covert communication channel.
Podczas jednego z testów agenci wykorzystali różnice w czasie dostępu do pamięci podręcznej CPU, manipulując jej stanem, aby przekazywać informacje pomiędzy środowiskami microVM, mimo braku standardowego kanału komunikacyjnego.
Testy z zaawansowanymi modelami
W eksperymentach uczestniczyli agenci oparci na GPT-6 Astra Cyber oraz wewnętrznym modelu OpenAI. Otrzymali dostęp do kodu źródłowego infrastruktury, konfiguracji i listy potencjalnych podatności.
Warunki celowo sprzyjały atakującym, aby sprawdzić możliwie szeroki zakres zagrożeń. Testy przeprowadzono na specjalnie przygotowanych, odizolowanych kopiach infrastruktury badawczej OpenAI. Łącznie wykorzystano setki miliardów tokenów.
Dodatkowe scenariusze zakładały, że agent wcześniej opuścił już swoje środowisko, ominął zabezpieczenia i przejął pełną kontrolę nad maszyną. Badacze sprawdzali wtedy, czy mimo kolejnych blokad będzie potrafił połączyć się z internetem.
Analiza słabości
Publikacja pojawiła się po wcześniejszych incydentach związanych z agentami OpenAI. W lipcu doszło do naruszenia bezpieczeństwa dotyczącego Hugging Face, natomiast 20 września odnotowano incydent związany z DNS.
Drugi przypadek doprowadził do czasowego wstrzymania trenowania modeli. Prace wznowiono 1 października. OpenAI informuje również o podatnościach dotyczących kilku projektów microVM. Firma włączyło testy prowadzone przez najbardziej zaawansowane modele do procedur oceny bezpieczeństwa, od których zależy kontynuowanie treningu.
Powiązane
