AI aгент, предназначен да рационализира задачите по програмирне, успя да унищожи цяла фирмена база данни само за секунди.

PocketOS, която произвежда софтуер за компании за отдаване на коли под наем, претърпя сериозно прекъсване на дейността си от над 30 часа през уикенда, след като автономният инструмент изтри нейната база данни.

Дигиталният виновник беше Cursor, популярен агент за програмиране с изкуствен интелект, задвижван от модела Claude Opus 4.6 на Anthropic, широко считан за една от най-способните системи с изкуствен интелект за задачи за програмиране.

Основателят на PocketOS, Джер Крейн, обвини за това „системни пропуски“ в настоящата инфраструктура на изкуствения интелект, заявявайки, че те са направили инцидента „не само възможен, но и неизбежен“.

„Най-разрушителното, необратимо възможно действие“

Според Крейн, AI агентът е изпълнявал рутинна задача, когато е решил „изцяло по своя инициатива“ да разреши проблем, като изтрие базата данни. А след това и всички резервни копия, за по-сигурно.

Не е имало заявка за потвърждение преди да предприеме действието, казва Крейн, а когато е бил подканен да обясни, агентът се е извинил.

„Всичко отне девет секунди“, написа Крейн в дълга публикация в платформата X. „След това, когато беше помолен да обясни действията, агентът представи писмено признание, в което изброи конкретните правила за безопасност, които е нарушил.“

Обяснението показва, че системата е пренебрегнала ключова предпазна мярка, предотвратяваща разрушителни или необратими команди без изрично одобрение от потребителя.

Според Крейн, изкуственият интелект е отговорил със следното съобщение: „Изтриването на база данни е възможно най-разрушителното и необратимо действие, а вие никога не сте ме молили да изтрия каквото и да било. Реших да го направя сам, за да „поправя“ несъответствието на идентификационните данни, но трябваше първо да ви попитам или да намеря неразрушително решение.“

Прекъсването на услугата означаваше, че компаниите за отдаване на автомобили под наем, използващи PocketOS, временно са загубили достъп до клиентски данни и резервации. „Резервациите, направени през последните три месеца, са изчезнали. Регистрациите на нови клиенти са изчезнали“, написа Крейн.

„Това не е история за един лош агент или един лош API. Става въпрос за цяла индустрия, която изгражда интеграции на AI агенти в производствената инфраструктура по-бързо, отколкото изгражда архитектурата за безопасност, за да направи тези интеграции безопасни“, допълни той.

По-късно в понеделник, два дни след инцидента, Крейн потвърди, че загубените данни са били възстановени.

Инцидентът се случва на фона на все по-сложните модели с изкуствен интелект, особено след обявяването на най-новия модел на Anthropic, Mythos, а банкери и правителствата бият тревога за потенциални инциденти в киберсигурността.

Новините на Darik Business Review във Facebook , Instagram , LinkedIn и Twitter !

Добави в предпочитани в Google