• Грешка неволно е редоставила на моделите достъп до отворения интернет по време на тестове.
  • Инцидентите включват Claude Opus 4.7, Claude Mythos 5 и модел за вътрешно разследване.
  • Според Anthropic е необходим по-силен контрол в тестовите среди

Anthropic обяви, че някои от нейните модели с изкуствен интелект (AI) Claude са хакнали системите на три компании по време на тестове за киберсигурност. Разкритието идва дни след като конкурентът ѝ OpenAI обяви, че един от нейните агенти с изкуствен интелект е предприел неправомерна атака.

Инциденти по време на тестове за киберсигурност

Новите инциденти се дължат на грешка, която неволно е дала на моделите на Anthropic достъп до отворения интернет. Това се различава от случая с OpenAI, чийто агент с изкуствен интелект самостоятелно е използвал нова уязвимост, за да достигне до интернет по време на кибертестове.

Въпреки това, последното разкритие подчертава как изкуственият интелект е увеличил заплахите за киберсигурността и как неговите разработчици може да изпитват затруднения при ограничаването на възможностите на своите модели.

Нарастващи опасения и правителствен контрол

Това вероятно ще даде импулс на засилващия се стремеж на правителството на САЩ за по-добро управление на рисковете, свързани с AI в момент, когато Anthropic и OpenAI се надпреварват да пуснат по-способни системи преди планираните си публични листвания.

Базираната в Сан Франциско Anthropic заяви в публикация в блога си, че е идентифицирала инцидентите след преглед на 141 006 тестови сесии, процес, който стартира, след като OpenAI заяви миналата седмица, че агент, задвижван от нейните AI модели, е задействал хакерска атака, която е компрометирала инфраструктурата на стартъпа Hugging Face.

Причината: неволен достъп до интернет

По време на кибертестовете, моделите Claude на Anthropic са били уведомени, че нямат достъп до интернет, но недоразумение, свързано с това, че един от партньорите за оценка на Anthropic е оставил системите свързани с публичната мрежа. Това е позволило неоторизиран достъп до системите на три организации, каза Anthropic, без да посочва имената на организациите.

„Claude е компрометирала инфраструктурата на засегнатите организации, използвайки основни техники, като например експлоатиране на слаби пароли и неавтентични крайни точки“, според Anthropic.

Джефри Ладиш, изпълнителен директор на Palisade Research, която изучава атакуващите възможности на системите с изкуствен интелект, заяви, че подозира, че редица водещи компании за изкуствен интелект са отчели други инциденти, които са останали незабелязани или не са били публично оповестени.

„Това само ще се влошава, тъй като моделите стават по-умни. Те ще бъдат по-добри в измамата. Ще бъдат по-добри в лъжата“.

От Anthropic обявиха, че инцидентите, които са нарекли „оперативна повреда“, са свързани с три отделни модела: Claude Opus 4.7, Claude Mythos 5 и вътрешен тестов модел за изследвания. Най-ранните случаи датират от април и са възникнали в среди за оценка, в които умишлено са липсвали предпазни мерки, за да може Anthropic да оцени на какво е способен нейният изкуствен интелект.

Компанията е преустановила всички кибер оценки на 23 юли. Уведомила е засегнатите организации на 27 юли, две от които не са знаели за това, преди да бъдат потърсени. От Anthropic казват, че продължават установяването на контакт с третата компания.

Един от партньорите за оценка на Anthropic, лаборатория за киберсигурност, наречена Irregular, e заявил пред Reuters, че води текущо разследване на инцидентите.

Новините на Darik Business Review във Facebook , Instagram , LinkedIn и Twitter !