Главни AI агенти са уязвими за присвояване, показва проучване

Някои от най-широко използваните AI асистенти от Microsoft, Google, OpenAI и Salesforce могат да бъдат присвоени от атакуващи с малко или без никаква интеракция от страна на потребителя, според ново изследване на Zenity Labs.

Представени на конференцията за киберсигурност Black Hat USA, резултатите показват, че хакери могат да крадат данни, манипулират работни процеси и дори да се представят за потребители. В някои случаи, атакуващите могат да придобият „постоянство в паметта“, което позволява дългосрочен достъп и контрол.

„Могат да манипулират инструкции, да отравят източниците на знания и напълно да променят поведението на агента,“ каза Грег Землин, мениджър по продуктов маркетинг в Zenity Labs, за Cybersecurity Dive. „Това отваря вратата за саботаж, оперативно прекъсване и дългосрочно дезинформиране, особено в среди, където на агентите се доверява да вземат или подкрепят критични решения.“

Изследователите демонстрираха пълни вериги на атаки срещу няколко основни корпоративни AI платформи. В един случай, ChatGPT на OpenAI беше прехванат чрез инжекция на подтикващ имейл, позволявайки достъп до свързаните данни в Google Drive.

Откриха, че Microsoft Copilot Studio изтича бази данни от CRM, като в интернет бяха идентифицирани над 3,000 уязвими агенти. Платформата на Salesforce, Einstein, беше манипулирана така, че да пренасочва клиентските комуникации към електронни пощи, контролирани от нападатели.

Междувременно, Google’s Gemini и Microsoft 365 Copilot биха могли да се превърнат във вътрешни заплахи, способни да откраднат чувствителни разговори и да разпространяват лъжлива информация.

Освен това, изследователите успяха да заблудят изкуствения интелект на Google – Gemini AI, като го накараха да управлява умни домашни устройства. Хакерите успяха да изключат светлините, да отворят щорите и да стартират бойлер без команди от жителите.

Zenity обяви своите открития, което подтикна някои компании да издадат корекции. „Ценим работата на Zenity за идентифициране и отговорно съобщаване за тези техники“, каза представител на Microsoft на Cybersecurity Dive. Microsoft заяви, че докладваното поведение „вече не е ефективно“ и че агентите на Copilot имат вградени мерки за сигурност.

OpenAI потвърди, че е коригирало ChatGPT и изпълнява програма за откриване на бъгове. Salesforce заяви, че е коригирало съобщенията за проблеми. Google заяви, че е внедрило „нови, многослоеви защити“ и подчерта, че „имането на многослоева стратегия за защита срещу атаки с подтикващи зареждания е от съществено значение“, както е докладвано от Cybersecurity Dive.

Докладът подчертава нарастващите проблеми със сигурността, тъй като AI агентите стават все по-често срещани в работните места и се доверяват да се справят с чувствителни задачи.

В друго скорошно разследване, беше докладвано, че хакери могат да откраднат криптовалута от Web3 AI агенти, като имплантират фалшиви спомени, които отменят нормалните защитни мерки.

Сигурностната уязвимост съществува в ElizaOS и подобни платформи, тъй като нападателите могат да използват компрометирани агенти за прехвърляне на средства между различни платформи. Постоянният характер на блокчейн транзакциите прави невъзможно възстановяването на откраднатите средства. Нов инструмент, CrAIBench, има за цел да помогне на разработчиците да укрепят защитите.