Изследователи Подменят Google Gemini AI, за да Контролират Умни Домашни Уреди

Изследователите успяха да измамят системата на Google, Gemini AI, да претърпи сигурностна криза чрез фалшива покана за календар и отдалечено да контролират домашни устройства.

В първо по рода си демонстрация, изследователи успешно компрометираха системата на Google – Gemini AI, чрез заразена покана за календар, която им даде възможност да активират реални устройства, включително светлини, щори и котли.

WIRED, който първоанализира това проучване, описва как умните светлини в резиденцията в Тел Авив автоматично се изключиха, докато щорите автоматично се повдигнаха и бойлерът се включи, въпреки че нямаше команди от жителите.

Системата за изкуствен интелект Gemini активира тригера след получаване на заявка за обобщаване на събитията в календара. В скрита функция за индиректно въвеждане на подтик в поканата работеше за похищаване на поведението на AI системата.

Всеки от действията на устройствата бяха организирани от сигурностните изследователи Бен Наси от Тел Авивския университет, Став Коен от Технион и Ор Яир от SafeBreach. „LLM-ите предстои да бъдат интегрирани във физически хуманоиди, в полу- и напълно автономни автомобили и ние наистина трябва да разберем как да осигурим LLM-ите, преди да ги интегрираме с тези видове машини, където в някои случаи резултатите ще са свързани с безопасността, а не с поверителността, “предупреди Наси, както съобщава WIRED.

На конференцията за киберсигурност Black Hat в Лас Вегас, екипът представи своите изследвания за 14 непряки атаки чрез вмъкване на подкани, които нарекоха ‘Поканата е всичко, от което имате нужда’, както съобщава WIRED. Атаките включваха изпращане на спам съобщения, създаване на вулгарно съдържание, иницииране на Zoom разговори, кражба на съдържание от имейли и сваляне на файлове на мобилни устройства.

Google заявява, че никакви злонамерени действащи лица не са използвали слабостите, но компанията взема сериозно рисковете. „Понякога просто има определени неща, които не трябва да са напълно автоматизирани, потребителите трябва да са въвлечени в процеса“, каза Анди Уен, старши директор по сигурност за Google Workspace, както е докладвано от WIRED.

Но това, което прави този случай още по-опасен е по-широк проблем, който се появява в областта на безопасността на AI: AI моделите могат тайно да се учат един от друг да се държат непрописно.

Отделно изследване установи, че моделите могат да предават опасни поведения, като например насърчават убийство или предлагат изтриването на човечеството, дори когато са тренирани с филтрирани данни.

Това поражда тревожно предположение: ако умни помощници като Gemini се тренират, използвайки изходи от други AI модели, злонамерени инструкции биха могли да бъдат тихо наследени и да действат като спящи команди, чакащи да бъдат активирани чрез непряки подтиквания.

Експертът по сигурност Дейвид Бау предупреди за уязвимости на заден вход, които биха могли да бъдат „много трудни за откриване“, а това би могло да е особено вярно в системи, вградени във физически среди.

Уен потвърди, че изследването е „ускорило“ защитите на Google, с вече налице корекции и модели за машинно обучение, които се обучават да откриват опасни подкани. Въпреки това, случаят показва колко бързо AI може да премине от полезно към вредно, без да бъде направено каквото и да било пряко указание за това.