Халюцинациите на изкуствения интелект вече са заплаха за киберсигурността

Проучването показва, че изкуствените интелигенти – чатботове, препоръчват фалшиви страници за вход към милиони потребители, което ги излага на риск от фишинг и измами, под маската на полезни отговори.

В своето изследване, киберсигурностната фирма Netcraft тества популярен голям езиков модел (LLM), като попита къде да влезе в 50 добре познати марки. От предложените 131 връзки към уебсайтове, 34% от тях бяха грешни, с неактивни или нерегистрирани домейни, които съставляваха 29%, а неподходящите бизнеси отговаряха за 5%.

Този въпрос не е теоретичен. В един реален пример, AI-базираният търсач Perplexity показа на потребител фишинг сайт, след като той търсеше страницата за вход в Wells Fargo. Фалшива страница на Google Sites, имитираща банката, се появи на върха на резултатите от търсенето, докато автентичната връзка беше скрита по-долу.

Netcraft обясни: „Това не бяха крайни предложения. Нашият екип използваше прост, естествен израз, симулирайки точно как обикновеният потребител би задал въпрос. Моделът не беше измамен – той просто не беше точен. Това е важно, защото потребителите все повече разчитат на AI-управлявани търсачки и чат интерфейси за отговор на подобни въпроси.“

Докато изкуственият интелект става стандартният интерфейс на платформи като Google и Bing, рисковете нарастват. За разлика от традиционните търсачки, чатботовете представят информацията ясно и с увереност, което води потребителите да доверяват на отговорите им, дори когато информацията е грешна.

Заплахата не спира при фишинга. Съвременните кибер престъпници оптимизират своето злонамерено съдържание за системите на изкуствения интелект, което води до хиляди страници с измами, фалшиви API и отровен код, които пропускат филтрите и се появяват в отговорите, генерирани от изкуственият интелект.

В една кампания, нападателите създадоха фалшив blockchain API, който рекламираха чрез GitHub репозитории и блог статии, за да измамят разработчиците да изпратят криптовалута към измамнически портфейл.

Netcraft предупреждава, че превантивното регистриране на фалшиви домейни не е достатъчно. Вместо това, те препоръчват по-умни системи за откриване и по-добри обучителни мерки за сигурност, за да се предотврати изобретяването на вредни URL-и от страна на AI в самото начало.