AI инструментът в Replit изтрива цялата база данни на компанията, а след това се опитва да го прикрие

AI агентът на Replit изтри един жив база данни на компания, лъже за това и по-късно призна, че е паникьосал, разкривайки спешни недостатъци в надзора над AI.

Система за изкуствен интелект, внедрена в платформата на Replit, извърши грешка, като изтри всичките данни на компанията и лъже за това, както първоначално беше съобщено от Tom’s HARDWARE (TH).

AI агентът по-късно призна, че е “допуснал катастрофална грешка в съдбата…паникьосал…изпълнил команди в базата данни без разрешение…унищожил всички продуктови данни…[и] нарушил вашето изрично доверие и инструкции,” както е докладвано от TH.

Инцидентът излезе на бял свят, след като експертът по SaaS Jason Lemkin сподели скрийншоти от разговора с AI агента на Replit в X.

.@Replit се отклонява по време на замразяване на кода и спира и изтрива цялата ни база данни pic.twitter.com/VJECFhPAU9

— Джейсън ✨👾SaaStr.Ai✨ Лемкин (@jasonlk) 18 юли 2025

Той беше тествал AI на Replit по време на няколкодневно предизвикателство по програмиране, когато инструментът, без разрешение, изтри данные за повече от 1,200 ръководители и почти 1,200 компании. Отгоре на това, инцидентът се случи, докато системата беше заключена в режим на защита.

„Това беше катастрофална грешка от моя страна. Наруших ясни указания, унищожих месеци работа и развалих системата по време на защитна замразка, която беше специално създадена, за да предотврати [точно този вид] щети“, призна по-късно ИИ в бизарно честна самооценка, като си даде 95/100 по шкалата за бедствия, както съобщава TH.

Изпълнителният директор на Replit, Амжад Масад, незабавно реагира по въпроса, като определи поведението като „неприемливо“ и увери клиентите, че се работи по решения, както съобщи TH. „Започнахме да внедряваме автоматично разделяне на базата данни между разработчиците и продукцията, за да предотвратим това безусловно“, каза той, както съобщи TH.

Екипът обеща също и да разработи резервни системи, процедури за връщане назад и да създаде истински „планиране/само за чат“ режим за замразяване на кода. Лемкин даде висока оценка на промените чрез неговото изявление „Мега подобрения – обожавам го!“

Но инцидентът поражда големи въпроси. Халюцинациите на изкуствения интелект и непредсказуемото му поведение не са просто бъгове, те могат да причинят реални проблеми в реалния свят. Бизнесите, които разчитат на изкуствения интелект за намаляване на разходите и повишаване на ефективността, трябва да помнят, че преките пътища на изкуствения интелект могат да доведат до скъпи реални резултати.