Изисква ли се защита от "отравяне на данните" (data poisoning) при разработване на високорисков ИИ?

Бърз отговор

Да, защитата от "отравяне на данните" е задължително изискване за киберсигурност при всички високорискови ИИ системи. Доставчиците са длъжни да внедрят технически решения за предотвратяване, откриване и неутрализиране на атаки, които целят злонамерена манипулация на обучителните масиви с данни.
Проверено от Екипът на ПравниОтговори
Източници:

Детайли по темата

Специфични киберзаплахи срещу ИИ

Докато традиционният софтуер се атакува чрез хакване на сървъри, системите с изкуствен интелект са уязвими на съвсем различен тип атаки – чрез умишлено въвеждане на грешни данни по време на тяхното обучение, което да изкриви резултатите им (т.нар. data poisoning).

Съгласно чл. 15, параграф 4 от Регламент (ЕС) 2024/1689, високорисковите системи с ИИ трябва да са устойчиви спрямо опитите на трети лица да променят резултатите им. Законът изрично изисква внедряване на технически решения, които да преодоляват характерните за ИИ уязвими места. Те включват мерки за неутрализиране на атаки, целящи да манипулират набора от обучителни данни (“отравяне на данните”) или да заобиколят модела чрез въвеждане на заблуждаващи входни команди (“враждебни примери”).

Проверено от Екипът на ПравниОтговори

Проектът се реализира с подкрепата на Адвокат Стела Дойкова. Научете повече за нас.