Google обяви, че разширява своята програма за възнаграждение за уязвимост (VRP), за да компенсира изследователите за намирането на сценарии за атаки, съобразени с генеративните системи за изкуствен интелект (ИИ), в опит да засили безопасността и сигурността на ИИ.
“Генериращият ИИ поражда нови и различни от традиционната цифрова сигурност опасения, като например възможността за несправедливи пристрастия, манипулиране на моделите или неправилно тълкуване на данните (халюцинации)”, заявиха Лори Ричардсън и Роял Хансен от Google.
Някои от категориите, които попадат в обхвата, включват подбудителни инжекции, изтичане на чувствителни данни от набори от данни за обучение, манипулиране на модели, атаки с недоброжелателни смущения, които предизвикват неправилна класификация, и кражба на модели.
Струва си да се отбележи, че по-рано този юли Google създаде червен екип за изкуствен интелект, който да помага за справяне със заплахите за системите за изкуствен интелект като част от своята рамка за сигурен изкуствен интелект (SAIF).
Като част от ангажимента си за сигурен ИИ са обявени и усилията за укрепване на веригата за доставки на ИИ чрез съществуващите инициативи за сигурност с отворен код, като например Supply Chain Levels for Software Artifacts (SLSA) и Sigstore.
“Цифрови подписи, като например тези от Sigstore, които позволяват на потребителите да проверят дали софтуерът не е бил подправен или заменен”, заяви Google.
“Метаданни като SLSA provenance, които ни казват какво има в софтуера и как е създаден, което позволява на потребителите да гарантират съвместимост с лиценза, да идентифицират известни уязвимости и да откриват по-напреднали заплахи.”
Разработката идва в момент, когато OpenAI представи нов вътрешен екип за готовност, който да “следи, оценява, прогнозира и защитава” от катастрофални рискове за генеративния ИИ, обхващащи киберсигурността, химическите, биологичните, радиологичните и ядрените (ХБРЯ) заплахи.
Двете компании, наред с Anthropic и Microsoft, обявиха и създаването на фонд за безопасност на ИИ на стойност 10 млн. долара, насочен към насърчаване на научните изследвания в областта на безопасността на ИИ.
