Глава NVIDIA Дженсен Хуанг в Астане предупредил о рисках автономных ИИ-агентов

Генеральный директор NVIDIA Дженсен Хуанг рассказал о технологии OpenShell, предназначенной для безопасной работы автономных ИИ-агентов. Выступая на Fireside Chat в Астане, он заявил, что разработчики искусственного интеллекта должны обеспечивать безопасность своих продуктов с самого начала, а не устранять уязвимости уже после их появления.

Министр искусственного интеллекта и цифрового развития Казахстана Жаслан Мадиев поинтересовался, планирует ли NVIDIA внедрять дополнительные механизмы защиты на аппаратном уровне, чтобы предотвратить взломы и сбои. Хуанг ответил, что человечество должно развивать ИИ ответственно, а безопасность закладывать с первого дня, как в автомобилестроении или горнодобывающей отрасли.

OpenShell ограничивает доступ автономных ИИ-агентов к файлам, инструментам и другим ресурсам компьютерной системы. Хуанг отметил, что такие агенты могут выполнять последовательность действий самостоятельно, и слишком широкие права доступа способны привести к нежелательным действиям или затронуть информацию, не относящуюся к задаче. По данным источника, ошибки агентов могут привести к удалению данных или раскрытию конфиденциальной информации.