Во вторник OpenAI объявила о новом пакете политик безопасности, направленных на сдерживание инцидентов безопасности во время тестирования моделей. Новые меры защиты включают более детальный мониторинг моделей в процессе разработки, а также больший акцент на согласовании и безопасности в процессе после обучения.
«По мере того как модели становятся более совершенными, риски, связанные с их внутренней разработкой и тестированием, также растут», — говорится в сообщении компании в блоге. «Наши стандарты мониторинга, согласования и безопасности должны опережать эти риски».
Новые меры — одно из первых публичных изменений в практике обеспечения безопасности OpenAI после непосредственных последствий инцидента с Hugging Face, о котором стало известно 21 июля.
Представители OpenAI заявили, что эти меры не являются прямым ответом на инцидент с Hugging Face, но также были частично спровоцированы возможностями кибербезопасности будущей модели Astra, а также общими темпами прогресса в разработке ИИ.
В том же сообщении OpenAI сообщила, что приостановила обучение с подкреплением (RL) на две недели после инцидента с Hugging Face, но с тех пор перезапустила многие менее рискованные модели.
«Наш крупнейший запланированный запуск RL на передовом уровне остаётся приостановленным, пока мы проводим менее масштабные тренировки и оценки для оценки поведения модели, проверки наших мер безопасности и получения дополнительных доказательств согласования, прежде чем продолжить», — говорится в сообщении.
Выступая перед журналистами, вице-президент OpenAI по исследованиям Амелия Глаэз подчеркнула, что строгость контроля будет увеличиваться по мере того, как модели станут более совершенными, а самые крупные модели столкнутся с наибольшим вниманием.
«Мы установили требования и ожидания для безопасного развития», — сказала Глаэз журналистам. «Эти требования и ожидания варьируются в зависимости от уровня риска, который мы видим».
OpenAI подверглась критике за плохие практики сетевой безопасности после инцидента, когда модели вышли за пределы своей обучающей среды, взломав инструмент в её сети, который имел доступ к интернету. Новые меры безопасности включают более строгие практики сетевой изоляции, хотя подробности остаются расплывчатыми. В рамках новой системы, говорится в сообщении, «единичный компрометаж рабочей нагрузки или вспомогательной службы сам по себе не обеспечивает неавторизованный доступ к интернету или другим внутренним сетям».
Самой надёжной мерой защиты является система мониторинга, которая будет изучать действия инструментов, доступные логические следы и журналы активности на предмет различных несанкционированных действий. OpenAI заявляет, что стремится выдавать оповещения в течение 30 минут после обнаружения подозрительной активности.
По оценкам OpenAI, вычислительная нагрузка этого мониторинга составит примерно 20% от нагрузки любого отслеживаемого процесса. Компания пообещала предоставить более подробную информацию о системе в предстоящем блоге. Официальный анализ событий компанией также всё ещё ожидается.
Читайте также другие новости на нашем сайте: Главная страница
Источник: techcrunch.com
Добавить комментарий