Метка: злоупотребление

По мере того как модели искусственного интеллекта становятся мощнее, растёт потенциал их неправильного использования — а вместе с ним и требования к защитным механизмам, которые могут предотвратить такие злоупотребления. Теперь компании, занимающиеся искусственным интеллектом, должны балансировать на тонкой грани между уважением к конфиденциальности корпоративных клиентов и контролем за использованием в поисках возможных проблем.

Чувствуя возможность обойти своего конкурента Anthropic, OpenAI только что объявила о подходе к обеспечению безопасности, ориентированном на конфиденциальность, для мониторинга неправомерного использования. Компания анонсирует предварительный запуск нового сервиса для избранных клиентов, который она называет Private Safety Processing. Это автоматизированная система, которая отслеживает потенциальные злоупотребления, одновременно не сохраняя никаких данных клиента.

Эта система явно противоречит недавно объявленной политике Anthropic по хранению данных. Политика, которая вызвала недовольство некоторых клиентов, позволяет лаборатории искусственного интеллекта хранить данные пользователей (все их сеансы — и содержащиеся в них разговоры) в течение 30 дней, когда речь идёт о «покрываемых моделях». По словам компании, к таким моделям относятся все модели класса Mythos и «будущие модели с аналогичными возможностями».

Эта политика, объявленная в июле, была разработана в целях безопасности, позволяя лаборатории просеивать и анализировать возможные нарушения. Однако она глубоко обеспокоила некоторые предприятия, которые обрабатывают большие объёмы конфиденциальных данных и не хотят, чтобы они хранились (или проверялись) лабораторией искусственного интеллекта.

OpenAI — как и большинство других компаний, занимающихся искусственным интеллектом — уже обеспечивает клиентам определённый уровень конфиденциальности, придерживаясь политики, известной как Zero Data Retention (ZDR). ZDR использует агентов в API OpenAI для мониторинга злоупотреблений на основе каждого сеанса. Таким образом, компания не сохраняет данные клиентов, но компании по-прежнему могут сканировать подозрительную активность без необходимости вмешательства человека. Стоит отметить, что Anthropic также в значительной степени соблюдает ZDR — за исключением случаев, когда речь идёт о «покрываемых моделях», таких как Fable.

OpenAI утверждает, что Private Safety Processing — это новая технология, которая расширяет возможности ZDR. Она описывает её как форму долгосрочного мониторинга безопасности, которая оценивает входные и выходные данные нескольких разговоров, а не только одного. Опять же, мониторинг осуществляется агентом, который при срабатывании перехватывает взаимодействия и анализирует их в течение нескольких сеансов на предмет признаков потенциального злоупотребления.

Новая технология помогает OpenAI обнаруживать злонамеренное использование ИИ, которое происходит в течение нескольких сеансов, сообщил представитель TechCrunch. Злоумышленник — гипотетически кто-то, кто пытается создать вредоносное ПО для кибератаки — может рассредоточить свои запросы, чтобы избежать обнаружения. Private Safety Processing может анализировать эти многочисленные разговоры на предмет признаков злоупотреблений без просмотра разговоров пользователя человеком.

В случае срабатывания системы она может отправить «узко определённый сигнал» в OpenAI, который предупреждает о конкретном виде деятельности, говорится в сообщении компании. На основании этого сигнала OpenAI может решить, необходимо ли «принятие мер», говорится в сообщении. Если да, OpenAI свяжется с клиентом для получения дополнительного контекста или для совместной работы над проблемой, и клиент может решить поделиться данными с OpenAI по своему усмотрению, сообщил представитель.

В отличие от этого, Anthropic отмечает, что просмотр данных клиентов человеком может происходить, но только «через путь контролируемого доступа», который включает в себя «небольшой набор утверждённых рецензентов». Каждый из этих сеансов рецензирования «записывается в защищённый от несанкционированного доступа журнал, который рецензенты не могут подавить или изменить», — говорится в сообщении компании.

Корпоративная конкуренция между OpenAI и Anthropic в данный момент напряжённая, и обе компании ищут любую возможность получить преимущество друг над другом. Недавний отчёт показал, что рост OpenAI во втором квартале был более медленным, чем у Anthropic. Ежегодная выручка Anthropic в годовом исчислении, как сообщается, составляет 65 миллиардов долларов. Инвесторы Anthropic заявили, что компания может провести IPO на сумму в 2 триллиона долларов, в то время как OpenAI также работает над своим IPO.

Читайте также другие новости на нашем сайте: Главная страница

Источник: techcrunch.com