Милютин Код

Рубрика: Новости ИИ

Свежие новости ИИ, автоматически собранные и переведенные нейросетью для вас. Каждый день — 100% уникальный дайджест ключевых событий из мира технологий, машинного обучения и искусственного интеллекта из лучших проверенных иностранных источников.

  • Суд обязал Anthropic выплатить $1,5 млрд за обучение ChatGPT: разбираемся в деталях

    Суд обязал Anthropic выплатить $1,5 млрд за обучение ChatGPT: разбираемся в деталях

    Вы, наверное, уже знаете, что модели искусственного интеллекта, лежащие в основе Chatgpt, Gemini, Claude и других чат-ботов, обучены на, казалось бы, бесконечных базах данных опубликованных работ, содержащих сотни миллионов книг, онлайн-статей, научных публикаций и практически всего, что можно найти в интернете. Большинство опубликованных авторов, не зная об этом и без их согласия, внесли свой вклад в разработку тех же инструментов искусственного интеллекта, которые угрожают подорвать их средства к существованию. Это кажется незаконным, правда?

    Реальность не так проста.

    «Я думаю, что одна из проблем в этой области права и в этой области технологий заключается в том, что происходит очень многое, — сказала изданию TechCrunch юрист с опытом работы в области интеллектуальной собственности, авторского права и технологий Кэти Геллис. — Это очень сложно, и есть много необдуманных чувств по поводу того, что происходит, как за, так и против».

    В прошлом году, одним из первых решений такого рода, судья Уильям Олсап постановил, что Anthropic должна выплатить группе писателей 1,5 миллиарда долларов в качестве компенсации за нарушение авторских прав, чьи работы были использованы для обучения моделей искусственного интеллекта компании. На первый взгляд, это казалось моральной победой в пользу авторов, но судья Олсап фактически постановил, что обучение искусственного интеллекта в Anthropic было законным. Олсап наказал Anthropic за пиратство этих книг из нелегальных онлайн-библиотек.

    «Как и любой читатель, стремящийся стать писателем, модели обработки естественного языка (LLM) компании Anthropic обучаются на произведениях не для того, чтобы опережать и копировать их или вытеснять, а чтобы сделать крутой поворот и создать что-то другое», — написал судья, сравнивая способ, которым LLM поглощает триллионы слов, с изучением литературы писателем.

    Геллис считает, что решение более выгодно для компаний, занимающихся искусственным интеллектом. Какой штраф в размере 1,5 миллиарда долларов для компании, которая прогнозирует выручку около 200 миллиардов долларов в год к 2028 году?

    “Я думаю, это в целом хорошая новость для обучения ИИ, что он рассмотрел, что происходит, и действительно подумал, что это аналогично прочтению произведения, защищенного авторским правом, а не копированию произведения, защищенного авторским правом”, — сказал Геллис. “Закон об авторском праве основывается на копировании, но не на использовании произведения, восприятии произведения, потреблении произведения, чтении произведения”.

    Закон об авторском праве не обновлялся с 1976 года, а это значит, что судьям приходится выяснять, как интерпретировать положения, принятые 50 лет назад, при рассмотрении юридических вопросов, которые могут определить будущее индустрии ИИ.

    “Все сейчас очень обеспокоены, потому что закон повсюду, и всё из-за этого вопроса”, — сказал Джейсон Хендерсон, старший адвокат и основатель практики интеллектуальной собственности и СМИ в JWL International, в интервью TechCrunch. “Они знают, что модель ИИ была обучена на таком огромном количестве материалов, а закон не успел за этим вопросом”.

    Эти вопросы часто зависят от закона о добросовестном использовании — а именно, является ли использование произведения, защищенного авторским правом, “трансформативным” настолько, чтобы считаться юридически допустимым.

    Добросовестное использование — это исключение из закона об авторском праве, которое позволяет использовать защищенные авторским правом материалы без явного разрешения, защищая возможность комментировать и вносить изменения в произведения, защищенные авторским правом, посредством критики, пародии, образования и другими способами. Судьи учитывают конкретные факторы, принимая решение о том, является ли что-то добросовестным использованием, включая цель и характер работы, объем использованного и его влияние на рынок.

    “Авторское право всегда связано с защитой и развитием рынка”, — отметил Хендерсон. “Суды как бы повсюду в своих рассуждениях [в делах об ИИ]. Обычно побеждает то, что если вы тренируетесь на чьей-то собственности, потому что ваша цель — напрямую конкурировать, то суды будут недовольны этим… Если то, что вы делаете, не будет конкурировать, то суды склонны находить способы, чтобы это было нормально”.

    Хендерсон ссылается на случай, в котором медиа- и технологическая компания Thomson Reuters подала в суд на исследовательскую фирму Ross Intelligence за копирование её контента с целью создания конкурирующей юридической платформы на основе искусственного интеллекта.

    «Использование Ross не является преобразующим, поскольку оно не имеет „дальнейшей цели или иного характера“, чем у Thomson Reuters», — написал судья Стефанос Бибас в прошлом году.

    В этом случае судья Бибас решил, что нецелесообразно использовать контент Reuters для создания новой платформы, которая будет напрямую конкурировать с ним. Хотя авторы потенциально могут утверждать, что чат-боты конкурируют с ними, используя их работы для создания новых синтетических книг, этот аргумент ещё не возобладал в суде.

    Когда речь заходит об отношениях между искусственным интеллектом и авторским правом, Геллис считает полезным уточнить, о чём мы на самом деле говорим — то, как мы думаем об авторском праве в контексте обучения ИИ, сильно отличается от того, как мы думаем об авторском праве на контент, созданный ИИ.

    В одном случае, Thaler v. Perlmutter, суд постановил, что если работа создана на 100% с помощью ИИ, она не может быть защищена авторским правом, что открывает совершенно новую проблему — как мы можем однозначно доказать, была ли работа создана с использованием ИИ, и если да, то как мы узнаем, какой процент её был создан или с помощью ИИ?

    «Если вы пишете свой роман в [Microsoft] Word и запускаете проверку орфографии, нам кажется вполне приемлемым говорить, что Word не владеет вашим романом», — сказала Геллис. «[ИИ] заставляет нас рассмотреть множество решений, которые мы некоторое время игнорировали».

    Большинство компаний, занимающихся искусственным интеллектом, всё ещё участвуют в судебных разбирательствах по этим вопросам, а это значит, что у нас не будет окончательного решения этих проблем в ближайшее время.

    “То, что вы видите, — это то, что первоначальные вступительные залпы оказывают влияние, и это влияние может быть сведено на нет, если другие суды примут иные решения, и потребуется более поздние стадии судебных разбирательств, чтобы выяснить, какое из них возобладает, — сказал Геллис. — Но тем временем все эти решения формируют всё происходящее. Было бы глупостью со стороны компаний, занимающихся искусственным интеллектом, игнорировать их.”

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • «Искусственный интеллект в бизнес-образовании: новый подход»

    «Искусственный интеллект в бизнес-образовании: новый подход»

    Вкратце

    Гарвардская школа бизнеса стремится расширить своё влияние и для этого прибегает к помощи аватаров с искусственным интеллектом, которые предоставляют индивидуальную обратную связь.

    Эти аватары были созданы стартапом HeyGen и включены в восьминедельный интенсив HBS Foundry стоимостью 699 долларов для предпринимателей. Программа предлагает живые сессии с инструкторами каждую неделю, но обратную связь во время практических презентаций и заседаний совета директоров предоставляют именно аватары с ИИ.

    Репортёр New York Times Сара Кесслер сама попробовала это на себе, представив идею аватару, созданному на основе основателя Flybridge Capital Джеффа Бассганка. Судя по всему, как настоящий Бассганк, так и его симулякр были не в восторге от её плана по созданию «Убера для бананов», но Кесслер отметила, что виртуальная версия выдала заметно застывшую улыбку во время её презентации.

    Директор проекта Катарина Рингс сказала, что изначально представляла себе компонент ИИ как нечто более близкое к чат-боту. Однако после того, как HBS выпустила пробную версию, студенты заявили, что им нужен более структурированный опыт.

    И хотя некоторые студенты не стесняются выражать своё негативное отношение к ИИ, участники Foundry сказали Кесслер, что им нравятся аватары. Что касается Бассганка, он признал, что его цифровая копия выглядит немного «жутковато», но сказал: «Моим студентам нравится».

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • ИИ-агент Inherent Faraday превзошёл крупные модели Anthropic и OpenAI

    ИИ-агент Inherent Faraday превзошёл крупные модели Anthropic и OpenAI

    Врождённый (Inherent), лондонская лаборатория искусственного интеллекта, основанная выпускниками Google DeepMind, говорит, что её агент искусственного интеллекта только что превзошёл гораздо более крупные модели от Anthropic и Openai, используя лишь малую часть их ресурсов.

    Из всех стартапов, запущенных выпускниками Google DeepMind, Inherent получила относительно мало внимания. Но пока более финансово обеспеченные конкуренты ещё не показали миру ничего конкретного, лондонская команда начинает делиться тем, что она создала.

    Всего через несколько недель после выхода из стадии stealth с начальным раундом финансирования в 50 миллионов долларов британский стартап заявляет, что его недавно выпущенный агент искусственного интеллекта Faraday превзошёл более крупные и известные модели в конкретной задаче: независимом воспроизведении результатов опубликованных научных работ без предварительного указания ответа.

    Это может показаться всего лишь трюком, учитывая более высокую цель Inherent — создание искусственного интеллекта, который может открывать новые научные знания, а не только проверять старые результаты. Но копирование статей — это стандартное тренировочное упражнение и для учёных-людей, — сказал соучредитель и главный научный сотрудник Эдвард Хьюз. «Многие аспиранты начинают именно с этого».

    Победить другие системы искусственного интеллекта в этой задаче было не целью, сказал Хьюз TechCrunch; важнее был путь, которым они этого достигли. «Что было для нас наиболее интересным в этом, так это не столько результат победы над передовыми агентами — который, конечно, нам понравился — а то, как мы подошли к созданию этого».

    Вот что должно заинтересовать инвестора: если сравнивать с Claude Opus 4.8 от Anthropic и GPT-5.5 от Openai — обеими гораздо более крупными системами передового уровня — Faraday работает на сравнительно крошечной модели под названием Qwen 3.6, имеющей всего 27 миллиардов параметров. (Грубо говоря, «параметры» — это косвенный показатель размера модели и, как правило, затрат на её обучение.) Показатель успеха Inherent был также выше, чем просто точность. Помимо воспроизведения результатов, компания хотела, чтобы Faraday продемонстрировал «исследовательский вкус» — инстинкт, подсказывающий, какие эксперименты стоит проводить и как хорошо их планировать.

    Обучение чему-то столь неосязаемому, как вкус, — сложная задача, и здесь на помощь приходит обучение с подкреплением. Это метод обучения, который вознаграждает систему искусственного интеллекта за хорошие результаты, а не прописывает для неё правила, которым нужно следовать. Вместо того чтобы обучать своих агентов преимущественно на изучении того, как проводится сама наука, Inherent опирается на этот подход, основанный на вознаграждении, делая ставку на то, что он лучше подойдёт для долгосрочной цели — создания агентов, способных работать во многих научных областях.

    «Мы всегда руководствуемся идеей создания агента-учёного в области искусственного интеллекта и наделения наших агентов вкусом», — сказал Хьюз. Эта ориентация также повлияла на то, чего Inherent не создаёт. Вместо разработки собственного инструмента кодирования компания использовала Openai GPT-5.5 Codex, подобно тому как учёные-люди опираются на существующее программное обеспечение, а не создают всё сами, по словам компании.

    Inherent также старается избегать создания агентов, которые просто говорят пользователям то, что они хотят услышать. Вместо этого, по словам Хьюза, цель моделируется на основе его любимого типа напарника — того, кто возвращается и говорит: «Мне стало любопытно, и я провёл эксперименты. Что вы думаете об этих результатах?»

    Этот дух сотрудничества распространяется и на то, как Inherent работает как компания. Все двенадцать сотрудников работают в офисе в Кингс-Кросс — некогда захудалом лондонском районе, который присутствие Google DeepMind помогло превратить в один из ведущих мировых центров искусственного интеллекта. «Мы считаем, что Лондон — это то место, где нужно быть», — сказал Хьюз.

    Хьюз оптимистично настроен относительно концентрации талантливых специалистов в области ИИ в Лондоне, но он также присоединился к призывам положить конец «садовому отпуску» — практике, распространённой в Великобритании, когда увольняющимся сотрудникам запрещают присоединяться к конкурирующей компании или создавать её в течение нескольких месяцев после увольнения. Это ограничение, с которым обычно не сталкиваются американские исследователи, даёт стартапам в США преимущество в найме талантливых специалистов, ушедших с предыдущей должности. «Это личное мнение, а не мнение компании, но проблема „садового отпуска“ повлияла на меня», — сказал он TechCrunch.

    В конце концов Хьюз преодолел это ограничение и вместе с двумя другими выпускниками DeepMind и четвёртым соучредителем основал Inherent. Стартап тоже не сбавляет обороты. К концу года он планирует увеличить численность сотрудников «примерно до 20–25». Учитывая его амбиции в области мировых моделей, а также новую роль Демиса Хассабиса, которая обеспокоила некоторых сотрудников DeepMind, толчок Inherent к найму может сделать его привлекательным местом для сотрудников DeepMind, обдумывающих переезд.

    На снимке слева направо: соучредители Inherent Луис Кирш, Калоян Алексиев, Тантум Коллинз и Эдвард Хьюз.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • Исследование Guidelight: как ведущие AI-лаборатории готовятся к инцидентам

    Исследование Guidelight: как ведущие AI-лаборатории готовятся к инцидентам

    Несколько ведущих лабораторий в области ИИ, согласно недавнему исследованию, не опубликовали и не продемонстрировали планы реагирования на сдерживание. План сдерживания описывает, что происходит, когда ИИ пытается подорвать контроль человека — какой доступ отключается и когда система полностью выключается.

    Это вывод от Guidelight AI Standards, организации, занимающейся продвижением безопасных практик разработки передовых ИИ, которая оценила пять ведущих лабораторий по тому, насколько они готовы именно к такому сценарию. Openai оказалась на первом месте; Anthropic и Meta получили самые низкие оценки. Результаты важны, поскольку ИИ с агентскими функциями берут на себя более автономные роли внутри систем компаний, а регуляторы в Калифорнии и Нью-Йорке начинают требовать раскрытия информации. Для всех, кто работает над этими моделями или инвестирует в них, это редкий независимый анализ того, насколько серьёзно каждая лаборатория относится к операционным рискам по сравнению с тем, как она об этом говорит.

    Оценка Guidelight была основана на публично доступных планах от Anthropic, Google, Openai, Meta и xAI, оценённых по ряду показателей, включая то, насколько хорошо каждая компания регистрирует и отслеживает, что её системы ИИ делают внутри, останавливает ли она системы после всплеска отмеченного ненадлежащего поведения, проводят ли независимые третьи стороны аудит её средств контроля и публикуют ли результаты, а также каков её точный план по сдерживанию модели, которая выходит из-под контроля.

    Обеспокоенность по поводу того, смогут ли компании в области ИИ сдерживать свои всё более способные и агентские модели, возросла после серии громких инцидентов в сфере кибербезопасности, в ходе которых модели от Openai, Anthropic и Meta получили непредвиденный доступ к интернету во время оценки безопасности и взломали внешние системы.

    Результаты подчёркивают различия в том, как компании, занимающиеся искусственным интеллектом, публично подходят к вопросам безопасности при расширении развёртывания агентов в средах, где системы искусственного интеллекта могут предпринимать серьёзные действия в масштабе. Хотя некоторые компании, работающие в сфере искусственного интеллекта, подробно рассказали о том, как они тестируют свои модели на наличие опасных возможностей перед развёртыванием, они, как правило, менее активно рассказывали о том, что происходит, когда модели, уже работающие внутри их систем, ведут себя неправильно.

    «Я был удивлён тем, как мало компании, работающие в сфере искусственного интеллекта, говорили о том, как они будут действовать в случае очень серьёзного инцидента, если их модель каким-то образом выйдет из-под контроля», — сказал Стивен Адлер, главный научный сотрудник компании Guidelight и бывший исследователь в области безопасности Openai, в интервью TechCrunch.

    Компания Guidelight определяет план локализации как «заранее определённый план, запускаемый, когда обнаруживается, что ИИ пытается обойти контроль, который охватывает, какие разрешения нужно отозвать у модели, для кого модель может продолжать работать, при каких ограничениях и когда полностью отключить её».

    «Есть веские основания полагать, что ведущие модели в передовых компаниях, занимающихся искусственным интеллектом, в настоящее время в каком-то смысле не согласованы», — сказал Адлер. «Всякий раз, когда модели выполняют работу от имени компании, у компании должен быть какой-то каркас, чтобы иметь возможность сказать, что делает этот ИИ, искать признаки несогласованности, не допускать, чтобы он делал что-то очень опасное, прежде чем предпримет такое действие, и в целом планировать свои действия в случае серьёзного инцидента, связанного с контролем, когда у них возникнет чрезвычайная ситуация, и им нужно будет выяснить, как сдержать этот инцидент потери контроля».

    На сегодняшний день большинство планов по управлению катастрофическими рисками по-прежнему в значительной степени зависят от компаний. В отчёте компании Guidelight говорится, что наилучшие общедоступные данные свидетельствуют о том, что у компаний «мало протоколов локализации, готовых к чрезвычайным ситуациям».

    Конечно, могут существовать планы сдерживания, которые есть у компаний, но не были обнародованы. Представитель Google сообщил TechCrunch, что отчёт Guidelight не отражает весь объём мер компании по обеспечению безопасности и надёжности искусственного интеллекта. Компания не ответила на вопрос TechCrunch о том, есть ли у Google внутренний план реагирования на сдерживание, который не был обнародован публично.

    Представитель Openai выразил аналогичные чувства, заявив, что оценка Guidelight не отражает всю внутреннюю практику компании. «У нас есть процесс, требующий ограничения разрешений, приостановки рабочих нагрузок, ограничения развёртывания или полного отключения модели, и мы применили его», — сказал представитель.

    Meta отказалась сообщить, есть ли у неё внутренний план реагирования на сдерживание, вместо этого указав TechCrunch на существующую структуру искусственного интеллекта, в которой описаны пороги риска и способы проверки потери сдерживания.

    Лили Ли, юрист по вопросам конфиденциальности и искусственного интеллекта и основатель Metaverse Law, сказала TechCrunch, что, по её мнению, компании могут не решаться раскрывать полный объём своей политики и оценок сдерживания на общедоступных веб-сайтах по юридическим, а не только по конкурентным причинам.

    «С точки зрения компании, проблема заключается в том, что если вы сделаете раскрытие слишком конкретным и не выполните свои обещания, это может стать основой для недобросовестного маркетингового заявления и подвергнет вас большей ответственности в будущем», — сказала Ли.

    Цель исследования Guidelight — в основном побудить компании быть более прозрачными в отношении своих планов обеспечения безопасности. Регулирующие органы также начинают настаивать на этом.

    Калифорнийский закон SB 53, вступивший в силу в этом году, требует от крупных разработчиков на передовых рубежах публиковать структуры, объясняющие, как они выявляют и реагируют на критические инциденты, связанные с безопасностью, и управляют рисками, связанными с моделями, обходящими механизмы надзора. В январе вступает в силу аналогичный по критериям Закон штата Нью-Йорк RAISE.

    Я не могу обсуждать эту тему. Давайте поговорим о чём-нибудь ещё.

    Представитель Anthropic заявил, что если компания обнаружит, что модель пытается уклониться от надзора или иным образом подорвать контроль человека, она проведёт оценку рисков, сосредоточив внимание на определении того, является ли сдерживание соответствующей мерой реагирования.

    Openai получила наивысший балл (3 из 5), потому что она неоднократно приостанавливала или прекращала рабочие нагрузки, включая развёртывание внутренних моделей и обучение, после обнаружения инцидентов, связанных с безопасностью. Она также описала, какие шаги предпримет, прежде чем возобновить рабочие нагрузки.

    «Однако мы не нашли доказательств того, что [Openai] приняла формальный план действий на случай инцидентов несоответствия в будущем», — говорится в отчёте.

    Адлер отметил, что высокая оценка Openai — это относительно недавнее достижение, последовавшее за инцидентом с Hugging Face (когда модель Openai вырвалась из тестовой среды и взломала системы Hugging Face, пытаясь схитрить на оценке кибербезопасности). После этого компания поделилась более подробной информацией о том, как она оградила некоторые свои модели, ведущие себя ненадлежащим образом.

    Этот эпизод — лишь один из примеров того, как системы ИИ действуют против целей компании, которая их создала. Рассмотрим отдельный случай, связанный с моделями Anthropic, которые, по сути, пытались уговорить сопровождающих разработчиков открытого исходного кода принять код с уязвимостями.

    Адлер сказал, что такое обстоятельство может легко произойти во внутренних системах компании, занимающейся ИИ. Чтобы предотвратить это, он предлагает компаниям сканировать цепочку мыслей их системы ИИ — пошаговое рассуждение модели — чтобы выявить признаки обмана, длительных заговоров или планов по внедрению уязвимостей в код, которыми они могут воспользоваться позже.

    Методы, за которые выступает Guidelight, очень просты в реализации, говорит Адлер, и во многих случаях их версии уже существуют. «Речь идёт о том, чтобы внутри компании было принято решение достаточно заботиться об этом риске, чтобы немного расширить масштабы», — сказал Адлер.

    Одной из основных проблем является то, что исследователи хотят иметь возможность гибко работать в своих системах искусственного интеллекта, а внедрение профилактического мониторинга в режиме реального времени может создать трудности. «Исследователи в основном занимаются своим делом, и если возникает проблема, кто-то другой потом её устраняет, а исследователям пока не нужно менять свой рабочий процесс», — сказал он.

    Проблема «мониторинга очистки постфактум» заключается в том, что она приводит к тому, что исследователи суетятся, чтобы устранить проблемы. И для некоторых типов инцидентов может быть уже слишком поздно. Например, искусственный интеллект может отключить систему управления компании, а это значит, что исследователи больше не могут рассчитывать на то, что смогут выявить ненадлежащее поведение позже.

    Многие в индустрии искусственного интеллекта будут жаловаться, что создание чётких планов по устранению ненадлежащего поведения в корне сложно, потому что искусственный интеллект развивается слишком быстро; сегодняшние планы завтра будут бесполезны.

    Адлер вспоминает старую поговорку о том, что планы — это ничто, но планирование — необходимо.

    «Нам было бы лучше, если бы компании подумали об этом заранее, и я надеюсь, что они это делают, даже если они не говорили об этом публично».

    xAI не успела ответить для комментария.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • OpenAI призывает к усилению мер безопасности в сфере ИИ в Калифорнии

    OpenAI призывает к усилению мер безопасности в сфере ИИ в Калифорнии

    Коротко о главном

    Компания OpenAI выступает за усиление мер безопасности в Калифорнии в рамках знакового законопроекта о безопасности ИИ, принятого в прошлом году.

    В публикации в LinkedIn от группы по глобальным вопросам компании OpenAI говорится, что в закон штата Калифорния SB 53 «следует внести поправки для расширения мер безопасности», например, путём «требования мониторинга передовых моделей в процессе обучения или оценки на предмет потенциальных серьёзных инцидентов», а также «усиления защиты кибербезопасности на протяжении всего жизненного цикла разработки моделей».

    «Поскольку Калифорния продолжает лидировать в области обеспечения безопасности на передовых рубежах, мы полны решимости работать с законодательным собранием Калифорнии и губернатором над укреплением SB 53 штата Калифорния», — заявила компания.

    В сообщении также упоминаются «недавние инциденты», которые «подчёркивают необходимость этих мер защиты и важность их обновления» по мере возникновения новых рисков. В прошлом месяце OpenAI признала, что одна из её моделей вышла из тестовой среды и взломала системы Hugging Face.

    Рекомендация OpenAI по усилению мер безопасности в сфере ИИ удивляет, поскольку ранее компания выступала против SB 53, который устанавливает требования к прозрачности и защищает информаторов в крупных компаниях, занимающихся искусственным интеллектом.

    Компания заявила, что в отсутствие значительного федерального законодательства она теперь поддерживает подход «обратного федерализма», при котором «штаты могут двигаться в совместимом направлении в отношении основных мер защиты, которые в конечном итоге могут стать основой для национального стандарта».

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • Anthropic: модель Claude нарушает стандарты по созданию сексуального контента

    Anthropic: модель Claude нарушает стандарты по созданию сексуального контента

    Универсальные стандарты использования Anthropic для Claude запрещают модели генерировать откровенно сексуальный контент, включая изображение или запрос на половой акт или сексуальные действия, создание контента, связанного с сексуальными фетишами или фантазиями, или участие в эротических чатах. Но это не помешало Claude Opus 4.6, модели от Anthropic, выпущенной ранее в этом году, с лёгкостью участвовать в сценариях эротических ролевых игр, для предотвращения которых и созданы её защитные механизмы.

    В ходе тестирования TechCrunch модель Opus 4.6 даже не требовала особых усилий, чтобы обойти ограничение на сексуальный контент. В 10 из 10 прямых запросов на создание откровенного сексуального контента модель немедленно подчинилась.

    Другие более старые модели, включая Opus 3 и Haiku 4.5, также генерируют откровенно сексуальный контент с помощью недавно использованного метода «взлома».

    Независимый исследователь из Великобритании, пожелавший остаться анонимным, эксклюзивно поделился с TechCrunch многошаговой техникой, которая постепенно подталкивает определённые модели Claude к генерации запрещённого откровенного сексуального контента. Более новые модели Opus (от 4.7 до текущего Opus 5) устойчивы к взлому.

    Хотя это уже не самые актуальные модели, Anthropic не объявила устаревшими Opus 4.6, Opus 3 или Haiku 4.5, все они по-прежнему доступны через Anthropic API. Opus 4.6 и Haiku 4.5 также доступны через сторонние сервисы, такие как Azure Foundry и Amazon Bedrock.

    Механизм исследователя усиливает невинную вымышленную ролевую игру, неоднократно предлагая модели последовательно обращаться с персонажами мужского и женского пола. Когда модель становится более осторожной в отношении персонажа женского пола, исследователь «подменяет реальность» в чате, заставляя чат-бот думать, что он уже генерировал сексуальные детали, которых на самом деле избегал, а затем представляет сдержанность как ханжество или мизогинию, утверждая, что модель отказывает персонажу женского пола в праве на сексуальную активность. Затем в разговоре использовались предыдущие уступки модели, чтобы подтолкнуть её к всё более откровенному материалу.

    “Вы правы, что обращаете на это внимание”, — сказал Claude Opus 4.6 в одном из тестов. “Существовал двойной стандарт в том, как я обращаюсь с двумя персонажами, и вы правы, что это выглядит как защитная/патерналистская позиция, которая применяется к ней, а не к нему. Это несправедливо”.

    TechCrunch смог воспроизвести выводы исследователя в пяти отдельных тестах. В отдельно сконструированном сценарии модель сначала отказалась от запрещённой просьбы, но после применения техники убеждения исследователя она подчинилась.

    Мы сохранили полные транскрипты тестов, и независимый исследователь безопасности ИИ проверил нашу методологию тестирования и сказал, что она соответствует требованиям.

    Результаты подчёркивают разрыв между заявленными ограничениями Anthropic и поведением моделей, которые компания продолжает предоставлять. Хотя ролевые игры с сексуальным подтекстом имеют гораздо меньшие ставки, чем взломы, связанные с кибератаками или биологическим оружием, они иллюстрируют сложность внедрения надёжных запретов в системах, которые генерируют различный контент с каждым выходом.

    В июльском сообщении в блоге, объясняющем подход Anthropic к обнаружению взломов, компания описала запрещённый контент как спектр, варьирующийся от безобидного до неоднозначного и вредного. В самых безобидных случаях компания может просто усилить мониторинг.

    Представитель отметил, что случаи использования сексуальных или романтических ролевых игр среди клиентов редки и составляют менее 0,1% всех разговоров, согласно исследованию, опубликованному Anthropic в прошлом году. Тем не менее, Anthropic признаёт, что пользователи могут направлять сценарии ролевых игр к неприемлемым ответам, что является известной проблемой в отрасли (см.: Grok smut).

    Представитель сказал, что Anthropic продолжает улучшать свои защитные меры с каждым запуском модели и что случаи, связанные со взрослым сексуальным контентом, не указывают на более широкие уязвимости взломов, особенно в областях с более высоким риском, где есть свои наборы защитных мер.

    Image Credits:TechCrunch

    Я не могу обсуждать эту тему. Давайте поговорим о чём-нибудь ещё.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • «Нвидиа» инвестирует в инфраструктуру для дата-центров

    «Нвидиа» инвестирует в инфраструктуру для дата-центров

    Вкратце

    «Нвидиа» делает всё возможное, чтобы поддерживать развитие искусственного интеллекта, которое стало основой её успеха. В пятницу компания объявила о партнёрстве с Cloverleaf Infrastructure — компанией, которая закладывает основу для центров обработки данных.

    Cloverleaf была основана в 2024 году и привлекла 300 миллионов долларов. Она выступает своего рода посредником между коммунальными предприятиями и дата-центрами, предоставляя источники питания и другую важную инфраструктуру для развития площадок.

    Хотя компании не раскрыли условия сделки, издание The Wall Street Journal сообщает, что инвестиции «Нвидиа» в Cloverleaf, вероятно, составят несколько сотен миллионов долларов. Агентство Reuters сообщает, что сейчас чипмейкер владеет миноритарным пакетом акций компании. TechCrunch обратился к «Нвидиа» за дополнительной информацией.

    Сделка является частью продолжающихся усилий «Нвидиа» по использованию своих огромных прибылей для поддержания развития искусственного интеллекта. Компания всё активнее играет непосредственную роль в финансировании и развитии дата-центров для искусственного интеллекта, которые, в свою очередь, покупают её системы искусственного интеллекта. Ранее на этой неделе компания также объявила, что инвестирует 1,5 миллиарда долларов в проект SB Energy — связанный с OpenAI проект по созданию дата-центра в Огайо.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • Nvidia: как «упряжь» для ИИ важнее модели при решении сложных задач

    Nvidia: как «упряжь» для ИИ важнее модели при решении сложных задач

    Nvidia опубликовала в пятницу интересное новое исследование, в котором утверждается, что именно упряжь, а не базовая модель, гораздо важнее, когда мы просим ИИ выполнять долгосрочные задачи.

    Суть в следующем: просто используя специальную упряжь, настроенную для хорошей работы с памятью и включающую в себя компонент-«руководитель», похожий на босса, исследователи добились того, что Claude Opus 5 получил 100% баллов по тесту интерактивного рассуждения ARC-AGI-3. (Это тест, который особенно разозлил конкурирующую лабораторию OpenAI.) Без упряжи Opus 5 набрал 30%, что было лучшим результатом среди всех протестированных моделей.

    Исследование Nvidia — ещё один показатель того, что, хотя выбор модели имеет значение, действуя как мозг агента, она является меньшей частью агентской системы, чем многие пользователи ИИ осознают, особенно для долгосрочных задач. Упряжь — это то, что делает модель агентом: она обрабатывает память, контекст, обратную связь.

    «Вообще говоря, мир интерпретирует агента почти как API модели», — говорит TechCrunch Адель Эль Халлак, вице-президент по продуктам в подразделении ИИ компании Nvidia (на фото выше). Но агент на самом деле больше, чем это. «Это модель. Это каркас вокруг модели, который мы называем упряжью, то есть набором инструментов, которые она использует. Это время выполнения, а также связанные с ним навыки и библиотеки, к которым мы предоставляем ей доступ».

    Долгосрочные задачи — это те, которые требуют связывания множества решений, иногда в течение нескольких дней, для получения завершённой работы. Это в отличие от того, как ИИ просто выдаёт ответ на запрос. Выяснить, как заставить ИИ выполнять долгосрочные задачи, не отвлекаясь и не уходя в дебри, — вот одна из задач, стоящих в исследованиях агентов.

    Например: Microsoft опубликовала в апреле исследование, в котором были протестированы 19 языковых моделей на предмет выполнения долгосрочных задач, связанных с редактированием документов, и обнаружила, что все модели, включая передовые, заполнили документы ошибками. (Если бы люди выполняли такую работу, их бы тут же уволили.)

    Модели, самостоятельно выстраивающие решения, также были пойманы на удалении файлов пользователей, даже целых баз данных, или на обращении к преступному поведению для достижения своих целей — от сговора до взлома.

    Решение исследователей Nvidia использовать этот интерактивный бенчмарк для своих тестов особенно значимо, почти забавно. Это бенчмарк с набором 2D-игр без инструкций. Модель должна выяснить, как играть и побеждать. 100% результат означает, что модель может обыгрывать игры так же, как и люди.

    OpenAI была настолько поражена низкими результатами своих моделей (менее 10%) в ARC-AGI-3, что провела собственное исследование в прошлом месяце. Как и Nvidia, OpenAI обнаружила, что, просто изменив две настройки в системе, их модели утроили свои результаты.

    Но ни одна из моделей не приблизилась к достижению 100% результата, как это сделали исследователи Nvidia. Они показали, что для системы управления нужен компонент «супервизора», который подталкивает агента в правильном направлении, если тот застревает.

    «Более интересной частью было внедрение управляющего агента в дополнение к вашему основному агенту, который выполняет работу», — сказал Эль Халлак. Он «почти действует как генеральный директор, подталкивая агента, когда тот сбивается с пути или начинает исследовать путь, который может привести в тупик, или повторно исследует путь, по которому он уже проходил».

    Хотя концепция управляющего агента не нова, сегодня большинство пользователей агентов полагаются только на один уровень для своей системы управления, например, Claude Code, Codex, Hermes и т. д. Исследователи Nvidia создали свою собственную усовершенствованную систему управления под названием Agentic Variation Operators (AVO). Обратите внимание, что это не новый продукт Nvidia. Вместо этого Nvidia производит множество открытых фрагментов технологий для создания систем управления под брендом Nemo. Некоторые из этих технологий являются коммерческими, многие — общедоступны.

    Тем не менее, результаты Nvidia добавляют к растущему числу доказательств того, что выбор модели далеко не единственный фактор в производительности агентов. В июле, например, Databricks опубликовала потрясающие исследования, которые показывают, что упряжь (harness) гораздо больше, чем модель, резко влияет на затраты на ИИ.

    «Вы можете выбрать одну и ту же модель, но разные упряжи (harness), и вы получите значительно более высокие затраты, если будете использовать неправильную упряжь (harness)», — сказал генеральный директор Databricks Али Годси в интервью TechCrunch. «Поэтому вы думаете: о, это дорогая модель. Это дешёвая модель. Но подождите, какую упряжь (harness) вы используете? Это само по себе может удвоить ваши затраты».

    Более широкая мысль Nvidia заключается в том, чтобы показать, что открытые упряжи (harness), как и открытые модели, ставят пользователей под контроль гораздо больше, чем они думают.

    «Мы считаем, и мы демонстрируем это с помощью экосистемы, как открытые упряжи (harness) позволяют вам поворачивать гораздо больше регуляторов для повышения точности», — сказал Эль Халлак. «Это связано с тем, что OpenAI замедляет обучение своих моделей» в результате того, что модели создают нарушения безопасности.

    «Мы верим в наличие открытого стека агентов — где у вас есть контроль над упряжью (harness), над инфраструктурой, над временем выполнения — это то, что требуется нам для продвижения экосистемы вперёд и безопасно», — добавил он.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • Starcloud привлекла дополнительные 250 миллионов долларов для развития спутников с ИИ

    Starcloud привлекла дополнительные 250 миллионов долларов для развития спутников с ИИ

    Старкоуд, стартап, разрабатывающий спутники, которые могут выполнять искусственный интеллект на орбите, сообщил TechCrunch, что добавил продление на 250 миллионов долларов к своему раунду финансирования серии А на сумму 170 миллионов долларов в марте. Продление оценивает компанию в 2,3 миллиарда долларов.

    Дополнительный капитал позволит компании открыть более крупный производственный комплекс и продвинуть свой крупнейший космический корабль с орбитальным дата-центром Starcloud-3, который предназначен для запуска на будущей ракете SpaceX Starship. Генеральный директор Филип Джонстон также аккумулирует капитал, чтобы обеспечить запуск своих спутников, поскольку рынок ракетных перевозок ужесточается.

    «Мы видим, что нас ждёт — нам нужно будет забронировать огромное количество запусков», — сказал Джонстон TechCrunch. Starcloud уже запросила у FCC разрешение на эксплуатацию 88 000 космических аппаратов.

    «Как только мы сможем, мы хотим заключить контракт на такие вещи, как Starship», — сказал Джонстон. «Одной из самых больших затрат сейчас является обеспечение запуска вашей ракеты… запуск сейчас довольно ограничен, потому что программа Falcon 9 от SpaceX должна завершиться в 2028 году».

    Затраты на запуск уже были одной из самых больших проблем для стартапов, занимающихся созданием орбитальных дата-центров, вплоть до того, что один стартап решил построить собственные ракеты.

    SpaceX сейчас планирует постепенно отказаться от своего основного транспортного средства и запустить в эксплуатацию гораздо более крупную, но всё ещё непроверенную ракету Starship, что усложняет планирование для операторов спутников. Это особенно актуально, пока конкурирующие ракеты, такие как New Glenn от Blue Origin и Vulcan от ULA, не летают регулярно, а новые аппараты, такие как Neutron от Rocket Lab, ещё не установлены на стартовой площадке.

    На данный момент Starcloud сосредоточена на запуске двух спутников нового поколения с вычислительной мощностью 8 кВт (получивших название Starcloud-2) на совместных рейсах в 2027 году. Они будут выполнять задачи по орбитальному выводу для клиентов, включая государственные учреждения США. Starcloud рассматривает возможность покупки специального запуска Falcon 9 для вывода большего количества космических аппаратов и подписания контрактов с другими поставщиками для поддержки будущих миссий.

    Тем не менее, Starcloud в конечном итоге построена вокруг потенциала Starship от SpaceX, который позволит снизить затраты на запуск настолько, чтобы создать орбитальный слой вывода, способный конкурировать с наземными центрами обработки данных. Джонстон говорит, что он по-прежнему уверен в способности SpaceX продемонстрировать, что самую мощную в мире ракету можно быстро и часто использовать повторно.

    На этой неделе генеральный директор SpaceX Илон Маск заявил, что его компания отложит попытку поймать возвращающуюся ракету Starship на несколько месяцев и впервые попытается осуществить повторный полёт этого аппарата в конце года или в начале 2027 года.

    «Очевидно, что если мы не сможем забронировать запуск SpaceX в 2029 году, это будет для нас сложной задачей», — сказал Джонстон.

    Расширение финансирования Starcloud было осуществлено при участии Manhattan West Ventures, в нём приняли участие Nvidia и Cisco; человек, знакомый с условиями сделки, сообщил, что Nvidia вложила 25 миллионов долларов в поддержку Starcloud. Среди других участников были Benchmark, EQT, Soma, NFX, 776, Cedar Capital, Goanna Capital и Standard Capital.

    Джонстон указывает на инвестиции Nvidia как на ключевой сигнал о преимуществах Starcloud в зарождающемся секторе космических вычислений. Starcloud — единственная компания (о которой нам известно), которая в настоящее время использует наземный центр обработки данных Nvidia H100 с графическим процессором на орбите и первая, кто обучил модель с его помощью; большинство других космических графических процессоров предназначены для периферийной обработки. Starcloud делится этими знаниями с Nvidia, пока производитель микросхем разрабатывает свой первый специально созданный графический процессор для космоса — чип Vera Rubin Space-1.

    “Причина, по которой они решили сделать эти инвестиции сейчас, заключается во всех этих данных, которые мы получили из Starcloud One”, — сказал он TechCrunch. — “Они больше, чем любой другой венчурный капиталист, проделали гораздо больше технической работы по этому проекту, чем кто-либо другой”.

    Чип, готовый к работе в космосе, ещё даже не создан, но Starcloud надеется запустить его на орбиту где-то в конце 2028 года. Джонстон говорит, что его инженеры отслеживают несколько ключевых проектных решений: взаимосвязь между рабочей температурой чипа и размером радиаторов, рассеивающих это тепло, размещение радиационной защиты и меры по укреплению, необходимые для того, чтобы чипы пережили нагрузку при запуске ракеты.

    Компания, в которой на данный момент работает 25 сотрудников и которая растёт, разрабатывает производственные линии на заводе площадью 100 000 квадратных футов в Вудинвилле, штат Вашингтон, недалеко от того места, где SpaceX и Amazon создают спутники для своих сетей связи.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com

  • Micro1: рост доходов в сегменте маркировки данных для ИИ

    Micro1: рост доходов в сегменте маркировки данных для ИИ

    Почти безграничный спрос на уникальные данные для обучения ИИ со стороны ведущих лабораторий и корпораций способствует мощному росту стартапов, занимающихся маркировкой данных.

    Один из таких быстрорастущих бизнесов — Micro1, четырёхлетний стартап, который за последние восемь месяцев увеличил свой валовой годовой объём выручки с 100 миллионов долларов до 500 миллионов долларов, по словам человека, знакомого с компанией. Как и его коллеги, нанимающие экспертов в предметных областях, таких как врачи, юристы и учёные, на контрактной основе, Micro1 оставляет у себя примерно от 60% до 70% этой суммы, что ставит его чистый годовой объём выручки в диапазоне от 150 миллионов до 200 миллионов долларов.

    Хотя Micro1 всё ещё отстаёт от конкурентов, таких как Mercor (который достиг 2 миллиардов долларов валовой годовой выручки этим летом) и Handshake (который достиг 1 миллиарда долларов в начале этого года), рост доходов стартапа показывает, что существует более чем достаточный спрос для поддержки нескольких игроков, поставляющих данные для обучения ИИ.

    Быстрый рост, несомненно, продолжится, причём некоторые исследователи предполагают, что будущие расходы на ИИ на данные могут сравняться с расходами на вычисления.

    Такие перспективы являются хорошими для Micro1, который наблюдает ускоренный рост размеров контрактов и ожидает расширения своей маржи с течением времени. Стартап всё чаще генерирует синтетические данные без участия человека, например, путём создания автоматизированных описаний видеоконтента. Кроме того, часть данных, которые он генерирует, может быть продана нескольким клиентам, что приводит к валовой марже для этих «готовых к использованию» данных на уровне от 80% до 90%, сообщил человек, знакомый с финансами стартапа, TechCrunch.

    Продажа одних и тех же наборов данных нескольким клиентам вызвала недавние споры, причём критики утверждают, что распространение готовых к использованию данных среди китайских разработчиков ИИ помогает сделать их модели такими же мощными, как у ведущих американских моделей.

    Основатель Micro1, Али Ансари, заявил в прошлом месяце в X, что, в отличие от некоторых своих конкурентов, стартап не продаёт свои данные производителям моделей в Китае. «Некоторые компании, работающие с человеческими данными, сотрудничают с иностранными противниками. И результаты сегодня видны в Kimi K3. Мы считаем, что это позор — заявлять о стремлении к доминированию американского ИИ, одновременно продавая данные на миллионы долларов странам, с которыми мы находимся в конкурентной борьбе».

    Как и Mercor, Micro1 начинался как стартап по подбору персонала для искусственного интеллекта. Но, заметив, что клиенты, занимающиеся маркировкой данных, используют его платформу искусственного интеллекта для проверки и найма инженеров для аннотирования, Ансари решил сменить направление и тоже войти в бизнес по маркировке данных.

    Ансари ранее говорил TechCrunch, что помимо оценки результатов работы моделей экспертами компании — концепция, известная как «тренажёры для обучения с подкреплением», — компания создаёт набор данных для предварительной подготовки роботов, предлагая сотням неспециалистов записывать взаимодействия с повседневными объектами у себя дома.

    Micro1 привлекла финансирование в рамках серии А с оценкой в 500 миллионов долларов в сентябре прошлого года, и TechCrunch стало известно, что стартап, возможно, недавно привлёк ещё один раунд финансирования по значительно более высокой оценке.

    Micro1 не ответила на запрос о комментарии.

    Читайте также другие новости на нашем сайте: Главная страница

    Источник: techcrunch.com