В индустрии искусственного интеллекта пользователи всё больше осознают, насколько дорогостоящим может быть их внедрение, — и ощущают новую необходимость сократить расходы. Но хотя модели с открытым исходным кодом предлагают значительно более низкую стоимость за токен, может быть трудно найти подходящую модель для конкретной задачи.
В четверг компания Writer, предлагающая инструменты и агенты искусственного интеллекта для маркетологов, запустила новую флагманскую модель под названием Palmyra X6, направленную на решение этой проблемы для своих пользователей. Созданная как вариант после обучения на основе модели с открытым исходным кодом Z.ai GLM-5.2, Writer утверждает, что новая система должна предоставить готовые к развёртыванию возможности по гораздо более низкой цене. Компания оценивает, что новая модель в сочетании с изменениями в инфраструктуре компании сократит расходы для её клиентов на целых 50% при выполнении базовых задач.
Вместе с новой моделью компания также выпустила значительные обновления своего стандартного агентского оборудования. Обе функции будут доступны клиентам Writer начиная с четверга.
«Я думаю, что предприятия абсолютно устали от погони за следующим ориентиром, — сказала генеральный директор Мэй Хабиб в интервью TechCrunch. — Они хотят снижения затрат, и, похоже, никто не может этого обеспечить».
Новый подход делает особый акцент на сложных многошаговых задачах, выполняемых быстрее и с меньшим количеством токенов. И Writer рассматривает оптимизацию оборудования как важнейший рычаг для достижения этой цели.
Недавняя статья исследователей Writer подтверждает этот подход, тестируя небольшие изменения в эффективности оборудования на множестве различных моделей. Исследование показало, что во многих случаях изменения в оборудовании были более надёжным способом снижения затрат, чем выбор модели, при этом затраты снизились в среднем на 40% в ходе тестирования.
«Оборудование — это тот компонент, эффективность которого умножается на каждой модели, которую организация запускает — как в настоящем, так и в будущем», — написали исследователи.
Для клиентов Writer опыт по-прежнему не зависит от модели: Palmyra X6 будет работать вместе с другими моделями Writer или внешними моделями, импортированными через Azure или Amazon Bedrock. Но Хабиб также видит, как стремление сократить расходы приводит к более широкому недоверию к крупным лабораториям искусственного интеллекта, которые имеют финансовый стимул для увеличения использования токенов.
«Взрыв затрат здесь просто беспрецедентен для клиентов, как и степень, в которой ИТ-директора отказываются от лабораторий», — сказал Хабиб TechCrunch, добавив, что лаборатории искусственного интеллекта «не очень хорошо понимают, как помочь предприятию получить выгоду от ИИ».
Читайте также другие новости на нашем сайте: Главная страница
Источник: techcrunch.com
Добавить комментарий