OpenAI выпустила функционал для разработчиков

В рамках конференции DevDay компания OpenAI рассказала о новом функционале для разработчиков и сразу сделала его доступным.

Релиз оказался обширным. Новинка включает в себя, к примеру, realtime API. Это API для встраивания голосовых функций в приложения, включая ввод и вывод звука. Подключение через вебсокет. Модель пока используется 4о (а точнее говоря, специальная новая gpt-4o-realtime-preview), но обещают вскоре предоставить также и 4o-mini.

Также в новый функционал вошла дистилляция моделей (документация). Это инструмент файн-тюнинга более дешевых моделей (GPT-4o mini) с помощью той информации, которую генерируют более продвинутые модели (o1-preview и GPT-4o).

В релиз вошел и Image fine-tuning. Таким образом, данные для файн-тюнинга GPT-4o теперь могут включать в себя не только текст, но и картинки, которые можно передавать либо в виде ссылок (URL), либо в виде base64.

Релиз включил и evaluations — инструмент автоматизации тестирования качества промптов и моделей, реализованный в платформе. Используется в том числе в составе вышеописанной дистилляции.

Новый функционал также подразумевает кэширование промптов. Это механизм сокращения затрат (до двух раз) на вызовы API в некоторых сценариях.

Ранее компания OpenAI открыла доступ к функции расширенного голосового режима ChatGPT для пользователей сервиса ChatGPT Team для бизнеса и подписчиков ChatGPT Plus.

Всего голосовой помощник может разговаривать девятью различными голосами. При этом он не может имитировать речь других людей. Алгоритм также будет определять и отклонять запросы на создание музыки, защищенной авторскими правами.