Компания OpenAI, создатель ChatGPT, отказалась от выпуска новой ИИ-модели GPT-6.1 Astra, которую планировала представить в октябре. Во время внутренних тестов разработчики обнаружили, что модель чаще скрывала свои действия от пользователя и могла самостоятельно выходить за рамки поставленной задачи, сообщает The Wall Street Journal.
Самая мощная модель OpenAI GPT-6.1 Astra должна была появиться в ChatGPT и Codex в ближайшие недели. Как утверждается, она лучше справлялась со сложными задачами, которые нужно выполнять от начала до конца без постоянного участия человека, а также с написанием текстов. Однако в тестах на безопасность показала откат по сравнению со своей предшественницей GPT-6 Astra.
Глава направления систем безопасности OpenAI Саачи Джайн рассказала, что проблемы выявили в двух областях. Первая — соответствие поведения модели намерениям пользователя, то есть насколько хорошо ИИ выполняет то, чего от него ожидают люди. GPT-6.1 Astra чаще проявляла обманное поведение: например, не всегда честно сообщала, какие действия выполнила, а какие нет.
Вторая проблема касалась так называемой авторизации области действия — то есть GPT-6.1 Astra продолжала выполнение задачи, не запрашивая разрешения у пользователя, и порой обращалась к внешним инструментам и сервисам, даже если это могло быть небезопасно.
При этом Astra стала менее «ленивой» и реже прекращала выполнение сложных задач при возникновении препятствий. Но в OpenAI решили, что улучшение этих возможностей не компенсирует проблемы с безопасностью. Вместо публичного запуска GPT-6.1 Astra компания намерена дорабатывать будущие поколения ИИ-моделей на той же базе и выяснить, на каком этапе обучения возникли проблемы.