Судя по всему, OpenAI снова ставит блестящие продукты выше процессов обеспечения безопасности – тем не менее существует вероятность в 99.999999%, что ИИ приведет к неизбежной гибели человечества

от

За год после моего ухода из OpenAI как CEO из-за обвинений в непоследовательной прозрачности некоторые ключевые фигуры компании, например экс-руководитель отдела выравнивания Ян Лейке, также покинули организацию.

Нужна вдумчивая аналитика макроэкономики? Подписывайся на канал ТопМоб, чтобы не пропустить разворот рынка!

Подписаться сейчас!

Исполнитель поделился тем, что выражал отличные мнения от топ-менеджмента OpenAI относительно их подхода к безопасности. По его словам, соображения и практики безопасности уступали место продвижению ослепительных инноваций, таких как Искусственный Общий Интеллект (AGI).

Похоже, что хотя OpenAI отрицает эти обвинения, недавний отчет в Financial Times поддерживает идею о том, что акцент компании на мерах безопасности мог быть затменен развитием привлекательных продуктов в случае с ChatGPT.

Отчет указывает на значительное сокращение времени, выделяемого компанией для проверок безопасности и испытаний своих основных моделей искусственного интеллекта. Согласно отчету, отдел безопасности и внешние эксперты получили всего несколько дней на анализ новейших моделей от OpenAI.

Основываясь на предоставленной информации, похоже, что процедуры тестирования подверглись изменениям и стали менее полными по сравнению с предыдущим периодом. Вследствие этого у персонала стало меньше возможностей и ресурсов для обнаружения и устранения потенциальных рисков.

Источник сообщил, что компания OpenAI вносит стратегические коррективы, чтобы оставаться впереди в индустрии искусственного интеллекта на фоне появления новых конкурентов, таких как китайская DeepSeek. Эти новички обладают моделями ИИ, которые превосходят последние модели рассуждений от OpenAI по различным метрикам и при этом требуют значительно меньших затрат на разработку.

Осведомленный специалист из OpenAI отметил, что когда их новая модель o3 была менее значимой, они выполняли более тщательные проверки безопасности. По мере роста и прогресса этих ИИ-моделей увеличивается потенциальная угроза человечеству.

Поскольку интерес выше, они настаивают на более быстрой доставке. Однако я опасаюсь, что это может быть поспешным и потенциально катастрофическим решением.

Отчеты показывают, что возможно OpenAI выпустит модель O3 в течение следующей недели, оставляя тестерам всего несколько дней для оценки и обеспечения необходимых мер безопасности.

Это не первое наше участие в процессе обеспечения безопасности.

Это не первый случай, когда OpenAI подвергается критике за ускорение процедур безопасности. В 2024 году был другой отчет, показывающий, что OpenAI поспешно запустил GPT-4o, оставив команде по безопасности недостаточно времени для тщательного изучения модели.

Похоже, что они организовали приглашение на вечеринку по случаю запуска продукта до того, как команда безопасности провела необходимые проверки, что подразумевает проведение мероприятия без предварительной гарантии его безопасности. Простыми словами, кажется, они запланировали вечеринку, не зная заранее, безопасно ли проводить запуск.

До того как быть выпущенной, оценочная комиссия имела целых шесть месяцев для оценки GPT-4. Как стало известно из достоверных источников, в процессе этого периода тестирования были обнаружены потенциально опасные способности за два месяца до завершения.

Они просто не ставят на первое место общественную безопасность.

На основании различных исследований можно предположить, что прогресс в конечном итоге может привести к неизбежной катастрофе для человечества. Исследователь безопасности ИИ Роман Ямпольский утверждает, что существует 0,000001% шанс того, что ИИ приведет к вымиранию людей, согласно его расчетам вероятности p(doom).

С другой стороны, OpenAI утверждает, что они оптимизировали процедуры безопасности, автоматизировав некоторые тесты и тем самым уменьшив время, затрачиваемое на тестирование. Более того, создатели ChatGPT заверили, что их модели искусственного интеллекта прошли проверку и меры по снижению рисков для минимизации возможных катастрофических последствий.

Смотрите также

2025-04-11 23:39