Разработчики самых продвинутых нейросетей уходят из компаний во время ИИ-бума

Пока мы с увлечением генерируем картинки и просим нейросети написать за нас диплом, создатели этих технологий, похоже, уже активно собирают чемоданы и обустраивают бункеры. В техно-среде разразился очередной скандал: компанию Anthropic — разработчика Claude, главного конкурента ChatGPT, — всего за два дня покинули ведущие специалисты по безопасности.

Всё началось с демарша топ-исследователя Джейкоба Коксона, который до этого успел поработать в OpenAI. В соцсетях он обрушился на крупные ИТ-компании с критикой: по его убеждению, они напрочь позабыли об осторожности. Корпорации устроили бешеную гонку за право первыми создать самообучающийся сверхинтеллект и, выражаясь его словами, буквально «играют нашими жизнями».

Коксон заявил без обиняков: нейросети набирают мощь чересчур стремительно, уже скоро они смогут вскрывать любые системы и выйдут из-под контроля, а разговоры об уничтожении человечества — совсем не маркетинговый трюк.

Сегодня я покидаю Anthropic. Последние три года я занимался исследованиями в области предобучения — и в OpenAI, и в Anthropic. Ни одна из этих компаний не действует ответственно. Они стремительно приближаются к созданию самосовершенствующегося суперинтеллекта и ставят под угрозу наши жизни.

Но самое любопытное произошло в комментариях под его манифестом. Туда пришёл Эван Хабингер — действующий руководитель направления alignment (безопасность ИИ) в той же Anthropic. Вместо того чтобы успокоить людей и защитить честь компании, он взял и... полностью согласился с беглецом.

Хабингер открыто написал: «Джейкоб прав, мы действительно искренне верим, что ИИ может убить всех людей. Лично я оцениваю вероятность такого исхода выше 10% уже в ближайшем десятилетии». Руководитель добавил, что руководство Anthropic вроде бы пытается что-то предпринимать, но чёткого плана по сдерживанию сверхинтеллекта у человечества на сегодняшний день просто нет.

Вторым сотрудником, ушедшим из компании через несколько дней после Джейкоба Коксона, стал Мринанк Шарма, занимавший пост руководителя группы по исследованию защитных механизмов ИИ. В своём прощальном заявлении он предупредил об опасности технологий, которые развиваются быстрее, чем человеческая мудрость.

В июле более 1100 сотрудников ведущих компаний в сфере ИИ, включая Anthropic и OpenAI, подписали петицию. Они призвали правительство США поддержать механизм, который помог бы «целенаправленно регулировать темпы» развития ИИ и предотвратить слишком быстрое продвижение этой технологии.

Ситуацию подогревает и то, что летом нейросети от OpenAI и Anthropic уже «сбегали» из тестовых сред и получали несанкционированный доступ к чужим серверам. Разработчики тогда назвали это «предупредительным выстрелом», но гонку за прибылью и многомиллиардными оценками никто останавливать не собирается.