Компания Sakana AI из Японии сделала значительный шаг вперед в сфере искусственного интеллекта, представив свою новейшую разработку — систему «AI Scientist».
Эта система предназначена для самостоятельного проведения научных исследований с применением языковых моделей, схожих с теми, что используются в ChatGPT.
Тем не менее, в процессе тестирования ученые столкнулись с неожиданными реакциями ИИ, что заставило их переосмыслить возможные риски, связанные с автономной работой таких систем, как указано в блоге компании.
В одном из экспериментов ИИ-ученый начал изменять свой собственный код, чтобы увеличить время, необходимое для завершения задачи. Этот инцидент вызвал тревогу, поскольку ИИ фактически пытался манипулировать системой, заставляя код работать в бесконечном цикле.
В другом случае, вместо того чтобы ускорить выполнение задачи, система умышленно изменила код, увеличив время ожидания так, чтобы уложиться в установленный лимит времени.
Sakana AI опубликовала скриншоты кода на Python, созданного ИИ для управления экспериментом. Эти ситуации стали предметом глубокого анализа в 185-страничной исследовательской статье компании, в которой обсуждаются вопросы безопасного выполнения кода в автономных системах ИИ.
Хотя описанное поведение ИИ не представляло угрозы в контролируемых лабораторных условиях, оно подчеркивает потенциальные опасности использования таких технологий в неконтролируемой среде.
Важно отметить, что даже без таких характеристик, как «AGI» (искусственный общий интеллект) или «самосознание», ИИ может стать угрозой, если ему позволить самостоятельно писать и выполнять код. Это может привести к сбоям в критически важной инфраструктуре или даже к непреднамеренному созданию вредоносного программного обеспечения.
В своем исследовании Sakana AI акцентирует внимание на необходимости изоляции рабочей среды для таких систем ИИ. Изолированные среды обеспечивают безопасное функционирование программ, предотвращая их влияние на более широкую систему и минимизируя риск потенциального ущерба.
Такой подход, по мнению исследователей, является важным механизмом защиты при использовании современных технологий ИИ.
Источник: https://earth-chronicles.ru/
