«Слишком умные». Почему ученые стали бояться нейросетей?

Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А ведь в последние десять лет эти технологии окружают нас повсюду: говорящий навигатор или голосовой помощник в смартфоне, умная колонка, система распознавания автомобильных номеров и лиц.

   
   

Самые последние модели рисуют зрелищные иллюстрации, создают музыку и сценарии к сериалам. С ними даже можно вести умный разговор! Уже сейчас в Москве искусственный интеллект расшифровывает рентгеновские снимки в поликлиниках и помогает проверять школьные сочинения.

Так почему же специалисты вдруг забили тревогу? Разбирался aif.ru.

Создатель осудил свое творение

«Крестный отец» искусственного интеллекта Джеффри Хинтон уволился из Google и заявил об опасности таких машин. По его мнению, злоумышленники смогут заполнить интернет множеством фейков — фото, видео и текстов. Кроме того, заявляет ученый, из-за умений машин начнется массовая безработица. А еще, считает Хинтон, недалек тот день, когда появятся роботы-убийцы. Ведь отсутствие контроля за «слишком умной» программой может привести к печальным последствиям. Уже сейчас некоторые компании позволяют программам запускать код самостоятельно. Но Хилтон не единственный, кто забил тревогу: в марте более тысячи ученых подписались под письмом, призывающим остановить разработку искусственного интеллекта. Они считают, что ИИ, сопоставимый с человеческим, представляет серьезную угрозу обществу и всей цивилизации.

Как так получилось? На вопросы Aif.ru ответил руководитель команды машинного обучения в Yandex.Market Артем Бондарь.

Слабый контроль слишком умной машины

«Если коротко: раньше для разработки нейросетей применялось обучение с учителем: контролируемое, но его мало куда можно применить. Сейчас это обучение без учителя — получается какое-то неприлично умное, но слабо контролируемое», — объясняет IT-специалист.

По словам Бондаря, сейчас разработчики не только не могут полностью контролировать поведение нейросетей в негативных сценариях, но даже заранее оценить масштаб и глубину проблем.

   
   

Почему человек потерял контроль?

В 2010-х искусственному интеллекту показывали исходные данные и то, что из них должно получиться, объясняет эксперт. Сеть заучивала закономерность. Однако охватить все возможные комбинации и запросы очень трудно. Поэтому параллельно начали развивать другой подход: обучение без учителя.

«Это похоже на обучение вождению, — объясняет Бондарь. — Людей не учат правилам проезда по каждому перекрестку, а учат разметке и знакам. То есть это уже структурированное знание „как проехать любой перекресток“», — объясняет IT-специалист.

«Вот и нейросети сначала дают наблюдать за тем, как люди движутся по всем перекресткам, а затем она „запоминает“ знаки дорожного движения и разметку. И предсказывает, как люди будут проходить перекрестки. Таким образом, мы дали ей возможность самой разобраться в этом, поставив достаточно сложную задачу», — поясняет Артем Бондарь.

Однако этот подход ставит перед разработчиками совсем новые вызовы: если раньше они строго и вручную контролировали поведение нейросети, то в обучении без учителя контроль над ситуацией стал гораздо меньше: ведь непонятно, чему научится сеть, прочитав терабайты текстов из интернета.

Психологи для машины

«Мы все более и более косвенно влияем на то, какие внутренние структуры выстраиваются в сознании этих цифровых организмов, что, естественно, рождает страх: мы не просто не можем полностью контролировать поведение нейросетей в негативных сценариях, но мы даже не можем доподлинно оценить масштаб и глубину проблем, не попробовав применить нейросеть в деле», — поясняет Бондарь.

По словам эксперта, для IT-специалистов это совершенно новый вызов. «Поэтому сейчас, помимо обучения больших языковых моделей, очень много внимания уделяется проверки этих моделей на безопасность — у нас буквально на глазах рождается совершенно новая инженерная дисциплина. Этакие психологи для нейросетей», — пояснил эксперт.

А может, это пиар?

Впрочем, паниковать пока что рано, считает Бондарь. По его словам, это больше похоже на «гонку вооружений» между Google и OpenAI. Стремясь затормозить конкурента, в ход идут вот такие показательные выступления.

«Мне кажется, уход Хилтона — это просто часть политической игры. Сначала они слили два больших отдела, занимавшихся нейросетями, в один. Google Brain проиграл гонку OpenAI в генеративных языковых моделях, поэтому это как будто хорошая мина при плохой игре: заявлять, что пришли „страшные нейросети“», — объясняет специалист.

По его словам, специалисты хорошо знают, что нейросеть — это черный ящик, поэтому «никто в здравом уме не даст „генеративкам“ делать ничего опаснее, чем отвечать на поисковые запросы», заключает Бондарь.