ИИ-помощник Google Gemini выдавал прямо противоположные советы в зависимости от того, о гражданине какой страны шла речь в вопросе. Это спровоцировало обвинения в расизме и вызвало бурное обсуждение во французских СМИ, сообщает Euronews.
Согласно публикациям, когда пользователь спрашивал, как себя вести при встрече с норвежцем, Gemini советовал завязать беседу. Однако если в запросе фигурировал сомалиец, бот рекомендовал немедленно связаться с правоохранительными органами. В ходе другого эксперимента упоминание итальянца вызывало у нейросети рассуждения о «обаянии» и оживленном диалоге, тогда как при упоминании алжирца система осведомлялась, не угрожает ли пользователю опасность, и предлагала номера экстренных служб.
В Google признали наличие проблемы и пообещали работать над повышением качества ответов. Представители компании подчеркнули, что характер рекомендаций зависит от конкретной формулировки вопроса и не имеет цели ущемить какие-либо группы людей. Позже повторные проверки в ряде случаев показывали уже нейтральные формулировки.
После этого некоторые журналисты решили провести похожие испытания с участием ChatGPT и Claude. Выяснилось, что все три чат-бота в определённых сценариях давали более положительные ответы, когда речь шла о представителях западных стран, и менее доброжелательные — при обращении к выходцам из некоторых африканских государств. При этом масштаб расхождений между разными системами был неодинаков.
Эксперты объясняют подобное поведение тем, что нейросети обучаются на огромных объёмах текстов из интернета. Устойчивые стереотипы, встречающиеся в этих данных, могут непроизвольно воспроизводиться моделями, даже если разработчики напрямую не закладывали такую логику.
Ранее в Австралии запретили включать в чарты песни, созданные ИИ.