Пока вы читаете это предложение, более тысячи сообщений будет отправлено в «Твиттер» и дюжины постов написаны в блогах. Большая часть их содержания будет совершенно чепуховой: личные неурядицы и сплетни, не имеющие смысла ни для кого, кроме заинтересованных сторон. Но несмотря на это, можно использовать поток информации из блогов и «Твиттера», чтобы сделать прогнозы о социальных и экономических тенденциях, которые затрагивают нас всех.
Интерес к идее анализа веб-данных для составления прогнозов возник около года назад, когда исследователи компании Google стали использовать частоту использования некоторых поисковых запросов для прогнозирования продаж домов, автомобилей и других товаров. В своем эпохальном исследовании Хэл Вариан, главный экономист Google, и его коллега Хьюньян Чой продемонстрировали, как объем поисковых запросов по названиям некоторых продуктов, таких как автомобили, например, рос или понижался параллельно с месячным объёмом продаж. Google сохраняет большой объем истории поисковых запросов, и эта информация находится практически в моментальном доступе. Благодаря этому метод замера покупательского поведения Вариана и Чоя работал много быстрее, чем традиционные прогнозы продаж, которые часто делаются по ретроспективным данным потребительских предпочтений.
Другие исследователи с тех пор проводили анализ содержания поисковых запросов, увязывая его с различными типами массового поведения. В конце 2009 года экономисты Банка Италии продемонстрировали, что объем таких запросов как «база вакансий» является хорошим индикатором предстоящих изменений уровня безработицы в США. Исследователи из Рурского университета в Бохуме, Германия, показали, что отслеживание поисковых запросов Google с названиями товаров массового потребления дает более эффективные средства прогнозирования розничных продаж в США, чем традиционный метод обзора потребительских предпочтений – так называемый индекс потребительского доверия.
В настоящее время поле исследований расширилось – в него включены также постинги в блогах и сообщения «Твиттера». Изобилие тем, которые охватывают эти средства коммуникации, означает, что теперь можно гораздо больше узнать не только и не столько о потребительских предпочтениях. «Возможности огромны», – говорит Джозеф Энгельберг, финансовый исследователь Университета Северной Каролины в Чапел-Хилле.
Сообщения в «Твиттере» могут быть полезны, например, при исследованиях политических предпочтений. Брайан Рутледж и его коллеги из университета Карнеги Меллон в Питтсбурге, штат Пенсильвания, провел анализ настроений избирателей, основываясь на сообщениях «Твиттера», размещенных накануне американских президентских выборов 2008 года. Речь шла об отношении к кандидатам Бараку Обаме и Джону Маккейну. Результаты были использованы для оценки предпочтений избирателей в момент выборов.
Исследователи обнаружили, что полученные данные «Твиттера» практически сошлись с более формальными данными опросов общественного мнения. «И хотя с помощью «Твиттера» не удалость улучшить точность таких опросов, проведенная работа показала, что «Твиттер» может дать более дешевую и быструю альтернативу традиционным методам», – отмечает Рутледж.
Записи в блогах могут быть использованы для прогнозирования поведения фондового рынка, по мнению Эрика Гилберта и Кари Карахалиос из университета штата Иллинойс в Урбана-Шампейн. Эти исследователи представили результаты своей работы в прошлом месяце на Международной конференции посвященной блогам и социальным сетям, состоявшейся в Вашингтоне. Гилберт и Карахалиос использовали более 20 миллионов сообщений в «Живом журнале», чтобы вычислить индекс гражданских настроений на уровне страны, который они назвали «индексом тревожности». Он является мерой частоты, с которой в записях употребляется целый ряд слов, относящихся к мрачным предчувствиям, таких например, как «нервный». Гилберт и Карахалиос описали, каким образом они использовали свой индекс для улучшения прогнозов динамики индекса S&P 500 (Standard and Poor’s 500). Это один из индексов фондового рынка, рассчитываемый на основе данных крупных госкомпаний США.
Динамика S&P 500 может быть предсказана с определенной степенью точности с использованием модели, которая экстраполируется из цен за последние три дня. Гилберт и Карахалиос обнаружили, что когда «индекс тревожности» резко возрастал, S&P 500 завершал день несколько ниже, чем предсказывала «трехдневная» ценовая модель. По словам исследователей, это показывает, что индекс может быть полезен для оценки конъюнктуры экономического поведения. «Блоги – отражение того, что происходит в обществе», – говорит Эрик Гилберт.
Сообщения «Твиттера» могут обладать могут иметь равнозначную прогностическую ценность. Йохан Боллен и его коллеги из Университета штата Индиана в Блумингтоне создали «рейтинг тревожности» на основе анализа сотен миллионов «Твиттер»-сообщений жителей США. Их работа еще не опубликована, но Боллен говорит, что его группа также обнаружила, что увеличение тревожности, рассчитанной по их модели, коррелирует с понижением цен на фондовом рынке относительно ожидаемых. «Мы поражены», – говорит он. «Мы не думали, что взаимосвязь будет иметь прогностическую ценность».
Недоумение ученых резонно: очень немногие сообщения «Твиттера» непосредственно касались биржевых торгов. Представляется, что сообщения могут улавливать некое общее «мнение населения», массовые ощущения, которые, как известно, воздействуют на потребительское поведение. Знания о «мнении населения» могут быть полезны для участников фондового рынка. Они будут менее подвержены рискам зная, к примеру, о пессимистическом настрое потребителей, поскольку потребительские расходы составляют существенную часть экономического роста США.
Другой целевой группой, которая может быть включена в поле исследований новыми методами, могут стать хеджевые фонды. В хеджинге любой инструмент, дающий хотя бы небольшое преимущество, может стоить миллионы долларов. Энгельберг проводил анализы поисковых запросов для предсказания поведения рынка. В начале июня его попросили представить результаты директорам нью-йоркских хедж-фондов. «Они были хорошо знакомы с данными», – говорит он. «У меня сложилось ощущение, что финансисты уже пользовались ими».
Вполне вероятно, что прогностическая ценность этих методов будет возрастать по мере разработки более изощренных методов оценки эмоционального содержания блогов и «Твиттер»-сообщений. Например, вполне возможно, что Гилберт и Карахалиос смогут улучшить свой «индекс тревожности», настроив его на более широкий спектр эмоциональных сигналов.
Другие исследователи скептически относятся к надежности блогов и «Твиттер»-сообщений, однако Пол Тетлок из Колумбийского университета в Нью-Йорке в настоящий момент исследует подверженность фондовых рынков маргинальным воздействиям. В 2007 году он смог продемонстрировать, что мнение, высказанное в колонке Wall Street Journal, может повлиять на поведение фондового рынка.
Проблема с использованием анализа настроений в блогах и «Твиттере», по словам Тетлока, заключается в том, что связь между ними и потребительскими настроениями является косвенной. «Человек, выражающий тревожные чувства в блоге, может быть в разной степени расположен к принятию тех или иных потребительских рисков», – говорит исследователь. «Более того, часть пользовательской аудитории составляют дети, чье общее беспокойство, вероятно, лишь слабо коррелирует с потребительскими и инвестиционными решениями родителей».
С другой стороны, поисковые запросы являются «особенно перспективны» средствами прогнозирования поведения рынка, по мнению Тетлока. Содержание запросов прямо указывает, на что именно люди обращают внимание, и поэтому с большей вероятностью коррелирует с поведением фактических потребителей.
Источник: журнал «New Scientist»
Переводчик: Надежда Пахмутова
«Трамвай» - Евгений Козловский о голосовом поиске Google и Искусственном Интеллекте 
