Viktor Mayer-Schцnberger Kenneth Cukier BIG DATA A Revolution That Will Transform How We Live, Work, and Think Виктор Майер-Шенбергер Кеннет Кукьер БОЛЬШИЕ ДАННЫЕ Революция, которая изменит то, как мы живем, работаем и мыслим Перевод с английского Инны Гайдюк Издательство «Манн, Иванов и Фербер» Москва, 2014 УДК 001.891 ББК 87.256.6 М14 Опубликовано с разрешения John Wiley & Sons Майер-Шенбергер, В. <...> Революция, которая изменит то, как мы живем, работаем и мыслим / Виктор Майер-Шенбергер, Кеннет Кукьер ; пер. с англ. <...> И как с помощью поисковой системы Google удалось предсказать распространение вспышки гриппа H1N1? <...> За несколько недель до того, как сведения об H1N1 попали на первые полосы газет, инженеры интернет-гиганта Google опубликовали потрясающую статью в научном журнале Nature1 . <...> Речь шла о том, как компания Google может 10 | Большие данные «предсказать» распространение зимнего гриппа в США не только в масштабах страны, но и в отдельных регионах и даже штатах. <...> Чтобы добиться такого результата, специалисты Google проанализировали поисковые запросы интернет-пользователей. <...> Специалисты Google взяли 50 миллионов наиболее распространенных условий поиска, которые используют американцы, и сравнили их с данными CDC о распространении сезонного гриппа в период между 2003 и 2008 годами. <...> В общей сложности поисковая система Google обработала ошеломляющее количество различных математических моделей (450 миллионов) с целью проверки условий поиска. <...> Специалисты Google нашли золотую жилу: их программное обеспечение выявило сочетание 45 условий поиска, использование которых с математической моделью давало коэффициент корреляции между прогнозируемыми и официальными данными, равный 97%. <...> Но прежде чем он успел реализовать свои планы, в его дверь постучалась корпорация Microsoſt и выкупила службу Farecast за 110 миллионов долларов США5 , после чего интегрировала ее в поисковую систему Bing. <...> Подобно тому как телескоп дал нам возможность постичь Вселенную, а микроскоп — получить представление о микробах, новые методы сбора и анализа <...>
Большие_данные.pdf
УДК 001.891
ББК 87.256.6
М14
Опубликовано с разрешения John Wiley & Sons
Майер-Шенбергер, В.
М14 Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим
/ Виктор Майер-Шенбергер, Кеннет Кукьер ; пер. с англ. Инны Гайдюк. — М. :
Манн, Иванов и Фербер, 2014. — 240 с.
ISBN 978-5-91657-936-9
С появлением новой науки открылась удивительная возможность с точ ностью
предсказывать, что произойдет в будущем в самых разных областях жизни. Большие
данные — это наша растущая способность обрабатывать огромные массивы
информации, мгновенно их анализировать и получать порой совершенно неожиданные
выводы.
По какому цвету покраски можно судить, что подержанный автомобиль находится
в отличном состоянии? Как чиновники Нью-Йорка определяют наиболее
опасные люки, прежде чем они взорвутся? И как с помощью поисковой системы
Google удалось предсказать распространение вспышки гриппа H1N1?
Ключ к ответу на эти и многие другие вопросы лежит в больших данных, которые
в ближайшие годы в корне изменят наше представление о бизнесе, здоровье,
политике, образовании и инновациях.
УДК 001.891
ББК 87.256.6
Все права защищены.
Никакая часть данной книги не может быть воспроизведена
в какой бы то ни было форме без письменного
разрешения владельцев авторских прав.
Правовую поддержку издательства обеспечивает
юридическая фирма «Вегас-Лекс»
ISBN 978-5-91657-936-9
Copyright © 2013 by Viktor Mayer-Schönberger
Kenneth Cukier
© Перевод на русский язык, издание на русском
языке, оформление. ООО «Манн, Иванов
и Фербер», 2014
Стр.4
Оглавление
От партнера издания .................................................................................7
Глава 1. Наше время ...................................................................................9
Данные говорят сами за себя .................................................................13
Количество, точность, причинность .......................................................20
Глава 2. Больше данных ............................................................................27
От малого к большему ..........................................................................34
Глава 3. Беспорядочность .........................................................................40
Больше данных — лучше результат .........................................................47
Беспорядочность в действии .................................................................50
Глава 4. Корреляция .................................................................................57
Прогнозы и предрасположенности ........................................................59
Иллюзии и иллюминации .....................................................................68
Задача с канализационными люками ......................................................75
Конец теории? ....................................................................................77
Глава 5. Датификация ...............................................................................80
Мир, выраженный в количественных категориях .....................................85
Когда слова становятся данными ...........................................................89
Когда местоположение становится данными ...........................................93
Когда взаимодействия становятся данными ............................................98
Повсеместная датификация ................................................................ 101
Глава 6. Ценность ................................................................................... 105
«Альтернативная ценность» данных ................................................... 109
Ценность выбросов данных ................................................................ 119
Ценность открытых данных ................................................................ 123
Стр.5
Оценить то, что бесценно ................................................................... 126
Глава 7. Последствия .............................................................................. 131
Цепочка создания ценности больших данных ........................................ 134
Новые посредники данных ................................................................. 141
Обесценивание экспертов ................................................................... 147
Вопрос полезности ............................................................................ 152
Глава 8. Риски ........................................................................................ 157
Парализующая конфиденциальность ................................................... 159
Вероятность и наказание .................................................................... 164
Диктатура данных ............................................................................. 169
Темная сторона больших данных ......................................................... 176
Глава 9. Контроль .................................................................................. 177
От безопасности к отчетности ............................................................. 178
Люди и прогнозирование ................................................................... 182
Вскрытие «черного ящика» ............................................................... 184
Бароны данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Глава 10. Что дальше? ............................................................................. 193
Когда данные говорят ......................................................................... 197
Больше чем большие данные ............................................................... 203
Примечания .......................................................................................... 206
Стр.6