Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Человечество научилось собирать, обрабатывать и использовать в науке, бизнесе и повседневной жизни огромные массивы данных. Но что делать с данными, которых у нас нет? Допустимо ли игнорировать то, чего мы не замечаем? Британский статистик Дэвид Хэнд считает, что это по меньшей мере недальновидно, а порой – крайне опасно. В своей книге он выделяет 15 влияющих на наши решения и действия видов данных, которые остаются в тени. Например, речь идет об учете сигналов бедствия, которые могли бы подать жители бедных районов, если бы у них были смартфоны, результатах медицинского исследования, которые намеренно утаили или случайно исказили, или данных, ставших «темными» из-за плохого набора критериев для включения в выборку. Хэнд также рассказывает о том, какие меры могут сгладить эффект «темных данных» и как их можно обратить себе на пользу. Книга будет интересна широкому кругу читателей, интересующихся дата-сайенс, программированием и статистикой.

Жанры: Экономическая статистика, Базы данных
Цикл: Не является частью цикла
Год публикации: 2021

Читать онлайн Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных


Переводчик М. Белоголовский

Редактор В. Ионов

Главный редактор С. Турко

Руководитель проекта А. Василенко

Корректоры Е. Аксёнова, А. Кондратова

Компьютерная верстка К. Свищёвв

Художественное оформление и макет Ю. Буга


© 2020 by David J. Hand

This edition published by arrangement with the Science Factory, Louisa Pritchard Associates and The Van Lear Agency LLC.

© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2021


Все права защищены. Данная электронная книга предназначена исключительно для частного использования в личных (некоммерческих) целях. Электронная книга, ее части, фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и любому другому использованию без разрешения правообладателя. В частности, запрещено такое использование, в результате которого электронная книга, ее часть, фрагмент или элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе посредством сети интернет, независимо от того, будет предоставляться доступ за плату или безвозмездно.

Копирование, воспроизведение и иное использование электронной книги, ее частей, фрагментов и элементов, выходящее за пределы частного использования в личных (некоммерческих) целях, без согласия правообладателя является незаконным и влечет уголовную, административную и гражданскую ответственность.

Посвящается Шелли


Предисловие

Перед вами необычная книга. Почти все, что издается на эту тему – будь то популярная литература о больших или открытых данных, обработке данных или пособия по статистическому анализу, – основывается на том, что у вас уже есть. Речь идет об информации, хранящейся в компьютере, ящиках рабочего стола или аудио-, видеозаписях вашего смартфона. Но эта книга совсем о другом. Она о данных, которых у вас нет. Возможно, вы пытаетесь получить их прямо сейчас или когда-то безуспешно пытались сделать это, а может быть, ошибочно полагаете, что они у вас имеются. Как бы то ни было, речь пойдет о данных, которых у вас нет.

Я утверждаю и далее продемонстрирую это на многих примерах, что отсутствующие данные важны не менее тех, которыми мы располагаем. Вы сможете сами убедиться, что неизвестные нам данные являются причиной многих заблуждений, порой имеющих катастрофические последствия. Я покажу, как и почему это происходит. Затем я расскажу, как этого можно избежать – на что именно стоит обращать внимание, чтобы обойти неприятности. А в завершение, когда вы поймете, как возникают темные данные и как они создают нам проблемы, я покажу, как с их помощью перевернуть с ног на голову традиционное представление об анализе данных и, если вы достаточно проницательны, глубже вникнуть в свою область, улучшить процесс принятия решений и выбора действий.

Мое собственное понимание темных данных развивалось постепенно, на протяжении всей карьеры. Я благодарю всех, кто подкидывал мне проблемы, которые, как я постепенно осознал, были не чем иным, как проблемами темных данных. Я выражаю признательность всем, кто вместе со мной искал способы их решения. Сферы, где возникали эти проблемы, варьировались от медицинских исследований и фармацевтической промышленности до государственной и социальной политики, финансового сектора и производства – ни одна сфера человеческой деятельности не свободна от рисков, которые несут с собой темные данные.

Отдельно хочу поблагодарить тех, кто любезно согласился пожертвовать своим временем, чтобы прочитать рукопись этой книги, а именно Кристофороса Анагностопулоса, Нила Ченнона, Найла Адамса и трех анонимных читателей от издательства. Они помогли мне избежать неловкости перед вами, сократив число допущенных ошибок. Питер Таллак, мой агент, помог найти идеального издателя для этой работы, любезно давал мне советы и направлял работу над книгой в целом. Мой редактор из издательства Princeton University Press Ингрид Гнерлих была мудрым и ценным гидом в вопросах оформления проекта. Наконец, я особенно признателен своей жене профессору Шелли Ченнон, за ее вдумчивую критику моих рукописей. Благодаря ее вкладу книга стала значительно лучше.


Вам будет интересно
В своей уникальной книге известный социолог, писатель и публицист С.Г. Кара-Мурза приводит огромное количество фактов, касающихся народного хозяйства СССР, благосостояния советского народа. Все факты строго выверены и основаны на данных государственной статистики Советского Союза, что придает особую ценность этой работе.Постсоветское общество расколото, и ни дубинкой, ни деньгами его не собрать, считает автор. Надо обращаться к разуму, совести и памяти людей, к нашему историческому опыту.В форма...
Читать онлайн
Статистика помогает улучшить жизнь человечества в целом и отдельных групп людей. Современный бизнес немыслим без статистики. Она используется для изучения потребителей, спроса на конкретные товары, а также прогнозирования продаж, подсказывает наиболее конструктивные решения. Статистика используется в медицине и помогает эффективнее лечить болезни. Статистика распространена в экономической, политической, социальной и других сферах, она показывает множество конкретных явлений в виде таблиц, график...
Читать онлайн
Географ Джеймс Чешир и дизайнер Оливер Уберти превратили разрозненные данные в наглядные графики, карты и диаграммы, которые отражают тенденции в различных областях нашей жизни. Созданный ими атлас позволяет увидеть реальность, которая обычно скрыта от наших глаз: графики счастья в разных странах, уровень ежедневной загруженности мужчин и женщин, уровни рождаемости и смертности, закономерности таяния ледников. Визуализированные данные могут стать полезным инструментом для людей, находящихся у вл...
Читать онлайн
Новый роман Татьяны Устиновой и Павла Астахова «Оплаченный диагноз» из серии «Дела судебные» написан на животрепещущую тему пандемии. Она объединила весь мир, но каждый переживает ее по-своему…Судья Елена Кузнецова весь день была занята на заседаниях и удивилась, обнаружив множество пропущенных звонков от сестры Натки. Что опять стряслось с этой неугомонной особой, буквально притягивающей неприятности? Когда же Лене наконец удалось связаться с сестрой, волосы у нее встали дыбом: та находится в к...
Читать онлайн
Делайла, ночной охранник Стэнли и Девон, самый обычный, казалось бы, подросток, очень хорошо знают, какого это – быть одиноким. К сожалению, в мире Five Nights at Freddy’s зло всегда безошибочно находит тех, кому особенно одиноко. В этом сборнике Скотт Коутон рассказывает три новые страшные истории. И это канон!...
Читать онлайн
В целях оказания необходимой правовой помощи в разрешении различных ситуаций, которые преследуют практически каждого при покупке товаров, использовании результатов работ и оказанных услуг автором (опытным юристом) было написано предлагаемое практическое пособие. В пособии приведены основные критерии законодательства к поведению потребителя на рынке, сопровождаемые подробным комментарием автора, описываются действия потребителя в случаях нарушения его прав и законных интересов.Отдельное внимание ...
Читать онлайн
Социальная педагогика. Шпаргалка - это захватывающее путешествие в мир приключений, эмоций и открытий. Эта книга переносит читателя в иной мир, где каждая страница открывает новые горизонты воображения. Благодаря ярким персонажам, захватывающему сюжету и живописным описаниям, читатель окунется во всепоглощающую атмосферу Социальная педагогика. Шпаргалка и будет жить каждым мгновением вместе с героями. Вдохновляющая и мудрая, Социальная педагогика. Шпаргалка не только развлечет читателя, но и по...
Читать онлайн