Анализ данных
Вы наверняка слышали, что наступивший XXI век считают веком информационным. Никогда еще на человека не обрушивался такой гигантский поток сведений из самых разных источников – книг, газет, с телевизионных экранов, из сети Интернет, да и просто на улице. Часто можно услышать об «информационном взрыве», который произошел в конце теперь уже прошлого века.
Хорошо еще, что человечество успело подготовиться к этому «взрыву» и изобрело замечательного помощника в обработке информации – компьютер. Но это замечательное изобретение могло оказаться бесполезной игрушкой, если бы к моменту его появления не были разработаны научные методы сбора и обработки информации. Одной из важнейших наук, занимающихся сбором, систематизацией и обработкой данных, является статистика, с которой мы и начинаем знакомиться.
1.1. Сбор и анализ статистических данных
«Статистика знает всё...» Чем занимается статистика?
Статистические данные. Статистическое наблюдение. Социологический опрос
Пример 1. Дневник и классный журнал
Пример 2. Личный листок по учету кадров
Пример 3. Всероссийская перепись населения
Пример 4. Федеральная служба государственной статистики
Пример 5. Фонд «Общественное мнение»
Систематизация данных. Анализ данных. «Есть три вида лжи...»
Пример 6. Оценки за четверть
Пример 7. Итоги Всероссийской переписи
Пример 8. О чем мечтают россияне
Пример 9. Загадки Саргассова моря
Пример 10. Законы Менделя
| НЕОБХОДИМЫЕ СВЕДЕНИЯ |
|
|
|
|
«Статистика знает всё...»
|
«Статистика знает всё», - утверждали Ильф и Петров в своем знаменитом романе «Двенадцать стульев» и продолжали: «Известно, сколько какой пищи съедает в год средний гражданин республики... Известно, сколько в стране охотников, балерин... станков, велосипедов, памятников, маяков и швейных машинок... Как много жизни, полной пыла, страстей и мысли, глядит на нас со статистических таблиц!..» Это ироническое описание дает довольно точное представление о статистике (от лат. status - состояние) - науке, изучающей, обрабатывающей и анализирующей количественные данные о самых разнообразных массовых явлениях окружающей нас жизни.
|
|
Чем занимается статистика?
|
Описательная статистика занимается первичной обработкой статистической информации: представлением ее в виде удобно читаемых таблиц, изображением на диаграммах и вычислением наиболее показательных числовых характеристик. Методы описательной статистики будут использоваться на протяжении всего нашего курса.
Математическая статистика связана с более тонкими исследованиями - оценкой неизвестных параметров, проверкой гипотез, изучением статистических связей и зависимостей. С ее элементами мы познакомимся в конце нашего курса.
Кроме того, в статистике выделяется много отраслей, связанных с той сферой жизни, из которой получены статистические данные. Экономическая статистика изучает изменение цен, спроса и предложения на товары, прогнозирует рост и падение производства и потребления. Медицинская статистика изучает эффективность различных лекарств и методов лечения, вероятность возникновения некоторого заболевания в зависимости от возраста, пола, наследственности, условий жизни, вредных привычек, прогнозирует распространение эпидемий. Демографическая статистика изучает рождаемость, численность населения, его состав (возрастной, национальный, профессиональный). А есть еще статистика финансовая, налоговая, биологическая, метеорологическая...
|
|
Статистические данные
|
Любая статистика имеет дело с данными (чаще всего - числовыми), полученными в результате массовых наблюдений, опросов, экспериментов. Важным свойством статистических данных является их массовость. Как вы увидите в дальнейшем, количество чисел, полученных в различных статистических наблюдениях, может исчисляться миллионами.
|
|
Статистическое наблюдение
|
Статистическое наблюдение - это первая стадия всякого статистического исследования, состоящая в организованном по определенному плану сборе статистических данных о каком-либо массовом явлении. Подготовка и проведение статистического наблюдения включает следующие основные этапы:
определение целей наблюдения;
составление перечня признаков, подлежащих регистрации;
разработка документов (бланков) для сбора данных;
выбор методов и средств наблюдения;
проведение массового сбора данных.
Примером статистического наблюдения являются социологические опросы.
|
|
Социологический опрос
|
Социологический опрос - это разновидность статистического наблюдения, основанная на сборе информации со слов опрашиваемого человека (респондента).
Такие опросы часто проводятся для изучения общественного мнения, потребительского спроса населения и т.д. Основные средства социологического опроса - анкетирование и интервьюирование. При анкетировании респондент самостоятельно читает вопросы анкеты и сам заполняет ответы на них. При интервьюировании вопросы респонденту задает специально подготовленный для этого человек - интервьюер, который и фиксирует ответы в соответствующем бланке.
|
|
|
Познакомимся теперь с некоторыми примерами реальных статистических данных и способами их получения.
|
|
|
|
|
Пример 1.
Дневник и классный журнал
|
Простейшими и хорошо знакомыми вам средствами сбора и хранения статистических данных являются школьный дневник и классный журнал. Дневник служит для сбора статистических данных об успеваемости отдельного ученика, а классный журнал - всего класса в целом.
? Всегда ли данные об успеваемости в дневнике и в классном журнале совпадают? Если нет, объясните возможные причины.
|
|
|
|
|
Пример 2.
Личный листок по учету кадров
|
Каждый человек при устройстве на работу заполняет специальный бланк - личный листок по учету кадров. Он служит для сбора статистической информации о работниках предприятия: их возрасте, национальности, образовании, квалификации и т.д.
? Выясните, какие статистические данные о каждом ученике (помимо его оценок) хранятся в классном журнале.
|
|
|
|
|
Пример 3.
Всероссийская перепись населения
|
Время от времени каждая страна проводит всеобщую перепись населения, чтобы собрать статистические данные обо всех своих жителях. В России последняя перепись проходила в 2002 году. Основным документом переписи является переписной лист, который заполняется специально обученным переписчиком со слов опрашиваемого человека. Фрагмент такого листа можно увидеть на .
В ходе переписи опрашиваются все лица, находящиеся на определенный момент времени на территории государства, поэтому объем собранных статистических данных бывает огромен. О том, как они обрабатываются, мы поговорим дальше.
? Загляните на официальный сайт Всероссийской переписи населения www.perepis2002.ru и выясните, сколько переписных листов было заполнено в ходе переписи 2002 года.
Проведение следующей Всероссийской переписи населения планируется в 2010 году.
|
|
|
|
|
Пример 4.
Федеральная служба государственной статистики
|
Для регулярного сбора статистической информации о состоянии экономики, общества и жизни страны в целом каждое государство имеет национальную статистическую службу. В России эти функции возложены на Росстат - Федеральную службу государственной статистики (раньше Госкомстат).
На вы можете увидеть пример статистических данных, собранных Росстатом. Они показывают, насколько хорошо население разных регионов России обеспечено врачами.
? Найдите в этой таблице свой регион и выясните, какое место по обеспеченности врачами он занимает внутри своего федерального округа.
|
|
|
|
|
Пример 5.
Фонд «Общественное мнение»
|
Кроме государственных статистических служб, в каждой стране есть большое количество независимых общественных организаций и фондов, занимающихся сбором статистической информации, дополняющей официальные данные. Основной метод сбора информации, который они используют, - выборочный опрос населения. В России такой деятельностью занимаются несколько организаций и институтов. Один из самых авторитетных - Фонд «Общественное мнение» (ФОМ).
На приведены статистические данные, собранные ФОМ по впечатлениям россиян о прошедшем в 2006 году чемпионате мира по футболу. Данные были получены по результатам выборочного опроса в 100 населенных пунктах России 15-16 июля 2006 г. В интервью участвовали 1500 респондентов.
? Какая команда по результатам этого опроса оказалась наиболее «симпатичной» для россиян? Стала ли она чемпионом мира?
? Почему в ответах на вопрос №3 отсутствует сборная России?
|
|
|
|
|
Систематизация данных
|
Как уже говорилось выше, основным свойством статистических данных является их массовость, большой объем. Чтобы не «утонуть» в этом море цифр, данные нужно систематизировать, привести в систему. Систематизация может состоять в
упорядочении данных по какому-либо признаку;
представлении данных в виде каких-либо структур (таблиц, схем);
подготовке данных к автоматической обработке на компьютере.
|
|
Анализ данных
|
Собранные и систематизированные статистические данные должны быть проанализированы. В результате такого анализа формулируются выводы, ради которых и проводилось все исследование.
Для правильного анализа и получения достоверных выводов необходимо хорошее знание методов описательной и математической статистики.
|
|
«Есть три вида лжи...»
|
Вплоть до XX века статистика не имела прочной научной основы и вообще не считалась разделом математики. Анализ статистических данных зачастую напоминал работу астрологов. Многочисленные примеры произвольного, научно не обоснованного толкования статистических данных позволили в конце XIX века английскому премьер-министру Б.Дизраэли не без основания заметить: «Есть три вида лжи: просто ложь, наглая ложь и статистика».
Только в начале прошлого века с появлением математической статистики анализ статистической информации встал на прочную научную основу. Соединение накопленных к этому времени практических методов обработки данных с математическим аппаратом теории вероятностей превратило эти две отрасли человеческого знания в мощный инструмент для исследования законов природы и общества. Цель нашего курса – освоить основные возможности этого инструмента и научиться применять его для решения реальных практических задач.
|
|
|
|
|
Пример 6.
Оценки за четверть
|
Простейшим анализом собранных статистических данных занимается в конце четверти каждый учитель, когда, просматривая журнал, выставляет итоговые оценки своим ученикам. На вы можете увидеть уже знакомую вам страницу классного журнала с текущей успеваемостью по геометрии и четвертные оценки, которые выставил учитель.
? Чем руководствуется учитель при выставлении итоговых оценок? Предложите какой-нибудь алгоритм, пользуясь которым итоговые оценки можно автоматически выставить по текущей успеваемости.
|
|
|
|
|
Пример 7.
Итоги Всероссийской переписи
|
Статистические данные, полученные при проведении всеобщих переписей, имеют огромное значение для будущего государства, планирования его экономической и социальной политики. На обработку данных, собранных в последней Всероссийской переписи населения, ушло несколько лет. Некоторые из них обрабатываются до сих пор и будут обрабатываться в дальнейшем. Наиболее интересные результаты, полученные при анализе этих данных, опубликованы на официальном сайте по адресу www.perepis2002.ru. На вы можете увидеть несколько графиков с главной страницы этого сайта. В бумажном виде данные переписи занимают 14 увесистых томов.
? Как вы думаете, кого в России больше - мужчин или женщин? Загляните на сайт www.perepis2002.ru и выясните этот вопрос.
|
|
|
|
|
Пример 8.
О чем мечтают россияне
|
Особенно сложно обрабатывать статистические данные, имеющие нечисловую природу. Такие данные были собраны Фондом «Общественное мнение» в опросе «Чем увлекаются и о чем мечтают россияне?». Опрос проводился 6-8 февраля 2003 г. в 100 населенных пунктах России. Было опрошено 1500 человек. Все они должны были ответить на 4 вопроса:
Есть ли у Вас увлечения, любимые занятия?
Есть ли у Вас мечта?
ОТКРЫТЫЙ ВОПРОС: Что Вы любите делать в свободное время? Какие у Вас увлечения, любимые занятия?
ОТКРЫТЫЙ ВОПРОС: Скажите, пожалуйста, о чем Вы мечтаете?
На первые два вопроса можно было ответить только «да», «нет» и «затрудняюсь ответить». На два последние вопроса ответ давался в свободной форме (именно это и означает термин открытый вопрос).
Каким же образом эти данные обрабатывались? По ответам на первые два вопроса была составлена таблица и построены диаграммы, которые вы можете найти на . Ответы на третий и четвертый вопросы были сначала систематизированы и объединены в похожие группы, например ответы «шить», «шью дома», «шить одежду для семьи», «вышивка крестом», «бисероплетение», «прялка» попали в группу «Шитье и другие виды рукоделия». После этого их тоже удалось свести в таблицы и построить соответствующие диаграммы (они также есть на ).
? Придумайте, как можно организовать этот опрос так, чтобы все собранные в нем данные были числовыми? Какие достоинства и недостатки будут у такого способа сбора данных?
? Как объяснить, что на приведенных диаграммах столбики с одним и тем же числовым значением (например, 2) имеют разную высоту? Может быть, это ошибка?
|
|
|
|
|
Пример 9.
Загадки Саргассова моря
|
В биологии хорошо известен удивительный факт, что все угри, независимо от места обитания, отправляются выводить потомство в одно и тоже место - Саргассово море. Но мало кто знает, что этот факт был впервые установлен с помощью анализа статистических данных.
Датский ихтиолог Иоханесс Шмидт провел статистический анализ, связанный с подсчетом количества лучей плавников у различных видов рыб. Он выяснил, что даже в пределах одного вида это количество колеблется и связано с тем, что многие виды рыб распадаются на изолированные сообщества, которые не смешиваются при размножении.
Статистический анализ собранных данных позволил Шмидту установить, что все виды рыб, кроме угрей, распадаются на отдельные однородные группы - в зависимости от места размножения. И лишь для угрей такая группа оказалась одна, независимо от того места, где они были выловлены. Это и позволило ихтиологу сделать удивительное предположение о едином месте их размножения, которое затем блестяще подтвердилось.
|
|
|
|
|
Пример 10.
Законы Менделя
|
История знает немало и противоположных случаев, когда недобросовестность, а иногда и просто безграмотность некоторых горе-статистиков приводила к тому, что из правильно собранных статистических данных делались абсолютно неверные выводы.
В 1939 году группа советских биологов - сторонников учения академика Лысенко - опубликовала цикл работ, в которых на основании статистических данных, полученных в результате большой серии опытов по наследованию признаков у гороха, были якобы «опровергнуты» законы Менделя.
В 1940 году академик Андрей Николаевич Колмогоров опубликовал в Докладах Академии Наук СССР статью "Об одном новом подтверждении законов Менделя", в которой на основе тех же самых (!) опытных данных сделал вывод о блестящем подтверждении этих законов!
К концу изучения нашего курса мы сможем обсудить методы и аргументы, которые были использованы в этом научном споре.
|
|
|
|
| ТЕСТЫ |
|
|
Вопрос №1
|
Человек, который отвечает на вопросы во время проведения социологического опроса, называется ? .
|
|
|
Вопрос №2
|
Социологический опрос, при котором респондент самостоятельно читает вопросы анкеты и сам заполняет ответы на них называется ? .
|
|
|
Вопрос №3
|
Отметьте те задачи, которые относятся к описательной статистике:
сбор данных;
представление данных в виде таблиц;
построение графиков и диаграмм;
оценка неизвестных параметров;
проверка гипотез;
изучение статистических зависимостей.
|
|
|
|
| ПРАКТИКУМ |
|
|
|
|
Задание №1
|
На приведена страница классного журнала 7 «А» с текущими оценками по физкультуре. Выставьте каждому ученику итоговую оценку. Свое решение обоснуйте.
С помощью сравните свои оценки с другими. Все ли мнения совпадают? Кто из вас оказался самым «добрым»? Самым «строгим»?
|
|
|
|
|
Задание №2
|
На приведен список всех городов России с населением более 100 тыс. чел. Ответьте с его помощью на вопросы:
Сколько в России городов с населением более 1 млн. чел.?
Сколько таких городов было в 2002 г.?
Сколько в России городов с населением более 100 тыс. чел.?
Есть ли в таблице город, в котором вы живете?
|
|
|
|
|
Задание №3
|
На представлены данные об уровне образования населения России по результатам последней переписи 2002 г. (на 1000 человек соответствующей возрастной группы). Ответьте по ним на вопросы:
Сколько процентов жителей России старше 15 лет имеют высшее образование?
Сколько процентов жителей России старше 15 лет не имеют никакого образования?
В какой возрастной категории наибольшая доля людей с высшим образованием?
В какой возрастной категории наибольшая доля людей с неполным высшим образованием?
В какой возрастной категории наибольшая доля неграмотных?
|
|
Задание №4
|
На приведены уже упоминавшиеся раньше данные, собранные ФОМ по впечатлениям россиян о прошедшем в 2006 году чемпионате мира по футболу. Напомним, что в интервью участвовали 1500 респондентов. Изучите эти данные и ответьте на вопросы:
Какая команда оказалась самой популярной среди мужчин?
Какая команда оказалась самой популярной среди женщин?
Сколько женщин участвовало в опросе?
|
|
|
|
|
Задание №5
|
На приведены данные Росстата об обеспеченности врачами по всем регионам России. Изучите их и ответьте на вопросы:
В каком регионе обеспеченность врачами в 2005 году была наибольшей?
В каком федеральном округе обеспеченность врачами в 2005 году была наибольшей?
Сколько врачей насчитывалось в Калужской области в 2005 году, если все население области составляло около 1 млн. человек?
|
|
|
|
|
Задание №6
|
На вы можете найти данные, полученные в результате анализа статистической информации о более чем 10 000 дорожно-транспортных происшествий, случившихся на дорогах России. Из этих данных, как нетрудно видеть, можно сделать такие выводы:
ДТП чаще происходят в хорошую ясную погоду на сухом дорожном покрытии.
Гораздо реже они случаются в пасмурную погоду на мокром покрытии.
А самая безопасная езда - в гололедицу.
Объясните, в чем причина абсурдности этих выводов.
|
|
|
|
|
Задание №7
|
Соберите с помощью данные о днях рождения одноклассников. Проанализируйте их и ответьте на вопросы:
Кто в вашем классе самый старший?
Кто самый младший?
Есть ли в классе ученики с совпадающими днями рождения?
|
|
|
|
|
Задание №8
|
Как вы думаете, какое приблизительно количество ваших ровесников проживает в России? Попробуйте найти ответ на этот вопрос на сайте Всероссийской переписи населения www.perepis2002.ru. Оцените, на сколько вы ошиблись в своем предположении. С помощью определите, у кого из ваших одноклассников результат был самым близким к правильному?
|
|
|
|
|
| ИССЛЕДОВАНИЯ |
|
|
|
|
Самые популярные имена
|
Проведите коллективное исследование, цель которого – выяснить, какие женские и мужские имена
наиболее популярны сейчас,
были популярны в вашем поколении,
в поколении ваших родителей,
в поколении ваших дедушек и бабушек.
Определите круг опрашиваемых лиц; решите, какие именно данные и как вы будете собирать. По результатам опроса подготовьте доклад и презентацию.
|
|
|
