WWW.BOOK.LIB-I.RU
БЕСПЛАТНАЯ  ИНТЕРНЕТ  БИБЛИОТЕКА - Электронные ресурсы
 
s

«Основы статистики, курс для экзаменаторов Часть 1 Джорж Бетелл, 1994 Введение в экзаменационную статистику. Эта программа создана как введение в использование статистики для целей ...»

Основы статистики, курс для экзаменаторов

Часть 1

Джорж Бетелл, 1994

Введение в экзаменационную статистику.

Эта программа создана как введение в использование статистики для целей экзаменации.

Цели программы

Цели этой программы это:

- позволить участникам оценить потребность в статистическом анализе в оценивании;

- позволить участникам идентифицировать и использовать простые описательные статистики;

- позволить участникам обсудить уместность использования статистических методов в их собственной работе;

- обеспечить основу для дальнейшего обучения использованию более продвинутых статистических методов.

Содержание программы

Программа охватывает:

- наборы данных и отображение данных;

- меры центральной тенденции;

- меры дисперсии;

- меры формы;

- нормальное распределение; и,

- стандартные оценки.

Зачем использовать статистику?

UCLES процесс аттестации разработан для "обслуживания стандартов".

Стандарты этих оцениваний не определены в соответствии с детальным критериям. Однако они признаны/поняты опытными экзаменаторами (и опытными преподавателями).

В результате, процесс аттестации построен после субъективного оценивания "качественного описания", то есть экспертного суждения.

Кто-нибудь может доказывать, что подобная уверенность по отношению к опытному суждению делает использование отметок и статистики, в лучшем случае, избыточным.

Однако статистики дают некоторые преимущества:

- они объективны;

- они обеспечивают техническую быстррту совершенствования заданий и тестов;

- они позволяют проводить сравнения между популяциями и выборками (образцами);

- они могут выделять аномалии.

Готовьте чиновников и экзаменаторов так, чтобы они были способны понять важность базовых статистических концепций, так чтобы они могли:

- понимать статистические процедуры, которые используются в системах процедур оценивания;

- понимать следствия из статистических процедур, которые они могут ввести;

- определять значение статистических показателей.

Наборы данных и представление данных Экзамены производят большое количество чисел! Каждый компонент создаст по крайней мере одно сырое значение для каждого кандидата. Эти сырые значения может преобразовываться посредством надбавок, подвергаться ценочному шкалированию, компонентному преобразованию, агрегации с другими значениями и т.д. Все эти числа образуют набор данных для программы.

Есть два пути отображения данных: упорядоченный список оценок (распределение оценок) и графическое/рисуночное представление.

Графическое представление лучше если мы хотим видеть "сразу" как распределяются данные или как наборы оценок сравниваются. Однако, обычно труднее найти специфические значения на графике, чем в числовом списке.

Например"Какой процент кандидатов набрал 172 балла или больше?" Частотные распределения Частотное распределение показывает нам, как много кандидатов получили каждую оценку, то есть как часто каждая оценка встречается. Вне мира экзаменаторов, частотные распределения устроены в возрастающем порядке. Однако распределения для экзаменации представляются в убывающей последовательности. Это делает аттестацию более straightforward1.





-----Если вы оцениваете распределение которое получено другим путем, например, потому что оно было создано статистическим пакетом для ПК, будьте осторожны - это создаст множество различий!

------Когда мы представляем частотное распределение экзаменационных отметок графически, мы обычно получаем колоколобразную гистограмму.

Оценка Количество кандидатов Частотное распределение Гистограмма частотного распределения Распределение накопленных частот Распределение накопленных частот вносит в список общее число кандидатов с данной или более высокой оценкой. Это дает S-образную кривую.

Оценка Количество Куммулята кандидатов кандидатов Распределение накопленных частот Гистограмма накопленных частот Меры центральной тенденции Есть три меры центральной тенденции: мода, среднее и медиана. Каждая из них сообщает нам кое-что о том, где "середина" распределения оценок. Они, таким образом, сообщают нам кое-что "типичном" выполнении кандидатом работы.

Мода Мода - это наиболее часто встречающееся значение, т.е. оценка, которую набрало большинство кандидатов. Она может быть найдена поиском пика частотного распределения, которое представлено графически. Для альтернативы, вы можете посмотреть вниз на столбец "Количество кандидатов" распределения оценок для самого большого количества и затем найдя соответствующее значение.

Оценка Количество Куммулята кандидатов кандидатов Модальное значение = 15 Самое большое количество кандидатов приходится на модальное значение.

Бимодальное распределение Подготовка Чиновников и Экзаменаторов предусматривает умение определять бимодальные распределения. Они имеют два "пика" и легко обнаруживаемы, если распределение представлено графически.

Бимодальное распределение Если мы применяем единственный тест к гомогенной популяции, мы ожидаем получить распределение с единственным пиком. Однако если популяция фактически содержит две различающиеся популяции, мы получим два распределения, которые, будучи объединены вместе, могут дать два пика. Точно также, если наш тест эффективно содержит два теста, мы можем получить бимодальное распределение.

Если обнаружено бимодальное распределение, то состав популяции и/или структура опросного листа должны быть исследованы.

Упражнение 1(а) В следствии каких обстоятельств вы можете ожидать обнаружить бимодальное распределение оценок для компонент?

2(б) Действительно ли бимодальное распределение - это плохо? Объясните ваш ответ.

3(в) Если вы обнаруживаете, что бимодальное распределение возникает из-за большого различия между действиями мальчиков и девочек, что вы должны делать?

Среднее значение Среднее значение – это арифметическое среднее. Это наиболее используемый показатель центральной тенденции. Оно находится на компонентных распределениях, плановых распределениях, распределениях экзаменаторов и т.п.

Что такое корректное среднее для опросного листа?

Нет однозначного ответа на этот вопрос – это зависит от того, для чего ваш опросный лист был разработан, и как вы намереваетесь оценивать его, как будет показано в следующих примерах:

- Предварительный тест английского языка (PET) – это испытания мастерства, которое разработано так, чтобы приблизительно 70% кандидатов имело оценку 70% и более. Среднее этих компонент должно поэтому быть очень высоким (~ 75 %).

- Синдикатные тесты целей нуждаются в относительно высокой средней оценке, так чтобы надежность была приемлемо высока. Поэтому они разработаны так, чтобы иметь среднюю оценку между ~ 55-60%.

- Обычные опросники, используемые для всего GCSE/IGCSE диапазона способностей, могут иметь высокую среднюю оценку, потому что относительно слабые кандидаты, как ожидается, покажут «положительные достижения».

Для «нормальных» опросных листов, средняя оценка должна быть около 50 % от теоретического максимума оценки для компонента.

Что я должен делать, если компонентное среднее слишком низкое?

К тому моменту, когда вы выясните, что среднее слишком мало, будет вероятно слишком поздно делать что-нибудь для данной экзаменационной сессии, но вы должны сделать отметку об этом, так чтобы ваши ведущие экзаменаторы могли сделать что-нибудь по этому поводу в будущем. Например, они должны стать более мягкими (сочувствующими) при постановке вопросов и/или при создании схемы оценивания.

Можно ли использовать среднее для сравнения стандартов?

Среднее часто используется для сравнения, например, трудности опросных листов из года в год, относительной трудности дополнительных компонент, относительной жесткости экзаменаторов и т.п.

Однако среднее можно использовать таким образом только если другие факторы также приняты во внимание.

Рассмотрим случай, когда предметное среднее было 49.6% в 1991 и 49.2% в 1992. Можем ли мы говорить, что предмет имел ту же самую трудность в этом году? Ответ здесь – «Не обязательно». Мы сначала должны решить, был ли общее стандартное отклонение для кандидатов тем же самым – более высокое среднее могло быть обусловлено высоким уровнем кандидатов или простотой опросника.

Если программа приема достаточно широка, если вы не имеете никаких причин полагать, что композиция заявок изменилась значительно, и если ваши ведущие экзаменаторы сообщают вам, что кандидаты имеют приблизительно одни и те же стандартные отклонения… тогда разумно использовать среднее как основной индикатор отклонений. Вы должны, однако, проверить другие статистические показатели также!

Медиана Третья мера центральной тенденции – это медиана. Это есть оценка, полученная «средним» кандидатом, как только множество было выстроить в возрастающем порядке.

Например, рассмотрите следующие оценки кандидатов:

52 62 45 77 42 45 39 64 59 (n=9)

Расположенные в возрастающем порядке:

39 42 45 45 56* 59 62 64 77 (Медиана = 56) (Если распределение имеет четное количество случаем, тогда медиана – это среднее двух чисел с обеих сторон от середины.

Например, 12 12 14 16 19 20 Медиана = (14 + 16)/2 = 15) Где мне искать медиану?

Медиана не определена в распечатках Синдиката. Вы можете найти ее посмотрев вниз колонки ФАКТИЧЕСКОГО НАКОПЛЕННОГО ПРОЦЕНТА для 50%-го уровня. Вы вряд ли найдете точно 50%, но это укажет вам медиану в пределах одного значения.

Как связаны среднее и медиана?

В симметричном распределении, среднее, медиана и мода совпадают. Однако если распределение – не симметрично, тогда они имеют различающиеся значения.

Рассмотрим следующее множество:

Среднее = 15.89 Медиана = 14 Так как только три значения выше среднего в этом распределении, медиана, наверное, является лучшей типовой рабочей характеристикой. Это происходит потому, что в малых выборках, среднее сильно зависит от нескольких «отдаленных» значений. В больших выборках, этот эффект не столь значим.

Для программ и компонентов с маленькими вхождениями или для сильно скошенных распределений (см.

ниже), медиана и мода – важные показатели и должны рассматриваться вместе со средним.

Асимметричные распределения Распределения, которые не являются симметричными, называют скошенными (асимметричными). Чем более скошено распределение, тем сильнее будут обособлены среднее и мода.

Распределение А имеет отрицательную асимметрию Распределение В имеет положительную асимметрию Меры дисперсии Статистические меры вроде среднего и моды сообщают нам кое-что о «типичной» характеристике.

Однако, мы также должны знать о распространенности характеристик, которые производят экзаменующий компонент.

Следующие меры дисперсии можно использовать:

- диапазон оценок

- межквартильный размах

- стандартное отклонение Диапазон Когда аттестационное заключение должно быть сделано как-нибудь по-другому, чем в чисто критерально-рекомендательной системе, важно расположить кандидатов по самому большому диапазону значений. Диапазон определяется как:

максимальная достигнутая оценка – минимальная достигнутая оценка Компонент, который не использует весь диапазон оценок делает аттестацию менее надежной.

Как я заставлю моих экзаменаторов использовать весь диапазон оценок?

- «Обучением» Ведущего экзаменатора

- Используя расширенную схему оценивания Расширенная схема оценивания может увеличить диапазон оценок в частности и дисперсию значений в общем. Обобщенный метод дается ниже:

- Номинальный диапазон оценок (как в SCIF) 0 – 100

- Диапазон оценок (как в Схеме оценивания) 0 - 110

- Все кандидаты набравшие 101 – 110 получают максимальное значение 100.

Межквартильный размах Диапазон значений может вводить в заблуждение, так как один из кандидатов может набрать ноль, другой может набрать 100, тогда как остальные распределятся около 50. Чтобы преодолеть это, мы можем рассмотреть межквартильный размах.

- Найти минимальную оценку, полученную 25% лучших кандидатов – третий квартиль.

- Найти минимальную оценку набранную 75% лучших кандидатов (другими словами 25% ниже этой оценки) – первый квартиль.

- Рассчитать различие между этими двумя оценками чтобы получить межквартильный размах.

Стандартное отклонение Стандартное отклонение – это наиболее часто используемый показатель степени рассеяния.

Стандартное отклонение выборки обозначают символом. Стандартное отклонение популяции обозначают символом SD. (См. сноску2) Стандартное отклонение связано со средним отклонением оценок от средней оценки.

Чтобы придать равный вес значениям находящимся на равном расстоянии выше и ниже среднего, стандартное отклонение использует квадрат отклонения, как показано ниже:

x = значение – среднее значение N = размер выборки Интерпретация стандартного отклонения требует понимания нормального распределения. Это понятие охвачено позднее в курсе. Однако, рисунок на следующей странице показывает три распределения имеющие одинаковое среднее, но различные стандартные отклонения.

---------------Различные обозначения используются для данных величин (и для вычисления стандартного отклонения популяции из выборки). К счастью, для больших выборок значения практически те же самые, так что Предметник не должен волноваться о различии.

---------------Распределения с равными областями и равными средними, но имеющие различные стандартные отклонения.

Для целей аттестации, мы хотели бы, чтобы стандартное отклонение было бы большим, насколько это возможно. На практике, мы можем ожидать стандартное отклонение около 1/6 от используемого диапазона оценок. Например, для опросника с максимумом в 100 баллов мы должны искать стандартное отклонение примерно равное 17.

Кривая отмеченная + в диаграмме выше имеет стандартное отклонение в 15%.

(Следствия из этого охвачены в Нормальном распределении ниже)

ПОКАЗАТЕЛИ «ФОРМЫ»

Скошенность (асимметрия) Нормальное распределение симметрично относительно среднего. Асимметричное распределение называют скошенным.

Распределение, в котором мода меньше чем среднее являются положительно скошенными. Это может происходить потому, что экзамен слишком трудный, или кандидаты – слишком слабые.

Распределение, где мода больше чем среднее – отрицательно скошенное. Это может являться следствием очень легкого экзамена, или потому что кандидаты слишком сильны.

На рисунке на следующей странице иллюстрируются различные значения скошенности.

Вот формула асимметрии:

… но вы не должны запоминать это!

Асимметрия = +1.0 Асимметрия = –0.6 Эксцесс Эксцесс – это мера «плоскостности» кривой.

Распределение, которое является более суженным, чем нормальное распределение имеет большой эксцесс и обозначается как повышеноэксцентричным.

Распределение, которое более плоское чем нормальное распределение имеет малый эксцесс и обозначается малоэксцентричным.

Синдикат EPS использует формулу дающую эксцесс нормального распределения как 3.0.

Распределение имеющее эксцесс 3.0 тоньше чем «нормальное». Если эксцесс 3.0 тогда распределение площе чем «нормальное».

Для целей аттестации низкий эксцесс – предпочтительнее. Фактически, надежность аттестации была бы наибольшей, если распределение было бы полностью «плоское»!

----------Альтернативная формула используемая во многих ПК-ориентированных статистических пакетах, используют «стандартное значение – 3». Это дает эксцесс равный 0 для нормального распределения, положительное значение для выскокоэксцентичных распределений и отрицательное значение для малоэксцентричных распределений.

--------Рисунок ниже показывает три распределения с одинаковыми средними (50) и приблизительно равными стандартными отклонениями (~ 20).

Нормальное (с нормальным эксцессом) распределение имеет эксцесс равный 3.0. Более острое распределение имеет эксцесс 3.7 и уплощенное распределение имеет эксцесс 2.3.

Упражнение

1. Какие факторы могут иметь результатом компонент приводящий к ограниченному диапазону оценок?

2. В каких ситуациях мы приветствуем асимметричные распределения?

3. Почему плоское распределение делает аттестацию более надежной?

Нормальное распределение Нормальное или Гауссово распределение – это теоретическая кривая, которая образуется в результате очерчивания бесконечного количества данных, где различие между одним и другим результатом возникает исключительно случайно.

Нормальное распределение характеризуется его симметричной колоколообразной формой и его хвостами, которые исчезают в бесконечности.

Нормальное распределение важно, потому что оно, или достаточное к нему приближение, возникает при большом количестве различных ситуаций, в которых переменная, вроде «экзаменационной оценки», была измерена в большом количестве случаев.

Математика нормального распределения хорошо известна, так что мы можем ее использовать для анализа, сравнения и предсказания.

Чтобы быть способными понимать и использовать нормальное распределение, важно понимать что:

- площадь под частотным распределением представляет количество (пропорцию) случаев имеющих значение в пределах выбранного диапазона;

- мы знаем пропорции, лежащие под любой частью нормального распределения;

- стандартное отклонение является наиболее приспособленной единицей при рассмотрении размеров для нормального распределения.

Рисунок на следующей странице показывает пропорции для нормального распределения Площади под нормальным распределением

–  –  –

Упражнение

1. Экзаменационный компонент имеет вход в 5000. Распределение оценок, которое может быть принято за нормальное, имеет среднее 50 и стандартное отклонение 15.

а) Какой процент кандидатов имеет оценку между 35 и 65 баллами?

б) Какой процент кандидатов имеет оценку между 50 и 80 баллами?

в) Как много кандидатов имеет оценку 95 баллов и выше?

г) Как много кандидатов имеет оценку ниже 35 баллов?

–  –  –

Какой кандидат лучше?

- Это поможет?

Среднее (опросник 1) = 50 Среднее (опросник 2) = 55

- А это поможет?

SD (опросник 1) = 12 SD (опросник 2) = 20 Используя эту информацию мы можем сделать обоснованное заключение что Кандидат Б выполнил работу лучше чем Кандидат А.

Сырые оценки, полученные для различных распределений имеют ограниченное использование при сравнении качества подготовки. Мы должны принять во внимание формы распределений.

Хорошая стратегия состоит в том, чтобы преобразовать оценки к стандартным оценкам.

Стандартная оценка сообщает нам как далеко частная оценка от среднего, в единицах стандартного отклонения.

Интерпретация стандартных оценок Рассмотрим распределение со средним = 50 и стандартным отклонением в 17.

–  –  –

Z-оценка полезна, но имеет два незначительных неудобства:

- некоторые оценки отрицательны, некоторые – положительны

- единица (одно стандартное отклонение) велика.

Чтобы преодолеть это, мы можем использовать стандартные оценки сосредоточенные (центрированные) около среднего в 50 и со стандартным отклонением установленным в 10.

Это, так называемые McCall T-оценки.

–  –  –

Измените форму распределений!

Формирование Т-оценок эффективно преобразовывает распределение к единичному со средним 50 и стандартным отклонением 10. Тот же самый метод может использоваться для преобразования любого распределения оценок к любому выбранному среднему и заданному стандартному отклонению.

Эта форма пересчета – очень мощный инструмент и имеет несколько применений в процессе экзаменирования.

Например, ее можно использовать для:

- приведения распределений перед объединением (агрегацией);

- приведения распределений дополнительных компонент к другому распределению, выбранному как эталонный тест; и,

- приведения распределения экзаменационных оценок к другому распределению, выбранному как эталонное.

Вычисление (выполненное компьютером – не Предметником!) – это более общая форма того, которое используется для расчета Т-оценок.

Это преобразование не изменяет порядок расположения кандидатов. Это гарантирует что, например, кандидат, чья полученная оценка является одно стандартное отклонение выше среднего, останется с одним (новым) стандартным отклонением выше (нового) среднего.

Приложения для автоматизированного экзаменационного шкалирования Некоторые экзаменаторы используют автоматическое экзаменационное шкалирование.

Эта процедура содержит следующие этапы:

- среднее и стандартное отклонение вычисляются для распределения оценок для всех кандидатов отмеченных экзаменатором, которые будут шкалированы;

- среднее и стандартное отклонение рассчитываются для оценок, достигнутых набором тех же самых кандидатов на объективно оцененном опроснике;

- оценки данные экзаменатором шкалируются на основе образцовых среднего и стандартного отклонения для объективного опросника.

Упражнение

1. Что является (а) преимуществом и (б) неудобством выполнения автоматического экзаменационного шкалирования как описано?

2(а) Как эта техника могла бы использоваться для шкалирования центрированных компонент?


Похожие работы:

«Валентина Алексеевна Андреева Форс-ажурные обстоятельства Издательский текст http://www.litres.ru/pages/biblio_book/?art=168153 Форс-ажурные обстоятельства: АСТ, Астрель; М.; 2008 ISBN 978-5-17-050178-6, 978-5-271-19732-1...»

«Пояснительная записка Рабочая программа по литературе составлена в соответствии с федеральным компонентом государственного стандарта общего образования и примерной программой основного общего образования, за основу рабочей программы взята авторская программа по лите...»

«Договор потребительского кредита "Универсальный" Полная стоимость кредита на дату предоставления Индивидуальных условий 00,000 (ПРОПИСНЫЕ БУКВЫ) процентов годовых ДОГОВОР ПОТРЕБИТЕЛЬСКОГО КРЕДИТА "УНИВЕРСАЛЬНЫЙ" №_ Место заключения договора: город _ 20 го...»

«ТЕХНИКА УПРАВЛЕНИЯ ЯХТОЙ 1. Общие принципы управления яхтой Техника управления яхтой включает целый ряд связанных между собой элементов. Сюда входит постановка и уборка парусов, работа на руле и шкотах, откренивание, дифферентовка. Если э...»

«ISSN 1813-5420 (Print). Енергетика: економіка, технології, екологія. 2015. № 3 В наше время во многих странах мира используют альтернативные виды энергии. В эксплуатации находятся малые ГЭС, ветроэлектростанции, солнечные электрические станции и т. п. Однако в сетях, где активно уста...»

«Организация Объединенных Наций CED/С/1 Международная конвенция Distr.: General для защиты всех лиц от 22 June 2012 Russian насильственных исчезновений Original: English Комитет по насильственным исчезновениям Правила процедуры* Часть первая. Общие правила...»

«Т. К. Михалкова УДК 69 Информация об авторе Михалкова Татьяна Кирилловна член Союза журналистов Санкт-Петербурга и Ленинградской области, член Союза журналистов России, член Ассоциации искусствоведов (АИС). E-mail: novist@yandex.ru ПРОЕКТ "СЕКРЕ...»










 
2017 www.book.lib-i.ru - «Бесплатная электронная библиотека - электронные ресурсы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.