Комментарий 62
к комментируемому месту / к оглавлению: диалогическому, хронологическому, монологическому
Автор: Гвен
Дата: 25/09/2003 23:44
Резюме: О валидности (приближение абстрактных идей к целям эксперимента)

Странно, Флогистон вроде бы неплохим сайтом был...(лирика) Валидность не совсем то, что там написано. Высокая валидность теста (методики) показывает, что тест измеряет именно то, что хочется измерить. Например, тест на темперамент, если он валиден, измеряет именно темперамент, а не интеллект, память и т.п. И пожалуй, вашему эксперименту это не в пример нужнее, чем надежность (поскольку практического применения пока не придумано, кто придумает, тот пусть и вычисляет надежность). О валидности получше написано вот здесь: http://www.i-u.ru/biblio/archive/batigin_lection/4.aspx

Конструктная валидность получится, если результаты будут соответствовать теоретическому конструкту, и мы будем вас от всей души поздравлять. А если не все будет соответствовать? Как тогда определить, что было ошибочно - теория или методика? В какой-то степени самоотчеты (содержащие вопросы о том, насколько связанным и/но (не)предсказуемым был текст) могли бы выступить внешним критерием (критериальной валидностью). Для снижения занудства - выбрать, скажем, 200 новых игроков и предьявлять им формочки, просто, чтоб галочки проставили, примерно на 1 из 10(20) попыток (или сколько нужно для достоверности?). И корреляции с их же ответами по эксперименту. Только на время валидизации описание теории эксперимента для них закрыть придется. 

Ретестовая надежность несколько иной метод. Суть его в том, чтобы одну и ту же выборку испытуемых прогнать в точности по тем же самым отрывкам с временным интервалом. Обычно рекомендуют две недели. Но для данного эксперимента срок побольше должен быть. Соответственно при высокой корреляции двух групп результатов методика является надежной. Вы же описали нечто близкое к другому типу надежности - как внутренней согласованности. В этом случае сравниваются результаты по первой половине (или по нечетным заданиям) с результатами второй (или по четным). Я так понимаю, что это делается, но разбивка - по авторам.  

Чтобы добавить комментарий к любому предложению этого текста, щелкните мышью по точке, которой оно оканчивается