Курсовая работа: Создание надежных тестов: личностные опросники, разработка заданий

Пример А. "Часто ли вам снятся сны?" Здесь все зависит от значения слова "часто". Некоторые испытуемые могут испытывать такое чувство, что видеть сон раз в месяц - это часто, и ответят на вопрос утвердительно. Другие могут возразить, что один сон за ночь - это не часто, потому что исследования показали, что людям снятся три-четыре сна за ночь, и ответят "нет". Вопрос, таким образом, становится бессмысленным. Ответы указывают противоположное тому, что происходит на самом деле. Улучшенный вопрос будет звучать: "Снятся ли вам сны дважды в неделю или чаще?"

Пример Б. "Испытываете ли вы иногда беспричинное беспокойство?" Очевидно, что этот вопрос порождает ту же проблему, что и предыдущий. Однако, он еще хуже, поскольку "иногда" буквально означает "чаще, чем однажды". Следовательно, практически все испытуемые вынуждены, если они отвечают искренне, ответить на этот вопрос положительно. Однако, этот вопрос мог бы быть очень полезным, поскольку всем известно, что люди действительно различаются по частоте беспричинного беспокойства. Дело не в содержании, а в форме вопроса, которая не выдерживает критики. Как же можно более точно сформулировать вопрос, в котором частота столь существенна? В улучшенном виде это может выглядеть: " Испытывали ли вы беспокойство без особых причин в последние две (четыре) недели?"

(6) Насколько возможно, избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Это правило было проиллюстрировано в пункте (3) выше, в котором задание было сформулировано более конкретно с целью повышения надежности при тестировании по истечении некоторого времени. Для этого слово "нравится" было заменено на "играете". Важным для нас здесь является то, что испытуемый без колебаний отвечает, играет он или нет, а со словом "нравится" возникает целая проблема. Сообразительные, высокообразованные, точно выражающие свои мысли испытуемые могут долго колебаться в выборе значения этого слова: "Да, им нравится это, но, вероятно, "наслаждаться" будет чуточку точнее; "находить удовольствие" -да, но...",-и т.д. Конечно, и для такого задания, как в вышестоящем пункте (5), в котором исследуется чувство беспокойства, эта проблема также существует. Однако, выражать это задание в поведенческой форме, например: " Бьется ли ваше сердце быстро и пересыхает ли во рту безо всяких причин?", кажется слишком искусственным. Особенность состоит в следующем. Если только задание может быть сформулировано так, чтобы неопределенные слова о чувствах могли быть заменены на описание поведения, это должно быть сделано. Когда это невозможно, конечно же, стоит попытаться составить задания, в которых описываются чувства. Их пригодность или непригодность будет выявлена на этапе анализа заданий.

(7) При помощи инструкций обеспечьте, чтобы испытуемые давали первые приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий. Эффективное задание личностного теста, которое действительно имеет отношение к поведению испытуемого, должно вызвать немедленную и точную реакцию. В противном случае вероятно, что задание не выявляет ту область поведения, которая имеет существенное отношение к измерению личностных качеств. Некоторые примеры прояснят этот момент.

Пример А. "Нравится ли вам наблюдать за щеглами?" Этот вопрос у испытуемых, за исключением орнитологов, не вызовет, вероятно, ничего, кроме смеха над его очевидной эксцентричностью. Большинство людей это просто не интересует.

Пример Б. "Любите ли вы хлеб с маслом?" Это явно не эксцентричный вопрос. Многие испытуемые, по крайней мере на Западе, где нет недостатка в основных продуктах питания, не будут испытывать по этому поводу сколько-нибудь сильных чувств, воспринимая это как данность.

Пример В (взят из пробных заданий для разработанного автором теста А130; Kline, 1971). "Позволяете ли вы вашей собаке лизать вам лицо?" Это задание было предназначено для выявления чистоплотности, и ключевым ответом для него является "нет". Очевидно, те люди, у которых нет собаки, ответят "нет", но можно возразить, что часто чистоплотность не является причиной отсутствия домашних животных. К моему удивлению, этот вопрос вызвал исключительно значимые ответы. Некоторые индивидуумы, дойдя до этого вопроса, отказывались вовсе отвечать на вопросы теста, говоря, что все это вообще отвратительно; один испытуемый даже говорил мне, что он никогда не был так оскорблен, и никогда бы не допустил подобной мерзости, и тому подобное в том же духе.

Нет никакого сомнения, что этот вопрос затрагивает нечто скрытое и подавляемое. Уместность вышеупомянутой инструкции к тесту теперь понятна. Именно первый ответ, по всей вероятности, является индикатором определенного личностного качества. Как только испытуемые начинают раздумывать над вопросами, включаются не только защитные процессы, но и сознательные искажения, такие как желание произвести впечатление, угодить экспериментатору,- все это отрицательно влияет на результаты теста.

И вот что еще более важно: многие задания не могут выдержать критической оценки в основном из-за вполне оправданного желания исследователей вложить слишком много информации в краткую форму задания. Вот почему особое значение при создании заданий тестов придается понятности и конкретности.

Можно было бы поразмышлять над приведенным выше примером В, и тогда не было бы никаких проблем. Некто либо позволяет, либо не позволяет собаке лизать его лицо. Нет никаких сложностей в решении того, что: (а) собака есть собака; (б) что она именно лижет; (в) и что именно она лижет - лицо или что-нибудь другое. Однако, большинство тестов личности не являются такими однозначными. Между прочим, стоит отметить, что этот вопрос оказался неудачным и его пришлось удалить.

Пример Г. "Бывают ли у вас яркие сны?" Этот пример хорошо иллюстрирует наше указание. Большинство испытуемых, вероятно, смогут дать немедленный ответ - либо "да", либо "нет". Однако, при внимательном рассмотрении этот вопрос оказывается неприемлемым. "В конце концов, насколько яркими могут быть сны? Мои сны кажутся мне яркими, но это мое субъективное мнение. Я действительно вижу яркие сны, но я также иногда вижу несколько однообразные и серые сны,"- подобные мысли затрудняют ответы.

Пример Д. "У вас много друзей?" Как и в первом примере, на этот вопрос, по размышлении, чрезвычайно трудно дать точный ответ. Проблема опять заключается в значении определенных слов, в данном случае "много" и "друзей". С этими трудностями столкнутся внимательные, вдумчивые и добросовестные испытуемые. Они могут рассуждать так: "Думаю, у меня много друзей, но что значит "много"? Сколько на самом деле в среднем друзей имеют люди? Без этой информации, а также без знания о разбросе вокруг среднего значения, невозможно ответить, много их у меня, или нет."

Хотя все эти мысли несомненно правильны, на практике этот вопрос у многих испытуемых вызывает автоматический ответ. Слово "друзья" тоже может породить проблемы. Испытуемые могут рассуждать: "Что такое друг, чем он отличается от знакомого, есть ли вообще какие-либо различия? Возьмем А, является ли он мне другом? Некоторым образом, нам нравится бывать вместе, но если бы он мне был нужен, он был бы практически бесполезен. Теперь Б...",-и так далее.

Из этих примеров понятно, что в инструкциях необходимо просить испытуемых выполнять задания настолько быстро, насколько это возможно. Конечно, нельзя избежать того, что таким инструкциям не всегда следуют, и в исследовании навязчивости, выполненном автором книги, один из вопросов, касающийся того, быстро ли испытуемый решается на что-либо и придерживается этого решения, ясно показал возможность многих различных ответов, хотя на него и отвечали утвердительно "да".

Это последнее наблюдение подводит нас к той критике, которая направлена против личностных опросников, что мы сейчас и обсудим.

Возражение: задания личностных опросников по существу бессмысленны

Это становится очевидным из приведенных выше примеров Г и Д. Рассчитывать на то, что испытуемые-интеллектуалы будут отвечать быстро, - это не только оскорбительно для испытуемых (так утверждает Alice Heim в связи с обсуждением некоторых тестов интересов; Heim and Watts, 1966), но более того, у таких испытуемых появляются серьезные сомнения в том, что такие задания могут вообще что-либо измерять.

На эти критические замечания получен эмпирический ответ: анализ заданий любого рода показывает, что наше множество заданий измеряет однородный фактор, в то время как исследования валидности демонстрируют, что же это за фактор. Тот факт, что задания имеют сомнительное значение, становится несущественным, если ответы на эти задания фактически являются эффективно дискриминативными или коррелируют с внешним критерием. Вышеприведенная критика, хотя и может показаться серьезной, не имеет, таким образом, большого значения.

Таковы правила формулирования заданий, описанные Guilford (1959), и они способствуют обеспечению того, что подготовленные вопросы будут обеспечивать решение тех задач, которые стоят перед ними. Автору этой книги при конструировании собственных заданий для личностных тестов всегда удавалось создать надежные и, как я полагаю, валидные методики, когда он следовал этим правилам. Удалось ли бы ему это без уже известной нам методологии, неизвестно.

Устранение влияния установок на ответ

Кроме того, что при разработке заданий следует всегда помнить о вышеперечисленных правилах, необходимо, конечно, ослабить, насколько это возможно, влияние наиболее существенных установок на ответ. Ниже описано, как это следует делать.

Установка на согласие (acquiescence)

Установки на ответы (response sets) были определены Кронбахом (Cronbach, 1946) как стилистическая последовательность, стимулируемая формой ответов на задания личностного опросника. Как указывалось ранее, одной из наиболее существенных является установка на согласие (см. Messick, 1962), то есть тенденция соглашаться с утверждением независимо от его содержания.

Сбалансированные шкалы

Messick (1962) утверждает, что сбалансированная шкала - это один из способов минимизации влияния установки на согласие. Сбалансированной называется такая шкала, для которой равное или примерно равное количество заданий имеют ключевые ответы "да" или "нет", "верно" или "неверно".

Однако, здесь заслуживают внимания два момента. Во-первых, сбалансированная шкала не устраняет полностью тенденцию : установка на согласие все же может проявиться, но, как указывает Knowies (1963), такая шкала не позволит спутать "соглашающегося" испытуемого с тем, у кого реально высокие показатели, а это важно. Конечно, можно возразить, что "соглашающийся" испытуемый с потенциально высокими показателями не будет выявлен при сбалансированной шкале. Если это происходит чаще, чем в нескольких отдельных случаях, то последующее исследование валидности теста будет обречено на неудачу.

Во-вторых, искажающего влияния этой установки на показатели по тесту можно избежать только в том случае, если будут сформулированы в равной степени содержательные, недвусмысленные и побуждающие к определенному ответу задания, имеющие как положительные, так и отрицательные ключевые ответы. Если вы сможете сформулировать лишь очень небольшое количество заданий с ключевым ответом "нет", то эти задания будут способствовать низкой валидности шкалы. Несколько примеров пояснят это.

Пример 1. Рассмотрим вопрос на экстравертированность: "Вам нравятся вечеринки?" Обратной формой этого вопроса будет: "Вам не нравятся вечеринки?" В этих заданиях стилистические обороты языка удовлетворительны, потому что принято говорить, что вечеринки нравятся или не нравятся. Они также удовлетворительны, потому что, как это и случается, испытуемому с высоким показателем по параметру экстраверсии нравятся вечеринки, а испытуемому с низким показателем - не нравятся. Таким образом, полярность этих заданий эффективна. Однако, часто попытка получить обратную форму вопроса становится источником ошибок.

Пример 2. Следующее задание было создано, чтобы выявить удовлетворение, получаемое от статистики - как утверждают, оно относится к чертам навязчивости: "Являетесь ли вы одним из тех людей, кто находит статистические данные и таблицы совершенно скучными?" Это обратная форма вопроса с ключевым ответом "нет". Однако, очевидно, (прежде чем первое испытание теста показало, что этот вопрос не работает), можно не считать статистику скучной, но и не восхищаться ею. Таким образом, обращение вопросов, когда они относятся к некоторым крайним проявлениям в поведении, вероятнее всего не даст результата в силу континуальности, лежащей в основе многих ответов на задания. Обращение вопросов обычно предполагает дихотомичность ответа. Другими словами, если ответ на вопрос является дихотомическим, то обращение вопроса для сбалансированной шкалы возможно; если же используются крайние (граничные) значения из континуума, обращение не будет удачным.

Пример 3. Аналогично, можем рассмотреть вопрос о том, нравится ли испытуемым отдавать распоряжения. Обратная форма вопроса, такая как: "Вы не испытываете удовольствия, когда вам вменяется в обязанность отдавать распоряжения?" - не может быть удачной, потому что возможны случаи, когда отрицание неприязни к распоряжениям, приказам вовсе не означает получение удовольствия от этого. В основе этого ответа лежит континуум, а не дихотомия. Этот вопрос не может быть обращен.

Пример 4. В данном задании рассматривается аккуратность: "В школах сильно преувеличивают значение аккуратности". Можно утверждать, что навязчиво аккуратный индивидуум будет считать, что значение этой особенности поведения невозможно преувеличить. Следовательно, данное задание было написано так, чтобы отрицательный ответ действительно выявлял исследуемую черту. Таким образом, с точки зрения разработки заданий, это жизнеспособное "негативное" задание.

В этих примерах проиллюстрированы два наиболее важных момента в формулировании заданий с отрицательными ключевыми ответами: они могут быть сформулированы, во-первых, если отрицательный ответ соответствует реальному поведению, и во-вторых, если в основе ответов лежит дихотомия, а не континуум, как в приведенном выше примере 1.

Понятные, недвусмысленные утверждения

Имеющий значение в контексте нашей работы вопрос был поднят Guilford (1959) при попытке устранить установку на согласие из личностных опросников. Он утверждает, что согласие наименее вероятно тогда, когда задания понятны, недвумысленны и относятся к конкретному поведению. Поскольку эти качества уже были указаны среди тех, которые, по моему предположению, должны быть присущи разрабатываемым заданиям, я не буду более говорить о них, а лишь проиллюстрирую это положение несколькими примерами.

Так, вопрос: "Играете ли вы на каком-либо музыкальном инструменте?",-является настолько конкретным, что индивидуум должен был бы иметь предельно выраженную установку на согласие, чтобы утвердительно ответить на этот вопрос, если это не соответствует истине. С другой стороны, вопрос: "Нравится ли вам музыка?"- настолько неопределенный (в том, где же критерий того, что музыка нравится?), что согласие вероятно будет фактором, влияющим на положительные ответы в этом вопросе. В последнем примере есть две особенности. Прежде всего, обратите внимание, что данный вопрос несравним с вопросом: "Нравятся ли вам вечеринки?" В этом вопросе критерий того, нравятся ли вечеринки, известен каждому: частые посещения с желанием и энтузиазмом. Следовательно, этот вопрос - практически сокращенная форма вопроса: "Посещаете ли вы много вечеринок?" Таким образом, для него вероятность подвергнуться влиянию установки на согласие меньше, чем для вопроса: "Любите ли вы музыку?"

К этой особенности относится и неопределенное утверждение "нравится музыка". Это выражение бесполезно в задании. Так, слово "нравится" может соответствовать разнообразным чувствам: от тех, которые испытывают великие композиторы и исполнители, когда слушают, пишут или исполняют музыку, до чувств человека, который любит слушать популярные песенки, совершая субботние покупки. Подобно этому, термин "музыка" означает огромное разнообразие различных направлений: например, джаз, поп, народная музыка, рок, барокко, доклассическая, классика, романтизм, модерн, неоклассицизм, - а, кроме того, может иметь отношение к слушанию и исполнению, так что идентичные ответы на вопрос могут отражать совершенно различное поведение. Например, "да" для испытуемого 1 может отражать наслаждение от пения контр-тенора в ранней полифонической венецианской церковной музыке. А для испытуемого 2 это может отражать удовольствие прослушивания мотивчика типа "Танцуй со мной", когда он сидит за рулем своей машины. Любое задание, в результате оценки которого оказывается, что столь разные области поведения будут отнесены к одному и тому же классу, с очевидностью является бесполезным.

Проверка влияния установки на согласие

До сих пор все наши усилия были направлены - при помощи сбалансированных шкал и формулирования предельно ясных и конкретных заданий - на уменьшение влияния установки на согласие или на то, чтобы сделать менее вероятным получение за счет тенденции к согласию высоких показателей по переменной, для измерения которой предназначен тест. Однако, как уже говорилось, действие этой установки возможно даже при сбалансированных шкалах, и далеко не всегда можно создать настолько понятные вопросы, чтобы быть уверенным, что влияние установки устранено. Поэтому разработаны методики, предназначенные для проверки того, была ли установка на согласие фактором, влияющим на ответы. Эти методики будут описаны в главе 6.

Социально одобряемые ответы

Edwards (1957) показал на материале с заданиями ММРI, что наблюдается высокая положительная корреляция между степенью социальной желательности утверждений, оценивавшейся экспертами, и количеством реальных социально одобряемых ответов на них испытуемыми. Поэтому он утверждает, что данная установка должна детерминировать ответы на задания и, следовательно, является основным источником невалидности тестов. Хотя, очевидно, невозможно полностью устранить влияние установки на социально одобряемые ответы, есть разнообразные приемы, полезные для уменьшения ее влияния. Эти приемы описаны ниже.

Страницы: 1, 2, 3