179547 (Тестирование в ИСУ), страница 3

Таким образом, достоверность инструмента теста можно определить в обход двух параллельных измерений.

Формулу 3 можно преобразовать:

(5)

Используя формулу (1) получаем:

(6)

Или

(7)

Значение, выведенное из равенства достоверности, называется стандартной ошибкой текста. Она выявляет среднее отклонение ошибки от истинного значения [4, с.117].

Проблемы валидности и надежности тес­но взаимосвязаны. Однако валидность рассчитывается относи­тельно объекта исследования (применительно к испытуемым), надежность же - относительно предмета психодиагностическо­го исследования (психологических свойств или черт личности).

Надежность не обязательно предполагает валидность. Она является необходимым, но недостаточным условием валидно­сти. Справедливо следующее неравенство: валидность надеж­ность. Это означает, что валидность теста не может превышать его надежность [2, с. 54].

Под объективностью понимается степень, в которой результаты тестирования не зависят от проверяющего. Объективность налицо, если разные исследователи одного проверяемого пришли к идентичным результатам [4, с.114].

Норма теста определяется в результате тестирования большой выборки испытуемых определенного возраста и пола с после­дующим усреднением полученных oценок и дифференциацией по ряду релевантных показателей. Согласно Р.С Немову, нор­ма теста - это средний уровень развития большой совокупно­сти людей, похожих на данного испытуемого по ряду социально-демографических характеристик.

Понятие «норма теста» связано с понятием «репрезентативность». Репрезентативность (франц. representatif – показательный) – свойство выборочной совокупности представлять характеристики генеральной совокупности. Репрезентативность означает: с некоторой наперёд заданной или определённой статистической погрешностью можно считать, что представляемое в выборочной совокупности распределение изучаемых признаков соответствует их реальному распределению [2, с. 55].

Для установления нормы теста и стандартизации тестовой методики требуется предварительно определить обоснован­ность выборки и провести статистические расчеты по опреде­лению их репрезентативности. Операции по анализу и расчету тестовых норм (а следовательно, и проверке их на репрезента­тивность) проводятся с использованием математических мето­дов (в основном на компьютере). В случае негативных резуль­татов (отсутствия устойчивых тестовых норм) прибегают к обследованию более широкой выборки или отказываются от пла­на использования данного теста.

Всякие нормы со временем, как правило, изменяются в со­ответствии с изменяющимися условиями социально-культурной жизнедеятельности людей. Р.С Немов отмечает, что «нор­мы интеллектуального развития, установленные в первой чет­верти нашего века, не подходят для его последней четверти, так как за это время уровень развития мышления людей значи­тельно вырос». В соответствии с установленным среди психологов правилом один раз в пять лет нормы теста, особенно интеллектуального, должны пересматриваться.

Валидность, надежность, соответствие тестовым нормам (ре­презентативность) являются основными требованиями психо­метрии. Их объективный характер, возможность перепроверки результатов тестирования являются гарантией достоверной психологической информации.

Социальная адаптация тестовых методик – данное требование выдвинуто сравнительно недавно. И связано это с необходимостью адаптации тестовых методик, заимство­ванных из других стран, к новым региональным и социальным условиям. Р.С Немов по этому поводу пишет: "Если, например, созданный в Европе тест интеллекта впервые применяется в стране, где доминирующим в структуре интеллекта является не словесно-логическое, а образное или практическое мышление, то он обязательно должен быть социокультурно адаптирован. В противном случае, применяя его в первоначальном, неадаптированном варианте, мы, скорее всего, получим низкие результаты, которые не будут соответствовать уровню развития мышления у жителей данной страны».

Работа по переоценке тестовых методик по своему объему фа­ктически соответствует конструированию оригинальной методи­ки. « С этой точки зрения заимствование зарубежных общедиагностических тестов способностей, черт характера, интересов и т.п. вовсе не оказывается кратчайшим путем к психодиагностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики» [2, с. 56].

Таким образом, применение тестирования в исследовании систем управления является достаточно важным моментом.

Тестирование – исследование высказываний, позволяющих получить объективное отражение свойств и количественных параметров деятельности людей. Тест – система высказываний или оценок по комплексу вопросов, в которых закодирована какая-либо проблема.

В управлении при помощи тестирования можно исследовать проблемы использования ресурсов (в частности, важнейшего из них – времени), уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиль управления и пр. Тестирование составляет важную часть полной программы управления трудовыми ресурсами. Наиболее полно сущность тестов раскрывается в их классификации. Большую роль в исследовании при помощи тестирования играет конструкция теста. Тест включает набор высказываний и оценок по определённой проблеме или ситуации. При составлении теста необходимо учитывать его основные характеристики: валидность, надежность, соответствие тестовым нормам.

К побочным критериям качества тестов относятся:

- нормируемость;

- сравнимость;

- целесообразность(полезность);

- экономичность.

2. МЕТОДОЛОГИЯ И ОРГАНИЗАЦИЯ ТЕСТОВЫХ ИССЛЕДОВАНИЙ СИСТЕМ УПРАВЛЕНИЯ

2.1. Принципы организации и проведения тестирования

При исследовании систем управления важную роль играет организация и проведение тестирования.

Система управления – это совокупность двух взаимодействующих подсистем (управляющей и управляемой – объект управления), образующих новую систему – систему управления. Эффективность управления системой рассматривается как степень достижения цели функционирования [9, c.4].

Система управления предприятием должна отвечать современным рыночным условиям:

• обладать высокой гибкостью производства, позволяющей быстро менять ассортимент изделий (услуг). Это обусловлено тем, что жизненный цикл продукции (услуг) стал короче, а разнообразие изделий и объём выпуска разовых партий – больше;

• быть адекватной сложной технологии производства, требующей совершенно новых форм контроля, организации и разделения труда;

• учитывать серьёзную конкуренцию на рынке товаров (услуг), в корне изменившую отношение к качеству продукции, потребовавшую организовать послепродажное обслуживание и дополнительные фирменные услуги;

• учитывать требования к уровню качества обслуживания потребителей и времени выполнения договоров, которые стали слишком высокими для традиционных производственных систем и механизмов принятия управленческих решений;

• учитывать изменение структуры издержек производства;

• принимать во внимание необходимость учёта неопределённости внешней среды.

Для решения представленных проблем существует объективная необходимость в исследованиях, анализе существующего положения [9, c.4].

При проведении тестирования следует использовать следующие методологические принципы:

1. Проблема – это противоречие, которое предстаёт нам иногда в качестве абсурда (неожиданно, непривычно, необъяснимо, нелогично, абстрактно). Методология работы с проблемой обеспечивает качественное планирование исследования, и его организацию.

2. Принцип оценки: любые события, явления, противоречия мы оцениваем по критериям важности, объективности, актуальности, связи с другими явлениями, сложности.

3. Принцип распознавания. Всегда возникает необходимость отождествления, сравнения, определения класса явления, принадлежности к определённой типологической группе. Это позволяет глубже понять новое явление, определить его свойства и характер, сделать оценку более существенной.

Методологические принципы исследования помогают найти эффективный вариант его проведения, целенаправленного осуществления. Принципы – это правила деятельности, которые её, с одной стороны, ограничивают, а с другой стороны – поддерживают, потому что они отражают концентрированный опыт успешного исследования [5, с. 18].

Организация проведения тестирования во многом зависит от верного подбора и соблюдения принципов тестирования (приложение Б). К основным принципам тестирования, которые находят своё применение в исследовании систем управления, относятся принципы действенности и достоверности.

Действенность теста – точность, с которой тест, интервью и т.п. оценивает то, для чего он был разработан, или выполняет предопределённую ему функцию. Действенность отвечает на вопрос: «Оценивает ли этот тест то, для оценки чего он был предназначен?». Действенность теста всегда определяется по тому, что он оценивает. При найме на работу термин «действенность» означает, что тест относится к выполнению данной работы, другими словами, что результаты теста должны дать представление о способности человека выполнять определённую работу. Если это не подтверждается, то дальнейшая проверка не имеет никакого смысла. Тестирование характеризуется двумя основными параметрами, показывающими его действенность: эффективностью критериев и действенностью содержания [3, c. 100].

Эффективность критериев – эффективность, основанная на том, что баллы теста (прогноз) связаны с уровнем исполнения (критерий). Эффективность критериев указывает на то, что тест («прогноз») находится в соответствии с требованиями, предъявляемыми к данному виду деятельности («критерий»). Демонстрация действенности критериев предполагает доказательство того, что те, кто успешно проходят испытания, хорошо работают, и наоборот. То есть тест действенен, если люди, набравшие большее количество очков при тестировании, наилучшим образом соответствуют данной деятельности. С точки зрения психики, прогноз – это оценка, которую вы стараетесь связать с критерием – выполнение реальной работы.

Действенность содержания – тест, содержание которого эффективно, содержит ряд задач и навыков, действительно необходимых для выполнения рассматриваемой работы.

Действенность содержания – набор задач и навыков, включённых в тест, необходимых для выполнения рассматриваемой работы.

Основная задача – определить содержание работы в виде поведенческих стереотипов, затем случайным образом осуществить набор этих задач и образцов поведения и включить их в тесты. Примером служит тест на скорость печатания при найме машинистки. Если этот тест – достоверный образец работы машинистки, то он, возможно, содержательно действенен.

Доказательство содержательной действенности теста на практике сложнее, чем в теории. Доказать, что задания, предлагаемые испытуемым при тестировании, на самом деле являются образцом задач, выполняемых в процессе реальной работы, и что условия тестирования адекватны реальным рабочим условиям, не всегда легко [5, c. 197].

Помимо действенности имеется другая важная характеристика теста – достоверность.

Достоверность – постоянство баллов, набранных одним и тем же человеком при повторном тестировании с теми же эквивалентными тестами.

Достоверность теста оценивает его устойчивость, т.е. постоянство результатов, полученных одним и тем же испытуемым при повторном прохождении подобного или похожего теста.

Существует несколько способов оценки стабильности или достоверности теста. Например, человеку делается один и тот же тест в два различных момента времени и результаты сравниваются. Это называется оценкой повторного тестирования, это означает, что во второй раз предоставляется эквивалентный тест. Это называется эквивалентной оценкой. Другой способ определения достоверности теста – определение его внутренней устойчивости [16, c. 197].

Выделяют также следующие принципы тестирования.

1. Принцип научной обоснованности предполагает высокий научный потенциал тестирующего, его профессиональную практическую подготовку на основе профессионально-этических стандартов в области тестирования. Соблюдение этого принципа способствует устранению ошибок диагноста и артефактов (искусственных, ложных фактов, полученных в результате неправильного применения тестовых методик).