science-review.ru
Текст статьи является продолжением научных изысканий авторов по актуальной теме – измерению результативности педагогических технологий. Педагогические технологии в значительной степени определяют успех педагогического процесса в целом. Ограничения и рекомендации относительно условий применения инновационных педагогических технологий, далее – ИПТ также приведены без экспериментального обоснования, на основе «интуиции» и «здравого смысла». Заметное количество ИПТ появилось в отечественной теории и практике в 80-х и 90-х годах прошлого века в русле широкого потока переводной зарубежной литературы весьма разного уровня научной добросовестности. Сведения (корректные) о диагностике данных технологий за рубежом и результатах адаптации зарубежного опыта к отечественным условиям по большей части отсутствуют [1,2,3,4].
Особенно велики эти опасения у педагогов, преподающих профилирующие дисциплины и готовящих специалистов для профессий, сопряженных с риском для жизни и здоровья людей, а также профессий, ошибки в которых ведут к значительным материальным потерям [5].
Критерии результативности педагогической технологии. Говорить о содержании процедуры диагностики результативности педагогической технологии возможно только после решения вопроса о критериях результативности. В общем случае результативность обозначает степень соответствия между достигаемыми и проектируемыми (заданными) результатами.
Критерии для замера результативности педагогич5еской технологии – вопрос, с которого необходимо начинать научную дискуссию о диагностике ИПТ. В связи с неопределенностью критериального обоснования диагностики технологий обучения определенное количество преподавателей и работодателей испытывают сомнения и опасения по поводу эффективности ИПТ с точки зрения усвоения объёма знаний, определенного учебными планами и программами в заданный период времени, настороженно относятся к педагогическим инновациям, проявляют местами оправданный, но, к сожалению, нередко излишний «педагогический консерватизм» [6,7,8].
Разработка и обоснование критериев и показателей результативности образовательного процесса относятся к числу сложных и спорных проблем. На наш взгляд существуют два различных подхода к позиционированию сферы образования в системе общественных отношений, от которых зависит точка зрения на критерии результативности педагогического процесса. Первый подход, более традиционный для отечественной культуры, рассматривает образование как инструмент общества и государства, направленный на сохранение собственной идентичности, поддержание и увеличение конкурентоспособности в мире. Для этого подхода главным критерием результативности педагогического процесса в целом и результативности педагогической технологии в частности является уровень знаний, умений и навыков [9,10,11].
Второй подход рассматривает образование как фактически коммерческую услугу, оказываемую специализированными организациями юридическим и физическим лицам. Для этого подхода главный критерий результативности педагогической технологии – уровень удовлетворённости потребителя, который платит за услугу. Проблема заключается в том, что потребитель услуги не является экспертом в вопросе применяемых педагогических технологий, поэтому применение лишь одного такого полхода в диагностике ИПТ является крайне ненадежным и ненаучным. Например, очень требовательный преподаватель вполне может получить низкие баллы по анкетированию, а «либеральный» или даже пренебрегающий своими обязанностями педагог – более высокие, если он своей харизмой просто «очарует» своих учащихся. Таким образом в данном подходе слишком много субъективизма и личностного фактора [12,13,14].
Знания, умения и навыки имманентно могут входить в состав этого критерия и даже быть на первых местах, но измеряются они исключительно опосредованно, – через удовлетворённость клиента, – а ещё точнее, – через рыночный успех субъекта образовательного процесса, продающего данную педагогическую технологию. Необходимо также учесть что многие ИПТ, применяющиеся в зарубежных странах не подходят к реалиям российской системы высшего медицинского образования и слепое копирование иностранного педагогического опыта вполне может больше навредить, чем принести пользу. Особенно это касается новомодных в современной педагогике компьютерных технологий, всевозможных «креативных», интерактивных и нестандартных методов обучения. Излишнее внимание к технологизации обучения может привести к потере концентрации в содержании предмета – что в медицине совершенно недопустимо. Важно отметить, что существуют педагогические проблемы, в рамках которых необходима разработка более частных критериев результативности ИПТ. Открытым является вопрос об отборе студентов для включения в научно-исследовательскую деятельность, применение тех или иных технологий в рамках тех или иных дисциплин, в разных возрастных, гендерных, этнических и конфессиональных группах учащихся [15,16].
Таким образом, оба указанных подхода и оба главных критерия результативности часто дополняются детализацией, основанной на абстрактном гуманизме и общечеловеческих ценностях, но стержневая суть их от этого не меняется. В обоих подходах эффективным может считаться такой процесс обучения, (соответственно, такая педагогическая технология) который обусловливает:
• увеличение объема знаний, умений, навыков у учащихся;
• углубление и упрочение знаний, новый уровень обученности;
• новый уровень познавательных потребностей и мотивов учения;
• новый уровень сформированности познавательной самостоятельности и творческих способностей [17,18].
Однако, первые два пункта (критерия) этого списка в большей степени соответствуют первому подходу, последние два пункта – второму подходу. Наконец, важнейшей характеристикой критерия результативности педагогической технологии является его измеримость. Эффективная образовательная деятельность без эффективных педагогических измерений невозможна сама по себе. Тем более, без измерений невозможна диагностика результативности педагогической технологии. Педагогические измерения – это процесс, посредством которого интересующие латентные свойства личности (например, уровень знаний и уровень подготовленности) выражаются числами интервальной или ранговой шкалы.[19,20,21,22]
Метод измерения должен быть сравнительно легким, технологичным, по возможности, компьютеризованным.
В частности, приведённые выше критерии результативности «объём знаний» и «глубина знаний» сравнительно легко могут быть выражены в числах интервальной шкалы. Измерение же двух других критериев «мотивированность» и «исследовательская самостоятельность» несколько сложнее, в большинстве случаев требует экспертной оценки, но в шкале рангов реализуется вполне технологично даже одним экспертом. Можно предложить и другие измеримые критерии результативности, отражающие педагогическую технологию со стороны психологического комфорта обучаемых, но, поскольку в большинстве случаев неоправданно, если при внедрении педагогической технологии произойдет снижение результативности по критериям объёма и глубины знаний, умений и навыков, то замер результативности любой новой технологии (или адаптируемой в новых условиях) по этим двум критериям обязателен [23,24].
Этапы диагностики
Педагогическая диагностика является основывается на общих принципах диагностики социально-психологических объектов. Поэтому структура диагностирования, учитывая стадии, выделенные в общей теории диагностики, добавляет ряд специфических этапов.
• определение объекта (в нашем случае – результативность типологии), целей и задач педагогического диагностирования; выдвижение гипотезы и ее последующая проверка, планирование процесса предстоящего диагностирования;
• выбор средств диагностирования (критерии, уровни, методики);
• сбор информации об объекте (соотношение реального состояния объекта с нормативно-оптимальным);
• обработка полученной информации (анализ, систематизация и классификация);
• синтез компонентов диагностируемого объекта в некоторое новое единство на основе анализа достоверной информации;
• прогнозирование перспектив дальнейшего развития диагностируемого объекта, обоснование и оценка педагогического диагноза;
• практическое применение педагогического диагноза, осуществление коррекции по управлению педагогическим процессом с целью преобразования диагностируемого объекта.[25,26,27].
Основные принципы данной структуры диагностики результативности педагогической технологии неизменны для любых целей и задач, определяемых её первым пунктом.
Технология эксперимента
Для обеспечения валидности и максимальной объективности диагностики план центрального эксперимента должен соответствовать одному из общепринятых стандартов, например, стандарту «Экспериментальный план с предварительным и итоговым замерами и контрольной группой» по классификации Кэмпбелла [28].
Для реализации данного экспериментального плана необходимо осуществить следующее:
Выбрать две учебных группы, – экспериментальную и контрольную. Экспериментальная группа должна обучаться с использованием диагностируемой педагогической технологии, контрольная – с использованием классической технологии. Группы должны иметь численность не менее 20–30 человек для того, чтобы обнаружить возможные сдвиги выбранных критериев результативности на приемлемом уровне статистической значимости. Выбрать дисциплину (цикл, модуль, раздел, тему), на основе которой будет проведена диагностика. Содержание учебного материала, сроки, планируемые объёмы новых знаний и умений должны быть идентичными для групп. В зависимости от целей диагностики выбрать критерии результативности. Критерии должны быть измеримыми. Организационных ресурсов должно быть достаточно для проведения измерительных процедур, особенно, если планируется применять метод экспертной оценки с несколькими экспертами. Произвести предварительный (до начала обучения) замер выбранных критериев в группах. Измерительные процедуры должны быть идентичны. Необходимо, чтобы среднегрупповая начальная величина критериев статистически значимо не различалась, в противном случае результаты эксперимента будут невалидны. При наличии различий одну из групп следует заменить и добиться выполнения условия. После выполнения всех предварительных условий провести цикл обучения в группах (желательно, разными преподавателями, обладающими одинаковым профессиональным уровнем), строго придерживаясь правил сравниваемых педагогических технологий. После окончания цикла произвести контрольный замер уровня выбранных критериев результативности в обеих группах. Кроме всего вышесказанного желательно провести данный эксперимент по двойному слепому методу (чтобы ни студенты, ни преподаватели о ситуации эксперимента не знали), однако условия слепого метода по отношению .к преподавателям в рамках одного учебного заведения вряд ли возможны [29,30].
Измерительные процедуры являются центральным моментом диагностики результативности педагогической технологии. Наиболее эффективными способами измерения результативности педагогических преобразований являются тесты достижений и методика экспертных оценок. Применимы и традиционные академические способы оценивания результатов при условии, что оценочные процедуры максимально унифицированы и операционализированы по выбранным критериям для обеих групп, участвующих в эксперименте.
Метод тестирования является самым разработанным и эффективным для измерения объёма и глубины знаний, умений и навыков. Относительная простота и доступность являются достоинством тестов как метода диагностики. Тесты достижений хороши своей объективностью и единообразием. Практически сводится на нет действие случайных факторов в процедуре оценивания при условии соблюдения основных требований к их построению. Они наиболее соответствуют таким известным стандартам качества информации, как критерии надежности и валидности [31].
Измерение объема знаний, умений и навыков обеспечивается адекватным разнообразием и вариативностью тестовых заданий. Измерение глубины знаний, умений и навыков обеспечивается сложностью тестовых заданий (например, по уровням: «узнавание», «репродуцирование», «продуктивной деятельности», «трансформации» используемых понятий и функций). Существуют методики и нормативы для построения оптимального шага по наращиванию сложности при переходах от пункта к пункту теста. Чтобы оценка успеваемости выполняла вышеуказанную роль, ее целесообразно проводить на основе требований к оптимальному усвоению обучающимися знаний, умений и навыков. Оптимальное усвоение знаний, умений и навыков – понятие сложное и многогранное. Наиболее существенными его критериями являются: объем, системность, осмысленность, прочность и действенность [32].
Объем знаний – это сумма фактов, понятий, правил, законов, которые усваиваются обучающимся по тому или иному разделу, модулю, теме или отдельно взятому занятию.
Системность знаний – это понимание логики изучаемой дисциплины, ее идей и закономерностей, умение располагать изучаемый материал в определенной последовательности, правильно соотносить одни факты, понятия и правила с другими.
Осмысленность знаний предполагает правильность и убедительность суждений, умение ответить на видоизмененные вопросы, применять теоретические знания для объяснения и решения практических задач. Прочность знаний – это твердое удержание в памяти изученного материала и уверенное использование приобретенных знаний в различных ситуациях.
Действенность знаний – это умение пользоваться приобретенными знаниями в разнообразной познавательной и практической деятельности, сочетать теорию с практикой. Совершенно очевидно, что такое многообразие факторов приводит к субъективности оценки и налагает на преподавателя особую ответственность при ее определении [33].
В целях обеспечения единства требований и объективности подхода в большинстве образовательных учреждений разработаны критерии оценки ответов обучающихся с учетом специфики различных дисциплин. При наличии таких критериев, казалось бы, все решается просто, т.е. обеспечивается и объективность, и единство требований и т. п. Однако на практике все получается далеко не так. Дело в том, что введенные в критерии таких понятий как глубоко, исчерпывающе, твердо, полно и т.д. – каждым преподавателем воспринимаются и трактуются субъективно. Считаем, что при проектировании одним из перспективных способов снятия субъективизма преподавателя при оценке и контроле результатов учебной деятельности обучающихся выступает педагогическое тестирование.
Под педагогическим тестом следует понимать систему заданий специфической формы и определенного содержания, расположенных в порядке возрастающей трудности, создаваемой с целью объективной оценки структуры и измерения уровня подготовленности обучающихся. Из определения следует, что педагогический тест целесообразно рассматривать не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными системными факторами: содержательным составом тестовых заданий, образующих наилучшую целостность, и нарастанием трудности от задания к заданию. Принцип нарастания трудности позволяет определить уровень знаний и умений по контролируемой дисциплине, а обязательное ограничение времени тестирования позволяет выявить наличие навыков и умений. Трудность задания, как субъективное понятие определяется эмпирически по величине доли неправильных ответов.
В профессиональной тестологии, существуют два критерия, связанных с качеством теста как инструмента измерения. Это валидность и надежность. Обычно валидность и надежность оцениваются с помощью математических методов и выражаются в специальных показателях. Валидность теста выражает степень, в которой тест измеряет именно то, что он должен измерять. Разработчики не могут быть наверняка уверены, что тест измеряет именно то, что должен. Намного проще формулировать цель, предмет измерения теста, чем подобрать тестовые задания таким образом, чтобы тест действительно измерял именно то, что необходимо разработчикам. Валидность теста – понятие, указывающее, что измеряет тест и насколько хорошо он это делает. Оценка этого критерия по содержанию в сущности означает систематическую проверку содержания теста с тем, чтобы установить.
В самом общем понимании валидность характеризует сам измерительный инструмент, и проверка этого аспекта называется теоретической валидизацией. Проверка эффективности и точности этого инструмента есть второй аспект валидности и называется прагматической (или практической) валидизацией. При подборе внешнего критерия необходимо соблюдать принцип его релевантности изучаемому признаку, т.е. между диагностируемым свойством и жизненно важным критерием должно быть смысловое соответствие. Если, например, разрабатывается тест для измерения особенностей развития личностных качеств, то для критерия необходимо найти такую деятельность или отдельные операции, где именно эти качества реализуются. Прогностическая валидность теста зависит не только от надежности теста, но и от надежности критерия. В практике не всегда удается подобрать высоконадежный критерий, а так как тесты подбираются по критерию, то часто возникает вопрос – какой валидностью обладал бы тест, если бы надежность критерия была максимальной, равной единице? В критериально-ориентированном педагогическом измерении проблема обеспечения достаточной валидности стоит не очень остро. Общая валидность теста обуславливается валидностью отдельных заданий. Если составление спецификации, разработка и экспертный анализ тестовых заданий были проведены достаточно качественно, то это уже обеспечивает высокий уровень валидности. Для педагогического тестирования, различающая способность заданий практически тождественна их валидности. Поэтому отбор заданий с высокой различающей способностью также способствует повышению валидности теста. В ПТ критерием их валидности является собственное содержание теста, одобренное опытными экспертами. При этом у эксперта должна быть уверенность в том, что:
– задания теста находятся в соответствии с государственными образовательными стандартами и программой учебной дисциплины;
– задания теста охватывают не один какой-либо раздел, а всю программу курса;
– высока вероятность того, что обучающийся, успешно ответивший на определенные задания теста, знает учебный предмет в соответствии с установленным стандартом [34].
Перечисленные пункты объединяются общей идеей – содержит ли тест задания, пригодные для оценки знаний по конкретной учебной дисциплине? Если в результате статистической проверки выявляется, что ответы на задания теста позволяют обоснованно судить о знаниях студентов, то считается, что тест валиден по содержанию.
Для критериев, трудно поддающихся непосредственному измерению, используются методы экспертных оценок. При диагностике результативности педагогической технологии такими критериями являются мотивация, креативность, удовлетворённость обучаемого. Методы экспертных оценок чаще всего реализуются в форме анкетирования с использованием стандартизированных опросников, свободного интервью либо прямого балльного оценивания наблюдаемых ситуаций (объектов). Экспертов, которые проходят специальную подготовку может быть один или несколько. Экспертная процедура строго единообразна. Итогом экспертизы являются оценки в числовой форме, реализованные в интервальной либо ранговой шкале.[35]
Традиционные академические способы оценивания знаний (экзамен, дифференцированный зачёт, контрольная работа и др.) в исключительных случаях (при отсутствии ресурсов) применимы для диагностики результативности педагогической технологии. При этом следует учитывать, что, оценивая технологию, преподаватель фактически оценивает собственную работу. Кроме того, необходимо исключить ряд типичных субъективных ошибок оценивания, к наиболее распространенным из которых относят: ореола, центральной тенденции, контраста, близости, логические ошибки.
Для компенсации ошибок оценивания рекомендуется рейтинговое оценивание, в случае, если преподаватель ведёт дисциплину и в экспериментальной, и в контрольной группах. В этом случае преподаватель придерживается следующего правила: чем больше проявление оцениваемого свойства (признака), тем правее ставится некоторый знак и тем большим будет численное значение, присваиваемое оцениваемому. Максимальное количество рангов равно суммарной численности студентов в группах.
Если по каким-то причинам балльной оценки избежать невозможно, то во-первых, рекомендуется использование 100-балльной (как минимум 10-балльной) шкалы оценивания. Во-вторых, общую оценку рекомендуется составлять из двух и более компонент (например, за полноту и за оригинальность). В-третьих, желательно описать основные градации (уровни) оценки текстуально в семантике «полноты», «безошибочности», «самостоятельности», «нестандартности», «свободы оперирования» и т.д.
При любом методе измерения результативности педагогической технологии главнейшими требованиями являются: валидность оценок по отношению к выбранным критериям, объективность и их дифференцированность (дискриминативность).
Статистическая обработка результатов измерений. Минимально необходимая статистическая обработка результатов измерений должна включать следующие операции:
• анализ формы распределений частот по каждому из выбранных критериев результативности в каждой выборке;
• расчёт показателей мер центральной тенденции распределения признака (среднее арифметическое для нормального распределения или медиану для распределений асимметричных);
• расчёт стандартного отклонения, характеризующего вариацию признака;
• анализ сдвигов, произошедших в результате педагогического воздействия, по каждому из выбранных критериев результативности в каждой выборке с обязательным расчётом статистической значимости сдвига;
• анализ различий между экспериментальной и контрольной группами по каждому из критериев по итоговым измерениям с обязательным расчётом статистической значимости различий.
Кроме этого, если есть необходимость и возможность, то на этапе планирования эксперимента возможно выделить внутри контрольной и экспериментальной групп подгруппы на основании социальных (например, городские и иногородние студенты) или психологических (например, экстравертированные и интровертированные студенты) признаков. Такое разделение может позволить судить о результативности педагогической техники для отдельных категорий обучаемых.
Признать преимущества или новшества диагностируемой педагогической технологии относительно её результативности можно лишь в том случае, когда, хотя бы по одному из измеренных критериев произошли статистически значимые сдвиги в результате проведённого обучения, и, хотя бы по одному из критериев обнаружены статистически значимые различия между экспериментальной и контрольной группами.
Критерии оценки новых (инновационных) технологий на этапе функционирования. Содержание обучения может быть оценено частным критерием эффективности содержания обучения, который характеризуется следующими качественными и количественными показателями. К качественным показателям относятся: целостность отражения в содержании обучения задач образования, воспитания и развития; структурное соответствие содержания обучения принятой психолого-педагогической концепции усвоения; отражение в содержании обучения современного уровня развития науки, техники и производства; гносеологически верное соотношение эмпирического и теоретического, образного и понятийного, конкретного и абстрактного. Эти показатели позволяют выявить феномен эффективности и осуществить качественный его анализ. Вместе с тем необходимо использовать количественные показатели, которые хотя и не отражают сущность исследуемого процесса, но позволяют улучшить педагогическую деятельность. [34,35]
К таким показателям относятся:
• информативность учебного материала, которая устанавливается путем соотнесения элементов содержания, предусмотренных программой, с вводимыми преподавателем в единицу времени;
• усвоенность учебного материала, определяемую соотношением объема учебного материала, усвоенного обучающимися в течение единицы времени, к материалу, сообщенному обучающемуся за то лее время. Единица усвоения учебного материала является условной величиной, в качестве которой могут быть приняты: формулы, дефиниции, правила и др.
Для оценки эффективности методов, используемых в процессе обучения, применяется соответствующий частный критерий. Он может быть представлен такими качественными показателями, как: адекватность методов целям и содержанию учебного материала; обоснованность выбора методов обучения в перцептивном, гностическом, логическом, контрольно-оценочном, мотивационном и других аспектах. При оценке по данному показателю определяется степень учета преподавателем возрастных личностных особенностей обучающихся, уровня их теоретической и практической подготовленности, а также собственных возможностей; многообразие использования методов и вариативность реализуемых приемов обучения; соответствие методов обучения реальной материально-технической базе и отведенному учебному времени.
Критерии эффективности результатов обучения при использовании той или иной технологии обучения. Качественная оценка знаний обучающихся может осуществляться по таким показателям, как:
• глубина знаний, характеризующая числом осознанных существенных связей данного знания с другими, с ним соотносящимися;
• действенность знаний, предусматривающая готовность и умение учащихся применять их в сходных и вариативных ситуациях;
• системность, которая определяется как совокупность знаний в сознании обучающихся, и структура которой соответствует структуре научного знания;
• осознанность знаний, выражающаяся в понимании связей между ними, путей получения знаний, умений их доказывать.
Педагогическая эффективность образовательных технологий с позиций личностно-ориентированного образования определяется степенью соответствия результатов реализации технологии проектируемым целям, направленным на выполнение человекосозидательных функций образования, сформулированных в трудах Е.В. Бондаревской: гуманитарной, культуросозидательной, функций социализации и индивидуализации личности. Эффективность технологии в реализации указанных функций обеспечивается следующими функциями: оптимизация образования, мотивационная поддержка технологии, актуализация личностных смыслов, ориентация на сохранение, укрепление и развитие духовного, интеллектуального, личностного и физического здоровья всех субъектов образования. Важным вопросом предоставляется изучение эффективности компьютерных и телекоммуникационных технологий обучения [28,31].
Выводы: всякая деятельность имеет цель. Всякая деятельность требует ресурсов, и эти ресурсы обычно ограничены. Если к одной заявленной основной цели добавить вторую, а потом и ещё, – ресурса для главной цели может не хватить. Самый ограниченный ресурс в стандартном образовательном процессе – это время. Главный мотив деятельности всегда находится за пределами данной деятельности. Единственная деятельность, которая совершается ради самой себя – это игра. Поиск (создание) мотива деятельности внутри неё самой – это уход от реальности в самом мягком случае. Успех в учёбе достигается через персональный труд, самоограничения, многократные упражнения. Попытки сделать учёбу мероприятием лёгким и приятным, упование на то, что знания придут каким-то косвенным путём – это в лучшем случае обман и самообман [34,35].
Диагностика результативности педагогической технологии – процедура обязательная и ответственная. Итоги диагностики в обязательном порядке должны быть задокументированы. Педагогическая технология не должна быть рекомендована к использованию без опубликования сведений об итогах диагностики её результативности.
Участники педагогического процесса имеют право знать экспериментальные результаты диагностики рекомендованной или практикуемой технологии. Обучающая сторона эту информацию знать обязана.
Участники педагогического процесса имеют право знать:
• на что направлена технология, какое преимущество (или отличия) имеет по отношению к технологии классической;
• когда и где происходила диагностика (адаптация) педагогической технологии;
• на каких учебных дисциплинах (циклах, темах) происходила диагностика педагогической технологии;
• численность и состав выборки (выборок) обучаемых (по возрасту, уровню подготовки);
• по каким критериям оценивалась результативность педагогической технологии;
• каков был план эксперимента, лежащего в основе диагностической экспертизы;
• какие измерительные процедуры использованы в диагностической экспертизе;
• величина и статистическая значимость сдвигов результативности по каждому из использованных критериев
• по каким критериям результативности она превосходит классические технологии, а по каким уступает (с представлением величины различий и их статистической значимости;
• от каких иных возможных дополнительных условий зависят преимущества и ограничения данной педагогической технологии.
Если обучающий-профессионал решается применять педагогическую технологию, не имея корректной информации о результатах её диагностики, это означает, что он берёт на себя всю полноту ответственности за исход обучения и осознаёт риски. Например, открытым является вопрос об эффективности технологии дистанционного обучения, которая имеет как очевидные преимущества, так и несомненные недостатки. Излишнее упование на дистанционные и компьютерные технологии является одним из рисковых в современной педагогике, такие технологии не могут заменить самого главного – живого общения с преподавателем.
Но вопрос об ответственности педагога, о том, является она лишь прерогативой совести, или же для неё возможно оформить внешние рамки, – это уже вопрос другой темы.
Библиографическая ссылка
Куликов В.С., Чумаков В.И., Бузмакова А.И., Федотова Ю.М., Орехов С.Н., Матвеев С.В. ТЕХНОЛОГИЯ ДИАГНОСТИКИ РЕЗУЛЬТАТИВНОСТИ ПЕДАГОГИЧЕСКОЙ ТЕХНОЛОГИИ В МЕДИЦИНСКОМ ОБРАЗОВАНИИ НА ОСНОВЕ ПЕДАГОГИЧЕСКОГО ЭКСПЕРИМЕНТА ПО ПЛАНУ Д. КЕМПБЕЛЛА // Научное обозрение. Педагогические науки. – 2016. – № 6. – С. 84-92;URL: https://science-pedagogy.ru/ru/article/view?id=1576 (дата обращения: 21.11.2024).