Диссертация (1098648), страница 20
Текст из файла (страница 20)
В методеподсчитываются слова, а не предложения и не пропозиции. Программа воспринимает слово как цепочку символов, отделенных пробелом или знаком препинания. Таким образом, данный алгоритм считает want, wanted и wants абсолютно разными словами (Scott 2012, WordSmithTools).Обычный подсчет частотности, однако, был бы недостаточным, иначе просто абсолютная частотность была бы указанием на то, какие слова в тексте считать важными и о чем этот текст.
Но самыми частотными, как правило, оказываются слова the, was, of, т.е. определенный артикль, формы глагола «быть»,предлоги — одним словом, те слова, которые не отражают сути текста, не могутслужить индикаторами того, о чем текст. К самым частотным также, как правило, относятся слова, касающиеся людей, того, что они сказали, знают или видели. Обычно это очень общие слова, такие как time, like, new, first, know,people, — их тоже нельзя признать индикаторами специфики текста.Отсюда выводится второй принцип алгоритма отбора ключевых слов,а именно необходимость справочного корпуса или, точнее, списка слов посправочному корпусу, который нужен для того, чтобы определить, как часто какое-либо слово может встретиться в данном жанре или в языке вообще.
Эта частотность, или ожидание, будет служить фильтром.Поэтому справочный, или опорный корпус должен быть большим, многотысячным корпусом, т.е. достоверным образцом того языка, на котором написанизучаемый текст. В КИ по аналогии с изучаемым словом (the node)изучаемыйтекст также именуется «нод» (the node-text) (Scott 2012).
Такой образец не всегда есть в наличии. Скотт приводит такой пример. Если исследователь поставилзадачу определить КС в пьесе Шекспира «Ромео и Джульетта», то справочныйкорпус в несколько десятков тысяч слов, репрезентирующий английский языкпериода королевы Елизаветы, будет найти сложно.Поэтому на практике исследователь пользуется достаточно большими адекватным корпусом, который он смог составить самостоятельно или найти. Задачу немного упрощает то обстоятельство, что в процедуре подсчета участвует не100текст, а список слов — wordlist.
При этом некоторые большие корпусы, такиекак BNC или COCA (The Corpus of Contemporary American English, Корпус современного американского английского языка), разрешают воспользоваться 5–60-тысячными списками слов.Третий принцип алгоритма определения ключевых слов — это пороговоезначение. Обычно устанавливается пороговое значение 2 или 3 употребленияслова в исследуемом тексте. Для того чтобы за словом признать статус ключевого, оно должно, во-первых, встретиться чаще, чем пороговое значение, и, вовторых, быть значительно более частотным в исследуемом тексте, чем в текстахсправочного корпуса. Таким образом, в наличии должны быть два списка слов:исследуемого текста и справочного корпуса.Программа сопоставляет частотности исследуемого текста с частотностямисправочного корпуса. Особенным или ключевым слово будет только в случае,если в исследуемом тексте оно встретилось чаще, чем ожидалось на основанииданных справочного корпуса.
Оценка проводится с помощью традиционногостатистического теста, опирающегося на численное сравнение данной частотности и ожидаемой. Справочный корпус, если он достаточно большой, позволяет оценить такое ожидание. Оценка ожидания производится с помощью критериев логарифмического правдоподобия и хи-квадрат. Аналитические возможности инструмента позволяют проследить сюжет (plot) ключевых слов, а такжедисперсию или дистрибуцию, которые свидетельствует о том, как развиваютсятемы в тексте, и дают представление о связи ключевых слов в тексте.Зачем же нужны КС преподавателю? По М.
Скотту, два основных результата, которые дает список КС, состоят в том, что они будут отражать тему текста(aboutness — «о чем текст») и важность слов (importance) (Scott, Tribble2006).Кроме того, некоторые слова, попавшие в список ключевых и не являющиесяважными, могут отражать стиль. Следует подчеркнуть, что на любое слово вмалом и большом корпусе можно получить конкорданс, т.е. искомое слово вконтексте. Таким образом, КС определяют направление дальнейших действийКоличество слов с такойчастотностью в тексте101Зависимость количества слов от частотности слова40030020010001 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51Ряд1Рис. 1.
Закон зависимости количества слов в корпусе от их частотности.преподавателя. На основе полученного списка решается вопрос о включениислова в словарный минимум.Таким образом, с точки зрения статистики отбираются лишь слова, прошедшие все фильтры. Однако, как отмечает Н.Б. Гвишиани, с точки зрения языкового лексического разнообразия, необходим также учет высокочастотных содержательных слов. Как правило, они являются синонимами ключевых слов.Такие слова обогащают текст оттенками, развивают и поддерживают основнуюидею текста, подобно аккомпанементу вторят КС, усиливая эффект (Гвишиани2008).Таким образом, мы рассмотрели КС как лингвостатистическую основу дляотбора тематического лексического ядра словарного запаса обучаемого.
Свойство слова быть ключевым является текстуальной характеристикой. Слова, оказавшиеся в списке ключевых, являются важными в тексте, так как в них отражена главная идея. Индикатором важности является частое повторение слова,так как в ключевые попадают неожиданно частотные в данном тексте слова.При этом тематическая поддержка основной идеи на протяжении повествованияможет осуществляться не только с помощью единичных ключевых слов, «высокочастотных содержательных слов в тексте», но и с помощью других отсылок кключевым словам на лексическом, семантическом, тематическом уровне (Там102же: с.
137). Анализ ключевых слов должен соотноситься с дистрибуцией повторяющихся содержательных слов, основной функцией которых является поддержка КС в раскрытии темы (Там же). На графике (рис. 1) представлена зависимость количества слов в корпусе от частотности слова. Как видим, и это согласуется с упомянутым законом Зипфа (Ципфа): в любом корпусе текстов содержательные слова попадают в нечастотную зону, так как всплеск частотностив основном приходится на слова служебные. Поэтому так важна процедура отбора КС. С помощью этой процедуры мы сможем отобрать не столько частотные, сколько важные, релевантные в профессиональном тексте слова.Ряд авторов (Н.Б.
Гвишиани, М. Скотт, Р. Картер, М. Маккарти, А. О’Киффи) особо отмечает потенциал КС в обучении профессионально-ориентированному английскому языку. По результатам обзора трудностей преподаванияESP отмечается, что помимо того, что в ESP существует большое разнообразиеответвлений, существует целый ряд требований, которые диктует преподаваниепрофессионально-ориентированного иностранного языка (Basturkmen 2010).В своей классификации ЕSP Е. Бастуркмен выделяется три основных направления и шесть поднаправлений. Перечень направлений ESP приведен вПриложении 2.Обучаемые в нашем случае, очевидно, относятся к не имеющим опытапроизводственных отношений и опыта работы по специальности, которым необходимо сочетание английского языка для академических и для профессиональных (специализированных) целей.
Следует подчеркнуть, что нечасто преподаватель является еще и специалистом в той области, для которой ведетсяпреподавание английского языка, или работает в команде опытных ESP-экспертов. Большинству приходится работать в одиночку, самостоятельно исследовать идеи для разработки курсов и учебных материалов. Таким образом, мыприходим к выводу о том, что одним из наиболее эффективных путей решенияпроблем обучения профессиональному иностранному языку в соответствии снашей гипотезой становится сбор релевантного для профессии лингвистическо-103го материала, компиляция корпуса, его статистическое исследование и использование на занятиях.1.3.4.
Определение ключевых слов с точки зрения математическойстатистикиКоротко обобщая процедуру подсчета КС, можно сказать следующее: КСвычисляются путем сравнения частотности слова в исследуемом корпусе (небольшом) с частотностью слова в корпусе справочном (большом). На основанииданных справочного корпуса вычисляется математическое ожидание — как частотно слово вообще в языке, поэтому справочный корпус должен быть максимально большим.
Если слово в использованном корпусе попадается чаще, оностановится кандидатом на статус ключевого: его частотность не совпадает сожидаемой. Кроме этого, поскольку этот метод статистический, а статистикамыслит вероятностями, то с точки зрения этой науки необходимо проверить, неявляется ли результат случайным. Для этого существует параметр, который называется уровнем значимости (p-value), имеющий рекомендованные табличныезначения. Если уровень значимости находится в допустимых пределах, то словопризнается ключевым.Этот параграф описывает математическую сторону процесса отбора ключевых слов. В нем излагается суть происходящего с точки зрения непосредственно вычислительной процедуры, а также с точки зрения науки, средствамикоторой эти стандартные процедуры были разработаны и с успехом применяются в решении большого числа прикладных задач и в корпусной лингвистике,и в тестологии, и в психологии, и в других науках.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
