42680 (Застосування математичних методів у мовознавстві)

Реферат на тему

Застосування математичних методів у мовознавстві

ПЛАН

1. Поняття та історія математичної методики в лінгвістиці.

2. Лінгвостатистика.

3. Застосування математичних теорій.

4. Використана література

1. Поняття та історія математичної методики в лінгвістиці.

Застосування математичного (точніше, кількісного) критерію в мовознавчих дослідженнях відоме з давніх часів. Такі лінгвістичні поняття, як фонетичний закон, продуктивність морфем, критерій спорідненості мов то­що ґрунтувалися певною мірою на кількісних харак­теристиках. Звукові відповідники, що часто фіксу­ються в мові чи декількох споріднених мовах, є законо­мірними на відміну від аномалій, котрі є рідкісними. Ті морфеми, що часто використовуються для творення нових слів, є продуктивними. Спорідненими мовами є такі, які мають більше спільних рис, ніж неспоріднені. Однак раніше математичний критерій використову­вали стихійно і спорадично. Зараз його застосовують свідомо і цілеспрямовано.

Активне використання математичних методів у ви­вченні мови почалося в середині XX ст. Стимулом для цього послужили перспективи машинного перекладу. У процесі обробки текстів для їх уведення в машину бу­ло одержано різноманітні кількісні оцінки окремих фактів мови, які згодом виявилися корисними не тіль­ки для створення математичних моделей мови, а й для лінгвістичної теорії. Оскільки мова — це ймовірнісна, а не жорстко детермінована система, то для її пізнання квантитативні методи, пов'язані з дослідженням час­тотних, ймовірнісних, градуальних та інших нелогіч­них характеристик, не тільки бажані, але й необхідні.

Розрізняють кількісні й статистичні методи. Кіль­кісні методи зводяться до простого підрахунку час­тоти вживання мовних одиниць. Статистичні ме­тоди передбачають використання різних формул для виявлення правил розподілу мовних одиниць у мов­ленні, для виміру зв'язків між мовними елементами, для встановлення тенденцій у розвитку та функціону­ванні мови та для встановлення залежності між якіс­ними й кількісними характеристиками мови.

Математичні методи мають самостійну цінність у дослідженні мови і, крім того, можуть входити як складова частина в інші методи. Останнім часом вико­ристання цих методів до вивчення мовного матеріалу значно зросло, і можна говорити, що в математичній лінгвістиці виокремилися два розділи, або напря­ми, — лінгвостатистика і стилостатистика.

2. Лінгвостатистика.

Основна увага лінгвостатистики звернена на дос­лідження того, що в мові визначається правом вибору мовця, а що зумовлено її іманентною структурою і як ці два параметри кількісно співвідносяться між собою. Виявляється, що одиниці будь-якого мовного рівня ма­ють сталі для певного періоду кількісні показники їх використання. Подібність між членами одного мовно­го колективу полягає не тільки в тому, які мовні оди­ниці (фонеми, лексеми, граматичні форми і синтаксич­ні конструкції) вони використовують, а й у тому, як часто вони їх уживають. Отже, стає зрозуміло, чому нині такого великого поширення набули так звані частотні словники, у яких слова розташовані не за алфавітом, а за спадом частот, тобто першим іде найбільш частотне слово, за ним слово нижче рангом за частотою від пер­шого і т.д. Відомі такі частотні словники: Yosselson H. The Russian Word Count and Frequency Analysis of Grammatical Categories of Standard Literary Russian. — Detroit, 1953; Штейнфельдт Э. А. Частотный словарь современного русского литературного языка. — Таллинн, 1963 (перевидавався в Москві в 1969 і 1973 pp.); Частотный словарь русского языка / Под ред. Л. Н. Засориной. — М., 1977. В Україні в 1981 р. вийшов дво­томний «Частотний словник сучасної української ху­дожньої прози». Частотні словники мають велике практичне значення. На їх основі створюють підруч­ники іноземних мов, тексти яких будуються на най­більш уживаній лексиці, і словники-мінімуми. Якщо зважити на те, що 1100 (за іншими даними — 1000) найбільш частотних слів покриває 80% тексту, то зна­чення частотних словників для лінгводидактики не­оціненне: варто знати 1100 слів і можна розмовляти іноземною мовою, читати й розуміти тексти (значення 20% невідомих слів можна якоюсь мірою визначити за контекстом).

Статистичні закономірності лежать в основі органі­зації словника і тексту будь-якої мови. Американсь­кий дослідник Дж. Ципф дійшов висновку, що існує залежність між числом різних значень одного слова і його відносною частотою вживання. Кількість значен­ня наближається до квадратного кореня від частоти слова: т = -Jf , де т — число значень, а / — відносна частота. Інша закономірність, встановлена Ципфом (у науці вона відома як закон Ципфа), має таке форму­лювання: відношення рангу слова в частотному слов­нику до частотності слова в мові становить постійну величину (константу) rf = с, де г — ранг слова в час­тотному словнику, / — частота слова, с — постійна ве­личина. Слід зазначити, що тісний зв'язок існує також між частотними характеристиками слова в пам'яті та в словнику [Фрумкина 1971: 14 і наст.].

Статистична організація тексту полягає в тому, що покриття тексту різними словами відповідає такій за­кономірності: на початку тексту різних слів більше, а далі їх менше [Пап 1961: 96—100].

Найширше застосовують статистичні методи для визначення семантичної відстані між словами. Най­частіше з цією метою статистичній обробці піддають слова, які сполучаються з аналізованим словом.

На основі статистичних формул, які враховують ви­падки зникнення в мовах слів основного фонду, можна встановити абсолютну хронологію диференціації мов­них сімей (метод глотохронології М. Сводеша, про який уже йшлося).

Стилостатистика — це визначення і характерис­тика стилістичних особливостей окремих творів або авто­рів через кількісні відношення використаних мовних елементів. В основі статистичного підходу до досліджен­ня стилістичних явищ лежить розуміння літературного стилю як індивідуального способу володіння засобами мо­ви. При цьому дослідник абстрагується від питання про якісну значеннєвість обчислюваних мовних елементів, зосереджуючи свою увагу тільки на кількісному аспекті.

Найпростішим різновидом статистичного підходу до вивчення мови письменників або окремих творів є під­рахунок уживаності слів, оскільки багатство словника певним чином характеризує їхню мову. Досить порів­няти такі факти: словниковий запас пересічної людини становить 7—10 тисяч слів, у творах О. Пушкіна вжито 21280 слів, а в російськомовних творах Т. Шевченка — 21548 слів.

Для кожного письменника, як і будь-якого мовця, характерна своя специфічна частотність мовних елемен­тів, іншими словами, кожному авторові притаманні свої улюблені, а тому й частотні слова, словосполучення, фрази, синтаксичні конструкції тощо. Так, скажімо, 56 найчастотніших слів у творах О. Пушкіна покривають 40 відсотків тексту, 1000 слів — 70 відсотків, 8000 — 95 відсотків, інші 13280 слів — усього лише 5 відсот­ків тексту. Саме тому середня частотність використо­вується також для встановлення справжнього авторст­ва виявлених без зазначення автора творів, а також для датування окремих творів того самого автора на основі попередньо проведеного підрахунку середньої частоти вживання ним слів у різні періоди його твор­чості. Специфічними для кожного автора є й рідко­вживані слова.

Як засіб стильової характеристики використовують критерій стабільності середньої частоти найуживані­ших слів. Доведено, що, незважаючи на різні перипетії сюжету в усіх частинах твору, середня частота вжи­вання слів є стабільною. Звідси випливає такий висно­вок: стиль автора можна охарактеризувати певним співвідношенням змінності середньої частоти вживан­ня слова до загальної для певної мови частоти його вживання.

Якщо ж у творі письменника чи його якійсь части­ні є суттєві відхилення вибіркових частот від харак­терної для нього середньої частоти, то це свідчить про зумисне, цілеспрямоване, зумовлене фабулою викорис­тання чи невикористання певних мовних засобів. Як інструмент для визначення випадковості чи суттєвості

У вивченні мовних функціональних стилів засто­совують два різновиди статистики: ймовірнісний і сим­птоматичний. Ймовірнісна статистика допомагає встановити ступінь достовірності одержаних результа­тів, величину й кількість вибірок для аналізу із зада­ною точністю, вибрати об'єктивні критерії для дифе­ренціації різних стилів, визначити відстань між стиля­ми. Симптоматичну статистику застосовують у статистичному описі функціональних стилів, оскільки за її допомогою можна виявити процентне співвідно­шення між різними типами мовних явищ.

Статистичну методику використали вчені відділу структурно-математичної лінгвістики Інституту мово­знавства ім. О. О. Потебні НАН України під керівниц­твом В. С. Перебийніс (див.: Статистичні параметри стилів. — К., 1967, де різні функціональні стилі оха­рактеризовані за частотними параметрами фонем, ти­пів складів, кінцевих афіксів, дієслівних форм, дієслів­ного оточення, сполучників, префіксів і префіксальних словоформ, розділових знаків, а також за розподілом довжини речення).

Крім статистичних методів, у мовознавстві застосо­вують методи теорії інформації, математичної логіки, теорії ймовірностей і теорії множин.

3. Застосування математичних теорій.

Дані теорії інформації використовуються для найекономнішої передачі інформації засобами мови. Кож­на мова має значну кількість надлишкової інформації. Щоб переконатися в цьому, варто звернутися до фено­мену телеграми: незважаючи на скорочення слів і усу­нення деяких службових слів, її зміст залишається зрозумілим. У мовленні, зокрема, в одній фразі повто­рюється (інколи по п'ять і більше разів) вказівка на рід, число, відмінок, вживаються підряд синоніми, та сама думка часто дублюється (уточнення, що почина­ються словами тобто, інакше, іншими словами тощо) та ін. Встановлено, що, наприклад, російська мова має 39,8 % надлишкової інформації, англійська — 30,7 %. Різним ступенем надлишковості характеризуються сти­лі тієї самої мови. Найбільша надлипіковість притаман­на діловому стилю, менша — публіцистичному і худож­ньо-белетристичному і найменша — непідготовленому усному мовленню. Надлипіковість інформації в мові не можна розцінювати як недолік. Часто надлипіковість при перешкодах на каналі зв'язку є допоміжним засо­бом сприйняття повної інформації.

З математичної логіки мовознавство запозичило символічну мову. Так, зокрема, знак с означає вхо­дження, п — перетин, и — поєднання, л — і, v — або, + — функцію, а, в, с — змінні, > — більше, < — мен­ше, - — подібно. Використання елементів математич­ної логіки вплинуло на збагачення прийомів дослі­дження мови — алгоритмізацію, графічні обчислення, матричне визначення істинності функцій складних висловлень тощо. Застосування логіко-математичних методик і прийомів моделювання зумовило появу різ­них видів логіко-математичного моделювання мови, мисленого експерименту і гіпотетико-дедуктивного способу дослідження.

Усе в мові підпорядковується не жорстким, а ймо­вірнісним закономірностям. Тому цілком природно, що в дослідженні мовних одиниць використовують тео­рію ймовірностей¹. Під ймовірністю розуміють відно­шення в середньому спостережуваного числа вдалих результатів до загального числа експериментів (подій).

Найпростіше питання, яке допомагає з'ясувати тео­рія ймовірностей, — частотність звуків у мовленні.

Якщо огрублено ототожнити звук з буквою, то в будь-якому російському тексті на 1000 букв і пробілів буде 175 пробілів, 90 — о, 62 — а, 53 — т, 45 — с, 40 — р, 38 — в ... і тільки 2 — ф. Цей тип ймовірності назива­ється середньою ймовірністю. Подібні дослідження використовують для складання друкарських кас, для опису особливостей окремих мов, різних стилів однієї мови або індивідуального авторського стилю.

Однак звуки в мовленні розташовуються не як-не­будь, а більш-менш визначеними для кожної мови способами (приголосний + голосний + голосний чи приголосний + голосний + приголосний тощо). У біль­шості мов світу переважає проміжний тип — приго­лосний + голосний. Знання таких закономірностей дає змогу визначити ймовірність появи в мовленнєвому лан­цюжку голосного чи приголосного. Так, якщо взяти перший тип мов, до яких належать полінезійські, де після приголосного, як правило, йдуть два голосних, то після першого навгад вибраного приголосного ймовір­ність, що наступним звуком буде голосний, практично дорівнює 1. Знання цих обмежень важливе для дешиф­рування тексту. Цей тип ймовірності, де у кожному но­вому експерименті враховується результат попередньо­го експерименту, називають умовною ймовірністю.

Другий тип, як і перший, не відображає суті мов­них явищ. При такій інтерпретації виходить, ніби всі приголосні в середньому однаково часто поєднуються з голосними. У мовленні на суто фонетичну сполучу­ваність накладаються ще й інші обмеження, виклика­ні тим, що деякі можливі звукосполучення мають зміст і є морфемами, а інші не мають змісту і не є морфемами (пор.: смола і жмола, хмола, вмола). Ймо­вірність перших різко зростає, а ймовірність других різко знижується, по суті дорівнює нулю. Цей тип ймовірності називається індуктивною ймовірністю. Для функціонування мови саме він має особливе зна­чення, оскільки людина, сприйнявши декілька зву­ків, очікує певне, а не будь-яке продовження. Індук­тивна ймовірність виражає очікування того чи іншого мовного елемента з погляду людини, яка розуміє зміст мовленнєвого ланцюжка.

Аспект мови, до якого застосовують теорію ймовір­ностей, називається теоретико-ймовірнісним.

Теорію множин використовують для дослідження класів мовних елементів, які складають уже не мовленнєвий ланцюжок, а парадигматику мови. Множину трактують як сукупність об'єктів, об'єднаних якоюсь спільною ознакою. Ознака, яка об'єднує об'єкти у складі множини, може бути якою завгодно. Так, скажімо, всі фонеми певної мови, усі словоформи певного тексту, всі тексти української мови можна інтерпретувати як окре­мі множини. Об'єкти, що складають певну множину, на­зивають елементами. Позначають множину фігурними дужками. Наприклад, запис А = {х, у,..., z) читається так: існує множина А, яка складається з елементів х, у,.... z.

Множину задають двома способами: простим пере­рахуванням її елементів або вказівкою на ознаку цих елементів. Наприклад: А = {ґ, к, х, ґ, к', х'} або А є мно­жина задньоязикових приголосних української мови.

Множина може складатися не тільки з багатьох, а й з одного елемента (наприклад, множина середньоязи­кових складається з одного звука [j]), може бути й порожньою (наприклад, множини довгих і коротких голосних в українській мові). Елементом множини мо­же бути інша множина (дзвінкі приголосні — підмно-жина множини приголосних, а приголосні — підмно-жина множини звуків). Належність елемента множині записується так: х є А, що читається: «елемент х нале­жить до множини А», а належність підмножини мно­жині записується, як А с М (множина А є підмножи-ною множини М). Дві і більше множин можуть мати спільні елементи. У такому разі говорять, що ці мно­жини перетинаються (наприклад, множини губних приголосних і дзвінких приголосних). Поділ множин на підмножини, які не перетинаються, є класифікаці­єю елементів.