Электронные лекции (1176816), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Åãî çàäà÷à - îïðåäåëèòü îñíîâíóþôîðìó ñëîâà è ìîðôîëîãè÷åñêèå õàðàêòåðèñòèêè äàííîãî ñëîâà. Èíîãäà äîñòàòî÷íî îïðåäåëèòü ëèøü îñíîâíóþ ôîðìó ñëîâà (îíà ïîïàäàåò â ñëîâàðü è äàëååèíäåêñèðóåòñÿ).Ìåòîäû ìîðôîëîãè÷åñêîãî àíàëèçà ãîðàçäî áîëåå èíòåðåñíû. Îíè ðàçëè÷àþòñÿ äëÿ ðàçíûõ ÿçûêîâ. Îíè äåëÿòñÿ íà:1. Ñëîâàðíûå(a) Ñëîâàðè îñíîâ(b) Ñëîâàðè îêîí÷àíèé (èçìåíÿåìûõ ÷àñòåé)52. Áåññëîâàðíûåßçûêè îòëè÷àþòñÿ èçìåíåíèåì ñëîâ.  íåêîòîðûõ ÿçûêàõ ýòî ïðîèñõîäèò ïóò¼ì èçìåíåíèÿ ñàìîãî ñëîâà (íàïðèìåð, â ðóññêîì), à â äðóãèõ - ñ ïîìîùüþïðåäëîãîâ (íàïðèìåð, â àíãëèéñêîì).Äëÿ àíãëèéñêîãî ÿçûêà äîñòàòî÷íî õîðîøî ðàáîòàåò ñòåììèíã. Ñàìûé èçâåñòíûé - ñòåììåð Ïîðòåðà.Ñòåììèíã - îòñå÷åíèå èçìåíÿþùåéñÿ ÷àñòè ñëîâà.

Íàïðèìåð, äëÿ ñëîâà"êðûøà"îòñåêàåòñÿ îêîí÷àíèå.Ñòåììèíã ìîæåò ïðèâîäèòü ëèøü ê íåêîòîðîé íà÷àëüíîé îñíîâå. Äëÿ îïðåäåëåíèÿ òîãî, ÷òî îòñåêàòü èñïîëüçóåòñÿ êàê ñòàòèñòèêà, òàê è ñëîâàðè èçìåíÿåìûõ ÷àñòåé ñëîâ. Äëÿ ïðîñòûõ çàïðîñîâ ñòåììèíã ïîâûøàåò ïîëíîòó ïîèñêà.Ïðîáëåìà: íåïðàâèëüíûå ãëàãîëû (â àíãëèéñêîì ÿçûêå), ãëàãîë (èäòè). Âíåìåöêîì ÿçûêå ñëîæíûå òåðìèíû ñòðîÿòñÿ èç îáúåäèíåíèÿ ïðîñòûõ.×òî êàñàåòñÿ ñëîâàðíîãî ñïîñîáà, òî èñïîëüçóåòñÿ ñëîâàðü îñíîâ è ñëîâàðüîêîí÷àíèé. Ñîñòàâèòü ñëîâàðü äëÿ âñåãî íåâîçìîæíî.

Êëàññè÷åñêèé ïðèìåð:"Âåðõíåâàðòîâñê". Èñïîëüçóåòñÿ ìîäåëü àíàëîãèè. Åñëè èçâåñòíî èçìåíåíèåàíàëîãè÷íîãî ñëîâà, òî ëîãè÷íî ïðèìåíèòü ê íåìó ïðàâèëà èçìåíèÿ òîãî èçâåñòíîãî ñëîâà.Ïðèìåð: ñëîâî "êðîâàòü". Ïðåäïîëîæèì, ÷òî îíî íåèçâåñòíî. Àíàëîãèÿ: "äåñêàòü "ïå÷àòü "ïèðîâàòü".Êàê âèäíî, îäíîçíà÷íîñòüþ íå ïàõíåò. Íàäî ëèáî âûáðàòü ëó÷øå, ëèáî èñïîëüçîâàòü âñå.

×åì áîëüøå èñïîëüçóåì, òåì ëó÷øå ïîëíîòà, íî õóæå òî÷íîñòü.Èòàê, âåðí¼ìñÿ ê îïðåäåëåíèþ íà÷àëüíîé ôîðìû ñëîâà:• "ñòåêè"→ ñòåê, ñòå÷ü• "ñòåêëà"→ ñòåêëî, ñòå÷ü• "ñòåêàìè"→ ñòåêÏðèìåð: áàã ßíäåêñà: "Ñî÷è ýòî ãëàãîë, íå ñóùåñòâèòåëüíîå.Âäîãîíêó ñêàæåì, ÷òî ê íà÷àëüíîé ôîðìå ñëîâà ìîæíî ïîñòàâèòü ÷àñòü ðå÷è(ñóùåñòâèòåëüíîå, ãëàãîë) è åãî ïðèçíàêè (ïàäåæ, ñêëîíåíèå, ðîä).Ïåðåõîäèì ïëàâíî ê ñèíòàêñè÷åñêîìó àíàëèçó.

Çàäà÷à: îïðåäåëèòü ñèíòàêñè÷åñêóþ ñòðóêòóðó íåêîòîðîé åäèíèöû òåêñòà (áóäåì ñ÷èòàòü, ïðåäëîæåíèÿ) èïîñòðîèòü â òîì èëè èíîì âèäå äåðåâî ðàçáîðà. Àíàëîãèÿ: ðàçáîð ïðåäëîæåíèÿâ øêîëå.Ðàññìîòðèì ïðèìåð: "Ïàêåòèê ÷àÿ çàëèòü êèïÿùåé âîäîé". Çàëèòü "÷òî?"ïàêåòèê,ïàêåòèê "÷åãî?"÷àÿ, çàëèòü "÷åì?"âîäîé, âîäîé "êàêîé?"êèïÿùåé. È ïîëó÷àåòñÿ äåðåâî ðàçáîðà: Çàëèòü → ïàêåòèê → ÷àÿ Çàëèòü → âîäîé → êèïÿùåéÌåòîäû, ðåøàþùèå äàííóþ çàäà÷ó:1. Ðàáîòà íà îñíîâå øàáëîíîâ. Øàáëîíû - èíôîðìàöèÿ î òîì, êàêèå õàðàêòåðèñòèêè ñëîâ âñòðå÷àþòñÿ ïîäðÿä (ãëàãîë, ñóùåñòâèòåëüíîå, ïàäåæ, ðîä).2.

Âûäåëåíèå ôîðìàëüíîé ãðàììàòèêè. Åñòåñòâåííûé ÿçûê î÷åíü ñëîæíîîïèñàòü ôîðìàëüíîé ãðàììàòèêîé. Åñòåñòâåííî ïîÿâëÿþòñÿ ïðèìåðû, íàêîòîðûõ âñ¼ ëîìàåòñÿ.6Ïîñòðîåíèå òàêîé ñòðóêòóðû ïîçâîëÿåò ÷àñòü ïðîáëåì óáðàòü ñ íåîäíîçíà÷íîñòüþ. Ïðèìåð îñòàþùèõñÿ íåîäíîçíà÷íîñòåé: "ïîäíÿòü óïàâøåãî íà ðåëüñû".Êàê ìèíèìóì 2 èíòåðïðåòàöèè. Ñ òî÷êè çðåíèÿ çäðàâîãî ñìûñëà, çäåñü âñ¼îäíîçíà÷íî.Îñòàëñÿ ïîñëåäíèé óðîâåíü - ïðàãìàòè÷åñêèé. Ýòî ñàìûé ãëóáîêèé óðîâåíüïîíèìàíèÿ ñîâñåì ñòðàííûõ è íåîäèíàêîâûõ âåùåé. Îïðåäåëÿåòñÿ, ÷òî òàêèåñëîâîñî÷åòàíèÿ, êàê "Îëåã Ëóïàíîâ "äåêàí ìåõìàòà"íàäî ðàññìàòðèâàòü âìåñòå.

Äëÿ ýòîãî íóæíû îïðåäåë¼ííûå äîïîëíèòåëüíûå çíàíèÿ èç ïðåäìåòíîéîáëàñòè.Òåîðèÿ çàêîí÷èëàñü. Äâèæåìñÿ ê ïðàêòèêå. Ñóùåñòâóåòñÿ òàêîå ïîíÿòèå,êàê "òåñò Òüþðèíãà òåñò íà ïðåäìåò òîãî, ìîæåì ëè ìû îòëè÷èòü ìàøèíó îò÷åëîâåêà. Íþàíñ: ðàçíûå ëþäè ðàçãîâàðèâàþò ïî-ðàçíîìó.Íà ïðàêòèêå ïðèìåíÿþòñÿ ñàìûå ðàçíûå ìåòîäû èñêóññòâåííîãî èíòåëëåêòà. ÈÈ (ïî Èãîðþ Àøìàíîâó) - åù¼ íå ðåø¼ííûå èíòåëëåêòóàëüíûå çàäà÷è.

Êàêòîëüêî çàäà÷à ðåøèëàñü, òî îíà îòòóäà óáèðàåòñÿ. Íà ïðàêòèêå èñïîëüçóþòñÿêîëäóí÷èêè, âîïðîñíî-îòâåòíûé ïîèñê, ñåðâèñû àâòîìàòè÷åñêîãî ðåôåðèðîâàíèÿ (ßíäåêñ.Íîâîñòè).Åù¼ åñòü ÷àñòíàÿ çàäà÷à - âûäåëåíèå èì¼í ñîáñòâåííûõ. Ïðè âûäåëåíèèïî øàáëîíàì âîçíèêàþò çàáàâíûå âåùè: "ßñíàÿ Ëþáîâü ýòî ÷åëîâåê; "ÌÃÓÀíàòîëèé "Ãîðîä Ýíãåëüñ Ñàðàòîâñêîé îáëàñòè".Ëèíãâèñòè÷åñêèå çàäà÷è: àâòîìàòè÷åñêèé èëè àâòîìàòèçèðîâàííûé ïåðåâîä. Åñòü òåêñò íà îäíîì ÿçûêå, íàäî ïåðåâåñòè åãî íà äðóãîé. Ìîæíî ðàçîáðàòüòåêñò, ïîñòðîèòü åãî ìîäåëü è ïåðåâåñòè íà äðóãîé.

Ýòî êëàññè÷åñêèé òåêñò. Âïîñëåäíåå âðåìÿ íà÷àëè ïðèìåíÿòüñÿ ñòàòèñòè÷åñêèå ìåòîäû (google translate:"êóñòàðíèê ïîçäðàâèë ñåçîí ðûáíîé ëîâëè "ÿ ýñòîíåö"(I am russian)).Åù¼ åñòü ëèíãâèñòè÷åñêàÿ çàäà÷à: spell-checker (ïðîâåðêà íà ãðàìîòíîñòüè ïîèñê îïå÷àòîê). Ñëîâàðíûå ñëîâà íàäî ïèñàòü, êàê îíè åñòü â ñëîâàðå. Ñòî÷êè çðåíèÿ ëèíãâèñòèêè, ñëîâàðíîå ñëîâî - ýòî ñëîâî, ÷òî åñòü â ñëîâàðå.Ñ òî÷êè çðåíèÿ èíôîðìàöèîííîãî ïîèñêà, ñëîâàðíîå ñëîâî - ýòî ëþáîå ÷àñòîâñòðå÷àåìîå ñëîâî. Íàïðèìåð, "àôòàð"→ "àôôòàð".

Àëãîðèòìû ïîèñêà îïå÷àòîê: ñëîâàðíûå ìåòîäû è N-ãðàììû ("ø÷ "àü"è äð.). Word ïðåäëàãàë ïîäåëèòü"ìóëüòèê àíàëüíûé"è "êóëüò óðîëîãèÿ". Åñòü åù¼ ñëîâà (àáñöåííûå), êîòîðûååñòü â ñëîâàðå, íî ïðåäëàãàòü èõ â êà÷åñòâå çàìåíû íåëüçÿ. Åù¼ åñòü ïðîâåðêàíà çíàêè ïðåïèíàíèÿ.Âñ¼ ýòî ìîæåò èñïîëüçîâàòüñÿ â ðàìêàõ èíôîðìàöèîííîãî ïîèñêà äëÿ áîðüáû è ãåíåðàöèè ñïàìà.3Ëåêöèÿ 6. Ìîäåëè èíôîðìàöèîííîãî ïîèñêàÌîäåëè:01 äåêàáðÿ 2010 ãîäà1. Áóëåâñêàÿ.

Ñàìàÿ ñòàðøàÿ (50-å ãîäû ïðîøëîãî âåêà) è ñàìàÿ ïðîñòàÿ.Ìîäåëü ðåëåâàíòíîñòè îñíîâàíà íà òîì, ñîäåðæèòñÿ ëè ñëîâî çàïðîñà âñëîâå äîêóìåíòà è òåðìû çàïðîñîâ ìîæíî ãðóïïèðîâàòü ñ ïîìîùüþ ëîãè7÷åñêèõ îïåðàòîðîâ (NOT, AND, OR). Ïðèìåð: npol and not ñóäüÿ. Äî 90õãîäîâ ïðîøëîãî âåêà íåäàëåêî îò ýòîãî óøëè.2. Âåêòîðíàÿ. Èäåÿ âåêòîðíîé ìîäåëè â òîì, ÷òî êàæäûé äîêóìåíò è çàïðîñìîæíî ïðåäñòàâèòü â âèäå âåêòîðà â íåêîòîðîì âåêòîðíîì ïðîñòðàíñòâåòåðìîâ.  êàæäûé ìîìåíò âðåìåíè ñëîâàðü êîíå÷åí. Âñå òåðìû ìîæíîóïîðÿäî÷èòü â ëåêñèêîãðàôè÷åñêîì ïîðÿäêå è ïåðåíóìåðîâàòü. Êàæäàÿêîîðäèíàòà îçíà÷àåò, ïðèñóòñòâóåò ëè äàííûé òåðìèí â äîêóìåíòå èëèíåò (1 èëè 0). Òàêèì æå îáðàçîì ìîæíî ïðåäñòàâèòü è çàïðîñ.

Ïðè òàêîìïðåäñòàâëåíèè äîêóìåíòîâ, êàêàÿ-òî ÷àñòü èíôîðìàöèè òåðÿåòñÿ - â êàêîì ìåñòå äîêóìåíòà äàííîå ñëîâî áûëî ðàñïîëîæåíî. Ïðèìåð: "À ëó÷øåÁ"è "Á ëó÷øå À"îäíî è òî æå. Ýòà ìîäåëü "bag-of-words". TF (÷àñòîòàòåðìà) - ñêîëüêî ðàç äàííûé òåðìèí âñòðåòèëñÿ â äàííîì äîêóìåíòå. Íîíå âñå òåðìèíû îäèíàêîâî ïîëåçíû. Äëÿ ðåøåíèÿ äàííîé ïðîáëåìû âûN, ãäå N - îáùåå÷èñëÿåòñÿ IDF (îáðàòíàÿ ÷àñòîòà äîêóìåíòà): IDF = log DF÷èñëî äîêóìåíòîâ â êîëëåêöèè, DF - ÷èñëî äîêóìåíòîâ, â êîòîðûõ äàííûéòåðìèí âñòðåòèëñÿ. Ïîñûëêà ê äàííîìó ñïîñîáó îïðåäåëåíèÿ âåñîâ: åñëè÷èñëî âñòðå÷àåòñÿ ñëèøêîì ÷àñòî, òî îíî íå ñàìîå âàæíîå. Ïðèìåð: êîëëåêöèÿ ïðî àâòîìîáèëè.

Ñëîâî "äèçåëü"áóäåò èìåòü áîëåå âûñîêèé îáùèéâåñ, ïîñêîëüêó îíî áîëåå ñïåöèôè÷åñêîå. Ñàìûé ÷àñòî èñïîëüçóåìûé âåñ- ýòî T F × IDF . Åñëè òåðìèí âñòðå÷àåòñÿ â íåêîòîðîé íåáîëüøîé ãðóïïå äîêóìåíòîâ, òî åãî âåñ ðàñò¼ò è ýòî ñîîòâåòñòâóåò áîëüøåé ñïåöèôèêåäàííîãî äîêóìåíòà.Òàêæå ïîìèìî íàèâíîé èíôîðìàöèè â êàæäîé êîîðäèíàòå ìîæíî õðàíèòü ÷èñëî âõîæäåíèé òåðìà â äîêóìåíò (åãî ìîæíî êàêèì-ëèáî îáðàçîì íîðìèðîâàòü).  ðàìêàõ äàííîé âåêòîðíîé ìîäåëè ìîæíî îïðåäåëèòüïîíÿòèå áëèçîñòè ìåæäó äîêóìåíòàìè è åãî ôîðìàëèçîâàòü.

Èç ëèíåéíîé àëãåáðû èçâåñòíî äîñòàòî÷íî ìíîãî ìåð áëèçîñòè, íî â çàäà÷å èíôîðìàöèîííîãî ïîèñêà íàèáîëüøåå ðàñïðîñòðàíåíèå ïîëó÷èëà êîñèíóñíàÿ áëèçîñòü. Ïóñòü èìåþòñÿ 2 âåêòîðà A è B , ñîîòâåòñâþóùèå äâóìÿäîêóìåíòàì. Ìîæíî ïîñ÷èòàòü ñõîäñòâî ìåæäó ýòèìè äîêóìåíòàìè êàê(A,B), ÷òî ñîîòâåòñòâóåò êîñèíóñó ìåæäó âåêòîðàìè â ñîsim(A, B) = ||A||×||B||îòâåòñòâóþùåì ïðîñòðàíñòâå. Ïî ñâ-âó: (A, B) =nP(ai × bi ).i=13. Âåðîÿòíîñòíàÿ. Èäåÿ: ó íåêîòîðîãî äîêóìåíòà åñòü ñâîÿ âåðîÿòíîñòü ñîîòâåòñòâèÿ çàïðîñó. Âûäàþòñÿ íàèáîëåå âåðîÿòíûå äîêóìåíòû.4. Ññûëî÷íàÿ. Ñòàëà âîçìîæíîé â ðåçóëüòàòå ïîÿâëåíèÿ âåáà (â í¼ì êó÷àðàçëè÷íûõ ññûëîê). Ñþäà îòíîñèòñÿ PageRank è íåêîòîðûå äðóãèå ìåòîäû, îñíîâàííûå íà ãèïåðññûëêàõ. Âñå îíè ïîÿâèëèñü â êîíöå 90-õ ãîäîâïðîøëîãî âåêà.  êà÷åñòâå êàêîé-òî ïðåäòå÷è äëÿ íèõ ÿâèëèñü èíäåêñûíàó÷íîãî öèòèðîâàíèÿ.

Èäåÿ â òîì òàì, ÷òî ÷åì ëó÷øå íàó÷íàÿ ñòàòüÿ,òåì áîëüøå ó íå¼ ññûëîê. Êðîìå òîãî, åñòü æóðíàëû, â êîòîðûõ ýòè õîðîøèå ñòàòüè ãðóïïèðóþòñÿ.Ðàññìîòðèì PageRank ("ìîäåëü ìèëëèîíà îáåçüÿí"). Èäåÿ: â âåáå âñå äî8êóìåíòû äîñòàòî÷íî ñèëüíî ñâÿçàíû ññûëêàìè è òîò äîêóìåíò, íà êîòîðûéññûëàþòñÿ, ëó÷øå, ÷åì òîò, íà êîòîðûé íå ññûëàþòñÿ. Ôîðìóëà ðàñ÷¼P P ageRank(q)òà PageRank: P ageRank(p) = (1 − α) ×. Ñ÷èòàåòñÿ, ÷òîlinks(q)p,q→infêàæäûé êîíêðåòíûé ïîëüçîâàòåëü ñ íåêîòîðîé âåðîÿòíîñòüþ ïåðåéä¼ò íàäðóãóþ, íà êîòîðóþ åñòü ññûëêà èç äàííîé. Åñëè íåò ññûëîê èç äàííîéñòðàíèöû, òî ïîëüçîâàòåëþ ïðèä¼òñÿ íàáðàòü íåêîòîðûé àäðåñ â ñòðîêåàäðåñíîé.

Ïîýòîìó è âîçíèêàåò êîýôôèöèåíò.Ìàðêîâñêàÿ öåïü - ñëó÷àéíîå áëóæäàíèå. Äîïóñòèì, åñòü ÷åëîâåê, êîòî-ðûé ìîæåò ïðîéòè çà åäèíèöó âðåìåíè ëèáî åäèíèöó âïåð¼ä, ëèáî åäèíèöóíàçàä. Òî, êóäà îí ìîæåò ïîïàñòü, çàâèñèò îò åãî òåêóùåãî ïîëîæåíèÿ. Åñëè ÷åëîâåê èä¼ò â îáå ñòîðîíû ñ ðàâíîé âåðîÿòíîñòüþ, òî â áåñêîíå÷íîñòèîí îñòàíåòñÿ íà ìåñòå. Èíà÷å - ìîæåò â ñîîòâåòñòâóþùóþ ñòîðîíó ñäâèíóòüñÿ.

Характеристики

Список файлов лекций