Электронные лекции (1176816), страница 4
Текст из файла (страница 4)
Áëèçêèå îáúåäèíÿþòñÿ â êëàñòåðû è ñ÷èòàåòñÿ, ÷òî îíè íåðàçëè÷àþòñÿ. Êëàñòåðû ìîãóò ãðóïïèðîâàòüñÿ êàê ó÷èòûâàÿ îñîáåííîñòèâîñïðèÿòèÿ öâåòîâ ÷åëîâåêîì, òàê è íå ó÷èòûâàÿ. Î÷åâèäíîå óëó÷øåíèåàëãîðèòìà: èçîáðàæåíèå ðàçáèâàåòñÿ íà îáëàñòè è ðàñïðåäåëåíèå öâåòîâñ÷èòàåòñÿ äëÿ êàæäîé îáëàñòè. Ïðèíöèï: ÷åì áîëüøå, òåì ëó÷øå. Òåìñàìûì ìîæíî ïîñòðîèòü ìàòðèöó íà îñíîâå öâåòîâîé èíôîðìàöèè.Ïîìèìî öâåòà êàæäîãî ïèêñåëà ó÷èòûâàåòñÿ è åãî ÿðêîñòü. Äëÿ ýòîãîñòðîèòñÿ ìàòðèöà ñìåæíîñòè, ïîêàçûâàþùàÿ ñòåïåíü ïåðåõîäà îò îäíîãîïèêñåëà ê äðóãîìó, îò îäíîé îáëàñòè ê äðóãîé.Ñäåëàåì âàæíîå çàìå÷àíèå, êîòîðîå äîñòàòî÷íî òðèâèàëüíî. Ïðåæäå ÷åìíà÷èíàåòñÿ ðàáîòà íàä èçîáðàæåíèåì, èçîáðàæåíèå ïðèâîäèòñÿ ê íåêîòîðîìóñòàíäàðòíîìó âèäó (ê ñòàíäàðòíîìó ðàçìåðó).Íåêîòîðîå âðåìÿ íàçàä íà÷àëè èñïîëüçîâàòü êîíòåêñòíóþ èíôîðìàöèþ ïîèçîáðàæåíèþ.
Ëÿï: áîìæ íà ñâàëêå è çàïðîñû "Îòäûõ â Ïîäìîñêîâüå". Ïî÷òèâî âñåõ ïîèñêîâûõ ñèñòåìàõ èñïîëüçóåòñÿ ñîâìåñòíîå ïðèìåíåíèå ìåòîäîâ. Åù¼ïðèìåð. Ñàìûå ìàëûå èçìåíåíèÿ â çàïðîñå ïðèâîäÿò ê ñóùåñòâåííûì èçìåíåíèÿì â ïîèñêîâîé âûäà÷å.5.1Îöåíêà êà÷åñòâà èíôîðìàöèîííîãî ïîèñêàÂñïîìíèì íåñêîëüêî îïðåäåëåíèé.Ðåëåâàíòíîñòü - ìåðà ñîîòâåòñòâèÿ ðåçóëüòàòîâ îáðàáîòêè çàïðîñà ñàìîìóçàïðîñó.Ôîðìàëüíàÿ ðåëåâàíòíîñòü - ýòî ðåëåâàíòíîñòü, âû÷èñëåííàÿ àâòîìàòè÷åñêè.Èíôîðìàöèîííûå ïîòðåáíîñòè ïîëüçîâàòåëÿ - òî, ÷òî ïîëüçîâàòåëüõî÷åò. Îíè ìîãóò áûòü êëàññèôèöèðîâàíû òàê:131.
Íåîñîçíàííàÿ - ïîëüçîâàòåëü íå çíàåò, ÷òî îí õî÷åò.2. Îñîçíàííàÿ3. Ñôîðìóëèðîâàííàÿ4. ÇàïðîñÐàçíèöà ìåæäó çàïðîñîì è îñîçàííîé ïîòðåáíîñòüþ ìîæåò áûòü ðàäèêàëüíà(ïîëüçîâàòåëü íå õî÷åò ñîîáùèòü ñèñòåìå î êàêèõ-òî ñëîâàõ, êîòîðûå åìó íóæíû è ïûòàåòñÿ äîáðàòüñÿ èíîñêàçàòåëüíî).
Ïî ÷àñòîòå çäåñü äîìèíèðóåò ïîèñêïî ôàêòîãðàôè÷åñêèì ìàòåðèàëàì. Íî èíîãäà ÿâíàÿ ôîðìóëèðîâêà çàïðîñ ìîæåò ïðèâîäèòü ê íåæåëàòåëüíûì ïîñëåäñòâèÿì. Îäíî èç îáâèíåíèé áûëî çàäàíîëîãîì â Google íà òåìó "îòðàâëåíèå".Ñóùåñòâóþò îöåíêè èíôîðìàöèîííîãî ïîèñêà:1. Àêàäåìè÷åñêàÿ. Ðàáîòàåò, êîãäà íåò ÷¼òêîãî ïîíèìàíèÿ ïîëüçîâòàåëüñêèõçàäà÷.
Íå ïðåäñòàâëÿåò èíòåðåñà â êà÷åñòâå ïðåäñòàâëåíèÿ îáúåêòèâíûõäàííûõ. Ìàëî ïðèìåíèìà íà ïðàêòèêå. Êîììåíòàðèé: ôèçèêó äàëè ïîñòðîèòü ìîäåëü äëÿ ïðîèçâîäñòâà ìîëîêà. Åãî ðàáîòà íà÷èíàåòñÿ ñî ñëîâ"ðàññìîòðèì ñôåðè÷åñêóþ êîðîâó â âàêóóìå".2. Èíäóñòðèàëüíàÿ. Ïîëüçîâàòåëüñêèå çàäà÷è îïðåäåëåíû ñòðîãî â ðàìêàõèíòåðôåéñà. Íåîáõîäèìà îöåíêà òîãî, êàê ðàáîòàåò ñèñòåìà â çàâèñèìîñòè îò ïîëüçîâàòåëåé. Áþäæåò çíà÷èòåëüíî áîãà÷å. Äîëæíà îòîáðàæàòüîáúåêòèâíóþ ðåàëüíîñòü. Çäåñü îöåíèâàåòñÿ òàêæå è êîëè÷åñòâî çàïðîñîâ.Âåñüìà çíà÷èìî òî, ÷òî âûäà¼ò ñèñòåìà äëÿ ñðåäíåãî ïîëüçîâàòåëÿ.Ïîãîâîðèì òåïåðü î ïðîåêòàõ è íàïðàâëåíèÿõ â îáëàñòè èíôîðìàöèîííîãîïîèñêà. Ïîãîâîðèì î êîíôåðåíöèÿõ, êîòîûðå ñóùåñòâóþò â ìèðå:1.
TREC. Àìåðèêàíñêàÿ êîíôåðåíöèÿ (ñ 1992 ãîäà).2. CLEF. Åâðîïåéñêèé ïðîåêò (ñ 2000 ãîäà).3. ÐÎÌÈÏ. Ðîññèéñêèé ïðîåêò ïî îöåíêå ìåòîäîâ èíôîìðàöèîííîãî ïîèñêà(ñ 2003 ãîäà).Íà êàæäîé òàêîé êîíôåðåíöèè ïðîèçâîäèòñÿ îöåíêà ðåçóëüòàòîâ ðàçëè÷íûõèíôîðìàöèîííûõ ñèñòåì äëÿ ðàçíûõ çàäà÷. Ñóùåñòâóþò ðàçëè÷íûå äîðîæêè èñèñòåìû ïûòàþòñÿ èõ ðåøèòü íà îáùåì íàáîðå è çàòåì ïðîèçâîäèñÿ îöåíêà. Âïëàíå êîëëåêöèé ñëåäóåò óïîìÿíóòü: òåêñòîâàÿ êîëëåêöèÿ 11ãî ðåéõà (îò 200000äîêóìåíòîâ).
Ýòè êîíôåðåíöèè ïðåäñòàâëÿþò êàê íà÷íóþ, òàê è ïðàêòè÷åñêóþöåííîñòü. Ðåçóëüòàòû îöåíèâàþòñÿ âðó÷íóþ, ýòè ëþäè íàçûâàþòñÿ àññåñîðàìè.Îíè ïðèâîäÿò îöåíêè ðåëåâàíòíîñòè äëÿ êàæäîãî äîêóìåíòà.Ðàññìîòðèì øêàëû ðåëåâàíòíîñòè äîêóìåíòà:1. Âèòàëüíûé - äîêóìåíò, ïîëíîñòüþ óäîâëåòâîðÿþùèé ïîòðåáíîñòè ïîëüçîâàòåëÿ. Íå äëÿ âñåõ çàïðîñîâ ñóùåñòâóþò âèòàëüíûå äîêóìåíòû. Íàïðèìåð, ñàéò ñáåðáàíêà, åñëè ìû èñêàëè èíôîðìàöèþ î í¼ì.142. Ðåëåâàíòíûé (ñèëüíî ðåëåâàíòíûé). Îòëè÷àåòñÿ îò ñëàáî ðåëåâàíòíûõñòåïåíüþ îòíîøåíèÿ.
Ïðèìåð: åñëè èíòåðåñóåò ñòðàíà â êàêîé-òî ïåðèîä, òî ñèëüíî ðåëåâàíòíûé - ñàéò î êëèìàòå â ñòðàíå, ñëàáî ðåëåâàíòíûé- ñàéò, ïîâåñòâóþùèé î ÷¼ì-òî äðóãîì, íî â êîòîðîì óïîìèíàåòñÿ íóæíàÿèíôîìàöèÿ.3. Ñëàáî ðåëåâàíòíûé4. Íåðåëåâàíòíûé5. Íåâîçìîæíî îöåíèòü.
Àññåñîð íå ñìîã ýòî ñäåëàòü.6. Âðåäíûé (ñïàì è ò.ä.)Ñàìàÿ ïåðâàÿ êîëëåêöèÿ, íà êîòîðîé ïðîèçâîäèëàñü îöåíêà - êîëëåêöèÿ,ñîäåðæàùàÿ îò 1000 äî 1500 äîêóìåíòîâ. Ñîâðåìåííûå êîëëåêöèè îòëè÷àþòñÿðàçìåðàìè â ãèãàáàéòû è ñîòíè ãèãàáàéò.Çäåñü ñòàíîâèòñÿ âàæíûì òàêîå ïîíÿòèå, êàê ñîãëàñèå àññåñîðîâ. Ñóùåñòâóþò ðàçíûå ìíåíèÿ íà äàííûé ïðåäìåò. Ïðè îöåíêå èíîãäà èñïîëüçóåòñÿ òàêàÿòåðìèíîëîãèÿ: ñèëüíî ðåëåâàíòíûé - äîêóìåíò, êîòîðûé ïðèçíàëè âñå àññåñîðû,à ñëàáî ðåëåâàíòíûé - òîò, êîòîðûé ïðèçíàë õîòÿ áû îäèí àññåñîð.
Ïîäîáíóþòåðìèíîëîãèþ íåîáõîäèìî óòî÷íÿòü â íà÷àëå ñîîòâåòñòâóþùåé ñòàòüè.Íà ïðàêòèêå ïðèìåíÿåòñÿ ÷àñòî ìåòîä "îáùåãî êîòëà äëÿ êàæäîãî çàïðîñà ñîáèðàþòñÿ îòâåòû (íåêîòîðîå êîëè÷åñòâî ñðåäè ïåðâûõ âûäà÷åé ñèñòåì).Çàòåì áåðóòñÿ äîêóìåíòû, êîòîðûå âûäàëà õîòÿ áû îäíà ïîèñêîâàÿ ñèñòåìà,óáèðàþòñÿ äóáëèêàòû, îöåíèâàþòñÿ. À îñòàâøèåñÿ äîêóìåíòû âûêèäûâàþòñÿ,ïîñêîëüêó èõ íå âûäàëà íè îäíà ïîèñêîâàÿ ñèñòåìà.Ê ïðèìåðó â òîì æå ßíäåêñå åñòü îòäåëüíûé çàïðîñ àññåñîðó "ÿâëÿåòñÿ ëèäàííûé äîêóìåíò ïîðíîãðàôè÷åñêèì, è â êàêóþ êàòåãîðèþ ïîïàäàåò ñïàì".5.2×èñëåííûå ìåòîäû îöåíêè èíôîðìàöèîííîãî ïîèñêàÏîëíîòà è òî÷íîñòü - 2 îñíîâíûõ ïîíÿòèÿ.Âñå äîêóìåíòû äåëÿòñÿ íà ðåëåâàíòíûå è íåðåëåâàíòíûå, íàéäåííûå è íåíàéäåííûå. Ââåä¼ì îáîçíà÷åíèÿ:a - ðåëåâàíòíûå íàéäåííûåb - íåðåëåâàíòíûå íàéäåííûåc - ðåëåâàíòíûå íåíàéäåííûåd - íåðåëâàíòíûå íåíàéäåííûåaÏîëíîòà - R = a+caÒî÷íîñòü - P = a+bÌîæíî ââåñòè åù¼ 2 òåðìèíà:1. Àêêóðàòíîñòü - ÷èñëî ïðàâèëüíûõ ðåøåíèé ê îáùåìó ÷èñëó ðåøåíèé: A =a+da+b+c+d2.
Îøèáêà - ÷èñëî íåïðàâèëüíûõ ðåøåíèé ê îáùåìó ÷èñëó ðåøåíèé: E =b+ca+b+c+d15Îòñþäà ïîíÿòíî, ÷òî îäíîâðåìåííî ñèñòåìà äîñòèãàòü õîðîøèõ ðåçóëüòàòîâïî ïîëíîòå è òî÷íîñòè íå ìîæåò: îäèí óâåëè÷èâàåì, äðóãîé - óìåíüøàåòñÿ.Ïîëíîòà - 100% (âûäàëè ïîëüçîâàòåëþ âñå äîêóìåíòû).Íà ïðàêòèêå èñïîëüçóåòñÿ F-ìåðà: F = 1 +1 1 . Ñâîéñòâà F-ìåðû:PR1. 0 ≤ F ≤ 12. min(P, R) ≤ F ≤R+p2Òàêæå èñïîëüçóåòñÿ F-ìåðà ñ ïàðàìåòðàìè (â ïðåäûäóùåì ñëó÷àå ñ÷èòàåì,÷òî è R è P èìåþò îäèíàêîâûé âåñ, íî ýòî íå âñåãäà òàê):Fβ =(β ∗ β + 1) × P × Qβ∗β×P +RèFα =è1αP+β∗β =6(1−α)R1−ααËåêöèÿ 922 äåêàáðÿ 2010 ã.Èíôîðìàöèÿ î êóðñå íà ñàéòå leozub.ru/courses/ir2010/Óñðåäíåíèå:1. Ìèêðîóñðåäíåíèå - íàéòè îáùåå êîëè÷åñòâî äîêóìåíòîâ, óäîâëåòâîðÿþùåå âñåì ñðàçó, è ïîñ÷èòàòü ìåòðèêó2. Ìàêðîñóðåäíåíèå - äëÿ êàæäîãî â îòäåëüíîñòè ïîñ÷èòàòü, à ïîòîì óñðåäíèòü.Òî÷íîñòü íà óðîâíå n äîêóìåíòîâ - êîëè÷åñòâî ðåëåâàíòíûõ äîêóìåíòîâ ñðåäè ïåðâûõ n äîêóìåíòîâ âûäà÷è, äåë¼ííîå íà n.
n äëÿ ðàçíûõ çàäà÷ - ðàçíîå.Ñëåäóþùàÿ ìåòðèêà - R-òî÷íîñòü. Äîïóñòèì, ÷òî äëÿ äàííîãî çàïðîñà ñóùåñòâóåò n ðåëåâàíòíûõ äîêóìåíòîâ. R-òî÷íîñòü - òî÷íîñòü íà óðîâíå n äîêóìåíòîâ. Äëÿ ðàçíûõ çàïðîñîâ òî÷íîñòü ìîæåò ðàäèêàëüíî îòëè÷àòüñÿ, ïîýòìîóèìååò ñìûñë äåëàòü òàêîå óñðåäíåíèå.Ñðåäíÿÿ òî÷íîñòü AvgP rec =1KkP(precr el(i)) , ãäå precr el(i) - òî÷íîñòü íài=1óðîâíå i-ãî ðåëåâàíòíîãî äîêóìåíòà, ðàâíàÿ p(pos(i)), åñëè i-é ðåëåâàíòíûé äîêóìåíò åñòü â âûäà÷å; è 0, èíà÷å. Ñðåäíÿÿ òî÷íîñòü - íîðìèðîâàííàÿ ñóììàòî÷íîñòåé íà óðîâíå i-ãî ðåëåâàíòíîãî äîêóìåíòà.Ñâîéñòâà ñðåäíåé òî÷íîñòè:1.
Ñðåäíÿÿ òî÷íîñòü ≤ ïîëíîòà162. Åñëè ðåëåâàíòíûå äîêóìåíòû ëèøü â íà÷àëå ñïèñêà âûäàííûõ ðåçóëüòàòîâ, òî ñðåäíÿÿ òî÷íîñòü ðàâíà ïîëíîòå3. Åñëè ðåëåâàíòíûå äîêóìåíòû ðàâíîìåðíî ðàñïðåäåëåíû, òî ñðåäíÿÿ òî÷íîñòü ðàâíà ïðîèçâåäåíèþ òî÷íîñòè è ïîëíîòû.4. Äîêóìåíòû, ðàíæèðîâàííûå íèæå ïîñëåäíåãî ó÷èòûâàåìîãî äîêóìåíòà,íå âëèÿþò. Îíè ïðîñòî îòñåêàþòñÿ.Ïðåäûäóùèå äîêóìåíòû ðàññ÷èòûâàþòñÿ èñõîäÿ èç àïðèîðíûõ çíàíèé î êîëè÷åñòâå äîêóìåíòîâ.
Íî ýòî íå âñåãäà òàê (ñì. ïðîøëóþ ëåêöèþ). Áûëà ââåäåíà ìåòðèêà Bpred. Ïóñòü R - ÷èñëî èçâåñòíûõ ðåëåâàíòíûõ äîêóìåíòîâ, àPore(r)), ãäår - êàêîé-òî èç ðåëåâàíòíûõ äîêóìåíòîâ. Bpred = R1 (1 − N onRelBefRrNonRelBefore(r) - êîëè÷åñòâî äîêóìåíòîâ, ðàíæèðîâàííûõ íå âûøå r.Pore(r)). ÏîçâîëÿåòÅù¼ èñïîëüçóåòñÿ ìåòðèêà Bpred− 10 = R1 (1 − N onRelBef10+Rráîëåå îñìûñëåííî îöåíèâàòü êà÷åñòâî ñîîòâåòñòâóþùåé ñèñòåìû, åñëè ÷èñëîðåëåâàíòíûõ äîêóìåíòîâ íåâåëèêî.Ñëåäóþùåå ïîíÿòèå: Öåííîñòü îòâåòà - ReciporalRank = rank(pos(rel)).Ýòà ìåòðèêà ïðåäíàçíà÷åíà äëÿ îïðåäåëåíèÿ êîëè÷åñòâà óñèëèé, òðåáóåìûõïîëüçîâàòåëþ, ÷òîáû äîáðàòüñÿ äî ðåëåâàíòíîãî äîêóìåíòà ïîëüçîâàòåëþ.
Ýòàìåòðèêà ÷àñòî ïðèìåíÿåòñÿ äëÿ âîïðîñíî-îòâåòíîãî ïîèñêà. Äëÿ ðàçíûõ êîíôåðåíöèé ðàçíûå ðàíãè:• Äëÿ TREC {1, 0.5, 0.33, 0.2, 0.1, 0, ...}• Äëÿ ÐÎÌÈÏ - {1, 0.9, ... , 0.1, 0, ...}Ðàññìîòðèì ãðàôèê Ïîëíîòà/Òî÷íîñòü. Áåðóòñÿ ôèêñèðîâàííûå çíà÷åíèÿïîëíîòû è ñìîòðÿòñÿ çíà÷åíèÿ òî÷íîñòè äëÿ ôèêñèðîâàííîãî çíà÷åíèÿ ïîëíîòû.
Ãðàôèêè ñòðîÿòñÿ ðàçíûìè ñïîñîáàìè, ñàìûå ðàñïðîñòðàí¼ííûå - 11òî÷å÷íûå ãðàôèêè (è â ÐÎÌÈÏ, è â TREC, íî íåìíîãî îòëè÷àþòñÿ èíòåðïîëÿöèåé1. Ãðàôèê îáû÷íîðåçóëüòàòîâ). Îòêëàäûâàþòñÿ èíòåðâàëû îò 0 äî 1 ñ øàãîì 10êðèâîé ñ ïåðåïàäàìè (âèä ïèëîîáðàçíûé). Ïðè ïîñòðîåíèè ãðàôèêà äëÿ êàæäîãî ôèêñèð. çíà÷åíèÿ ïîëíîòû ñòàâèòñÿ òî÷êà. Åñëè äîáàâèëè åù¼ 1 ðåëåâàíòíûé äîêóìåíò, òî âñ¼ ðàñòåò. À åñëè äîáàâèëè íåðåëâàíòíûé, òî ïîëíîòà òà æåñàìàÿ, à òî÷íîñòü ïàäàåò. Îáû÷íî ó÷èòûâàåòñÿ åù¼ è èíòåðïîëÿöèÿ.6.1Ïîèñêîâàÿ îïòèìèçàöèÿ è ìåòîäû áîðüáû ñ íåéÀøìàíîâ - äîñòàòî÷íî èçâåñòíàÿ ëè÷íîñòü â îáëàñòè èíôîðìàöèîííîãî ïîèñêà â Ðîññèè, áûë îäíèì èç ðóêîâîäèòåëåé Ramblera.
Êîãäà èç Rambler ðàçáåæàëèñü âñå ðàçðàáîò÷èêè, îñíîâàë ñâîþ êîìïàíèþ, êîòîðàÿ áûëà îäíîé èçïåðâûõ â îáëàñòè ïîèñêîâîé îïòèìèçàöèè. Ñåé÷àñ ðàçðàáàòûâàþò òåìàòè÷åñêèå ïîèñêîâûå ñèñòåìû, ïûòàþòñÿ âíåäðèòü èíòåëëåêò â ïîèñêîâûå ñèñòåìû.Îñíîâíàÿ êíèæêà ïî îïòèìèçàöèè - êíèãà Àøìàíîâà. Èç ëþáîïûòíûõ ôàêòîâ:Àøìàíîâ - ñûí ïðîôåññîðà ÂÌÊ.17Òåïåðü ê îïòèìèçàöèè. Òî÷íîãî îïðåäåëåíèÿ íåò. Îïòèìèçàöèÿ - ýòî çàäà÷àïîäíÿòü âèäèìîñòü êàêîãî-òî ñàéòà â âûäà÷å ïîèñêîâûõ ñèñòåì ïî íåêîòîðûìçàïðîñàì.Êëàññèôèêàöèÿ îïòèìèçàöèè6 :1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
