Управление дисковой памятью системы хранения данных LHCb а основе прогноза популярности данных (1187433)
Текст из файла
Ìèíèñòåðñòâî îáðàçîâàíèÿ è íàóêè Ðîññèéñêîé ÔåäåðàöèèÔåäåðàëüíîå ãîñóäàðñòâåííîå àâòîíîìíîå îáðàçîâàòåëüíîå ó÷ðåæäåíèåâûñøåãî ïðîôåññèîíàëüíîãî îáðàçîâàíèÿ¾Ìîñêîâñêèé ôèçèêî-òåõíè÷åñêèé èíñòèòóò(ãîñóäàðñòâåííûé óíèâåðñèòåò)¿Ôàêóëüòåò óïðàâëåíèÿ è ïðèêëàäíîé ìàòåìàòèêèÊàôåäðà èíôîðìàòèêèÓïðàâëåíèå äèñêîâîé ïàìÿòüþ ñèñòåìû õðàíåíèÿäàííûõ LHCb íà îñíîâå ïðîãíîçà ïîïóëÿðíîñòèäàííûõÂûïóñêíàÿ êâàëèôèêàöèîííàÿ ðàáîòà(ìàãèñòåðñêàÿ äèññåðòàöèÿ)Íàïðàâëåíèå ïîäãîòîâêè: 03.04.01 Ïðèêëàäíûå ìàòåìàòèêà è ôèçèêàÏîäãîòîâèë:ñòóäåíò 973 ãðóïïûÃóùèí Ìèõàèë Èâàíîâè÷Íàó÷íûé ðóêîâîäèòåëü:ê.ô.-ì.í., äîöåíòÓñòþæàíèí Àíäðåé Åâãåíüåâè÷Ìîñêâà 2015Ñîäåðæàíèå1Ââåäåíèå22Ñóùåñòâóþùèå ðåøåíèÿ23Îñîáåííîñòü ðàáîòû134Ïîñòàíîâêà çàäà÷è145Ðåøåíèå çàäà÷è146Ñðàâíåíèå àëãîðèòìîâ207Áèáëèîòåêà228Ñåðâèñ229Äîêëàäû è ïóáëèêàöèè2210 Ïðàêòè÷åñêîå ïðèìåíåíèå2311 Çàêëþ÷åíèå232.1 SSD-îïòèìèçèðîâàííîå ðàñïðåäåëåíèå íàãðóçêè ñ àäàïòèâíûì îáó÷åíèåì è êëàññèôèêàöèåé â HPC ñðåäàõ .
. . . . . . . . . . . . . . . . . . 22.1.1 Ââåäåíèå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.1.2 Ïîñòàíîâêà çàäà÷è . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.1.3 Êëàññèôèêàöèÿ íàãðóçêè íà îñíîâå öåïåé Ìàðêîâà . . . . . . . .
32.1.4 Ðàñïðåäåëåíèå äàííûõ . . . . . . . . . . . . . . . . . . . . . . . . 52.1.5 Ðåçóëüòàòû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.2 Ñèñòåìà ïåðåðàñïðåäåëåíèÿ äàííûõ äëÿ ðàñïðåäåëåííîé ñèñòåìû õðàíåíèÿ äàííûõ ATLAS . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . 72.2.1 Ââåäåíèå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.2.2 Ïðîãíîç ïîïóëÿðíîñòè . . . . . . . . . . . . . . . . . . . . . . . . 82.2.3 Ïåðåðàñïðåäåëåíèå äàííûõ . . . . . . . . . . . . . . . . . . . .
. . 102.2.4 Ðåçóëüòàòû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.3 Äðóãèå ðàáîòû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135.1 Âõîäíûå äàííûå . . . . . . . . . . . . . . . . . . . . . .5.2 Ìîäóëü Data Popularity Estimator . . . . . . .
. . . . .5.2.1 Ðàçìåòêà ôàéëîâ . . . . . . . . . . . . . . . . . .5.2.2 Ïðåäîáðàáîòêà äàííûõ . . . . . . . . . . . . . .5.2.3 Îáó÷åíèå êëàññèôèêàòîðà . . . . . . . . . . . .5.2.4 Îïðåäåëåíèå ïîïóëÿðíîñòè äàííûõ . . . . . . .5.3 Ìîäóëü Data Intensity Predictor . . . . . . .
. . . . . .5.3.1 Ìåòîä ÿäåðíîãî ñãëàæèâàíèÿ Íàäàðàÿ-Âàòñîíà5.3.2 Ìåòîä ñêîëüçÿùåãî ñðåäíåãî . . . . . . . . . . .5.4 Ìîäóëü Data Placement Optimizer . . . . . . . . . . . .....................................................................................................141414151616171718186.1 LRU àëãîðèòì . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . 206.2 Âðåìÿ äîñòóïà ê äàííûì . . . . . . . . . . . . . . . . . . . . . . . . . . . 206.3 Ðåçóëüòàòû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2111ÂâåäåíèåLHCb êîëëàáîðàöèÿ - ýòî îäèí èç ÷åòûðåõ ãëàâíûõ ýêñïåðèìåíòîâ íà Áîëüøîì Àäðîííîì Êîëëàéäåðå â ÖÅÐÍ. Äåòåêòîðû LHCb è ìîäåëèðîâàíèå ôèçè÷åñêèõ ïðîöåññîâ ãåíåðèðóþò îãðîìíûé îáúåì äàííûõ åæåãîäíî.
Äàííûå õðàíÿòñÿ íà æåñòêèõäèñêàõ è ìàãíèòíûõ ëåíòàõ. Äèñêè èñïîëüçóþòñÿ äëÿ õðàíåíèÿ äàííûõ, êîòîðûå ôèçèêè èñïîëüçóþò äëÿ ñâîèõ òåêóùèõ èññëåäîâàíèé. Æåñòêèå äèñêè íàìíîãî áûñòðååìàãíèòíûõ ëåíò è çíà÷èòåëüíî äîðîæå èõ, â ðåçóëüòàòå îáúåì äèñêîâîãî ïðîñòðàíñòâà ñóùåñòâåííî îãðàíè÷åí. Ïîýòîìó î÷åíü âàæíî îïðåäåëèòü êàêèå ôàéëû íóæíîäåðæàòü íà äèñêàõ, à êàêèå õðàíèòü â âèäå àðõèâîâ íà ìàãíèòíûõ ëåíòàõ. äàííîé ðàáîòå ïðåäñòàâëåíà ðåêîìåíäàòåëüíàÿ ñèñòåìà äëÿ óïðàâëåíèÿ äèñêîâîé ïàìÿòüþ ñèñòåì õðàíåíèÿ äàííûõ LHCb. Ñèñòåìà ñêîíñòðóèðîâàííà òàê, ÷îáûîòáèðàòü ôàéëû, êîòîðûå áóäóò âîñòðåáîâàíû â áóäóùåì, è ïîýòîìó äîëæíû õðàíèòüñÿ íà æåñòêèõ äèñêàõ. Âõîäíûìè äàíûìè ñèñòåìû ÿâëÿþòñÿ èñòîðèÿ îáðàùåíèéê ôàéëàì è èõ ìåòàäàííûå.Ðåêîìåíäàòåëüíàÿ ñèñòåìà ñîñòîèò èç òðåõ ìîäóëåé.
Ïåðâûé ìîäóëü - Data PopularityEstimator. Ýòî ìîäóëü èñïîëüçóåò ìåòîäû ìàøèííîãî îáó÷åíèÿ è âõîäíûå äàííûåñèñòåìû, ÷òîáû ïðåäñêàçàòü ïîïóëÿðíîñòü ôàéëîâ. Ïîïóëÿðíîñòü ôàéëîâ âûðàæàåòâåðîÿòíîñòü òîãî, ÷òî ôàéë áóäåò èñïîëüçîâàí â áóäóùåì. Íà îñíîâàíèè ïîïóëÿðíîñòè äàííûõ ìîæíî îïðåäåëèòü êàêèå ôàéëû ìîãóò áûòü óäàëåíû ñ äèñêà.Âòîðîé ìîäóëü - Data Intensity Predictor. Ýòîò ìîäóëü íóæåí, ÷òîáû ñïðîãíîçèðîâàòü èíòåíñèâíîñòü îáðàùåíèé ê ôàéëàì.
Äëÿ ïðîãíîçà èñïîëüçóþòñÿ ìåòîäûàíàëèçà âðåìåííûõ ðÿäîâ è ðåãðåññèîííîãî àíàëèçà. Ïðîãíîç ñòðîèòñÿ íà èñòîðèèîáðàùåíèé ê äàííûì.Òðåòèé ìîäóëü - Data Placement Optimizer. Ýòîò ìîäóëü èñïîëüçóåò ïðåäñêàçàííûå ïîïóëÿðíîñòü äàííûõ è èíòåíñèâíîñòü îáðàùåíèé, ÷òîáû îïðåäåëèòü êàêèå ôàéëû äîëæíû îñòàòüñÿ íà äèñêå è ñêîëüêî êîïèé îíè äîëæíû èìåòü. Äëÿ ýòîãî ìèíèìèçèðóåòñÿ ôóíêöèÿ ïîòåðü.
Ôóíêöèÿ ïîòåðü ïðåäñòàâëÿåò âñå òðåáîâàíèÿ, êîòîðûåìû ïðåäúÿâëÿåì ê ðàñïðåäåëåíèþ äàííûõ â ñèñòåìå õðàíåíèÿ äàííûõ LHCb.Âñå òðè ìîäóëÿ ïîäðîáíî îïèñàíû â ñëåäóþùèõ ñåêöèÿõ.  ñåêöèè ðåçóëüòàòîâïðèâåäåíî ñðàâíåíèå íàøåé ðåêîìåíäàòåëüíîé ñèñòåìû è Last Recently Used (LRU)àëãîðèòìà.22.1Ñóùåñòâóþùèå ðåøåíèÿSSD-îïòèìèçèðîâàííîå ðàñïðåäåëåíèå íàãðóçêè ñ àäàïòèâíûì îáó÷åíèåì è êëàññèôèêàöèåé â HPC ñðåäàõÀâòîðû ðàáîòû SSD-optimized workload placement with adaptive learning and classicationin HPC environments [3] ïðåäñòàâëÿþò ðåøåíèå äëÿ ãèáðèäíîé HDD + SSD ñèñòåìûõðàíåíèÿ äàííûõ.  òàêîé ñèñòåìå îáúåì SSD äèñêîâ îãðàíè÷åí, è íåò âîçìîæíîñòüèñïîëüçîâàòü òîëüêî SSD äèñêè.
Ïîýòîìó, íà SSD äèñêàõ íåîáõîäèìî õðàíèòü òîëüêîíàèáîëåå ïîïóëÿðíûå äàííûå. Îñòàëüíûå äàííûå õðàíÿòñÿ íà HDD äèñêàõ.2.1.1ÂâåäåíèåÏðåäñòàâëåííàÿ ñèñòåìà èñïîëüçóåò àäàïòèâíóþ êëàññèôèêàöèþ ôàéëîâ ïî ïîïóëÿðíîñòè äëÿ ïåðåìåùåíèÿ äàííûõ ìåæäó ìåäëåííûìè HDD äèñêàìè è áûñòðûìèSSD äèñêàìè è äëÿ âûïîëíåíèÿ ïîëüçîâàòåëüñêèõ òðåáîâàíèé ê îïåðàöèÿì çàãðóçêè/âûãðóçêè äàííûõ.
Ðàçðàáîòàííûé àëãîðèòì èñïîëüçóåò ðÿä ïðåäïîëîæåíèé. Âî2ïåðâûõ, àâòîðû ïðåäïîëàãàþò, ÷òî ñèñòåìà ñîäåðæèò êàê ìåäëåííûå HDD, òàê èáûñòðûå SSD äèñêè. Âî-âòîðûõ, ïîëüçîâàòåëè ìîãóò èìåòü ñâîè òðåáîâàíèÿ ê ðàñïðåäåëåíèþ ñâîèõ äàííûõ â ñèñòåìå. Íàïðèìåð, îïðåäåëåííûå ôàéëû äîëæíû õðàíèòüñÿ íà HDD äèñêàõ â òðåõ êîïèÿõ, áûòü äîñòóïíûìè îïðåäåëåííûé îòðåçîê âðåìåíèè äðóãèå.Íà îñíîâàíèè ñäåëàííûõ ïðåäïîëîæåíèé, ïðåäëîæåííîå ðåøåíèå ñîñòîèò èç äâóõ÷àñòåé. Âî-ïåðâûõ, àâòîðû èñïîëüçóþò îñíîâàííóþ íà öåïÿõ Ìàðêîâà ìîäåëü êëàññèôèêàöèè, ÷òîáû ïðåäñêàçàòü êàêèå ôàéëû áóäóò èíòåíñèâíî èñïîëüçîâàòüñÿ â áóäóùåì, èñïîëüçóÿ èñòîðèþ îáðàùåíèé ê äàííûì.
Âî-âòîðûõ, ðàçðàáîòàí îñíîâàííûéíà ëèíåéíîì ïðîãðàììèðîâàíèè àëãîðèòì äëÿ ðàñïðåäåëåíèÿ äàííûõ, êîòîðûé ó÷èòûâàåò òðåáîâàíèÿ ïîëüçîâàòåëåé ê ïðîïóñêíîé ñïîñîáíîñòè è íàäåæíîñòè ñèñòåìû.2.1.2Ïîñòàíîâêà çàäà÷èÈìååòñÿ íàáîð óñòðîéñòâ äëÿ õðàíåíèÿ äàííûõ, ïðåäñòàâëåííûå HDD è SSD äèñêàìè. Çàäà÷à àâòîðîâ ðàáîòû çàêëþ÷àëàñü â òîì, ÷òîáû íàéòè òàêîå ðàñïðåäåëåíèåäàííûõ â ñèñòåìå, êîòîðîå:• Óäîâëåòâîðÿåò òðåáîâàíèÿì ïîëüçîâàòåëåé ê ñèñòåìå,• Îïòèìèçèðóåò ïðîïóñêíóþ ñïîñîáíîñòü îïåðàöèé ââîäà/âûâîäà äëÿ HPC ïðè-ëîæåíèé.Òàêæå çàäà÷à èìååò ñâîè îñîáåííîñòè:• Øàáëîí äîñòóïà ê äàííûì â áóäóùåì íå èçâåñòåí,• Òðåáîâàíèÿ ïîëüçîâàòåëåé ê ñèñòåìå ìîãóò ñèëüíî îòëè÷àòüñÿ è ïîñòîÿííî ìå-íÿòüñÿ.2.1.3Êëàññèôèêàöèÿ íàãðóçêè íà îñíîâå öåïåé ÌàðêîâàÎïèñàííûé àâòîðàìè ìåòîä êëàññèôèêàöèè ñîäåðæèò ñëåäóþùèå øàãè.
Âî-ïåðâûõ,ïðåäïîëàãàåòñÿ, ÷òî èçâåñòíà èñòîðèÿ îáðàùåíèé ê êàæäîìó îáúåêòó äàííûõ.  ðåàëüíîñòè, ìîæåò áûòü íå âîçìîæíûì õðàíèòü âñþ èñòîðèþ îáðàùåíèé ê äàííûì,à òîëüêî çà îïðåäåëåííûé íåäàâíèé ïðîìåæóòîê âðåìåíè. Âî-âòîðûõ, ÷àñòîòà îáðàùåíèé äëÿ êàæäîãî îáúåêòà äàííûõ ìîäåëèðóåòñÿ ñ ïîìîùüþ äèñêðåòíûõ öåïåéÌàðêîâà, â êîòîðîé êàæäîå ñîñòîÿíèå ïðåäñòàâëÿåò îïðåäåëåííûé ïðîìåæóòîê çíà÷åíèé ÷àñòîòû îáðàùåíèé.
Â-òðåòüèõ, âû÷èñëÿÿ ñòàöèîíàðíîå ðàñïðåäåëåíèå öåïèÌàðêîâà, àâòîðû âû÷èñëÿþò âåðîÿòíîñòü òîãî, ÷òî ÷àñòîòà îáðàùåíèé ê îáúåêòóäàííûõ áóäåò ëåæàòü â îïðåäåëåííîì èíòåðâàëå çíà÷åíèé â áóäóùåì. Çàòåì, êàæäûé îáúåêò ðàíæèðóåòñÿ ñ ïîìîùüþ âçâåøåííîé ñóììû ñòàöèîíàðíîãî ðàñïðåäåëåíèÿ, ãäå âåñà îïðåäåëÿþòñÿ èíòåðâàëîì çíà÷åíèé ÷àñòîòû îáðàùåíèé ê îáúåêòó äëÿêàæäîãî ñîñòîÿíèÿ öåïè Ìàðêîâà. ×åì âûøå çíà÷åíèå ðàíãà, òåì âûøå âûèãðûø îòïåðåìåùåíèÿ îáúåêòà íà SSD äèñê. Ýòè øàãè ïîäðîáíåå îïèñûâàþòñÿ äàëåå.1) Èñòîðèÿ îáðàùåíèé ê ôàéëàì: Ðèñóíîê 1 äåìîíñòðèðóåò ÷àñòîòó îáðàùåíèéê äàííûì (÷àñòîòà âêëþ÷àåò îïåðàöèè ÷òåíèÿ è çàïèñè) äëÿ ôàéëà çà ïîñëåäíèéìåñÿö. Îñü X íà ðèñóíêå ïðåäñòàâëÿåò îòðåçîê âðåìåíè â îäèí ìåñÿö, ðàçäåëåííûéíà 720 ïðîìåæóòêîâ (1 ïðîìåæóòîê ðàâåí 1 ÷àñó).
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
