Инструменты и методы анализа слабоструктурированных данных в оптимизации маркетинговых коммуникаций (1142379), страница 2
Текст из файла (страница 2)
[29]..,,.(8,)17.,,18, SQL,.,,.:17 –.67:.18 –«Name»..,Persons,19.p.nn‘p.’,: {7.1; 7.2; 7.3; 6.1; 6.2; 2.4}.,.,“Brand”20,21.:19 –.“Price”,68:.20 –«Brand»:«Price».21 –,.,ё..,,.,.,.,(40):A(log),= ∗ ∏ log(40)(41):n–= ∗∗ log.,(41)692.2.2,,,,ё..[37, . 18].–(ё). [93, 13]ё128–MD5.«»,12.,,10ё 16MD5128UNICODE160-..12 –:.,MD5,..,,,ё ,-70,ё.,.13,13 –«,,14.»:14 –.,ё:.(«NULL»):1.MD5(MD5_begin, MD5_end)MD5;71MD52.NULL,MD5_begin,MD5_endffffffffffffffffffffffffffffffff;(MD5_begin,3.MD5_end).15 –:.:AB,:A.LMD5_begin <= B.LMD5_endA.LMD5_end >= B.LMD5_beginA.FMD5_begin <= B.LMD5_endA.FMD5_end >= B.LMD5_beginA.PMD5_begin <= B.LMD5_endA.PMD5_end >= B.LMD5_begin.,A, B,A_id, B_id,NULLMAX(A_id)+12^31-116.A_idB_idMAX(B_id)+12^31-117,18.,7216 –A_id1234NULLNULL5:.B_id1761NULL3487421755446111744417 –A_idNULL:.B_id611118 –A_id6:.,,.,,.B_id61117333.1.,,,,.:,,.ё,.,.3.1.1.,(42) [30]:=+,(42)74–,,i-,––..,(43):=–,–,,(43)i,,–i.ё,(44):=–,(44),(),–,,,–i,.i,,(45):С –С =−=−=××− ,(45).ii.,,,22.75,23,.ПакКол е т о п оектоте еД е по лед е покупкД е е ду покупкуппД е е ду покупкуппД е е ду покупкуппыВ е епо лед е о п оектте еД е е ду п оектокуп л олееёл от д леёлтК те о я по ы у ке уппК те о я по ы у ке уппК те о я по ы у ке уппыход т яо к еедоттпо т ых ед тот етых от ляхУ лов еSPC[0 - 17]88% 97%[0 - 190]86% 59%[476 - inf)59% 15%[19 - 77]12% 2%[19 - 77] U [476 - inf)71% 17%[0 - 128]82% 64%[1075 - 2182]49% 26%И ТИ А100% 51%И ТИ А61% 52%И ТИ А90% 92%[8,5M - 34M)29% 14%[0 - 0,85M)22% 40%[0 - 0,85M) U [8,5M - 34M) 51% 54%ЛОЖЬ100% 90%[0 - 11]96% 89%И ТИ А96% 96%-0,090,462,904,833,140,280,850,970,19-0,021,05-0,44-0,060,110,080,00:.22 –С тет е к пакД е по лед е покупкёл от д леедоттпо т ых ед тД е е ду покупко е е о олее д ух покупокУ лов е[0-146]SPCИ ТИ А45% 30%0,4966И ТИ А71% 36%0,97921862[0-11]:.23 –,()«19-77»,2%.,,850 000,,,.,40%.«,8,5 – 34,.,.,76».,.,,.3.1.2,.,,,.,,,,.
. [25, . 48].:-;-;-;-;-..ё[2].,77.,[3, 19, 47].[112],.[26]..,,(46):= √ ∑(−=–) ,(46), = … ,(47).(47):ℎ ,′=–+ℎ ( ,,−),,–,.–:(48):ℎ ,Bubble-=(49):–={ℎ ,→′|′=2−,,>,((48)2),,(49)– . .[25].(50):,(50)78–,,)(––,…,′ –′, … ,(ё(51, 52):<= ( <) = ̅̅̅̅̅̅̅̅̅̅̅̅̅̅()==,−)+–′,( =)(51),.2(52)√ 24.(2, 3, 4),(0, 1, 6, 7, 9) –,ё.:.24 –:«» (), «» (), «79» (» (), «ё), «» (), «» () [34, . 204].,.Но е кла те а Y=1 Кол3 482 874 165 3410 788 616 219 300 217 311 24е тво Ко ве40881218080319121513704107587013631183:я11,8%10,7%8,9%4,2%4,1%4,0%3,0%2,8%2,4%2,3%2,0%.25 –Г уппа кла те овы око ко е еко ко е е%Кол е тво %(Y=1) С ед яя ко ве я П евы е13% 33,5%10,5%48% 28,2%2,5%:еед е ко ве105%-51%.26 –..().80.:(53, 54):̂=∑=∑∑ ̂=,…,–, = ,…, ,∀=–−→««̂=−⋱)-⋱=(=},{}:,,(54),» (55):-=(=min,…,.=(∑∑ ̂{ (53)(55)» (56):)⋱)(56)(57):(57)(58):≈=‖,…,(58)(59):− ‖ → min,(59)81–.,,…,=[16] (60).(60), = … , = … .=… , = …(61):={|‖− ‖ → min,}(61)ё,:1)(62):=∑ ∑ ‖2)(63):−= ∑ ∑‖=3)−= ∑ ∑‖===−(65):| |–= ,(64):, −=,, +−, +−| |=+−‖−‖ + ∑ ∑‖==−‖ + ∑ ∑‖, ,=+–=→ min,(62)−+ ,‖− ,−(63)−+ ,‖(64)(65)«».,27.[34, .
205].82:27 –...:1)628«»; 3)»; 2) «»; 4) ««; 5) «»; 6) «:28 –ё»..83..ё–:(66) [17]:–̌− ̅,̌ =, ̅ –(66)–, .:(67):→–()(–,|′′–′, … ,,′=),(,…,(67)–′,(68):<= ( <) = ̅̅̅̅̅̅̅̅̅̅̅̅̅̅)+( =((69)==−))–(68),2(69)√ ,.,(70):(»,)−()→(70)«-»«(71):84, =,(72)(ё,)−,,(71)→(72),ёMicrosoft Office Excel,.2930...,,31.:29 –.«»85:.30 –«:.31 –«(»)»()ё,.,[34, 36].865k-meansё32,,,:33:.32 –Но е кла те а Avg Y123458,26%5,52%0,89%5,54%5,64%Count % DiffTypeFromLastBuyDate HasSelfProject ReductiveTaxType InfoSourceTypeDealer TransactionSpeed16,33% 0,974680617-0,830773756 0,918211849-0,329782911-0,280614775-0,17679401415,39% -1,025882311-0,701516086 0,483890702-0,111857117-0,553472892-0,47549199239,31% -0,4469700020,602897661 -0,5817697720,239134510,271289629-0,67228385217,35% 0,611426113-0,081218502 0,055098779-0,085800760,8916744211,29408654111,62% 0,5882443760,178461624 -0,045523959-0,069208282-1,1213819531,219527554:.33 –(8,26%)№1,16,33%,», «: «-», «».№3,(0,89%)39,31%,: «», ««»,», «».87[16].,:,.,..3.2.ё..ё,,.,, ,,[36].,,,ё,88(73):–,,=,+––(73).ё,ROI –(return on investment).,ё,ё,(0.6%ё),0,05%,,.ёROI.,..(74):–(1,=∑=− ̂,=–,0–.-), ̂→,=(74)–.,,,.[20, 27]:-(casewise deletion);89(mean substitution);-(imputation byregression);(hot-deckimputation);(Expectation-Maximization,algorithm).[24]ё(hotdeckimputation),.,,.,,,(75) [20, .
75]:=−−+−(75),.,...(76):.–ℎ=(=+−,(76)), –90,.,.,,(Frequency)(Recency),(Monetary).RFM-[152, 118].,1.2..-.ё,,.R(GNU).ё34.) –Z-value (Zё(77):̅ –=.̅−,[ ],[ ] –(77),, –(78)91,Pr(>|Z|)[ ]=:,(78)Z,.:.34 –R:««», «».»,92,,(AUC – area under curve).ROC-(Specificity)(Sensitivity)(79, 80).===–,+=+,(79),(80),,––.19.19 –FromLastTransactionTransactionCountDiffTypeHasSelfProjectInfoSourceTypeMOPReductiveTaxTypeёё2 ()Div2Segment1Segment2Segment3Segment4Segment6CountTCё:.(AUC0.5.)AUC,0,87–93,,,35.15%,,ё,1.5%.:.35 – ROC-ё«»»,,«20.20 – Z-««»»Z-TransactionCountTransactedPrice:8.3865.470.943637.:36 –.95:.37 –,: 0,8070,889.,ё,21,38.21 –««»,»:.96:.38 – ROC«»..,,,.974ё4.1,,,.ё,[38].:-;--;1 .-,,2Gis, auto.ru,,,,..ё,,.,9839.:.39 –-,-ё,,«,,».-1 .,,,,–-.1.,ё99,ё,,.,:-;;–-();.ё40.ёё.,ё.41.ё-,.ё:;-ё;().,-:,.100:,.:.():;,.:.ёё.ё.ё.,101:40 –.102:41 –.1034.2,:,.ёё..(,).:1.;ё2.;3.(());,4..(-);5.;6.ё;7.,,ё;8.9.;-.104, e-mail,[37],22,23,,ё24.22 –+7 (351) 26643869178567854#64956518179#2203:23 –351266438691785678544956518179.e-mail[rekardooffice]@vinf.ru<jlebedeva>@ppe.ruistok-m@mail.ru:rekardooffice@vinf.rujlebedeva@ppe.ruistok-m@mail.ru.24 –--114581 941459116831 941459Safo 1IdIdCapellaId515-«0x9CE14»«----»941459 941459--0x6574D2702010860 68013,,, .10680013,,10“--”100353 941459--0x07E46-2702010860 -102564 941459--0x6B538,2702010860122852 941459--0x78D65-2702010860 -:..-., .,, 10, 10,105,CLR-.:'(?i)^[^ - ё]+|[^ - - ё]+|[^ - ё]+$'e-mail:'(?i)@\d*\.|(...).?\1.?\1|^(.)\2*@|^net@|mail@mail|^([^.@][^.@])@\3\.[^.@]+$|^(?!.*?\S{8})|^(?![^@]{2,}@[^.@]{2,}\.[^.@]{2,})''123456|(.)\1{5}|(..)\2{3}|^800|^(?!\d{10}$)'.,,ё.,,e-mail:.,,,,e-mail,..,..(ё,.:30)106,1.(C#);2.;3.;4.;5.;6.-()..4.3.,.,..ё,.,..107,,.:T-SQL42.declare @Threshold float = 0.15;with Model as(selectid,exp(value)/(1+exp(value)) probfrom#Target /**/outer apply(select-3.3406486+ FromLastTransaction * -0.8748192+ TransactionCount *0.7127300+ DiffType *0.6652471+ HasSelfProject * 0.6879864+ InfoSourceTypeMOP * 0.6459596+ ReductiveTaxType *-0.1853607+ Div2 *0.2350859+ Segment1 *0.3697491+ Segment2 *0.0790810+ Segment3 *0.0153486+ Segment4 *0.1833434+ Segment6 *0.4657387+ CountTC *0.0012856value) Calc)select *from(selectid,prob,avg(prob) over(order by prob desc) avgProbfrom Model)Twhere T.avgProb > @Threshold:42 –ё.T-SQL108.[36, .
168].,..1095[37].26,2746.26 –:27 –33841871846700 (1817812 (0,98)28888 (0,02).1,83)emaile-mail:955166349030 (345357 (0,99)3673 (0,01)2,70).,:-«-«-«-«»»»»ё,.110ё.49:.1.,-ё,,.2.-.3.ё,ё.,ё4..,:-;-;-;-;-;-;-;-.:ё,43,46;,44,,47.111:43 –.:2014 . –2015 .112:44 –.113:45 –.114:46 –.115:47 –.116:48 –.117:.49 –,« ё»48.,,«»,.,–.,45.ё1,5: 1)1,5; 4)6,; 2)ё3.; 3)1,54,5118.50.:.50 –,,, ,.119:51 –.120:52 –.ё121ё:–6,612,3% ( 1,86);:15-45(110-40);ё;ё(,,5,12%),,(,3151,5,16%2224%);ё;ё-ё:МЧИ ∗∗ С И ∗=––;/ ,уб.,=∗;: 4 000 000:1-∗;(.2015).:.1.,.–, % ∗ ,2014 –1222.,.3.,..4..5.,.6..7..123ё:1..2..3..4.,,,,,.5..,6.,,,.7.,().,ёё.124,1.. ./.
.//. – 2008. –№3(41). – . 5-11.2.. .,:.. .,/ . .. ..;, . .. .. –,.:, 1989. – 607 .3.. .,:.. ., . ..–,4./.:.–5.. ../ . ..:6.. .:2 . /.:,,, 1985. – 487 .. .,,, 1983. – 471 ... .. .. .:. .,;. – 2-. –, 2001. – .1. – 656 .,. ./. .//,2011. – №6. – . 104-108.7.,. .//8./ . .424 .. ./, 2012. – №4(22). – .
61-68.,, . .. ..–.:, 2004. –1259..,/ .., ..–;10..:, 1982. – 488 .. . STATISTICA.,:/. ..–.:, 2003. –688 .,11.. .// . ./,2013. – № 44. – . 95-102., . .12.:.–13..…..: 08.00.05 /, 2008. – 170 ..,/..–.:,1989. – 360 .14.. .,/STATISTICA15.EXCEL. –.:, 2004. – 464 .. …:.–08.00.05 /] /..:., 2004. – 137 .. .,[;. .,16..
.«.». –:https://yandexdataschool.ru/edu-process/courses/machine-learning (-: 20.10.2017).17.. .,/ . .18.,:4, 2001. –19...–, . .. .. /, 2008. – 659 ..::. .;,... . –.:. 4. – 256 .,.:.–./«», 2007. – 912 ..,12620.. .,/. .//, 2014. – . 9, №1. – . 73-75.21..,:./..–.:, 1988. –254 .22.. . Data Mining:,.–.:23..–. .,. ., 2001. – 368 .. .,. ./.:,,/- , 2002.
– 496 .24.,. ./. .,. .://, 2014. – №1(119). – . 41-55.25...,...–:26.,./, 2000. – 320 ..:,…:..: 05.13.11 /. –.,2001. – 164 .27.. .,/.-. ..//., 2013. – №6(186). – . 137-144.28.,/-.. –, 2014. – 175 ..:29..:.,, ., 2007. – .3. – 824 .:7 ./ .; 2-.–12730....,.,.,./.,..;... –..:,1999. – 896 .31..–.:./.;., 2007. – 656 .32.. .,,/.
., 1965. –//. 163. – №4, 1965. – . 830-848.33.-.,/.,,-., 1992. –//№3. – . 40-53.34.,. ./, 2016. – №4,35.,. .//1. – . 201-207.. ./. .//. – 2016. – №5. – . 104-108.36.,. ./. .//, 2016. – №2. – . 165-169.37.. .,/. .//, 2014. – №2. – . 17-21.38.,. .,/ . .//. – 2016. – №4. –: http://co2b.ru/docs/enj.2016.04.pdf (39.,. .. 564-567.
–: 20.10.2017).-,128.///, 2015. – №5. –. 101-106.40..[]/ ..// Basegroup Labs.2016.:: 20.10.2017).https://basegroup.ru/community/articles/logistic (,41.. .]/[. .2009. – №3. –(–ROC-//,: http://www.mavriz.ru/articles/2009/3/4958.html: 20.10.2017).42.. .,[. .]/,//–2006.:http://zhurnal.ape.relarn.ru/articles/2006/200.pdf (: 21.09.2015)..43.2014 . []/Step by step, 2014.
–: http://www.step-by-step.ru/marketing-researches/element/13621(: 20.10.2017).44.. .,:..–: 08.00.05 /45.,..ё , 2014. – 206 .. ./.;.,. ..–1999. – 598 ., . .46./ . .47.,/ .... .,:. ….–.:... 2008. – 55 ..–.:, 1986. – 167 .. ..:, .-,12948.. .,.–.49.[. …,, 2005. – 190 ..29.10.1998 N 164] //–:(.: 22.00.03 /.31.12.2014)«-».: https://www.consultant.ru/document/cons_doc_LAW_20780/(: 20.10.2017)..50.,., 20142014.[]/–:http://www.forecsys.ru/ru/site/projects/sell4cast_trust2014/(:20.10.2017).ё51.[«», 2016. –: 20.10.2017).: https://www.europlan.ru/leasing (52.,. ./] /.
., .;..–, 2002. – 308 ..:53.Agrawal, R. Fast Discovery of Association Rules / R. Agrawal,R. Srikant. – Santiago: 20th International Conference on VLDB, 1994. –pp. 307-328.54.Agrawal, R. Mining Associations between Sets of Items in MassiveDatabases / R. Agrawal, T. Imielinski, A.















