The Elements of Statistical Learning. Data Mining_ Inference_ and Prediction (811377), страница 7
Текст из файла (страница 7)
Intuitively, it seems that we do notneed a very large data set to fit such a model.Let’s look at an example of the linear model in a classification context.Figure 2.1 shows a scatterplot of training data on a pair of inputs X1 andX2 . The data are simulated, and for the present the simulation model isnot important. The output class variable G has the values BLUE or ORANGE,and is represented as such in the scatterplot.
There are 100 points in eachof the two classes. The linear regression model was fit to these data, withthe response Y coded as 0 for BLUE and 1 for ORANGE. The fitted values Ŷare converted to a fitted class variable Ĝ according to the rule(ORANGE if Ŷ > 0.5,(2.7)Ĝ =BLUEif Ŷ ≤ 0.5.2.3 Least Squares and Nearest Neighbors13Linear Regression of 0/1 Response.. ....
.... .... .... .... .... .... .... .... ..... ..... .... .... .... .... .... .... ..... ..... .... .... .... .... .... ..... ..... .... .... .... .... ..... ..... .... .... .... .... .... .... .... ..... ..... .... .... .... .... .... ....................................................................................................... .... .... .... .... .... .... .... .... .... .....
..... .... .... .... .... .... .... ..... ..... .... .... .... ..... ..... .... .... .... .... .... .... ..... ..... .... .... .... .... .... .... .... ..... ..... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ..... ..... .... .... .... .... .... .... ..... ..... .... .... ....
..... ..... .... .... .... .... .... .... .... ..... ..... .... .... .... .... .... .... ..... ..... .... .... .... .... .... .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ...
. . . . . . . . . . . . . .o...............................................o .... .... .... ....o.... .... .... .... .... .... .... .... .... .... .... .... .... o.... .... .... ....o.... .... .... .... .... .... .... .... .... .... ....
.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ...... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. o. . . . . . . . . . . . .o.. .. ..o..o. . . . . . . . . . . . .o.............................. .. .. .. ... ... ... ... ...o... ... ... ... ... ... ... ... o.. ..
.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. ..o. . .. .. ..o.. .. .. ..o....................................o .....
o..... ..... ..... ..... ..... o.. .. .. .. .. .. .. .. .. .. .. ... ...o.. .. .. .. ..o.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...o o o.... .... .... .... .... .... ..... .....o..... ..... ..... ..... ..... ..... ..... .....o..... ..... .....oo..... ..... .....o..... ..... .....
..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ...... . . . . . . . . . .o. . . . . . . . . . . . . . . . . . . . .
.. ..o.. o...........................o .... .... .... .... .... .... .... .... .... .... .... .... .... o.... .... .... .... .... ....o.... .... .... .... ....oo.... .... .... .... .... .... .... ....oo.. ....o.... o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o..... .....
..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ....... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. ..o.. .. o. . .. .. .. ... o.. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. o.. .. o.. .. .. .. .. .. .. .. .. ... ... o..o.. .. .. ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. o. .. .. .. .. .. .. .. .. o. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o........o.. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .... .. .. .. .. .. ... o.
. . .. .. .. .. .. ...o. . .o. .. ..o.. o. . . . . .. .. .. ..o. .. .. .. ... ... ... ... ... ... ... ...o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. ... ... ...o..o.. .. .. .. .. ... ... ... ... o.. ..o.. ... ... ... ... ...o.. .. .. .. ...o.. .. .. .. .. .. .. o.. ..
.. ..o. . . .. .. .. .. .. .. ..o. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o.. o.. ..o.. o.. .. .. .. .. .. .. .. .. .. .. .. .. o.. .. o.. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... o. . . . . . . ... o. . . . . .o.ooo. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. o.. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. ..o.. .. .. .. .. ..o.. .. .. o..o.. .. .. .. .. ... ... ... ... ... ... ... o. .. .. .. o. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. o..o.. o.. o.. .. .. .. .. .. ..o.. ..
.. o.. .. ..o. .. .. .. .. .. .. .. o...oo...o... ... ...o... ...o...o... ... ... ... ... ... ... ... ...o... ... ... ... ... ... o... ... ... ... ... ... ... ... ... ... ... ... ... ......o... ... ... ... ... ... o... ... ... ... ... ... ... ... ... ... ... ... ...o... ...
... ... ... ...oo.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. ... ... ... o.. .. .. .. ... ... ... ... ... ... o.. ... o.. .. .. .. .. ..o... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ...o.o. . .. .. ... ... o.. .. .. .. .. .. ... o.. ... ... ... ... ... ... o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o.. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ...o.o..........................o.. .. .. .. .. .. ..o.. .. ..
.. o.. .. o. . . . . .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o. . . .oo.. o....oo.... .... .... .... .... .... .... o. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. ..
.. .. .. .. .. .. .. .. o.. .. .. .. .. ... ... ... ... ... o... ... ... ... ... ... ... ... ... ... ... o... .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o. .o. . .. .. ... ... ... ... o.. .. .. .. .. .. .. .. .. .. ..
.. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o. . . . . .o.o..o.. ..o. . .. ... ... ... o. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ...o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... o. . . .. .. .. o. .o. .. o. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. ..
.. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...o... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...ooo.. .. .. .. .. .. .. .. .. .. .. .. ..
.. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...o.. .. .. ..o.. .. .. ... ... ... ... ... ... ... ...
o.. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. o. . . . . .o. . . .. .. .. .. .. .. .. o. . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ...
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. ..o.. .. .. .. .. .. o..o.. ..
.. .. .. o.. .. .. ..o.................... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. ... o.o. . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o.. ... ... ...o.. .. o.. .. o.. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. ..
.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
o.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...oo. . . . . . . . . . . . . . . . ... .. .. .. .. .. .. .. .. .. .. .. ..