The Elements of Statistical Learning. Data Mining_ Inference_ and Prediction (811377), страница 41

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 41)

.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..oNatural Cubic Splines - Tensor Product - 4 df eacho..... ..... o..... ..... ..... ..... ..... ..... .....

..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ....... ..

.. .. .. ..o.........................................o.. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... ..o.. ..

..o..o. . . . . . . . . . . . .o............................o o.. .. o.. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... ..o. . .. .. ..o.. .. .. ..o....................................o o o.. .. ... ...o.. .. .. .. ..o.. .. ... ... ... ... ... ... ... ... ... ... ...

... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .....o. . .o. . . .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..oo oo. .. .. .. .. .. .. o........................................o .... .... .... ....oo.... .... .... .... .... .... .... .... .... ....

.... .... .... .... ....o....o.... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... .... ....oo ... ... ... ... ... ... ... ... ...oo... ... ... ... ... ... ... ...o.. ...o.. ... ... ... ... ... ... ... ... ... ... ... ... ...

... ... ... ... ... ... ... ... ... ... ... ... ... ................... .. .. .. ..o.. .. .. .. ..o.. .. o. . .. .. ..o... o. .. o. . . . . . . . . . . . .o.. o.. .. o.. .. .. .. .. .. .. .. .. ... ... o..o.. .. .. ... ... ... ... ...

... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...oo...................... .. .. .. .. .. .. ..ooo..o.. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. ... o... ... ... ... ... ... ... ... ... ... ...o... ... ...

... ... ... ...........o o ... ... ... ... ... o... ...oo.. o.. .. .. .. ..o.. .. .. ... ...oo... ... ... ... ... ... ... o... ... ... ...o... ... ...o... ... ... ... ... ... ...o... ... ... ... ... ... ... ...oooooo.. o. . . . . .o..

. . . . . .. .. .. .. .. .. .. ... ... o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. oo.. ... ... ... ... ... ... ...o...o.... .... o....o.... o.... .... .... .... .... .... .... ....o.... o...o... ...o.. ...o.. .. .. ..o.. .. .. o..o...

... ... ... ... ... ... ... ... ... ... ... oo........o.... ...o. .. .. .. .. .. .. .. .. o. . . .o. . .. .. .. .. .. .. ... ... ... ... ... ... ... ...oo....o.... .... ....oo.... oo.. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ...o... ... ... ... ... ...o...o..

... ... ... ... ... ... ... ... ...o... ... ... ... ... ... o. . . . . . .. .. .. .. .. .. .... .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. ..oo.... ....o.... o.... .... o.... .... .... .... o.... .... .... .... .... .... .... .... o........ . . . . . .. .. .. .. ..

.. .. .. .. .. .. ... ...o... ... ... ... o.. .. .. .. .. .. .. .. o.. .. .. .. .. .. .. .. o.. ... ... ... ... ... ... o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ...ooo.. .. .. o.. .. .. ..o.o.......................................oooo .... .... .... .... .... .... .... ..... o..... ..... ..... ..... ..... .....

.....o..... .....o..... o..... o.....oo..... ..... ..... o..... ..... ..... .....o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .......o. . . . . . ..o..o.. ..o..o. . . .. o. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. ..o................ ... ... ... ... ... ... o.o. . . .. .. .. ... ...o. .. o. . . . . . . . . . . . . . . .. .. .. .. .. .. .. .. .. .. .. .. .. ... . . . . . . .. .. ..o.. .. .. .. o.o. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .....

.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... .....o..... .....oo..... ..... ..... o.. o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. ..oo ..... ..... .....o..... ..... .....o..... ..... ..... .....o..... ..... ..... o..... ..... ..... ..... ..... ..... ..... ..... o..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ..... ....... .. .. .. ..o.. .. .. .. .. .. .. .. ..

.. .. .. .. .. o..o.. .. .. .. .. o.. .. .. ..o.................... .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ... ... ... ... ...

... ... o... o.. o.. .. ... ... ... ... o.. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. o.. ... ... ...o.. .. o.. .. ... ... ... ... ...o.. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ...o... ... ... ... ... ... ... ... ... ... ... ... ... ...

... ... ... o.. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ...oo. . . . . . . . . . . . . . . . ... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. o.................. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ... ... ... ... ... ... ... ... ...

... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ............................ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. ..

.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ....

.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... ..Training. . . . . .

. . Error:. . . . . . 0.230........ .. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..... ..Test. . . . .. .. .. .. .. .. .. .. .. .. 0.282........ .. ... ... ... ... Error:.. .. .. .. .. .. .. .. .. .. ... ... ... ... ... ..... ..Bayes.. .. .. ..

.. .. Error:.. .. .. .. .. .. .. .. 0.210.. .. .. .. .. ..o.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .... .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

.. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..oFIGURE 5.11. The simulation example of Figure 2.1. The upper panel shows thedecision boundary of an additive logistic regression model, using natural splinesin each of the two coordinates (total df = 1 + (4 − 1) + (4 − 1) = 7). The lowerpanel shows the results of using a tensor product of natural spline bases in eachcoordinate (total df = 4 × 4 = 16). The broken purple boundary is the Bayesdecision boundary for this problem.5.7 Multidimensional Splines165One-dimensional smoothing splines (via regularization) generalize to higher dimensions as well.

Suppose we have pairs yi , xi with xi ∈ IRd , and weseek a d-dimensional regression function f (x). The idea is to set up theproblemNXmin{yi − f (xi )}2 + λJ[f ],(5.37)fi=1where J is an appropriate penalty functional for stabilizing a function f inIRd . For example, a natural generalization of the one-dimensional roughnesspenalty (5.9) for functions on IR2 isJ[f ] =Z ZIR2h ∂ 2 f (x) 2∂x21+2∂ 2 f (x)∂x1 ∂x22+∂ 2 f (x)∂x222 idx1 dx2 . (5.38)Optimizing (5.37) with this penalty leads to a smooth two-dimensionalsurface, known as a thin-plate spline.

Характеристики

Список файлов книги