Lasso suorittaa kutistumisen niin, että rajoitteessa on "kulmia", joka kahdessa ulottuvuudessa vastaa timanttia. Jos neliöiden summa "osoi" yhteen näistä kulmista, sitten akselia vastaava kerroin kutistetaan nollaan. … Näin ollen lasso suorittaa kutistumisen ja (tehokkaasti) osajoukon valinnan.
Miksi lasso antaa nollakertoimia?
Lasso suorittaa kutistumisen niin, että rajoitteessa on "kulmia", joka kahdessa ulottuvuudessa vastaa timanttia. Jos neliöiden summa "osoi" yhteen näistä kulmista, sitten akselia vastaava kerroin kutistetaan nollaan.
Miksi lasso kutistuu nollaan, mutta ei Ridge?
Sanotaan, että koska LASSO:n rajoitteen muoto on timantti, saatu pienimmän neliösumman ratkaisu saattaa koskettaa timantin kulmaa siten, että se johtaa jonkin muuttujan kutistumiseen. Kuitenkin harjuregressiossa, koska se on ympyrä, se ei useinkaan kosketa akselia
Miksi harjanteen regressio kutistaa kertoimia?
Ridge-regressio kutistaa kaikki regressiokertoimet kohti nollaa; lasso pyrkii antamaan joukon nollaregressiokertoimia ja johtaa harvaan ratkaisuun. Huomaa, että sekä harjanteelle että lassolle regressiokertoimet voivat siirtyä positiivisista negatiivisiksi arvoiksi, kun ne kutistuvat kohti nollaa.
Ovatko lassokertoimet puolueellisia?
…lasson kutistuminen aiheuttaa nollasta poikkeavien kertoimien estimaattien poikkeamisen kohti nollaa ja yleensä ne eivät ole johdonmukaisia [Lisätty huomautus: Tämä tarkoittaa, että koska otoskoko kasvaa, kerroinarviot eivät lähenty].
