24/02/2020, 18:14:21 *
Bienvenido(a), Visitante. Por favor, ingresa o regístrate.
¿Perdiste tu email de activación?

Ingresar con nombre de usuario, contraseña y duración de la sesión
Noticias: Puedes practicar LATEX con el cómodo editor de Latex online
 
 
Páginas: [1]   Ir Abajo
  Imprimir  
Autor Tema: Minimización Regresión LASSO  (Leído 1459 veces)
0 Usuarios y 1 Visitante están viendo este tema.
sanmath
Pleno*
*****

Karma: +0/-0
Desconectado Desconectado

Sexo: Masculino
Switzerland Switzerland

Mensajes: 627


Ver Perfil
« : 08/03/2017, 06:06:11 »

Ahora tengo el siguiente problema de minimización.
Encontrar el mínimo para cada [texx]j\in\left\{{1,...,p}\right\}[/texx]
[texx]min_{\theta}\frac{1}{2}||Y-D\theta||^2+\lambda||\theta||_1[/texx]
 donde [texx]D\in\mathbb{R^{n\times{p}}}[/texx] tal que [texx]||D_j||=1[/texx] y [texx]D_j\mathbb{1}_n=0[/texx]
[texx]Y\in\mathbb{R}^n[/texx] y [texx]\theta\in\mathbb{R^p}[/texx]

Tengo lo siguiente:

Primero, sé que [texx]||x||^2=x^Tx[/texx], entonces:
[texx]\frac{1}{2} \left\|{Y-D\theta}\right\|^2+\lambda \left\|{\theta}\right\|_1=\frac{1}{2}Y^T Y-Y^T D\theta+\frac{1}{2}\theta^T \theta[/texx]
con lo que mi nuevo problema de minimización es:
[texx]min_{\theta} \frac{1}{2}Y^TY-Y^TD\theta+\frac{1}{2}\theta^T\theta+\lambda||\theta||_1[/texx]

Ahora dado que [texx]Y^TY[/texx] no contiene ninguna variable de interés consideramos el problema
[texx]min_{\theta} -Y^TD\theta+\frac{1}{2}\theta^T\theta+\lambda \left\|{\theta}\right\|_1[/texx]
Ahora noto que el problema de mínimos cuadrados tiene solución [texx]\widehat{\theta}_{LS}=(D^TD)^{-1}D^TY=D^TY[/texx] pues por las condiciones de [texx]D[/texx] concluyo que este matriz es ortonormal., entonces el problema anterior lo escribo como:


[texx]min_{\theta}\sum_{i=1}^{p}-\widehat{\theta}_{LS_i}\theta_i+\frac{1}{2}\theta_{i}^2+\lambda|\theta_i|[/texx]
De aqui, dado que la función objetivo anterior es una suma voy a fijar un índice [texx]i[/texx] y minimizar cada sumando.
es decir considero:
[texx]-\widehat{\theta}_{LS_i}\theta_i+\frac{1}{2}\theta_{i}^2+\lambda|\theta_i|[/texx]

Todo esto lo he sacado de aquí:
http://stats.stackexchange.com/questions/17781/derivation-of-closed-form-lasso-solution/17786#17786

Sin embargo no entiendo bien lo que se hace a continuación los casos en los que se menciona que si [texx]\theta_i[/texx] y [texx]\theta_{LS_i}[/texx] deben ser del mismo signo pues caso contrario se cambio el signo y se obtiene un valor más bajo de la función objetivo.


Saludos
En línea

1301215
Páginas: [1]   Ir Arriba
  Imprimir  
 
Ir a:  

Impulsado por MySQL Impulsado por PHP Powered by SMF 1.1.4 | SMF © 2006, Simple Machines LLC XHTML 1.0 válido! CSS válido!