| 1 | #LyX 1.5.3 created this file. For more info see http://www.lyx.org/ |
|---|
| 2 | \lyxformat 276 |
|---|
| 3 | \begin_document |
|---|
| 4 | \begin_header |
|---|
| 5 | \textclass amsbook |
|---|
| 6 | \begin_preamble |
|---|
| 7 | \usepackage{a4wide} |
|---|
| 8 | %\documentclass[spanish]{article} |
|---|
| 9 | \usepackage{babel} |
|---|
| 10 | \usepackage{a4wide} |
|---|
| 11 | \usepackage{varioref} |
|---|
| 12 | \usepackage{amssymb} |
|---|
| 13 | \usepackage{latexsym} |
|---|
| 14 | \usepackage{amssymb} |
|---|
| 15 | \usepackage{amsmath} |
|---|
| 16 | |
|---|
| 17 | \usepackage{graphics} |
|---|
| 18 | \usepackage{graphicx} |
|---|
| 19 | \usepackage{ulem} |
|---|
| 20 | \usepackage{color} |
|---|
| 21 | \usepackage{multicol} |
|---|
| 22 | \usepackage{longtable} |
|---|
| 23 | |
|---|
| 24 | %\usepackage{makeidx} |
|---|
| 25 | \usepackage{hyperref} |
|---|
| 26 | \makeindex |
|---|
| 27 | |
|---|
| 28 | \hypersetup{urlbordercolor=0 0 0,pdfborder=0 0 1 [3 2]} |
|---|
| 29 | \end_preamble |
|---|
| 30 | \language spanish |
|---|
| 31 | \inputencoding auto |
|---|
| 32 | \font_roman default |
|---|
| 33 | \font_sans default |
|---|
| 34 | \font_typewriter default |
|---|
| 35 | \font_default_family default |
|---|
| 36 | \font_sc false |
|---|
| 37 | \font_osf false |
|---|
| 38 | \font_sf_scale 100 |
|---|
| 39 | \font_tt_scale 100 |
|---|
| 40 | \graphics default |
|---|
| 41 | \paperfontsize default |
|---|
| 42 | \spacing single |
|---|
| 43 | \papersize default |
|---|
| 44 | \use_geometry false |
|---|
| 45 | \use_amsmath 1 |
|---|
| 46 | \use_esint 0 |
|---|
| 47 | \cite_engine basic |
|---|
| 48 | \use_bibtopic false |
|---|
| 49 | \paperorientation portrait |
|---|
| 50 | \secnumdepth 3 |
|---|
| 51 | \tocdepth 3 |
|---|
| 52 | \paragraph_separation indent |
|---|
| 53 | \defskip medskip |
|---|
| 54 | \quotes_language english |
|---|
| 55 | \papercolumns 1 |
|---|
| 56 | \papersides 1 |
|---|
| 57 | \paperpagestyle default |
|---|
| 58 | \tracking_changes false |
|---|
| 59 | \output_changes false |
|---|
| 60 | \author "" |
|---|
| 61 | \author "" |
|---|
| 62 | \end_header |
|---|
| 63 | |
|---|
| 64 | \begin_body |
|---|
| 65 | |
|---|
| 66 | \begin_layout Chapter |
|---|
| 67 | \begin_inset LatexCommand label |
|---|
| 68 | name "cha:El-bloque-lineal" |
|---|
| 69 | |
|---|
| 70 | \end_inset |
|---|
| 71 | |
|---|
| 72 | El bloque lineal con restricciones lineales |
|---|
| 73 | \end_layout |
|---|
| 74 | |
|---|
| 75 | \begin_layout Standard |
|---|
| 76 | Casi todos los modelos de regresión contienen uno o varios bloques lineales |
|---|
| 77 | que suelen acumular la mayor parte de las variables por lo que es imprescindibl |
|---|
| 78 | e atacar su simulación de la manera más eficiente posible, especialmente |
|---|
| 79 | si se trata de matrices sparse como es bastante habitual, sobre todo en |
|---|
| 80 | modelos estructurados como los modelos jerárquicos o las redes bayesianas. |
|---|
| 81 | También es muy importante poder forzar restricciones en forma de inecuaciones |
|---|
| 82 | sobre los parámetros de este bloque lineal. |
|---|
| 83 | Para ello es necesario manejar algoritmos sumamente eficientes de generación |
|---|
| 84 | de multinormales truncadas, descomposiciones de Cholesky y resolución de |
|---|
| 85 | sistemas lineales sparse y densos, que permitan al mismo tiempo conjugarse |
|---|
| 86 | con otros bloques de variables (Sigma, ARMA, Missing, ...) dentro del marco |
|---|
| 87 | del método de simulación de Gibbs. |
|---|
| 88 | \end_layout |
|---|
| 89 | |
|---|
| 90 | \begin_layout Section |
|---|
| 91 | \begin_inset LatexCommand label |
|---|
| 92 | name "sub:LinearBlock_Antecedentes" |
|---|
| 93 | |
|---|
| 94 | \end_inset |
|---|
| 95 | |
|---|
| 96 | Descripción |
|---|
| 97 | \end_layout |
|---|
| 98 | |
|---|
| 99 | \begin_layout Standard |
|---|
| 100 | Sea el modelo de regresión lineal estandarizada de rango completo con restriccio |
|---|
| 101 | nes lineales |
|---|
| 102 | \end_layout |
|---|
| 103 | |
|---|
| 104 | \begin_layout Standard |
|---|
| 105 | \begin_inset Formula \begin{equation} |
|---|
| 106 | \begin{array}{c} |
|---|
| 107 | Y=X\cdot\beta+\varepsilon\\ |
|---|
| 108 | C\cdot\beta\leq c\\ |
|---|
| 109 | \varepsilon\sim N\left(0,I\right)\\ |
|---|
| 110 | Y,\varepsilon\in\mathbb{R}^{m}\\ |
|---|
| 111 | \beta\in\mathbb{R}^{n}\wedge X\in\mathbb{R}^{m\times n}\\ |
|---|
| 112 | c\in\mathbb{R}^{\rho}\wedge C\in\mathbb{R}^{\rho\times n}\\ |
|---|
| 113 | m>n\\ |
|---|
| 114 | rank\left(X\right)=n\end{array}\end{equation} |
|---|
| 115 | |
|---|
| 116 | \end_inset |
|---|
| 117 | |
|---|
| 118 | donde |
|---|
| 119 | \end_layout |
|---|
| 120 | |
|---|
| 121 | \begin_layout Itemize |
|---|
| 122 | \begin_inset Formula $\beta$ |
|---|
| 123 | \end_inset |
|---|
| 124 | |
|---|
| 125 | son los parámetros a estimar de la regresión, |
|---|
| 126 | \end_layout |
|---|
| 127 | |
|---|
| 128 | \begin_layout Itemize |
|---|
| 129 | \begin_inset Formula $n$ |
|---|
| 130 | \end_inset |
|---|
| 131 | |
|---|
| 132 | es el número de parámetros a estimar de la regresión, |
|---|
| 133 | \end_layout |
|---|
| 134 | |
|---|
| 135 | \begin_layout Itemize |
|---|
| 136 | \begin_inset Formula $m$ |
|---|
| 137 | \end_inset |
|---|
| 138 | |
|---|
| 139 | es el número de datos de contraste del modelo y ha de ser mayor que el |
|---|
| 140 | de variables, |
|---|
| 141 | \end_layout |
|---|
| 142 | |
|---|
| 143 | \begin_layout Itemize |
|---|
| 144 | \begin_inset Formula $\rho$ |
|---|
| 145 | \end_inset |
|---|
| 146 | |
|---|
| 147 | es el número de restricciones de inecuaciones lineales, |
|---|
| 148 | \end_layout |
|---|
| 149 | |
|---|
| 150 | \begin_layout Itemize |
|---|
| 151 | \begin_inset Formula $Y$ |
|---|
| 152 | \end_inset |
|---|
| 153 | |
|---|
| 154 | es la matriz de output estandarizado del modelo y es completamente conocida, |
|---|
| 155 | aunque puede cambiar de una simulación para otra si estamos en el marco |
|---|
| 156 | de una simulación de Gibbs con más bloques involucrados. |
|---|
| 157 | Para estandarizarla normalmente se habrá dividido previamente cada segmento |
|---|
| 158 | por su correspondiente parámetro de desviación tÃpica, y también se habrá |
|---|
| 159 | filtrado eventualmente de las partes no lineales: ARMA, omitidos, etc. |
|---|
| 160 | \end_layout |
|---|
| 161 | |
|---|
| 162 | \begin_layout Itemize |
|---|
| 163 | \begin_inset Formula $X$ |
|---|
| 164 | \end_inset |
|---|
| 165 | |
|---|
| 166 | es la matriz de iputs del modelo y es completamente conocida y de rango |
|---|
| 167 | completo, aunque puede cambiar de una simulación para otra lo mismo que |
|---|
| 168 | el output. |
|---|
| 169 | Para estandarizarla normalmente se hará igual que con el output. |
|---|
| 170 | \end_layout |
|---|
| 171 | |
|---|
| 172 | \begin_layout Itemize |
|---|
| 173 | \begin_inset Formula $\varepsilon$ |
|---|
| 174 | \end_inset |
|---|
| 175 | |
|---|
| 176 | son los residuos estandarizados del modelo cuya distribución se propone |
|---|
| 177 | como hipótesis principal del mismo, |
|---|
| 178 | \end_layout |
|---|
| 179 | |
|---|
| 180 | \begin_layout Itemize |
|---|
| 181 | \begin_inset Formula $C$ |
|---|
| 182 | \end_inset |
|---|
| 183 | |
|---|
| 184 | es la matriz de coeficientes de restricción, que es conocida y también |
|---|
| 185 | podrÃa cambiar en cada simulación |
|---|
| 186 | \end_layout |
|---|
| 187 | |
|---|
| 188 | \begin_layout Itemize |
|---|
| 189 | \begin_inset Formula $c$ |
|---|
| 190 | \end_inset |
|---|
| 191 | |
|---|
| 192 | es el vector de frontera de restricción que es igualmente conocida aunque |
|---|
| 193 | no necesariamente fija. |
|---|
| 194 | |
|---|
| 195 | \end_layout |
|---|
| 196 | |
|---|
| 197 | \begin_layout Section |
|---|
| 198 | Simulación del bloque lineal de rango completo |
|---|
| 199 | \end_layout |
|---|
| 200 | |
|---|
| 201 | \begin_layout Standard |
|---|
| 202 | Condicionando a la varianza |
|---|
| 203 | \begin_inset Formula $\sigma^{2}$ |
|---|
| 204 | \end_inset |
|---|
| 205 | |
|---|
| 206 | , la distribución de |
|---|
| 207 | \begin_inset Formula $\beta$ |
|---|
| 208 | \end_inset |
|---|
| 209 | |
|---|
| 210 | es de sobras conocida y no ofrece mayores dificultades a nivel teórico, |
|---|
| 211 | pues se trata simplemente de una multinormal truncada |
|---|
| 212 | \end_layout |
|---|
| 213 | |
|---|
| 214 | \begin_layout Standard |
|---|
| 215 | \begin_inset Formula \begin{equation} |
|---|
| 216 | \begin{array}{c} |
|---|
| 217 | \beta\sim TN\left(\mu,\sigma^{2}\Sigma,C\cdot\beta\leq c\right)\end{array}\end{equation} |
|---|
| 218 | |
|---|
| 219 | \end_inset |
|---|
| 220 | |
|---|
| 221 | o bien una multinormal sin truncar si no hay restricciones, es decir, si |
|---|
| 222 | |
|---|
| 223 | \begin_inset Formula $\rho=0$ |
|---|
| 224 | \end_inset |
|---|
| 225 | |
|---|
| 226 | |
|---|
| 227 | \end_layout |
|---|
| 228 | |
|---|
| 229 | \begin_layout Standard |
|---|
| 230 | \begin_inset Formula \begin{equation} |
|---|
| 231 | \begin{array}{c} |
|---|
| 232 | \beta\sim N\left(\mu,\sigma^{2}\Sigma\right)\end{array}\end{equation} |
|---|
| 233 | |
|---|
| 234 | \end_inset |
|---|
| 235 | |
|---|
| 236 | En ambos casos la media y la matriz de covarianzas son las mismas |
|---|
| 237 | \end_layout |
|---|
| 238 | |
|---|
| 239 | \begin_layout Standard |
|---|
| 240 | \begin_inset Formula \begin{equation} |
|---|
| 241 | \begin{array}{c} |
|---|
| 242 | \Sigma=\left(X^{T}\cdot X\right)^{-1}\\ |
|---|
| 243 | \mu=\Sigma\cdot X^{T}\cdot Y\end{array}\label{eq:media-cov-bloque-lineal}\end{equation} |
|---|
| 244 | |
|---|
| 245 | \end_inset |
|---|
| 246 | |
|---|
| 247 | |
|---|
| 248 | \end_layout |
|---|
| 249 | |
|---|
| 250 | \begin_layout Standard |
|---|
| 251 | Si se dispone de una descomposición simétrica de la matriz de información, |
|---|
| 252 | como podrÃa ser la de Cholesky o cualquier otra que cumpla |
|---|
| 253 | \end_layout |
|---|
| 254 | |
|---|
| 255 | \begin_layout Standard |
|---|
| 256 | \begin_inset Formula \begin{equation} |
|---|
| 257 | \begin{array}{c} |
|---|
| 258 | X^{T}\cdot X=L\cdot L^{T}\\ |
|---|
| 259 | \Sigma=L^{-T}\cdot L^{-1}\end{array}\end{equation} |
|---|
| 260 | |
|---|
| 261 | \end_inset |
|---|
| 262 | |
|---|
| 263 | entonces es posible definir el cambio de variable de estandarización |
|---|
| 264 | \begin_inset Formula \begin{equation} |
|---|
| 265 | \begin{array}{c} |
|---|
| 266 | \beta=L^{-T}\cdot z+\mu\\ |
|---|
| 267 | z=L^{T}\cdot\left(\beta-\mu\right)\\ |
|---|
| 268 | E\left[z\right]=0\\ |
|---|
| 269 | Cov\left[z\right]=L^{T}\cdot\Sigma\cdot L=I\end{array}\label{eq:muestreo-bloque-lineal-sin-restricciones}\end{equation} |
|---|
| 270 | |
|---|
| 271 | \end_inset |
|---|
| 272 | |
|---|
| 273 | |
|---|
| 274 | \end_layout |
|---|
| 275 | |
|---|
| 276 | \begin_layout Standard |
|---|
| 277 | Las restricciones sobre esta nueva variable quedarÃan asà |
|---|
| 278 | \begin_inset Formula \begin{equation} |
|---|
| 279 | \begin{array}{c} |
|---|
| 280 | C\cdot\left(L^{-T}\cdot z+\mu\right)\leq c\\ |
|---|
| 281 | C\cdot L^{-T}\cdot z\leq c-C\cdot\mu\end{array}\end{equation} |
|---|
| 282 | |
|---|
| 283 | \end_inset |
|---|
| 284 | |
|---|
| 285 | y definiendo |
|---|
| 286 | \begin_inset Formula \begin{equation} |
|---|
| 287 | \begin{array}{c} |
|---|
| 288 | D=C\cdot L^{-T}\\ |
|---|
| 289 | d=c-C\cdot\mu\end{array}\end{equation} |
|---|
| 290 | |
|---|
| 291 | \end_inset |
|---|
| 292 | |
|---|
| 293 | se obtiene que la distribución de es una multinormal independiente truncada |
|---|
| 294 | \begin_inset Formula \begin{equation} |
|---|
| 295 | \begin{array}{c} |
|---|
| 296 | z\sim TN\left(0,I,D\cdot z\leq d\right)\end{array}\end{equation} |
|---|
| 297 | |
|---|
| 298 | \end_inset |
|---|
| 299 | |
|---|
| 300 | |
|---|
| 301 | \end_layout |
|---|
| 302 | |
|---|
| 303 | \begin_layout Subsection |
|---|
| 304 | Algoritmo de factorización |
|---|
| 305 | \end_layout |
|---|
| 306 | |
|---|
| 307 | \begin_layout Standard |
|---|
| 308 | Aunque a nivel teórico el método presentado no ofrece gran dificultad, no |
|---|
| 309 | es trivial obtener la descomposición de Cholesky de una forma eficiente |
|---|
| 310 | cuando el número de datos |
|---|
| 311 | \begin_inset Formula $m$ |
|---|
| 312 | \end_inset |
|---|
| 313 | |
|---|
| 314 | y sobre todo el de variables |
|---|
| 315 | \begin_inset Formula $n$ |
|---|
| 316 | \end_inset |
|---|
| 317 | |
|---|
| 318 | empiezan a crecer. |
|---|
| 319 | Para empezar, algo tan aparentemente inofensivo como el producto |
|---|
| 320 | \begin_inset Formula $X^{T}\cdot X$ |
|---|
| 321 | \end_inset |
|---|
| 322 | |
|---|
| 323 | precisa nada menos que de |
|---|
| 324 | \begin_inset Formula $n^{2}\cdot m$ |
|---|
| 325 | \end_inset |
|---|
| 326 | |
|---|
| 327 | productos y |
|---|
| 328 | \begin_inset Formula $n^{2}\cdot\left(m-1\right)$ |
|---|
| 329 | \end_inset |
|---|
| 330 | |
|---|
| 331 | sumas de números reales. |
|---|
| 332 | Con unos pocos cientos de variables y apenas unos miles de datos se va |
|---|
| 333 | a los centenares de millones de operaciones. |
|---|
| 334 | Cuando |
|---|
| 335 | \begin_inset Formula $X$ |
|---|
| 336 | \end_inset |
|---|
| 337 | |
|---|
| 338 | es fija a lo largo de las simulaciones no tiene ninguna importancia, pero |
|---|
| 339 | si no es asà hay que repetir el proceso miles o decenas de miles de veces |
|---|
| 340 | con lo cual se alcanza sin dificultad los billones de operaciones aritméticas. |
|---|
| 341 | \end_layout |
|---|
| 342 | |
|---|
| 343 | \begin_layout Standard |
|---|
| 344 | Si |
|---|
| 345 | \begin_inset Formula $X$ |
|---|
| 346 | \end_inset |
|---|
| 347 | |
|---|
| 348 | cambia dependiendo de forma univariante o como mucho bivariante es posible |
|---|
| 349 | utilizar un método de interpolación para ahorrar tiempo de computación. |
|---|
| 350 | Este es el caso de la matriz de diseño extendido de un nodo observacional |
|---|
| 351 | dentro de un modelo jerárquico. |
|---|
| 352 | \end_layout |
|---|
| 353 | |
|---|
| 354 | \begin_layout Standard |
|---|
| 355 | Si |
|---|
| 356 | \begin_inset Formula $X$ |
|---|
| 357 | \end_inset |
|---|
| 358 | |
|---|
| 359 | es sparse entonces existen métodos de descomposición de |
|---|
| 360 | \begin_inset Formula $X^{T}\cdot X$ |
|---|
| 361 | \end_inset |
|---|
| 362 | |
|---|
| 363 | sin necesidad de construir explÃcitamente el producto. |
|---|
| 364 | Concretamente el paquete CHOLMOD |
|---|
| 365 | \begin_inset LatexCommand cite |
|---|
| 366 | key "Cholmod_User_Guide" |
|---|
| 367 | |
|---|
| 368 | \end_inset |
|---|
| 369 | |
|---|
| 370 | dispone de un método muy eficiente tanto en la descomposición, como en |
|---|
| 371 | la resolución de los sistemas triangulares asociados. |
|---|
| 372 | \end_layout |
|---|
| 373 | |
|---|
| 374 | \begin_layout Standard |
|---|
| 375 | Para el cálculo de |
|---|
| 376 | \begin_inset Formula $\mu$ |
|---|
| 377 | \end_inset |
|---|
| 378 | |
|---|
| 379 | conviene disponer los cálculos asà |
|---|
| 380 | \end_layout |
|---|
| 381 | |
|---|
| 382 | \begin_layout Standard |
|---|
| 383 | \begin_inset Formula \begin{equation} |
|---|
| 384 | \begin{array}{c} |
|---|
| 385 | \mu=L^{-T}\cdot\left(L^{-1}\cdot\left(Y^{T}\cdot X\right)\right)\end{array}\end{equation} |
|---|
| 386 | |
|---|
| 387 | \end_inset |
|---|
| 388 | |
|---|
| 389 | |
|---|
| 390 | \end_layout |
|---|
| 391 | |
|---|
| 392 | \begin_layout Subsection |
|---|
| 393 | Algoritmo de factorización precondicionada |
|---|
| 394 | \end_layout |
|---|
| 395 | |
|---|
| 396 | \begin_layout Standard |
|---|
| 397 | Cuando la cadena de Markov ha convergido es de esperar que no haya grandes |
|---|
| 398 | diferencias entre las matrices |
|---|
| 399 | \begin_inset Formula $L$ |
|---|
| 400 | \end_inset |
|---|
| 401 | |
|---|
| 402 | de simulaciones consecutivas. |
|---|
| 403 | Si es asà puede ser de gran ayuda usar la descomposición |
|---|
| 404 | \begin_inset Formula $L_{0}$ |
|---|
| 405 | \end_inset |
|---|
| 406 | |
|---|
| 407 | de la iteración anterior como precondicionador de la actual, puesto que |
|---|
| 408 | se tendrá lo siguiente |
|---|
| 409 | \begin_inset Formula \begin{equation} |
|---|
| 410 | \begin{array}{c} |
|---|
| 411 | \dot{X}=X\cdot L_{0}\\ |
|---|
| 412 | \dot{X}^{T}\cdot\dot{X}=\dot{L}\cdot\dot{L}^{T}\simeq I\end{array}\end{equation} |
|---|
| 413 | |
|---|
| 414 | \end_inset |
|---|
| 415 | |
|---|
| 416 | lo cual hace suponer que las |
|---|
| 417 | \begin_inset Formula $\dot{X}$ |
|---|
| 418 | \end_inset |
|---|
| 419 | |
|---|
| 420 | y |
|---|
| 421 | \begin_inset Formula $\dot{L}$ |
|---|
| 422 | \end_inset |
|---|
| 423 | |
|---|
| 424 | transformadas son más sparse que las correspondientes matrices originales, |
|---|
| 425 | y por tanto más rápidas de factorizar. |
|---|
| 426 | Es posible que para que realmente sean sparse sea necesario truncar los |
|---|
| 427 | valores próximos a 0 según un parámetro de tolerancia predefinido. |
|---|
| 428 | Esto será útil también independientemente de que se precondicione o no, |
|---|
| 429 | si existen circunstancias que provoquen valores próximos a 0 que puedan |
|---|
| 430 | ser truncados, como por ejemplo si existe parte ARMA, puede ocurrir que |
|---|
| 431 | variables originalmente sparse se conviertan en falsas densas con valores |
|---|
| 432 | cercanos a 0. |
|---|
| 433 | Una vez realizada esta factorización se obtendrá la original teniendo en |
|---|
| 434 | cuenta que |
|---|
| 435 | \end_layout |
|---|
| 436 | |
|---|
| 437 | \begin_layout Standard |
|---|
| 438 | \begin_inset Formula \begin{equation} |
|---|
| 439 | \begin{array}{c} |
|---|
| 440 | X^{T}\cdot X=L_{0}^{-T}\cdot\dot{X}^{T}\cdot\dot{X}\cdot L_{0}^{-1}=L_{0}^{-T}\cdot\dot{L}\cdot\dot{L}^{T}\cdot L_{0}^{-1}\end{array}\end{equation} |
|---|
| 441 | |
|---|
| 442 | \end_inset |
|---|
| 443 | |
|---|
| 444 | es decir |
|---|
| 445 | \end_layout |
|---|
| 446 | |
|---|
| 447 | \begin_layout Standard |
|---|
| 448 | \begin_inset Formula \begin{equation} |
|---|
| 449 | \begin{array}{c} |
|---|
| 450 | L=L_{0}^{-T}\cdot\dot{L}\\ |
|---|
| 451 | L^{-1}=\dot{L}^{-1}\cdot L_{0}^{T}\end{array}\end{equation} |
|---|
| 452 | |
|---|
| 453 | \end_inset |
|---|
| 454 | |
|---|
| 455 | |
|---|
| 456 | \end_layout |
|---|
| 457 | |
|---|
| 458 | \begin_layout Standard |
|---|
| 459 | En principio no serÃa necesario tampoco actualizar la |
|---|
| 460 | \begin_inset Formula $L_{0}$ |
|---|
| 461 | \end_inset |
|---|
| 462 | |
|---|
| 463 | en cada iteración sino tras un determinado número de iteraciones que incluso |
|---|
| 464 | podrÃa ser creciente conforme la cadena se va estabilizando. |
|---|
| 465 | Un criterio razonable es el tiempo que lleva el cálculo realizado con precondic |
|---|
| 466 | ionamiento con respecto al tiempo que llevó la última vez que se factorizó |
|---|
| 467 | la matriz |
|---|
| 468 | \begin_inset Formula $X^{T}\cdot X$ |
|---|
| 469 | \end_inset |
|---|
| 470 | |
|---|
| 471 | original. |
|---|
| 472 | Mientras el tiempo sea sustancialmente menor merecerá la pena continuar |
|---|
| 473 | con la misma matriz de precondicionamiento. |
|---|
| 474 | Si ya la primera iteración cuesta más o apenas poco menos el método de |
|---|
| 475 | factorización original, entonces se vuelve a este durante un número dado |
|---|
| 476 | de iteraciones. |
|---|
| 477 | Si este número se define como infinito o simplementente mayor que la longitud |
|---|
| 478 | de la cadena, entonces nunca se intenta el método precondicionado y todo |
|---|
| 479 | queda como estaba. |
|---|
| 480 | \end_layout |
|---|
| 481 | |
|---|
| 482 | \begin_layout Subsection |
|---|
| 483 | \begin_inset LatexCommand label |
|---|
| 484 | name "sub:Algoritmo-de-simulación-trunc-multi-normal" |
|---|
| 485 | |
|---|
| 486 | \end_inset |
|---|
| 487 | |
|---|
| 488 | Algoritmo de simulación de la multinormal estandarizada truncada |
|---|
| 489 | \end_layout |
|---|
| 490 | |
|---|
| 491 | \begin_layout Standard |
|---|
| 492 | El algoritmo utilizado para generar los |
|---|
| 493 | \begin_inset Formula $z$ |
|---|
| 494 | \end_inset |
|---|
| 495 | |
|---|
| 496 | está basado en el |
|---|
| 497 | \emph on |
|---|
| 498 | Sampler TN2 |
|---|
| 499 | \emph default |
|---|
| 500 | descrito en las páginas 9-11 del artÃculo |
|---|
| 501 | \begin_inset LatexCommand cite |
|---|
| 502 | key "Efficient_Gibbs_Sampling_Truncated_Multivariate_Normal" |
|---|
| 503 | |
|---|
| 504 | \end_inset |
|---|
| 505 | |
|---|
| 506 | , y de hecho es conceptualmente idéntico salvo que en la implementación |
|---|
| 507 | de la fórmula 24 se evitan los productos |
|---|
| 508 | \begin_inset Formula $D_{-j}\cdot z_{-j}$ |
|---|
| 509 | \end_inset |
|---|
| 510 | |
|---|
| 511 | actualizando el vector |
|---|
| 512 | \begin_inset Formula $D\cdot z$ |
|---|
| 513 | \end_inset |
|---|
| 514 | |
|---|
| 515 | que se calcula sólo una vez al principio. |
|---|
| 516 | \end_layout |
|---|
| 517 | |
|---|
| 518 | \begin_layout Standard |
|---|
| 519 | El algoritmo es el siguiente |
|---|
| 520 | \end_layout |
|---|
| 521 | |
|---|
| 522 | \begin_layout Enumerate |
|---|
| 523 | Se parte de un vector |
|---|
| 524 | \begin_inset Formula $z$ |
|---|
| 525 | \end_inset |
|---|
| 526 | |
|---|
| 527 | que cumple las restricciones |
|---|
| 528 | \begin_inset Formula $D\cdot z\leq d$ |
|---|
| 529 | \end_inset |
|---|
| 530 | |
|---|
| 531 | |
|---|
| 532 | \end_layout |
|---|
| 533 | |
|---|
| 534 | \begin_layout Enumerate |
|---|
| 535 | Se calcula y almacena el producto |
|---|
| 536 | \begin_inset Formula $\zeta=D\cdot z\in\mathbb{R}^{\rho}$ |
|---|
| 537 | \end_inset |
|---|
| 538 | |
|---|
| 539 | |
|---|
| 540 | \end_layout |
|---|
| 541 | |
|---|
| 542 | \begin_layout Enumerate |
|---|
| 543 | Para cada columna |
|---|
| 544 | \begin_inset Formula $j=1\ldots n$ |
|---|
| 545 | \end_inset |
|---|
| 546 | |
|---|
| 547 | de |
|---|
| 548 | \begin_inset Formula $D$ |
|---|
| 549 | \end_inset |
|---|
| 550 | |
|---|
| 551 | se siguen los siguientes pasos |
|---|
| 552 | \end_layout |
|---|
| 553 | |
|---|
| 554 | \begin_deeper |
|---|
| 555 | \begin_layout Enumerate |
|---|
| 556 | Se extrae el vector |
|---|
| 557 | \begin_inset Formula $\zeta^{j}=\left(D_{j,1}\cdot z_{j},\ldots,D_{j,r}\cdot z_{j}\right)^{T}\in\mathbb{R}^{r}$ |
|---|
| 558 | \end_inset |
|---|
| 559 | |
|---|
| 560 | |
|---|
| 561 | \end_layout |
|---|
| 562 | |
|---|
| 563 | \begin_layout Enumerate |
|---|
| 564 | Se calcula |
|---|
| 565 | \begin_inset Formula $\zeta^{-j}=\zeta-\zeta^{j}$ |
|---|
| 566 | \end_inset |
|---|
| 567 | |
|---|
| 568 | |
|---|
| 569 | \end_layout |
|---|
| 570 | |
|---|
| 571 | \begin_layout Enumerate |
|---|
| 572 | Se calcula el lÃmite inferior |
|---|
| 573 | \begin_inset Formula $\begin{array}{c} |
|---|
| 574 | \lambda_{j}=\underset{i=1\ldots\rho}{\max}\left\{ \left.\frac{d_{i}-\zeta_{-j}}{D_{i,j}}\right|D_{i,j}<0\right\} \end{array}$ |
|---|
| 575 | \end_inset |
|---|
| 576 | |
|---|
| 577 | |
|---|
| 578 | \end_layout |
|---|
| 579 | |
|---|
| 580 | \begin_layout Enumerate |
|---|
| 581 | Se calcula el lÃmite superior |
|---|
| 582 | \begin_inset Formula $\begin{array}{c} |
|---|
| 583 | \kappa_{j}=\underset{i=1\ldots\rho}{\min}\left\{ \left.\frac{d_{i}-\zeta_{i}^{-j}}{D_{i,j}}\right|D_{i,j}>0\right\} \end{array}$ |
|---|
| 584 | \end_inset |
|---|
| 585 | |
|---|
| 586 | |
|---|
| 587 | \end_layout |
|---|
| 588 | |
|---|
| 589 | \begin_layout Enumerate |
|---|
| 590 | Se simula la normal truncada estándar univariante |
|---|
| 591 | \begin_inset Formula $\xi_{j}\sim TN\left(0,1,\lambda_{j},\kappa_{j}\right)$ |
|---|
| 592 | \end_inset |
|---|
| 593 | |
|---|
| 594 | |
|---|
| 595 | \end_layout |
|---|
| 596 | |
|---|
| 597 | \begin_layout Enumerate |
|---|
| 598 | Se modifica |
|---|
| 599 | \begin_inset Formula $\zeta\leftarrow\zeta^{-j}+\left(D_{j,1}\cdot\xi_{j},\ldots,D_{j,r}\cdot\xi_{j}\right)^{T}$ |
|---|
| 600 | \end_inset |
|---|
| 601 | |
|---|
| 602 | |
|---|
| 603 | \end_layout |
|---|
| 604 | |
|---|
| 605 | \begin_layout Enumerate |
|---|
| 606 | Se modifica la componente igualándola al valor simulado |
|---|
| 607 | \begin_inset Formula $z_{j}\leftarrow\xi_{j}$ |
|---|
| 608 | \end_inset |
|---|
| 609 | |
|---|
| 610 | |
|---|
| 611 | \end_layout |
|---|
| 612 | |
|---|
| 613 | \end_deeper |
|---|
| 614 | \begin_layout Subsection |
|---|
| 615 | Inicialización de la cadena de Markov con una solución factible |
|---|
| 616 | \end_layout |
|---|
| 617 | |
|---|
| 618 | \begin_layout Standard |
|---|
| 619 | |
|---|
| 620 | \size large |
|---|
| 621 | \color red |
|---|
| 622 | Pendiente!! |
|---|
| 623 | \end_layout |
|---|
| 624 | |
|---|
| 625 | \begin_layout Section |
|---|
| 626 | Descomposición de bloques lineales |
|---|
| 627 | \end_layout |
|---|
| 628 | |
|---|
| 629 | \begin_layout Standard |
|---|
| 630 | Cuando el bloque lineal de un modelo tiene demasiadas variables puede ser |
|---|
| 631 | necesario dividirlo en varias partes para acometerlo bien secuencialmente |
|---|
| 632 | o bien en paralelo si sus dimensiones sobrepasan la capacidad de la máquina |
|---|
| 633 | y el diseño del modelo lo permite. |
|---|
| 634 | \end_layout |
|---|
| 635 | |
|---|
| 636 | \begin_layout Subsection |
|---|
| 637 | Descomposición del modelo jerárquico |
|---|
| 638 | \end_layout |
|---|
| 639 | |
|---|
| 640 | \begin_layout Standard |
|---|
| 641 | El modelo jerárquico HLM presentado en |
|---|
| 642 | \begin_inset LatexCommand ref |
|---|
| 643 | reference "sub:El-modelo-jerárquico" |
|---|
| 644 | |
|---|
| 645 | \end_inset |
|---|
| 646 | |
|---|
| 647 | , es un caso tÃpico de modelo divisible de forma natural. |
|---|
| 648 | Cada nodo observacional es independiente del resto de nodos observacionales |
|---|
| 649 | y está relacionado con una reducida selección de ecuaciones de los nodos |
|---|
| 650 | latentes y a priori de forma exclusiva, es decir, cada ecuación latente |
|---|
| 651 | o a priori sólo afecta a un nodo observacional como máximo, ya que alternativam |
|---|
| 652 | ente podrÃa afectar a un nodo latente. |
|---|
| 653 | Aunque esto mismo se podrÃa decir para los nodos latentes de cada nivel |
|---|
| 654 | con respecto al nivel superior, lo normal es que, en los modelos masivos |
|---|
| 655 | donde puede ser interesante la descomposición, el tamaño relativo de la |
|---|
| 656 | parte latente y a priori es insignificante con respecto a la observacional |
|---|
| 657 | por lo que no es necesario descomponerlos. |
|---|
| 658 | \end_layout |
|---|
| 659 | |
|---|
| 660 | \begin_layout Standard |
|---|
| 661 | Se dispone por tanto de una partición inconexa de las ecuaciones del modelo |
|---|
| 662 | en una serie de bloques con las ecuaciones ligadas a cada nodo observacional, |
|---|
| 663 | más otro bloque con el resto de ecuaciones ligadas a los nodos latentes. |
|---|
| 664 | En cada bloque observacional se debe introducir las ecuaciones respetando |
|---|
| 665 | los segmentos de donde provienen, es decir, debe haber un segmento para |
|---|
| 666 | las ecuaciones del nodo observacional y otro segmento para las ecuaciones |
|---|
| 667 | de cada nodo padre, latente o a priori. |
|---|
| 668 | Nótese que la varianza de los nodos latentes que no estén fijas serán un |
|---|
| 669 | parámetro más de condicionamiento externo para los bloques observacionales, |
|---|
| 670 | mientras que las varianzas de estos no serán parámetros condicionantes |
|---|
| 671 | del bloque de latentes, que sólo dependen de las variables del bloque lineal |
|---|
| 672 | de sus hijos. |
|---|
| 673 | \end_layout |
|---|
| 674 | |
|---|
| 675 | \begin_layout Standard |
|---|
| 676 | Esta descomposición en bloques permite además ejecutar las simulaciones |
|---|
| 677 | de los nodos observacionales en paralelo como bloques de Gibbs condicionados |
|---|
| 678 | al bloque único de los nodos latentes, y después habrÃa que simular éste |
|---|
| 679 | bloque conjunto de latentes condicionado a todos los observacionales. |
|---|
| 680 | \end_layout |
|---|
| 681 | |
|---|
| 682 | \begin_layout Standard |
|---|
| 683 | Lo dicho anteriormente reza para el modelo HLM sin restricciones de desigualdad |
|---|
| 684 | ya que si existiera alguna de ellas que afectera a varios nodos al mismo |
|---|
| 685 | tiempo entonces la distribución de los mismos ya no serÃa independiente |
|---|
| 686 | y habrÃa que mantenerlos dentro de un mismo bloque de Gibbs. |
|---|
| 687 | En este caso serÃa necesario dividir los nodos en clases de equivalencia |
|---|
| 688 | con la relación 'existe una restricción de desigualdad entre variables |
|---|
| 689 | de ambos nodos'. |
|---|
| 690 | En el peor de los casos se podrÃa tener todos los nodos en una misma clase |
|---|
| 691 | y no serÃa posible la simulación en paralelo. |
|---|
| 692 | \end_layout |
|---|
| 693 | |
|---|
| 694 | \begin_layout Standard |
|---|
| 695 | Los nodos que estuvieran relacionados aún se podrÃan dividir en un bloque |
|---|
| 696 | BSR para cada uno, sólo que la simulación habrÃa que hacerla secuencial |
|---|
| 697 | dentro de la clase de nodos relacionados, puesto que todos dependen de |
|---|
| 698 | todos. |
|---|
| 699 | Esto podrÃa ser útil si no fuera posible almacenar en RAM el bloque conjunto |
|---|
| 700 | de toda la clase de nodos relacionados. |
|---|
| 701 | \end_layout |
|---|
| 702 | |
|---|
| 703 | \begin_layout Subsection |
|---|
| 704 | Descomposición del modelo jerárquico con output combinado |
|---|
| 705 | \end_layout |
|---|
| 706 | |
|---|
| 707 | \begin_layout Standard |
|---|
| 708 | El modelo jerárquico con output combinado HLM-OC presentado en |
|---|
| 709 | \begin_inset LatexCommand ref |
|---|
| 710 | reference "sec:El-modelo-jerárquico-combinado" |
|---|
| 711 | |
|---|
| 712 | \end_inset |
|---|
| 713 | |
|---|
| 714 | , es también un modelo divisible aunque en este caso sólo son separables |
|---|
| 715 | los nodos que no comparten variables con coeficiente no nulo en los bloques |
|---|
| 716 | |
|---|
| 717 | \begin_inset Formula $\nabla_{*}^{*}$ |
|---|
| 718 | \end_inset |
|---|
| 719 | |
|---|
| 720 | de ninguna ecuación latente ni a priori. |
|---|
| 721 | En este caso serÃa necesario dividir los nodos en clases de equivalencia |
|---|
| 722 | con la relación 'existe o bien una restricción de desigualdad, o bien una |
|---|
| 723 | combinación de output latente o a priori, entre variables de ambos nodos |
|---|
| 724 | '. |
|---|
| 725 | \end_layout |
|---|
| 726 | |
|---|
| 727 | \begin_layout Subsection |
|---|
| 728 | Simulación del bloque lineal de rango incompleto |
|---|
| 729 | \end_layout |
|---|
| 730 | |
|---|
| 731 | \begin_layout Standard |
|---|
| 732 | Otro caso en el que puede ser útil descomponer un modelo BSR en varios ocurre |
|---|
| 733 | cuando hay menos datos que variables en el bloque lineal, o en general, |
|---|
| 734 | cuando se tiene un modelo de rango incompleto. |
|---|
| 735 | Si la matriz |
|---|
| 736 | \begin_inset Formula $X$ |
|---|
| 737 | \end_inset |
|---|
| 738 | |
|---|
| 739 | no fuera de rango completo, |
|---|
| 740 | \begin_inset Formula $rank\left(X\right)=r<n$ |
|---|
| 741 | \end_inset |
|---|
| 742 | |
|---|
| 743 | ÂŽ, siempre que no tenga ninguna columna totalmente nula, aún serÃa posible |
|---|
| 744 | simular los |
|---|
| 745 | \begin_inset Formula $\beta$ |
|---|
| 746 | \end_inset |
|---|
| 747 | |
|---|
| 748 | rompiéndolos en |
|---|
| 749 | \begin_inset Formula $J$ |
|---|
| 750 | \end_inset |
|---|
| 751 | |
|---|
| 752 | trozos |
|---|
| 753 | \begin_inset Formula \begin{equation} |
|---|
| 754 | \begin{array}{c} |
|---|
| 755 | X\cdot\beta\end{array}=\left(\begin{array}{ccc} |
|---|
| 756 | X^{\left(1\right)} & \cdots & X^{\left(J\right)}\end{array}\right)\cdot\left(\begin{array}{c} |
|---|
| 757 | \beta^{\left(1\right)}\\ |
|---|
| 758 | \vdots\\ |
|---|
| 759 | \beta^{\left(J\right)}\end{array}\right)\end{equation} |
|---|
| 760 | |
|---|
| 761 | \end_inset |
|---|
| 762 | |
|---|
| 763 | |
|---|
| 764 | \begin_inset Formula \begin{equation} |
|---|
| 765 | \beta^{(j)}\in\mathbb{R}^{n_{j}}\wedge X^{(j)}\in\mathbb{R}^{m\times n_{j}}\forall j=1\ldots J\end{equation} |
|---|
| 766 | |
|---|
| 767 | \end_inset |
|---|
| 768 | |
|---|
| 769 | |
|---|
| 770 | \end_layout |
|---|
| 771 | |
|---|
| 772 | \begin_layout Standard |
|---|
| 773 | elegiendo los bloques de forma que |
|---|
| 774 | \begin_inset Formula \begin{equation} |
|---|
| 775 | n_{j}=rank\left(X_{j}\right)<m\end{equation} |
|---|
| 776 | |
|---|
| 777 | \end_inset |
|---|
| 778 | |
|---|
| 779 | . |
|---|
| 780 | Es decir, si hay más variables que datos hay que romper en tantos bloques |
|---|
| 781 | como haga falta para que cada bloque tenga al menos tantos datos como variables |
|---|
| 782 | , y si hay colinealidades hay que romperlas poniendo una de las columnas |
|---|
| 783 | implicadas en un bloque distinto. |
|---|
| 784 | \end_layout |
|---|
| 785 | |
|---|
| 786 | \begin_layout Standard |
|---|
| 787 | En estos modelos la varianza deberÃa ser dada como un parámetro fijo y no |
|---|
| 788 | ser simulada, o bien serlo con algún tipo de restricciones o distribución |
|---|
| 789 | a priori |
|---|
| 790 | \end_layout |
|---|
| 791 | |
|---|
| 792 | \begin_layout Standard |
|---|
| 793 | Otra cuestión aparte es que la simulación los modelos de rango incompleto |
|---|
| 794 | realmente llegue a converjer, es decir, una cosa es que se pueda simular |
|---|
| 795 | algo condicionando a otro algo y otra cosa es que eso converja a alguna |
|---|
| 796 | parte. |
|---|
| 797 | La experiencia demuestra que incluso con modelos de rango completo pero |
|---|
| 798 | con mucha correlación entre variables, la cadena no converge sino que se |
|---|
| 799 | da paseos entre lo que soluciones prácticamente equivalentes. |
|---|
| 800 | Si eso ocurre sin llegar a ser colineal, está claro que con rango incompleto |
|---|
| 801 | es de esperar problemas de ese estilo. |
|---|
| 802 | \end_layout |
|---|
| 803 | |
|---|
| 804 | \begin_layout Standard |
|---|
| 805 | Incluso en el caso en que convergiera la superficie de respuesta de este |
|---|
| 806 | tipo de modelos, es menor que 1, |
|---|
| 807 | \begin_inset Formula $m/n<1$ |
|---|
| 808 | \end_inset |
|---|
| 809 | |
|---|
| 810 | , por lo que habrÃa que ser extraordinariamente cautos a la hora de hacer |
|---|
| 811 | inferencia con ellos, pues incluso con superficies de respuesta de |
|---|
| 812 | \begin_inset Formula $m/n=10$ |
|---|
| 813 | \end_inset |
|---|
| 814 | |
|---|
| 815 | pueden aparecer facilmente problemas de sobreajuste, de forma que se obtienen |
|---|
| 816 | buenos resultados intra-muestrales pero las inferencias extra-muestrales |
|---|
| 817 | son significativamente peores. |
|---|
| 818 | \end_layout |
|---|
| 819 | |
|---|
| 820 | \begin_layout Standard |
|---|
| 821 | Nótese que en este caso no cabe la posibilidad de ejecución en paralelo |
|---|
| 822 | ya que cada bloque depende de todos los demás, por lo que el condicionamiento |
|---|
| 823 | ha de ser secuencial. |
|---|
| 824 | \end_layout |
|---|
| 825 | |
|---|
| 826 | \begin_layout Standard |
|---|
| 827 | En cualquier caso, siempre que sea posible, será preferible añadir información |
|---|
| 828 | a priori razonable de forma que la matriz del diseño resulte de rango completo. |
|---|
| 829 | Por ejemplo, en un modelo con |
|---|
| 830 | \begin_inset Formula $k_{obs}$ |
|---|
| 831 | \end_inset |
|---|
| 832 | |
|---|
| 833 | nodos observacionales con |
|---|
| 834 | \begin_inset Formula $m_{obs}$ |
|---|
| 835 | \end_inset |
|---|
| 836 | |
|---|
| 837 | datos y |
|---|
| 838 | \begin_inset Formula $n_{obs}$ |
|---|
| 839 | \end_inset |
|---|
| 840 | |
|---|
| 841 | variables relativas a los mismos conceptos en cada nodo, si tiene sentido |
|---|
| 842 | aplicar un hiperparámetro a cada una de las |
|---|
| 843 | \begin_inset Formula $n_{obs}$ |
|---|
| 844 | \end_inset |
|---|
| 845 | |
|---|
| 846 | entonces se añaden |
|---|
| 847 | \begin_inset Formula $k_{obs}\cdot n_{obs}$ |
|---|
| 848 | \end_inset |
|---|
| 849 | |
|---|
| 850 | ecuaciones latentes y si además se dispone de información a priori sobre |
|---|
| 851 | dichos hiperparámetros, se agregarán otras |
|---|
| 852 | \begin_inset Formula $n_{obs}$ |
|---|
| 853 | \end_inset |
|---|
| 854 | |
|---|
| 855 | ecuaciones a priori. |
|---|
| 856 | \end_layout |
|---|
| 857 | |
|---|
| 858 | \end_body |
|---|
| 859 | \end_document |
|---|