No6 - Función de costo

Funciones de costo, modelo observacional, y más optimización¶

Fecha: 27/04/2026

En esta clase nos vamos a centrar en responder:

Origen de la función de costo $\mathcal{L}$¶

La función de costo se deriva del modelo observacional que conecta la ecuación de estado de mi problema con los datos.

Ejemplo 1: distribución Gaussiana

En nuestro ejemplo característico de Lotka-Volterra (Depredador-Presa ver Clase N.º 2) tenemos:

donde $x(t_i; \theta)$ es la función de estado de mi sistema, que está descripta en este caso (y en los que se va a enfocar este curso) por una ecuación diferencial y un $\varepsilon_i$ que representa el ruido observacional.

Para Lotka-Volterra tenemos $\theta \in \mathbb{R}^{p}$ con $n = 2$ (dimensión del estado) y $p = 4$ (número de parámetros).

Supongamos que estamos en una dimensión ($n=1$) y que el ruido $\varepsilon_i \sim \mathcal{N}(0,\sigma^{2})$ está caracterizado por una distribución gaussiana donde los $\varepsilon_i$ son independientes entre sí y de $x$ y están idénticamente distribuidos.

La probabilidad Gaussiana de observar $y_i$ dado $x_i$ y $\sigma$ de este modelo es:

y como las variables son independientes, la probabilidad de observar todos los puntos es:

donde $P(y_1,...,y_n)|x(t_i;\theta))$ es la verosimilitud y la llamaremos $L(\theta;y)$.

Este va a ser nuestro modelo probabilístico para este ejemplo, que nos dice dadas nuestras distribuciones de probabilidad, cómo los datos desde $y_1$ hasta $y_n$ se generan aleatoriamente.

Para poder hacer inferencia entre los parámetros del problema y nuestro modelo probabilístico vamos a utilizar el principio de máxima verosimilitud

aplicamos el principio de máxima verosimilitud:

Notemos que estamos maximizando sobre la variable $\theta$, entonces nos podemos “deshacer” del término $\log(\sqrt{2\pi}\,\sigma)$ ya que no depende de esta variable, y sacarlo no va a cambiar el resultado esperado, pero nos va a proporcionar una ecuación mucho más simple:

En conclusión, para este problema, el estimador de máxima verosimilitud es el que minimiza los residuos cuadráticos.

Ejemplo 2: distribución Laplaciana

Asumimos $\varepsilon_i$ con una distribución de Laplace

Cuya probabilidad es:

Como en el ejemplo anterior, vamos a maximizar la variable $\theta$ para encontrar la función de costo.

Luego la función de costo es:

Hasta ahora vinimos haciendo máxima verosimilitud sólo sobre los parámetros $\theta$, en el siguiente ejemplo veremos qué pasa si $\sigma$ también es un parámetro.

Ejemplo 3: distribución gaussiana con $\sigma_i \neq \text{cte}$

Para una distribución gaussiana cuyo $\sigma_i$ ahora no es constante, tenemos:

Entonces nos queda una función de costo como una función de cuadrados mínimos pesados.

Ejemplo 4: generalización de la distribución gaussiana

Asumimos que los $\varepsilon_i$ están distribuidos de forma gaussiana, pero esta vez están correlacionados entre sí, esto quiere decir, que no son independientes entre sí.

Su matriz de covarianza $\Sigma_{ij}$ representa el valor medio $\mathbb{E} [\varepsilon_i,\varepsilon_j]$:

Cuya probabilidad es:

Ahora la función de costo $\mathcal{L}(\theta)$ está dada de la siguiente forma:

Biyección entre $L(\theta,y)$ y $\mathcal{L}(\theta,y)$:¶

No siempre vamos a poder encontrar una biyección entre $L(\theta,y)$ y $\mathcal{L}(\theta,y)$, pero podemos hacer lo siguiente:

Dado $\mathcal{L}(\theta,y)$ queremos encontrar $L(\theta,y)$, para ello vamos a definirnos una función de probabilidad a la que llamaremos $L^{*}(\theta,y)$:

donde $z(\theta)$ representa el factor de normalización, que puede depender del parámetro $\theta$, esto no nos pasaba en los ejemplos anteriores y como consecuencia, al recuperar la función de costo como veníamos haciendo, se nos va a agregar un término extra.

definimos $R(\theta) = \log z(\theta)$ y lo llamaremos término de regularización.

Luego el caso más general de un problema de optimización va a tener esta forma:

donde $\mathcal{L}_{\text{empírica}}(\theta,y)$ depende tanto de los parámetros como de los datos y $R(\theta)$ sólo depende de los parámetros.

Ejemplos: vamos a ver distintas funciones de costo que suelen aparecer cotidianamente, con $y \in \mathbb{R}^{n}$, $x \in \mathbb{R}^{n \times p}$, $\theta \in \mathbb{R}^{p}$ y los $\lambda$ son hiperparámetros del problema.

1) Regresión lineal Ridge

El término de Regularización penaliza la norma dos del vector, y se lo llama Ridge, esto provoca que el parámetro $\theta$ no se mueva en demasía, es decir, que tienda a converger a cero, de manera tal que cuando ingresen nuevos datos en el programa la curva ajuste mejor.

2) Regresión Lineal Lasso

El término de Regularización penaliza la norma uno del vector, y se lo llama Lasso, esto provoca esparcidad en las soluciones.

3) Regresión lineal Elastic-Net

Combinación de los ejemplos 1 y 2.

4) Smoothing Splines

En el espacio que vamos a estar pensando es en el espacio funcional de dimensión infinita que contiene a todas las funciones que tienen hasta la segunda derivada continua.

El término de Regularización penaliza la segunda derivada, lo que impone suavidad sobre las posibles soluciones.

Podemos observar qué pasa cuando variamos el $\lambda$:

• $\text{Si } \lambda \longrightarrow \infty \Rightarrow \text{regresión lineal}$

• $\text{Si } \lambda = 0 \Rightarrow \text{interpolación}$

Introducción a la estadística Bayesiana:¶

Hasta ahora resolvimos nuestros problemas pensándolos con estadística frecuentista, y nos preguntamos cómo se relacionan estas ideas con la estadística Bayesiana (ver Clase N.º 7).

En la estadística Bayesiana vamos a tener:

1. Verosimilitud, la probabilidad $\mathbb{P}(y|\theta)$ que nos dice cómo los datos están generados en función de los parámetros $\theta$.

2. $\mathbb{P}(\theta)$ que es una distribución de probabilidad sobre $\theta$, donde $\theta$ es aleatorio.

Utilizando la definición de la Probabilidad Condicional:

Si podemos calcular esta distribución, no solo vamos a obtener el $\theta$ que maximiza nuestro modelo, sino que también, nos va a dar una noción de la incertidumbre alrededor de ese $\theta$.

Buscando quien maximiza la distribución $\mathbb{P}_{post}(\theta,y)$, podemos recuperar la solución encontrada con la estadística frecuentista.

donde en $\ell(\theta,y)$ está la Verosimilitud y $R(\theta)$ es el término de Regularización de la estadística frecuentista.

Resumen¶