Funciones Convexas

(*) Basado en Boyd y Vandenberghe. Convex Optimization

http://www.stanford.edu/~boyd/cvxbook/

Definicin
Una funcin f:n es convexa si el dom f es
convexo y si para todo x,y dom f y todo 01
se cumple
Interpretacin geomtrica:
Los puntos en el segmento de recta x-y (una
cuerda de la funcin) se encuentran por encima
de la funcin.
2

Convexidad estrcta

La funcin f es estrctamente convexa si la

desigualdad es estricta para xy y 0<<1.

Funciones concavas

Una funcin f es concava si -f es convexa.

f es estrctamente concava si -f es
estrctamente convexa.

Funciones afines

Para una funcion afn f(x)=Ax+b, la desigualdad

se cumple siempre con igualdad: Toda funcin
afn es concava y convexa.

Tambin es cierta la reciproca: Toda funcin

concava y convexa es afn.

Extensiones de valor extendido

En muchos anlisis resulta conveniente extender
el dominio de una funcin convexa a todo n.
Esto se logra definiendo la funcin extendida cuya
imagen es para puntos fuera del dominio.

Ejercicio:
Las funciones extendidas resultan convenientes
para omitir definir explcitamente el dominio.

Interpretacin geomtrica
La funcin
es la expasin de Taylor de 1er orden de f cerca a
x.
La desigualdad nos dice que la estimacin
siempre es inferior para una funcin convexa.
En particular, para f convexa, si
entonces x es un mnimo global de f.

Condiciones de 2o orden

Supongamos que la funcin f es dos veces

diferenciable. Es decir su matrix de segundas
derivadas (Hessian) existe en todos los puntos
del dominio de f, el cual es abierto.

Condiciones de 2o orden
Sea f diferenciable:

f es convexa si y solo si su dominio es convexo

y su Hessian es positivo semidefinido para todo
x en el dominio de f.

Geomtricamente, la curvatura de f en x debe

ser positiva (hacia arriba).

Si el Hessian es positivo definido, f es

estrctamente convexa.

10

Concavidad

Similarmente, si el dominio de f es convexo y

entonces la funcin f es concava. Estrctamente

concava si es negativa definida.

11

Ejemplo: Funciones cuadrticas

Sea la funcin

donde p es una matrix cuadrada de dimension

nxn. Entonces
y por lo tanto f es convexa si y solo si p es
positiva semidefinida (o concava si negativa
semidefinida).
12

Ms ejemplos

La funcin exponencial

Potencias de x

Potencia del valor absoluto

Logaritmo

13

Conjuntos de nivel (Sublevel sets)

El conjunto de nivel de una funcin f:n se
define como

El conjunto de nivel de una funcin convexa es

convexo.

14

Grafo y Epigrafo
Sea la funcin f:n
El grafo de f es el conjunto
el grafo de f es un subconjunto de n+1.
El epigrafo de f se define
y tambin es un subconjunto de n+1.
Illustracin
15

Hipo-grafo
Similarmente, el hipo-grafo es el conjunto

16

Conexin entre conjuntos y

funciones convexas
Una funcin es convexa si y solo si su epigrafo es
convexo.
Una funcin es concava si y solo si su hipo-grafo
es convexo.

17

Operaciones que preservan la

convexidad de una funcin

18

1 - Sumas ponderadas no negativas

Si f es una funcin convexa y 0, entonces f

es tambin una funcin convexa.
Si f1 y f2 son convexas, tambin lo es f1+f2.

En general sumas de funciones convexas con

pesos no negativos son convexas:

Similarmente, sumas de funciones concavas

con pesos no negativos son concavas.
19

Interpretacin en trminos del

epigrafo
Para una funcin f y w0

como ya habiamos visto antes, la imagen de un

conjunto convexo bajo una transformacin lineal
es convexo.

20

2 Composicin con mapas afines

Sean f:n, Anxm, bn. Definamos g:m
como
con dominio
entonces

si f es convexa, tambin lo es g;

si f es concava, asi lo es g.
21

3 Mximo punto a punto

Si f1 y f2 son funciones convexas, entonces la
funcin
tambin es convexa.
Este resultado se generaliza para sumas de m
funciones convexas.
Ejemplo:

Funciones lineales por segmentos

22

Supremum & Infimum

Dado un conjunto de escalares X, se define el

supremum de X como el escalar 'y' ms
pequeo tal que yx para todo xX.

El infimum es el escalar 'y' ms grande tal que

yx para todo xX.

Si no existe, se sigue la convencin

sup X = e inf X = -.

As mismo, para el conjunto vacio, se definen

sup = e inf =-.
23

4 Supremum punto a punto

La propiedad del mximo punto a punto se

extendiende al supremum para conjuntos
infinitos de funciones. Sea yA, f(x,y) convexa
con respecto a x, y g definida como
la funcin g es convexa y su dominio es

24

Justificacin usando epigrafos

El epigrafo de g es la interseccin de los
epigrafos de las funciones f

La interseccin de conjuntos convexos es

convexa.

25

Ejemplo
Sea la funcin

donde Cn . f(x) se puede entender como la

distancia de x al punto ms lejano (y) del conjunto
C, bajo cualquier norma.
Ya sabemos todas las normas son convexas, y
f(x) es el supremum punto a punto de una familia
de funciones convexas, luego es convexa.
26

5 - Composicin de funciones
Sean las funciones
nos interesa determinar la convexidad de su
composicin, i.e. la funcin

cuyo dominio es

27

Composicin escalar: k=1

En este caso f:n. Dado que la convexidad es
determinada por el comportamiento de f sobre
lineas arbitrarias que intersectan su dominio, se
puede simplificar y considerar solo n=1. En este
caso:

28

Composicin escalar: anlisis

Se pueden dar los siguientes casos:

h convexa y no decreciente, g convexa: f convexa

h convexa y no creciente, g concava: f es convexa

h concava y no decreciente, g concava: f concava

h convexa y no creciente, g convexa: f es convexa

Nota: Es posible demostrar estos resultados sin asumir

diferenciabilidad.
29

Composicin vectorial: k>1

Asumiendo que h,g son diferenciables y tomando
n=1 (sobre una lnea arbitraria del dominio), se
obtiene:

30

Composicin vectorial
De forma similar se obtienen mltiples casos, por
ejemplo:

h convexa y no decreciente en ningn argumento, gi

convexas: f convexa
h convexa y no creciente en ningn argumento, gi
concavas: f es convexa
h concava y no decreciente en ningn argumento, gi
concavas: f concava

Igual que con la versin escalar, es posible generalizar

estos resultados para funciones no diferenciables.
31

6 Infimum de una familia de

funciones
De manera similar al mximo y al supremum de
familias de funciones, se tiene que si f(x,y) es
convexa, y C es un conjunto convexo no vacio,
entonces la funcin

es convexa, suponiendo que g(x) este definida.

32

Ejemplo: Distancia a un conjunto

Se define la distancia de un punto x a un conjunto
Sn, como
(Ampliamente usada en aplicaciones de
clasificacin, sistemas de recomendacin, etc. El
punto y que minimiza la distancia es el "nearest
neighbor")
Se tiene que la norma es convexa, el conjunto S
es convexo y por lo tanto dist(x,S) es una funcin
convexa.
33