am

Je me suis un peu clarifié les idées sur l’optimisation sans contrainte pour les fonctions de 2 variables, et voilà l’approche qui me semble la plus économe en terme de notions à introduire (et aussi la plus “naturelle” peut-être).

. L’idée est de commencer par obtenir le plus simplement possible un developpement limité à l’ordre 2 pour une fonction f(x,y).
on part d’un développement limité à l’ordre 2 pour une fonction d’une variable :
on pose g(t) = f(x+th, y+tk)

on calcule g’(t) = lim_{Δt->0} [ f(x + (t+Δt)h , y + (t+Δt)k) - f(x+th, y+tk) ] / Δt
= lim [ f(x + (t+Δt)h , y + (t+Δt)k) - f(x+th, y+ (t+Δt)k )]/(Δt.h) . h +
[ f(x + t h , y + (t+Δt)k) - f(x+th, y + t k )]/(Δt.k) . k
= ∂f/∂x (x+th, y+tk) . h + ∂f/∂y (x+th, y+tk) . k

en procédant de même pour la dérivée seconde (+ schwarz), on obtient :
g”(t) = ∂²f/∂x² (x+th, y+tk) . h² + 2.∂²f/∂x∂y (x+th, y+tk) . hk ∂²f/∂y² (x+th, y+tk) . k²

on écrit le dl de g à l’ordre 2 pour t=1 et t=0
g(1) = g(0) + g’(0) + 1/2 g”(0) + reste

soit en terme de f :
f(x+h, y+k) = f(x,y) + ∂f/∂x (x, y) . h + ∂f/∂y (x, y) . k + 1/2 (∂²f/∂x² (x, y) . h² + 2.∂²f/∂x∂y (x, y) . hk + ∂²f/∂y² (x, y) . k² ) + reste

. passons à la recherche d’extremum :
au niveau d’un point stationnaire le gradient est nul, voir mon petit topo de la dernière fois, ou encore deux façons de le faire sentir :
- on “voit” que le plan tangent est plat comme en 1D la tangente était de pente nulle
- ou plus simple peut-être, au niveau d’un point (x_0,y_0) qui permet l’extremum on fixe par exemple y_0 et on se retrouve avec le cas 1D : si on fait varier localement x, h(x,y_0) a forcément aussi un point critique en x_0, d’où la première dérivée partielle nulle. idem pour la seconde.

le dl obtenu précédemment nous donne alors, dans le cas d’un minimum pour fixer les idées, en négligeant le reste :
∂²f/∂x². h² + 2.∂²f/∂x∂y (x, y) . hk ∂²f/∂y² (x, y) . k² > 0

. il faut alors procéder à l’étude du signe de la forme quadratique : A h² + 2B hk + C k²
on pose λ = h/k, cela revient à l’étude de : A λ² + 2B λ + C
et on obtient le thm de Lagrange en regardant le signe de ce polynôme.

. on peut ensuite introduire les notions de concavité convexité en faisant le parallèle avec ce que l’on sait pour 1 variable.

(L’idée de l’étude du Hessien peut au besoin, dériver de cela comme une généralisation/automatisation)

This entry was posted on Monday, November 22nd, 2010 at 4:26 pm and is filed under mathschoses. You can follow any responses to this entry through the RSS 2.0 feed. Both comments and pings are currently closed.