Hola
Hola tengo el siguiente ejercicio
Sea [texx]f:R^2\to R/f(x,y)= 2x^3+2y^3-3x^2-3y^2+11[/texx] analizar la existencia de extremos en
[texx]R=\left\{(x,y)\in R^2/x^2+y^2\leq{4}\right\}[/texx]
El problema lo tengo al analizar
[texx]f:R^2\to R/f(x,y)= 2x^3+2y^3-3x^2-3y^2+11\quad con \quad x^2+y^2=4[/texx]
Si defino [texx]g(t)=(2\cos t,2\sen t)\quad t\in[0,2\pi)[/texx]
¿se debe tomar los extremos del intervalo, o alcanza con tomar el interior del mismo?
Los extremos (al menos unos de los dos) también has de tomarlo en cuenta. [texx]t=0[/texx] puede ser un punto crítico (de hecho lo es).
De donde claramente puedo observar que obtengo 6 puntos sobre la frontera de R, pero si utilizo lagrange defino
[texx]\color{red}\lambda=\dfrac{f'x}{g'x}=\dfrac{f'y}{g'y}\color{black}\quad g(x,y)=x^2+y^2-4[/texx]
obtengo
[texx]\dfrac{6x^2-6x}{2x}=\dfrac{6y^2-6y}{2y}\to y=x[/texx]
cuando utilizo
[texx]x^2+y^2=4\\y=x[/texx]
solo me quedan dos puntos

Esa versión de Lagrange con [texx]\lambda[/texx] ya despejado es "peligrosa"; sólo puedes despejar si los denominadores [texx](g'_x,g'_y)[/texx] son no nulos y de ahí nace tu error.
Es decir yo usaría:
[texx]f'_x-\lambda g'_x=0[/texx]
[texx]f'_y-\lambda g'_y=0[/texx]
Que en tu caso equivale a:
[texx]6x^2-6x-2x\lambda=0[/texx]
[texx]6y^2-6y-2y\lambda=0[/texx]
Si [texx]x,y\neq 0 [/texx]puedes despejar [texx]\lambda[/texx] en ambas ecuaciones y proceder como hiciste, obteniendo los dos puntos críticos sobre la recta [texx]x=y[/texx] intersecada con la circunferencia [texx]x^2+y^2=4.[/texx]
Si [texx]x=0[/texx], las ecuaciones quedan:
[texx]6y^2-6y-2y\lambda=0[/texx]
[texx]y^4=4[/texx].
De donde obtienes dos puntos críticos más [texx](0,\pm 2).[/texx]
Análogamente si [texx]y=0[/texx] obtienes los puntos [texx](\pm 2,0)[/texx].
Saludos.