Hola
Algunas ideas generales:
Primero debes de comprobar si es continua en (0,0). Si no lo fuese nunca podría ser diferenciable. Para ello ha de verificarse

!!Compruébalo!!!
La definición de derivada de Nuke es válida en una variable pero no en dos. En tu caso que f sea diferenciable en 0 significa que existe una función lineal

verificando

Hay varios resultado equivalentes para la asegurar la diferenciabilidad o probar lo no diferenciablidad, normalmente involucrando las derivadas parciales.
Tu candidata para función lineal es

es decir, determinada por las derivadas parciales en (0,0).
Para ver si existen todos estos límtes que dependen de dos variables (x,y), es bueno ver que ocurre cuando (x,y) se acerca a (0,0) en una determinada dirección (a,b), es decir, tomar

y límite cuando h tiende a 0.
Saludos.