Hola
damianiqNo hay en general un método analítico para resolver sistemas no lineales (se acude a métodos numéricos como el de Newton-Raphson, el de Broyden, etc) pero en algunos casos sencillos como éste sí es posible llegar a la solución "a mano".

Yo lo que haría es de la primer ecuación despejar

y de la segunda despejar

, y con esos valores dependientes de

sustituir en la tercer ecuación.
Me explico. De la primer ecuación despejamos

asumiendo

. Los casos que "dejamos por el camino" los estudiamos al final.
De la segunda ecuación se llega a

asumiendo

. Al igual que el caso anterior, lo estudiamos aparte.
Sustituyendo en la tercer ecuación queda:
Para cada

solución de (1) calcula

como

e

como

. La terna

será solución de tu sistema original.
Por último analiza cómo queda el sistema cuando

y

.
Saludos