Hola, Hernan. El análisis es éste:
Supongamos que "a=2", entonces la matriz pequeña tiene rango dos. Ahora, si existiera la posibilidad de que el rango de la matriz ampliada fuera mayor que 2, o sea, fuera 3, el sistema sería incompatible; es decir, con "a=2", negativo o positivo, el determinante de la matriz ampliada tiene que ser distinto de cero para que se dé la incompatibilidad. Esto no puede ser si a=b=2 (o menos dos) no puede ser rango 3 por las condiciones que te puse anoche.
En cuanto a lo que dices, sí, normalmente se escalona la matriz, se hallan los rangos y con eso suele bastar en la mayoría de los problemas, pero en éste, anoche, yo no sabía a qué carta quedarme entre las opciones, por eso analicé una por una las condiciones del determinante de la matriz ampliada según la combinación lineal de la columna de términos independientes con las demás (no he repasado las transformaciones que has hecho al escalonar la matriz, después si acaso lo miro).
Saludos.
-----
La matriz escalonada con un programa de ordenador es ésta
![\left[\begin{array}{cccc}
1 & 1 & a & 0\\
0 & 2-a^{2} & 4-a^{2} & -3\\
0 & 0 & 8-2a^{2}-4b-ba^{2} & -3a-3b\end{array}\right]](/foros/Sources/latexrender/pictures/b91d834410160cce46599074a7606fef.png)