En realidad la criptografía no es una rama de la matemática. Digamos que más bien existe una rama de la criptografía que es "criptografía matemática" en la que se se usan métodos matemáticos para hacer criptografía. En realidad la mayoría de la criptografía, o de la gente que se dedica a la criptografía son computologos e ingenieros, pero existe un fuerte grupo de matemáticos que le han metido el diente y que siguen haciendo trabajos matemáticos al respecto.
En particular hay una importante aplicación de la Geometría Aritmética a la criptografía via las curvas elítpicas y curvas hiperelípticas. También del Algebra y la teoría de númoeros via la teoría de grupos y representaciones de grupos finitos.
Pero también hay físicos metidos en esto y ahora está muy de moda lo que llaman criptografía cuántica.
http://lmgtfy.com/?q=curvas+el%C3%ADpticas+criptograf%C3%ADa