Los dibujos los hago en su mayoría con el famoso Paint de Windows, y mucha paciencia.
Todo es cuestión de práctica.
Es difícil ser preciso con el Paint, pero es más simple para expresar ideas topológicas generales en forma rápida.
Tu dibujo está bien, salvo que la frontera la hiciste demasiado "gruesa", jeje. Pero bueno, supongo que no es fácil dibujar en la compu.
Cuando se trata de regiones limitadas por una curva cerrada y visiblemente suave, la frontera tiene que ser esa curva, o sea, el "borde" del dibujo.
En las figuras geométricas sencillas, la idea intuitiva de frontera tiene que coincidir con la noción topológica de frontera, sin duda.
Así que la frontera de un círculo es la circunferencia que lo limita, y la frontera de un rectángulo relleno es el borde rectangular que lo limita, y así por el estilo.
La frontera no es que tenga "puntos del conjunto y su complemento", sino "puntos de acumulación del conjunto y de acumulación de su complemento".
Así que si x es un punto de la frontera de A,
toda bola centrada en x contiene puntos tanto de A como de X - A.
Si una de las bolas queda en el "interior" de A, o de X - A, ese punto ya no está en la frontera de A.
Para el cilindro, dado un punto

en el interior de A, tiene que haber una bola B(P, r) totalmente contenida en A.
Eso obliga a que

.
Con un tal radio, dado un punto

en la bola B(P, r), se obtiene, por desigualdad triangular:

Esto muestra que

, y por lo tanto

está en el cilindro, porque aquello implica que

.
Como esto es válido para todo punto Q de la bola B(P, r), resulta que B(P, r) es subconjunto de A.
Así que todo punto de A es interior de A.
Ahora habría que analizar los puntos P = (x, y, z) que satisfacen

.
Mediante consideraciones geométricas, se puede probar que estos puntos son "interiores" al "complemento de A", o sea, cada uno de esos puntos P tiene una bolita abierta centrada en P, disjunta con A.
Para hallarla, basta darse cuenta que P está una cierta distancia alejado del "borde" del cilindro, y entonces uno elige un radio bastante pequeño en torno a P, para obtener una bolita centrada en P que no toque el cilindro.
Ahora bien. Resta analizar los puntos

de la forma

, o sea, el borde del cilindro.
Intuitivamente, todos esos puntos son de acumulación tanto de A como del complementario de A.
Para comprobarlo, para cada

hay que encontrar en la bola B(P, r) puntos que estén tanto en A como en el complemento, o sea, puntos

que cumplan

, y puntos

que cumplan

.
Para cada r > 0 basta encontrar un solo punto Q, y un solo punto S.
Hay que ingeniárselas un poco, uno tiene mucha libertad, aunque hay que elegir inteligentemente algo para cada r dado.
Eso nos daría la frontera de A.
La clausura es unión de A con su frontera, así que sería como vos pusiste, sin muchas más vueltas, una vez que uno ya haya determinado que la frontera es la cáscara del cilindro, que se ve tan claramente con los ojos.