En efecto, el límite sólo exige entornos agujereados en el dominio.
Pero en la imagen no.
Supongamos el siguiente ejemplo:

Claramente esa función no está definida en

, así que en el dominio hay que tomar entornos agujereados.
Pero eso no es lo que me interesa, sino observar que la función

oscila muchísimo, pasando por 0 infinitas veces.
En realidad, lo hace cada vez que

es un entero

.
Si dibujamos la función, veremos que "a ojo", "intuitivamente", parece ser que

se aproxima cada vez más a 0 cuando

.
Si agujereamos la imagen de la función, como vos estás haciendo, entonces estaríamos diciendo que esta función no tiende a 0.
(Mientras que la definición correcta de límite respeta la intuición en este caso).
____________
Pero te pongo un caso más claro aún.
Si

, al agujerear la imagen en

, estarías diciendo que ¡la función constante no tiende a nada!
____________
"Agujerear" el dominio se hace porque cuando uno estudia el límite, lo que le interesa es analizar lo que pasa "cerca" del punto

al que uno desea acercarse.
Si uno "ve" que la función "tiende a algo" al acercarnos a

, aún cuando la función en

no esté definida, o incluso esté definida pero tiene otro valor... entonces esa "tendencia" es lo que importa para definir límite.
¿Qué comportamiento o detalle cualitativo estarías analizando al "agujerear" la imagen?
_______
Entiendo que hayas preguntado esto, porque es natural darse cuenta la falta de "simetría" en el tratamiento del dominio y de la imagen.
Pero basta con analizar lo que se está haciendo en cada caso, y entender los motivos de una forma de proceder u otra.