Hola
La función de coste es equivalente, identificando el recorrido por tierra como

o como

, en cualquiera de los dos determinaremos el punto B que es lo que importa.
Ahora otra consulta porque dedujiste que la distancia mas corta a la costa tenia que ser de forma vertical y el largo de forma perpendicular a este porque no pudieron ser de formas en diagonal y porque podian ser de otra forma
.
A falta de información del perfil de la costa lo considero recto y la distancia más corta a una recta desde un punto cualquiera es el segmento perpendicular a la misma.
Saludos