Olvídate de la fórmula y razona.
En el cuadrilátero: desde cada vértice se puede trazar una diagonal (4-3, porque no se puede unir ni consigo mismo ni con los dos contiguos); como hay cuatro vértices saldrán 4; pero como cada una se cuenta dos veces, serán la mitad: 2.
En el pentágono: desde cada vértice se pueden trazar dos diagonales (5-3); como hay cinco vértices saldrán 10; pero como cada una se cuenta dos veces, serán la mitad: 5.
Si razonas igualmente para n vértices, saldrán n(n-3)/2
¿Se entiende?
Saludos