Hola
A ver, primero la imagen, aún fea pero...

Podemos ver el cuadrado de lado x y diagonal bisectriz Dada.
Fuera del cuadrado un par de triángulos rectángulos semejantes completan el triángulo original. Por su semejanza podemos decir que,
[texx]\dfrac{a-x}{x}=\dfrac{x}{b-x}[/texx].
Despejando x nos queda
[texx]x=\dfrac{ab}{a+b}[/texx].
Entonces sabemos que la diagonal del cuadrado mide
[texx]d=\dfrac{ab}{a+b}\sqrt{2}[/texx]
El cateto del triángulo rectángulo pequeño sombreado en gris mide,
[texx]C1=\dfrac{ab}{a+b}\sqrt{2}-\dfrac{b}{\sqrt{2}}\bf =\dfrac{b(a-b}{\sqrt{2}(a+b)}[/texx]
Por lo que la hipotenusa del mismo mide.
[texx]H1=\bf \dfrac{b(a-b)}{(a+b)}[/texx]
Para el triángulo rectángulo grande sombreado en gris tenemos
[texx]C2=\dfrac{a}{\sqrt{2}}-\dfrac{ab}{a+b}\sqrt{2}\bf =\dfrac{a(a-b}{\sqrt{2}(a+b)}[/texx]
[texx]H2=\bf \dfrac{a(a-b)}{(a+b)}[/texx]
Entonces concluimos [texx]AB=\sqrt{H1^2+H2^2}[/texx]
Terminalo