Draken Primeiro, vamos calcular o pequeno triangulo da parte de baixo.
x^2 = 6^2 + 6^2 (Esse 6 é a terceira parte de 18 (18/3)
x = raiz(36 + 36)
x = 6*(raiz(4))

Então a área do quadrado interno(pedido em A) é 4*6*(raiz(4)) -> 24*(raiz(4))

Depois, aquele triangulo maior (Acho que vou fazer desenhos depois pra tirar foto pra vc entender melhor)

y^2 = 12^2+12^2
y = raiz(144+144)
y = 12*(raiz(2))

Agora perceba que se você retirar o x do y, você acaba com as duas partes da hipotenusa do triangulo maior. 

y-x = 12*(raiz(2)) - 6*(raiz(2)) 
y-x = 6*(raiz(2))

(y-x)/2 = 3*(raiz(2))

Com isso você conseguiu as partes "externas" da linha que faz o quadrado que você quer (Minha linguagem não é muito técnica, mas acho que com os desenhos que vou fazer vai ficar facil)

A área dos triângulos em B: Cada lado tem uma daquelas partes da hipotenusa maior de 3*(raiz(2)) e nós também temos a base de 6.

Com isso, podemos calcular a altura: 3*(raiz(2))^2 = 3^2 + h^2

18 = 9 + h^2
h^2 = 9
h = 3

A de um triangulo: (b * h)/2 = 6*3/2 = 9

http://i.imgur.com/yjh5DtG.jpg
http://i.imgur.com/X9hu54h.jpg