Primeiramente soma as duas matrizes:

[tex]A + B = \left[\begin{array}{cc}1&-1\\2&3\end{array}\right] + \left[\begin{array}{cc}0&1\\3&8\end{array}\right][/tex]

Somando termo por termo:

[tex]A + B = \left[\begin{array}{cc}1+0&-1+1\\2+3&3+8\end{array}\right][/tex]

[tex]A + B = \left[\begin{array}{cc}1&0\\5&11\end{array}\right][/tex]

Agora, para elevarmos a matriz ao quadrado, precisamos fazer a multiplicação por ela própria:

[tex]C = (A+B)^2 = (A+B) \cdot (A+B) = \left[\begin{array}{cc}1&0\\5&11\end{array}\right] \cdot \left[\begin{array}{cc}1&0\\5&11\end{array}\right][/tex]

[tex]C = (A+B)^2 = \left[\begin{array}{cc}1\cdot 1 + 0\cdot 0&1 \cdot 5 + 0 \cdot 11\\5\cdot 1 + 11 \cdot 0&5 \cdot 5 + 11 \cdot 11\end{array}\right][/tex]

[tex]C = (A+B)^2 = \left[\begin{array}{cc}1&5\\5&146\end{array}\right][/tex]

Finalmente, o determinante é o produto dos termos da diagonal principal subtraídos pelo produto dos termos da diagonal secundária:

[tex]det(C) = 1 \cdot 146 - 5 \cdot 5[/tex]

[tex]det(C) = 146 - 25[/tex]

[tex]\boxed{det(C) = 121}[/tex]