Explicação passo a passo:

Esse exercício é sobre funções compostas.

Temos uma função real [tex]f,[/tex] tal que

    [tex]f\!\left(\dfrac{3x}{x-2}\right)=4x-3[/tex]

Seja [tex]g[/tex] uma função definida conforme abaixo:

    [tex]\begin{array}{ccll}g:&\mathbb{R}\backslash\{2\}&\!\!\! \to \!\!\!&\mathbb{R}\\\\ &x&\!\!\!\mapsto\!\!\!& g(x)=\dfrac{3x}{x-2} \end{array}[/tex]

Então, temos

    [tex]f\!\left(\dfrac{3x}{x-2}\right)=f\big(g(x)\big)=f\circ g(x)\\\\\\ \Longleftrightarrow\quad f\circ g(x)=4x-3[/tex]

a) Para calcular [tex]f(5),[/tex] devemos encontrar [tex]x[/tex] único, tal que [tex]g(x)=5:[/tex]

    [tex]g(x)=5\\\\ \Longleftrightarrow\quad \dfrac{3x}{x-2}=5\\\\\\ \Longrightarrow\quad 3x=5(x-2)\\\\ 3x=5(x-2)\\\\ \Longleftrightarrow\quad 3x=5x-10\\\\ \Longleftrightarrow\quad 3x-5x=-10\\\\ \Longleftrightarrow\quad -2x=-10\\\\\Longleftrightarrow\quad x=\dfrac{-10}{-2}\\\\ \Longleftrightarrow\quad x=5[/tex]

Portanto, para [tex]x=5,[/tex] temos

    [tex]g(5)=5[/tex]

logo,

    [tex]f(5)=f\circ g(5)=4\cdot 5-3=17.[/tex]

b) Podemos generalizar o resultado da alínea anterior, fazendo [tex]g(x)=t:[/tex]

    [tex]g(x)=t\\\\ \Longleftrightarrow\quad \dfrac{3x}{x-2}=t\\\\\\ \Longleftrightarrow\quad 3x=t(x-2)\\\\ \Longleftrightarrow\quad 3x=tx-2t\\\\ \Longleftrightarrow\quad 3x-tx=-2t\\\\ \Longleftrightarrow\quad x(3-t)=-2t[/tex]

Para [tex]t\ne 3,[/tex] temos

    [tex]\Longleftrightarrow\quad x=\dfrac{-2t}{3-t}\\\\\\ \Longleftrightarrow\quad x=\dfrac{2t}{t-3}[/tex]

Logo,

    [tex]f(g(x))=4x-3\\\\ \Longleftrightarrow\quad f(t)=4\cdot \left(\dfrac{2t}{t-3}\right)-3\\\\\\ \Longleftrightarrow\quad f(t)=\dfrac{8t}{t-3}-\dfrac{3(t-3)}{t-3}\\\\\\ \Longleftrightarrow\quad f(t)=\dfrac{8t-3t+9}{t-3}\\\\\\ \Longleftrightarrow\quad f(t)=\dfrac{5t+9}{t-3},\qquad\mathrm{com~}t\ne 3[/tex]

Substituindo t por x, temos então

    [tex]\Longleftrightarrow\quad f(x)=\dfrac{5x+9}{x-3},\qquad\mathrm{com~}x\ne 3.[/tex]

c) Aqui basta substituir x por x²:

    [tex]\Longrightarrow\quad f(x^2)=\dfrac{5x^2+9}{x^2-3},\qquad\mathrm{com~}x^2\ne 3.[/tex]

Bons estudos!