直訳は、「それにあなたをがっかりさせないで」で、口語的になると「がっかりしないで / 落ち込まないで」となります。
“it” の代わりに、“him/her”をつければ、「彼/彼女のことで落ち込まないで」となります。
A: I didn’t pass my entrance test.
B: Don’t let it get you down. You can take it again.
A: 試験に受からなかったんだ。
B: がっかりしないで。また受けられるから。