直訳は「土地を失う」。
軍隊で使われていた言い方で、ここでの「Ground = 土地」は「領土」のことで、支持を失ったり、人気がなくなったりすることに対しても使われるようになりました。
「踏ん張る」を「Stand your ground」といいます。
He lost a lot of ground due to his scandal.
スキャンダルによって、彼の人気がなくなった。