直訳は「フェンスに座る」。
A に行くか、Bに行くか、とりあえずフェンスに座って考えている = どっちつかず ということを比喩しています。
A: What are you going to do after you graduate from university.
B: Well, I’m still sitting on the fence.
A: 大学を卒業したら何する?
B: そうだね、まだ決めかねているよ