由来は諸説ありますが、昔のアメリカで帽子を落とす行為が喧嘩が始まる合図から来ていると言われています。
帽子が落ちたと同時に、躊躇わず、すぐに行動を起こすというニュアンスです
He gets mad at the drop of a hat.
彼はちょっとしたことですぐに怒ります