直訳は「要点を外れて、要点と無関係」。
そこから「的外れ、見当違い」と言った意味で使われます。
He made some remarks on that matter, but they were beside the point.
彼はその問題について意見を述べたが、的をはずれていた