皆んなが「少しぐらい遅れてもいいだろう」となったら・・・

大変ですねェ。

家を出るのが遅くなって、電車やバスも遅れて、となるとアウトですね。
私は最悪2時間前に着くように考えてルート・乗り物を選びますし、万一の場合も考えておきます。
(JRがトラブった場合回復が遅いので、最寄り駅で下車してタクシーで、など。)