サッカーやってる日でも普通に観光できます。

マドリッドで何度かサッカー観戦の経験がありますが、普通の日と同じように観光できますよ。
混雑してるのはスタジアム周辺だけでしょう。