せっかく行くのなら

5日間の休暇に入る前夜のAF便(22時ごろ発です)で行くと、
ミラノには、休暇初日の朝に着きます。
帰国便を夜便にすると、休暇初日から、4日目の午後まで、実質3.5日楽しめます。

朝にミラノに着くのですから、宿までの安全面でも心配することなく移動できますので、
(部屋の用意ができていれば、午前中でもチェックインさせてくれるところがほとんどです)
パックツアーを止めて、個人旅行にしても、ミラノなら心配ないと思いますがいかがでしょう。

私は、短期間で行くときは、いつもこの便を利用しています。