予約をおすすめします。

blueblue1 さん、はじめまして！

フェリーによっては、車無しなら予約は要らないという便もあるようですが、私が昨夏ヘルシンキ〜タリンの『タリンクシリアライン』に乗った時の経験から、できるだけ予約をおすすめします。
ヘルシンキ〜タリンの便は、観光客だけでなく、地元の人が物価の安いエストニアに買い出しに行くらしく、行きは同じ10時30分発の便でしたが、結構いっぱいでしたよ。

また、帰りの便の時間は、19時半で妥当だと思います。
私たちはタリンで一泊しましたが、タリンに着いてからフェリーターミナルと旧市街間の移動で20〜30分はかかりますし、着いてから旧市街で昼食を食べた時は、どこのレストランもいっぱいでしたし、更に夕食も食べる可能性がありますよね。
それに確かチェックインは、出港時間の45分前迄だったはずですので、滞在時間7時間でも、フェリーターミナル〜旧市街の往復で約1時間、チェックインの為に1時間、食事の時間約2時間、と考えれば残りは4時間ですので、そんなに時間は余らないと思います。

余談ですが、以前ウィーンからチェコのプラハに、ユーロラインのバスで日帰りした時の事ですが、プラハに着いてから帰りのバスの発車時刻まで4時間でちょうどいいかと思いましたが、プラハ城迄往復したり食事をしたりで、帰りの時間を気にしながら忙しく、あっと言う間に帰りの時間になってしまいました。

キャンセル可能かどうかについては、申し込みサイトで確認してください。
私は『Direct Ferries』のサイトで、他の会社と比較して申し込みましたが、日本語でも対応しているようですし、これも余談ですが半年前に同じフェリーに乗った知人が、間違えて往路ヘルシンキ→タリン、復路タリン→ヘルシンキを反対に入力して、チェックインができなかったのですが、窓口でチケットを替えてくれたと言っていましたよ。

では、楽しい旅を！