小さい子たちなので

近場ですが、東海大学海洋博物館はいかがですか。
tomoyutakaさんのおうちからどのくらいの距離かわかりませんが、旧清水市の三保半島にあります。夏なら海水浴場で泳ぐこともできます。
小さいお子さんには水族館のガラス越しでもきれいな魚を見るのは感激です。第一に危険がありません。旅行疲れも海外とは違います。

遠出をするならJORGEさんのおっしゃるように沖縄をおすすめします。
慶良間諸島、阿嘉島は港でも透明度がよく、スキューバーを付けなくても水中めがねだけで浅いところで泳ぐ色とりどりの魚を見ることができます。こどもさんにはおすすめです。

その他海外といってもセブ、グアム、サイパンを除くとこどもには移動がたいへんです。