ジャージーシティー近辺

ニュー・ジャージー側のリバティー・ステート・パークに隣接するジャージー・シティーのニューポート近辺あるいは、その北側のホーボーケンあたりで宿泊して、タクシー利用がまず考えられるところでしょう。
ライトレールを使うと、さらにフェリー利用で、何とか徒歩でも自由の女神への乗船場までたどり着けますが、お子様連れの場合はホテルからタクシーで行かれた方がよいと思います。
（チャイルドシート関連は、申し訳ないですがわかりません。）

あるいは最初から空港付近のホテルに宿泊する方法もあります。
ホテルからタクシーに乗り、リバティー・ステート・パークの南側から入り、Flag Plaza に寄ってもらうと、目の前に自由の女神が望めます。
タクシーに待ってもらって、乗船場に向かうこともできますね。
空港到着が遅い時間であれば、こちらも選択肢となります。