大丈夫でしょう。

私も前チェルシーに滞在してましたが、23rdらへんは夜遅い時間でも、けっこう人がいます。ただ、一歩路地に入ると全く違う雰囲気になるので、自分が泊まるトコ周辺の治安を把握しておくのがイイと思います。徒歩で帰るなら、むやみやたらに歩くのではなく、遠回りになっても大通りをえんえんと歩くとか、人気のあるほうへあるほうへ行くとか。ただ、今のNYはけっこう平気です。現地に住んでる日本人も、東京のほうが危ないって言ってたくらいだし。ビクビクしてると、そのほうが危険です。