泳げますよ

気候的には全然オッケーです。水温自体も高いですから、悪天候でない限り大丈夫です。
離島の方の海は綺麗らしいのですが、行ったことがありません。
僕は香港島の南側のスタンレー（赤柱）のビーチで泳ぎました。海はそれほど綺麗でもありませんが、欧米人の方が多く見られ、ビーチでござを敷いてゆったりされてました。ゴミ、人ともに日本の海（僕は大阪人なので関西近郊の海、須磨よりは全然綺麗です、福井の有名海水浴場より人は少ないです）よりも少なかったように思います（週末は人が多いらしいですが）。
まぁ綺麗な海目当てで行かれるなら全然見当違いですが、違った香港を観られる感じで行かれると良いんじゃないでしょうか、スタンレーは欧米人の方が多く住まれているらしいので、町並みや近くのスタンレーマーケットは九龍半島の市場とは又雰囲気が違って楽しかったですよ。
スタンレーへは香港島のコーズウェイベイのバス停からバスが出ています。