私ならば、東京とほぼ同じ服装で行きます

半袖でも昼間はＯＫなのは、他の方のおっしゃるように、ロサンゼルスくらい南に行かないといけないと思います。
１月末のロサンゼルスでも、セーターは着ませんでしたが、夜には日本で着ている冬用のジャンパーは必須でした。

サンフランシスコの場合、真夏でも、半袖だけで過ごすことは、私には考えられません。
今時分は日本と同じ服装で行って、もしも暑ければ少し薄くするかもしれませんが、たぶん同じ服装でいいと思います。
ツアーでバスや観光施設、ホテルなどの屋内で過ごす時間が多いのであれば、薄着は可能かもしれません。