無理!

「当ホテルの水道水は直に飲んでも大丈夫です」とうたえるようなホテルならいけそうですが、、

どうしても臭いが気になるなら、水を浄化するもの(薬剤など)を持っていかれてはいかがでしょうか。
古いホテルは、どうしてもホテルに臭いがしみこんでるので、
新しいホテルを選ぶのも手です。