大丈夫だと思います

ものすごくお肌が敏感とかでないならそんなに心配はいらないと思います。
私は敏感肌でアトピーですが、水道水で肌荒れしたことはありません。
それより日本と気候が違って、乾燥などで荒れることのほうが多いです。個人的には洗う水を気にしすぎず、その後のケアのほうに気を使ったほうがいいのでは、と思います。
また私はフランスは行ったことがないのですが、イギリス・ドイツ・東欧などに行ったとき、どこのスーパーでもなじみのあるミネラルウォーターを見つけられました(エビアンとかボルビックとか)