ご心配ないのでは

どちらのカードをお持ちか判りませんが、一般的にはカードを
付与された時に同封される「会員規約」には「盗難・紛失・偽造等」に
対して会員の免責事項が書かれてあります。

これを履行する限り何のご心配も要りません。

ただ旅先でカード無しによる不便さはありますが・・・(カード会社に
よっては直ぐに再発行してくれるところもあります)

私は過去に紛失、スキミングをされて自分に実害が及ぶことは一度も
ありませんでした。