確認しているわけではありませんが

フランスに限らずヨーロッパの鉄道のほとんどは駅での乗換と駅外に出ることの区別がつかないようになっています。したがって日本でいうような「途中下車」という概念そのものがありえないものと考えて間違えないと思います。

フランスSNCFの制度では、乗車券の有効範囲に関して次のようになっていると思われます。一定の距離以上の乗車券の有効はその当日、それより短い場合は刻印から９０分。

つまりニースからヴァンティミリアまでの距離が一定以上あれば１枚のキップでその日のうちであればモンテカルロで降りてモナコヲ観光してヴァンティミリアまで行けるということです。
ニースからヴァンティミリアまでの距離が定められた距離以上かどうか不明ですので、よく知っている方の回答を待つか、駅で聞いてみるしかないと思います。たいして遠くないので１日有効になるほどではないような気がしますが。
その場合は、ニース/モンテカルロ、モンテカルロ/ヴァンティミリアの２枚のキップを買うことになります。
ニースで２枚買うこともできますが、ニース、モンテカルロでそれぞれ買ってもよいでしょう。
帰りはヴァンティミリア／ニースのキップ１枚で足りると思います。
往復で買うと割引はないかもしれませんが通用期間が１日となることことも考えられます。それでしたらそのようにすれば問題なくモナコ観光も含めご希望通りになると思います。

なお、下車時に申告云々はシステム上あり得ないと思われます。