トゥルーズ～パリTGVの途中駅ではないからです

＞ヌヴェールの場所はトゥルーズとパリの中間地点あたりのようなのに、なぜこんな所要時間になるのでしょう？
TGVもトゥルーズとパリの間にいくつも停車するだろうのに・・・

時刻検索だけで、ヨーロッパ鉄道時刻表（大きな書店にあります）のフランスの時刻表冒頭の鉄道地図をご覧になれば、疑問は解消します。
鉄道路線図を見るとヌヴェールの場所はトゥルーズとパリの中間地点あたりではありません。
ヌヴェールはパリ～クレルモフェラン～ニーム（プロバンス地方）を結ぶ路線上にあります。
パリからは南北を結ぶ路線が平行に4本あります。
西からパリとトウール～ボルドーを結ぶTGV路線（これがトゥルーズまで在来線に乗り入れ）、その東をパリとトゥルーズを約7時間で結ぶ路線（在来線）。
そのさらに東をヌヴェールを通る在来線が結んでいます。さらに東がパリ～アヴィニョン～マルセイユのTGV線です

あなたが乗る線は西から2本目の在来線を途中1回乗り換え（ヴィエルゾンに停車しないため）でヴィエルゾンをまで北上し、乗り換えて西から3本目の在来線のヌヴェールまで行くので時間がかかるかと。
ボルドー経由のTGVでパリまで行き、ヌヴェール方面行在来線に乗り換えるほうが速いかも。