それだけの情報では

どちらに非があるか、また何処に問題点があるか、第三者には
全くわかりません。

例えば、主催旅行ならば、パンフレットなりURLなりの証拠が
あるはず。それらと付き合わせれば、問題点がはっきりします。
一方、手配旅行(香港ならば、航空運賃とパンダホテル代など)
であれば、見積もりが残っているでしょう。もし口頭でのみの
やりとり(文面からはメールでしょうか)ならば立証は不可能
ですがメールならば記録が残ります。それと、請求額との食い
違いがはっきりすれば、問題は解決します。

しかし、「言った、言わない」、「そのつもりだった」では、
請求額に対して支払ったのですから、もはや手遅れ。ただし、
足りないのですから契約は成り立っていません。その分を払い
戻してもらう(手数料引きで)ことは可能でしょう。

「正しいツアー代金」と書いているので、何らかの書類がある
はず。まずは、そこからですね。「聞き違い」や「思いこみ」
は論外。返却、キャンセルしかないでしょう。

旅行代理店なのか、質問者なのか、今は芥川龍之介の小説の読
者として、眺めるしかありません。