問題ありません

日本の税関に100万円以上の資金移動をする旨を下記の書式で申告するだけです。マネーロンダリングなどの行為が目的ではなく、きちんと申告すれば特に問題になることはありません。
http://www.customs.go.jp/kaigairyoko/shiharaishudan.htm

香港では外貨の持ち込み制限はありません。
ただし、銀行や両替所で多額の外貨両替（現在のところ1回8000HKドル以上）を香港域内で行う場合、マネーロンダリングの防止のため、パスポートなどの身分証明書の提示、個人情報の政府当局への提供が義務付けられています。

と言うことで、香港側の問題はありませんが、日本の税関に申告が必要です。申告したくなければ、100万円以下にすることです。