個人差もあると思うけど

人それぞれだと思いますが、少なくとも私のまわりでは、海外生活(特に英語圏)なしに日常会話をマスターした人は殆どいないですね、、、。だから不可能ではないにしても、日本で日常会話を身につけるのは、かなりきついようにも思います。もっとも、他の方がご指摘になっているとおり、海外に行けば日常会話が身につくというものでもないんですけどね。
いずれにせよ、英語について何のバックグランド(海外での生活経験等)もないのであれば、それなりの覚悟で臨まないと日常会話は身につかないと思います。一対一で話しているときはともかく、アメリカ人の中に混じって会話するというような場合は、TOEFLの聞き取りより遥かに聞きにくいように感じてます。

あと、フィリピンがどうかは知らないのですが、一般論としては、英語を母国語としている人と話す場合(訛りはないが早い。こっちが多少間違っていても理解してくれる)と、英語を母国語としていない人(ゆっくり話すが訛りがある。両国で共通の「よくある誤り」(sとthなど)は間違っていても意思が通じてしまうことがある)と話す場合、かなり感じが違うと思います。できるだけ、英語(できたら訛りの強くない英語)を母国語としている人とはなす機会がある方法にした方がよいでしょう。

あと、みどさんの「話題がないから」というのは、確かにそのとおりだと思います!