はっきり行きたくないと思った招待はその場で「その日は都合が悪いので」と断っています。

でも、どうしようかな、なんとなく気が進まないんだけど。。。と迷った場合が難しい。お返事が遅くなってしまって行くにしても断るにしても相手に失礼になっている気がします。
その場でお返事ができず、後で改めて断りの返事をして、詳しい言い訳も用意しなければならなくなり気疲れしたこともあります。

断る時はなるべくその場で、と考えています。

「断るときはその場で」、ほんとうにその通りだと思います。

断りたいけどうじうじと後回しにしていると、たいがいはぎりぎりまで放置することになってしまって、かえって迷惑をおかけすることに……。

その場で嫌だなって思っても、後で「やっぱり、行こうかな」と思い直すこともあるので、NOと即答するというポリシーを僕は持っていません。

因みに、用事もないのに「其の日は都合が悪い」と答えると顔の表情が歪む人も多いよね。

確かに用事もないのに断る時って、どう言っても表情が歪む気がしますね。「都合が悪い」と言った後、表情など下手に取り繕わず（本当は用事はありませんが行きたくないんです。それ以上つっこまないで）と伝わってもしかたないなって思います。同じようなお誘いがなくりますし。
そして本当に予定が入っている時は心をこめて（残念です。又誘ってください。）の意思表示をします。
ＡＮＺＡＩさんは結局行かないと決めた時にはどのようにして伝えていますか？または、気が進まなくても行きますか？
　

「ちょっと調子（都合）悪いです」「わるいけどパスさせてください」「すまん。ちょっとあかんわ」
用事が無くても行きたくない場合は、即断ります。返事を引っ張る理由は無いですし、それに人数の予約が必要なことが多いと思いますから。
また行きたくない飲み会や仕事が終わっても仕事の話しか共通点の無いメンバーではオモロクありません。時間の無駄です。それに何回か断っていると、その内声がかからなくなって、余計な気遣いをする必要がなくなります。
断る判断基準は、「行きたい（オモロイ）」「行きたくない（オモロナイ）」に尽きます。
「行きたくても行けない」場合は「行きたくても行けない」と言います。