もちろんです。
お断りすることに罪悪感を抱いてしまう⽅もいらっしゃいますが、「お付き合いできない」「気が合いそうにない」と感じたときは、お断りしていただいて大丈夫です。
それがお相手のためにもなります。