法院调解过程中承认的事实能否作为证据…

法院调解过程中承认的事实能否作为证据?我接了一个工程之前部分签订了合同,后来又追加了一部分没有签合同但是我已经付了钱(追加的部分)没有写收据什么,现在合同部分不符合要求,要求对方返工但是对方不同意,所以我没有付钱,现在对方告到法院要钱,可是不承认我已经付过的那部分钱,在调解的时候是承认的当时法官也在场,现在要开庭了他又不承认了,而那位法官却说调解的话不能作为证据。请问现在我该怎么办?