根据您的表述,你们在当初交定金的时候签了定金协议,其定金的性质应当可以确定为立约定金。也称为订约定金,是指为担保合同订立而设立的定金。立约定金的处罚条件是当事人违背承诺拒绝订立合同。
其效力表现在:给付定金的一方拒绝订立主合同的,无权要求返还定金;收受定金的一方拒绝订立合同的,应当双倍返还定金。
最高人民法院《担保法解释》第115条规定:当事人约定以交付定金作为订立主合同担保的,给付定金的一方拒绝订立主合同的,无权要求返还定金;收受定金的一方拒绝订立合同的,应当双倍返还定金。
综上所述,在法律层面上,你要回定金的主张,法律是不支持的,但如果房东愿意退还给你,法律是不加干涉的。