下面情况男方可以要回孩子抚养权吗？

  孩子1岁协议离婚，现孩子满2岁了，下面情况男方可以要回孩子抚养权吗？？ 我和女方从恋爱时就双方家庭存在观念上的很大分歧，但还是结了婚，婚姻期间女方基本上就在娘家生活，在一起的时间加起来一年不超过2个月，并且他妈常参与我们的生活并经常招到蔑视（因为他妈认为他女儿漂亮随便能找个公务员，可我是个乡镇金融机构职员），导致我们矛盾越来越深，跟本就不想见到他们，婚姻基本难以维持，但还是在少许的相处中怀上了孩子，当时因考虑到刚结婚经济压力大，我每月到手的工资也就2000元，女方马上又以平时工作要接触电脑对孩子不利为由把每月800元的工作辞掉，凭我们的经济收入我们根本无发正常抚养孩子并且两人关系并不稳定，孩子若生下来会对其成长不利，我提出先不要孩子，等大家把夫妻关系处好了一起工作存点钱在生。
  但女方家庭不顾当时经济条件和感情情况坚持要生下来自己家带，没办法就只有随她们了，但怀孕后女方娇惯的确实让我难以忍受，一直以出门怕坐车被斗到（其实她在她家还经常出远门），我家房子有毒或我单位上伙食差（我单位上这几年也有3个女同事怀孕在单位工作至临产耍法定假日，并且在单位上吃住，我们5、6个职工每月的生活费用也要用2000多点）等让人无法接受简直是无稽之谈的理由留在她家由他妈专门照顾还骗到我们说生了就回来。
  气得我和我父母没法接受。我便提出打掉孩子离婚，当然我知道她家想要孩子不可能这时候离得了了，于是我也不想去管她了，看她家爱怎么就怎么，直到小孩出生她家还是不带孩子回来，完全把我们当成外人，我和我父母只能到她家去看小孩并且还不让我父母抱。周围街上认识的人知道后在她妈面前提起她妈还跟别人说我家的人都有乙肝要传染小孩。
  长期这样让我家有苦难言。经过无数次的争吵大家都受不了了，我也没法这样委屈生活拖到孩子2岁，只有无奈的协议离婚将小孩交给他家抚养并协议谁抚养对方都不付抚养费用，因和她家矛盾太深我也很少到她家去看孩子，只是逢大的、重要的节日给孩子买一些衣服玩具等。
  现在孩子2岁了，她目前也一直没有稳定的工作，现在外地帮人卖衣服等，只能够满足她自己平时的开支，孩子从出生就一直被她父母抚养（她父亲是开货车运煤的，家里有点经济实力），而我家家庭住在城里，生活、教育、医疗都比他家稍方便些，父母都有退休金，我现在工资也有三、四千元左右，我同样不要她付抚养费我能有把握通过法律程序把孩子要回来抚养吗？她们肯定会在法院上说我不负责任，我当初要打掉孩子、不关心孩子等，法院还会支持我吗？。