日常法律问答解答参考：
离婚时小孩抚养权给了父亲想要回来，可以双方进行协商或起诉变更抚养权。起诉变更抚养权的需要提供生活状况不适宜于孩子成长的证据，例如：违法乱纪的事情、传染病或其他严重疾病等。
相关法律：
最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一） 第四十六条
对已满两周岁的未成年子女，父母均要求直接抚养，一方有下列情形之一的，可予优先考虑：
已做绝育手术或者因其他原因丧失生育能力；
子女随其生活时间较长，改变生活环境对子女健康成长明显不利；
无其他子女，而另一方有其他子女；
子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或者其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活。