我们有这个赡养义务吗,他构不构成遗弃子女,我们可以通过遗弃子女反驳他的赡养义务吗？

你好，我的父亲在我两岁的时候外遇离家出走，从小由母亲扶养长大。现在我们兄弟三人长大成年，我的父亲要让我们兄弟赡养他。我们有这个赡养义务吗？他构不构成遗弃子女，我们可以通过遗弃子女反驳他的赡养义务吗？拜托了。