虽然按照赠与合同的规定，一方做出的赠与没有法定撤销事由是无法追回来的。但是，在没有另外约定财产分配协议中的夫妻财产就不受这个限制。丈夫出轨赠与小三的钱财，可以通过夫妻共同财产单方赠与权利受限来追回。
夫妻对共同财产享有平等的权利和义务，对共同财产享有平等的所有权。夫妻共同财产为共同共有。夫妻对全部共同财产部分份额地享有权利和承担义务，平等地享有占有、使用、收益和处分的权利。所以，在夫妻关系存续期间，一方对外做的处分夫妻财产的行为在没有取得另一方同意的情况下，是效力待定的行为，赠与钱财的合同不能当然有效。
具体的法条依据是：
1.《婚姻法》第17条明确规定：夫妻对共同所有财产有平等的处理权。
2.最高人民法院《婚姻法司法解释一》第17条之规定：夫或妻非因日常生活需要对夫妻共同财产做重要处理决定，夫妻双方应当平等协商，取得一致意见。
3.《婚姻家庭案件审理指南》第3章第4条认为：夫妻一方将共有财产赠与他人属于对共有财产的处分，因未经配偶同意，故处分行为无效，赠与人的配偶向人民法院主张返还的，应予支持。
注意，如果夫妻双方有就婚内财产处分做相应约定的，在这种情况下，夫妻另一方就可能不能在按照规定追回钱财了。因为通过协议形式约定的财产，夫妻一方的权限受限制，不属于夫妻共同财产，当事人自然不能追回其赠与出去的东西。
不少人认为，在夫妻结婚之后，既然正常情况下的财产都是属于夫妻共同财产，那在自己需要使用的时候，直接拿来用就好了，两口子之间有什么借不借的。无可否认，这样的情况确实是存在，但也不排除夫妻之间借钱的情况。而此时虽然出借的是夫妻共同财产，作为借款人的一方也是占有一定份额，但要是借钱本身就是合法有效，并且出于当事人真实意愿的表示，那么借了钱之后日后自然也就需要按照约定归还。
