男人回归家庭后难以断绝与小三的联系，主要有以下三个原因：

1. 出轨男人的不甘心：大多数出轨男人回归家庭是被逼无奈的，他们希望能够同时享受婚姻的好处和小三带来的愉悦。

2. 小三的沉没成本：小三在婚外情中可能付出了很多，包括情感、金钱和时间。这些沉没成本使得小三难以放弃，她们可能会继续纠缠，希望挽回损失。

3. 小三的报复心理：一些小三可能会因为被出轨男人抛弃而产生报复心理，她们可能会利用这种情绪继续纠缠，试图破坏男人的家庭。

综上所述，男人回归家庭后与小三断不了联系是一个复杂的问题，涉及多方因素。解决这一问题需要原配、出轨男人和小三之间的共同努力和沟通。