把别人的信件丢掉算违法吗？

搬来搬去，总有来不及或者忘记通知更改地址的信件。
我是很老实地把别人的信给退回去的。

可是我的信件就没那么幸运了。我知道一定会有信件寄到旧地址的，可是对方说从没收到过。

应该怎么办呢？
---