2002年5月8日，李四到某储蓄所要求查询并挂失止付一笔定期存款，但他声称由于存款时间距今很长，已经记不清确切的存款时间、存款账号和金额。储蓄所职员王某为其进行了查询，查到一笔存款人为李四的定期存款，金额为1万元，存期为5年，但要到2002年9月8日才到期。王某随即为李四办理了挂失止付手续，但未核对储户的地址。后来，李四持单位介绍信，将挂失款全部取走。2002年9月8日，又一个名为李四的人持有该日到期的为期5年、金额为1万元的定期存单来该储蓄所取储蓄存款，而储蓄所以该笔存款已被第一个李四取走为由，认为第二个李四持有的存单已经作废，拒绝支付。问：储蓄所对第二个李四拒绝支付是否有法律依据？为什么？