某批发商将价值20万元的货物以高于正常价批发给过路商，过路商在支付货款后将货运走。该批发商收款时验钞设备损坏不能使用，遂凭经验收款，事后查验，有5万元属伪钞，该批发商遂分10次将伪钞支付客户，几天后，客户纷纷上门交涉，要求退还伪钞，该批发商起初否认，遂发生纠纷，后经公安机关查证，属故意转用伪钞行为，批发商认错，但仍以自己也属受害者而拒退伪钞金。试分析批发商拒退要求是否有理，纠纷该如何解决?