Retención del IRPF en salarios de tramitación cantidad inferior a la marcada en la LIRPF

Hola,
a ver si me pueden ayudar a enteder lo siguiente:
Si en un despido improcedente el empresario ha retenido más cantidad de la que debía, por ejemplo un 2% en vez del 15% preceptuado en el art. 99.5 de la Ley del IRPF por tratarse de atrasos.
En cambio el trabajador ha declarado la cantidad que debió ser retenida del 15% conforme al art. mencionado, pero en cambio, la Agencia Tributaria, mediante una liquidación porvisional, le reclama a éste la diferencia más intereses de demora. Los cuales ya ha pagado. ¿No debería hacienda reclamar al empresario que es quien ha realizado una infracción tributaria susceptible de sanción y no al trabajador que ha hecho lo indicado en el ya citado art. de la LIRPF?.

La solución a este supuesto sería presentar, en primer lugar, un recurso de reposición ante la Agencia Tributaria pero cuales sería las alegaciones.?

Muchas gracias