Es la palabra del banco contra la tuya con un matiz, para sacar dinero del cajero es necesario, además de tener la tarjeta o un clon de ella (que es lo que te puede haber pasado) disponer del PIN. Para saber el PIN de la tarjeta a su vez hay 3 opciones:
1 - El que ha usado la tarjeta ha adivinado el PIN con 3 intentos sobre 10.000 combinaciones posibles.
2 - El que ha usado la tarjeta es el propietario o algún conocido que conoce el PIN (familiares, etc.) gracias a esa cercanía.
3 - El que ha usado la tarjeta además de clonar la banda ha conseguido capturar el PIN.
La captura de PIN se puede producir o bien en un comercio (donde el empleado es cómplice del fraude) o bien en un cajero automático (instalando una cámara o un teclado falso); pero el problema es que con tu versión de los hechos has cavado tu propia tumba, porque si afirmas que sólo has usado la tarjeta en comercios con lectura de banda sin digitar el PIN (cosa que yo personalmente dudo), cierras el camino a la opción 3 que es la única que podría eximirte de responsabilidad.
Si tú mismo afirmas que es imposible que algún caco te haya capturado el PIN, el banco alegará que has custodiado la clave de forma negligente ya que supuestamente esta clave sólo puede existir en tu mente.
Un saludo.
PD: Por experiencia, si no hay fraude, en el 90% de los casos el culpable es algún familiar o persona cercana.