Primero tienes que ver si cumples las reglas para ser residente en Andorra; al no trabajar allí, me parece que lo llaman "residencia pasiva" y creo que no vale cualquier casa, sino que debes haber invertido 400.000 euros mínimo en bienes en Andorra, depositar otros 50.000 euros en una entidad financiera, y me parece que incluso hay un sistema de cuotas anual para el nº de permisos de residencia que se otorga. En cualquier caso, esto deberías chequearlo con alguien especialista en fiscalidad y residencia andorrana (o a lo mejor ya estás allí, no lo aclaras).
En caso de poder adquirir la residencia fiscal en Andorra, serías residente en Andorra, pues el convenio de doble imposición establece que, en caso de cumplir las condiciones de residencia fiscal en Andorra y España simultáneamente (en España lo serías si tu sueldo lo recibes en España y es más de la mitad de tus ingresos totales), prima donde tengas vivienda a tu disposición:
https://www.boe.es/buscar/act.php?id=BOE-A-2015-13248
Ahora bien, el tipo que te aplicarían en el impuesto de no residentes (IRNR) para tu salario en España sería un 24%, sin poder reducir ningún gasto ni aplicar mínimos personales como ocurre en el IRPF, lo cual significa que deberías tener un salario bastante alto, o muchos ingresos del capital en Andorra, para que te compense.