No, no te afectaría.
Pero si los niños van a estar contigo (empadronados) y no estaban incluidos en la unidad familiar de tu IMV, sí que podrías solicitar (una vez empadronados contigo) que te suban el IMV por ello, suponiendo que no estén incluidos en el IMV de la otra persona y que, de estarlo, comunique el desempadronamiento de ellos en su unidad familiar... si comunicas dichas variaciones te subiría el IMV a costa de que te paralizarían el pago uno o dos meses hasta que los incluyan en tu nuevo expediente, pero también tendrías la obligación luego de darlos de baja si al año que viene se te desempadronan y vuelven a estar empadronados con el otro ex-cónyuge, lo cual te paralizaría el IMV en ese momento de nuevo unos meses y te reduciría su importe desde ese momento... un poco lío, vamos, pero es una opción que existe y que debes barajar si te interesa o no.