Imputación de rentas por usufructo con contrato privado

Hace años mis hermanos y yo compramos una vivienda y dejamos el usufructo a nuestra madre, pero el notario nos recomendó la firma de un contrato privado, por lo que no figura en la escritura ni se realizó ninguna otra tramitación adicional, sólo en contrato privado firmado por hermanos y cónyuges (lo redactó la oficina notarial)

En la normativa de la declaración de la renta sólo habla de usufucto sin especificar cómo se realizó la cesión del mismo, por lo que se puede interpretar que nos nudos propietarios (al 25% c.u.) no tenemos obligación de declararla.

Sin embargo, este año, en el borrador figura por primera vez que la vivienda está "a disposición de sus usuarios", por lo que a uno de mis hermanos le han dicho en Hacienda que hay que tributarla.

¿Es esto correcto? ¿Acaso no es válida la cesión de usufructo en contrato privado a efetos de IRPF? ¿Sólo es aplicable la exención de los nudos propietarios cuando el usufructo figura en la escritura?

Os agradezco de antemano la respuesta.