En un seguro de vida el tomador puede designar a quien quiera y el capital que se entrega no forma parte de la masa hereditaria. A lo único que se puede acoger tu hermano es a este artículo de la Ley 50/1980:
Artículo 88
La prestación del asegurador deberá ser entregada al beneficiario, en cumplimiento del contrato, aun contra las reclamaciones de los herederos legítimos y acreedores de cualquier clase del tomador del seguro. Unos y otros podrán, sin embargo, exigir al beneficiario el reembolso del importe de las primas abonadas por el contratante en fraude de sus derechos.
Cuando el tomador del seguro sea declarado en concurso o quiebra, los órganos de representación de los acreedores podrán exigir al asegurador la reducción del seguro.
Es decir, tu hermano tendría que demostrar que el capital con el que se constituyó la renta vitalicia era de tal importe que se perjudicó notablemente lo que él finalmente percibió por herencia. Dependiendo de la interpretación se puede llegar a entender que incluso tu madre contrató esa renta precisamente para que él no recibiese el dinero de la herencia, pero eso ya es cosa de Su Señoría.