Verifica la integridad del archivo que has descargado, Renta2011_windows_1_10.exe o el del sistema operativo que sea, mediante la utilidad que tienes en la página de la AEAT
http://www.agenciatributaria.es/AEAT.internet/integridad.shtml?M=100W&E=2011&V=1.10&T=U&N=1&NOM=Renta2011_windows_1_10.exe&DES=Programa%20de%20ayuda%20de%20Renta%202011%20para%20Windows
Si la verificación es correcta y tu sistema cumple todos los requisitos para la instalación del programa que son:
REQUISITOS MÍNIMOS
ORDENADOR PERSONAL con la siguiente configuración
- Máquina virtual Java 1.6
- 512 Mb de memoria RAM mínima (Se recomienda 1024 Mb)
- Sistemas Operativos:
- Windows NT, 2000, XP, 2003, Vista Windows 7 y compatibles.
- GNU/Linux
- Apple Mac OS X compatibles con java 1.6 (equipos Intel 64 bits)
- Espacio mínimo en disco duro de 50 MB para la instalación inicial y posterior funcionamiento del programa
- Pantalla con resolución 1024x768 ppp. (Se recomienda 1280x1024)
- Teclado español
- Impresora DE INYECCIÓN o LÁSER con resolución mínima de 300 DPI, para poder imprimir los archivos generados (Adobe PDF).
En W7 y Vista se recomienda ejecutar el programa como Administrador.
Una posible solución puede ser descomprimir el exe en una carpeta con el un programa tipo 7zip y ejecutar el archivo irpf.jar que resulta.
Mira también en consultas informáticas de la AEAT por si esta referido tu caso. Y finalmente puede solicitar asistencia técnica telefónica, twitter o via chat.
Saludos.