creo que depende de la naturaleza del trabajo que dio lugar a la pensión (privado o público), según se establece en el convenio de de doble imposición:
http://www.boe.es/buscar/act.php?id=BOE-A-1995-24001
*
Si fue trabajo en el sector privado, solo se puede gravar en el país de residencia (Portugal en el caso que expones):
Artículo 18. Pensiones.
Sin perjuicio de lo dispuesto en el apartado 2 del artículo 19, las pensiones y remuneraciones análogas pagadas a un residente de un Estado contratante por razón de un empleo anterior sólo pueden someterse a imposición en ese Estado.
*
si fue en el sector público español y tienes nacionalidad española, se grava solo en España. Si tienes nacionalidad portuguesa, en Portugal.
Artículo 19. Funciones públicas.
2. a) Las pensiones pagadas por un Estado contratante o una de sus subdivisiones políticas o administrativas o entidades locales, bien directamente o con cargo a fondos constituidos, a una persona física por razón de servicios prestados a ese Estado, subdivisión o entidad, sólo pueden someterse a imposición en ese Estado.
b) Sin embargo, dichas pensiones sólo pueden someterse a imposición en el otro Estado contratante si la persona física es residente y nacional de ese Estado.