El tema de la residencia fiscal viene dado por dónde estés viviendo. Si pasas más de medio año en un país, es ahí donde tienes que cotizar.
Hay bastante gente que aunque trabaje en Francia, Alemania, etc.., si está como contractor, factura como autónomo o empresa en su país (España, Polonia, Grecia, etc...), y declara allí los ingresos, pues se pagan menos impuestos. Pero para ello no deberás estar registrado, sino como si estuvieras de viaje, o desplazado. Sino recibirás una carta de la hacienda correspondiente "invitándote" a declarar.
Pero si estás de empleado normal, pagando la seguridad social del otro país, pues a declarar allí. En España declararías como "no residente".
Respecto a la cotización, no es que "te la lleves", sino que, si hay convenio, se te tendrá en cuenta el total de lo cotizado en España y en el(los) otro(s) países de la UE,etc.., y te corresponderá pensión según el total de años cotizados en los dos países, aunque cada país te pagará la parte "correspondiente".
Por ejemplo, si cotizas 40 años, y son 10 en España y 30 en Alemania, España te pagará el 25% de una pensión que te corresponda por cotizar 40 años, y Alemania el restante 75%, a grosso modo.
Saludos.