es que eso no es una foto, es un importado de illustrator o de algún otro programa que maneja vectores, la solución es la que ya habías encontrado, que es dejarlo como smart object, eso va a conservar la definición de tus bordes.
igualmente el photoshop no es el programa más adecuado para manejar textos, lo más seguro es que siempre tengas problemas porque lo correcto es hacer tus finales en InDesign o en Illustrator. luego puedes exportar desde esos programas al formato que más te convenga.