\
Tu tarjeta gráfica creo que incluye 512Mb o 1024Mb de memoria de video (suficiente)
(Requisitos PhotoshopCC: 1024x768 display (1280x800 recommended) with OpenGL 2.0, 16-bit color, and 512MB of VRAM (1GB recommended).
Abre por favor el panel de System Info (creo que en Ayuda) y mira la versión del openGL.
Confirma por favor que versión de Sistema operativo OSX utilizas?
Las imágenes a las que añades capas, y a alguna de ellas, por ejemplo una de texto, intentas convertir en capa 3D y acceder a las funciones y comandos 3D, están en RGB?
(El 3D no funciona con imágenes en CMYK ni en LAB)