Sin embargo, lo que sucedió en 1964 eclipsa a todo lo anterior. Fue el 16 de septiembre de ese año cuando aterrizó en Madrid, pero los hechos que provocarían su expulsión de España tendrían lugar tres días después en el Hotel Pez Espada situado en la localidad de Torremolinos.
La única escapatoria posible fue volver a Estados Unidos
Fue la actuación furtiva de de un fotógrafo del diario Pueblo la que desató los hechos. Tras sacarle una foto, en la que aparecía haciendo un brindis junto a una actriz compinchada con el fotógrafo, Sinatra montó en cólera al ver el montaje. Se produjo tal altercado que el director del hotel se lo llevó a su despacho para tranquilizarlo.
Fue en vano, ya que Sinatra se enfadó aún más al ver un retrato del dictador Francisco Franco, por lo que empezó a soltar insultos e incluso llegó a lanzarle un escupitajo -aunque hay fuentes que aseguran que esto último sucedió ya en la comisaría-. Eso acabó llevando a que la policía interviniera y al día siguiente fueron al hotel para tomarle declaración. Sin embargo, Sinatra se negó en redondo e intentó tirar de sus influencias para librarse del entuerto en el que se había metido.
