Il palazzo, che deve il suo nome alle due piccole torri a coronamento delle sue parti laterali, Fu costruito nel 1716 dall’architetto Giacomo Viano per Giovan Andrea Doria, duca di Tursi. Il suo scopo era di creare una quinta scenografica destinata a dare respiro e luce al nobile palazzo antistante, nascondendo la vista delle fatiscenti case medievali.