Tras la conquista de Jerusalén por Saladino en 1187, los Templarios establecieron su centro neurálgico en San Juan de Acre y comenzaron a construir su barrio en la sección suroeste de la ciudad. Allí se construyó el palacio principal de la orden que, en su mayor parte, colindaba con la línea del mar. Sus restos no han llegado hasta nuestros días, pero un templario que vivió el asedio musulmán describía la fortaleza como la más fuerte de la ciudad y afirmaba que su entrada estaba protegida por dos torres con muros de 8.5 metros de espesor.