A orixe do castelo da Palma  remontase ao século dezaseis se ben o edificio actual é de finais do século dezanove.  A construción primitiva finalizouse no ano 1597 polo enxeñeiro Pedro Rodriguez Muñiz. A traza  estaba formada por baterías que facían ángulo sainte co mar, pola parte de terra unha estrutura cun baluarte e un medio baluarte onde se situaba a entrada. O castelo tiña tamén unha capela a cargo dos monxes de Montefaro. En 1744 construense novas baterias, casa para o gobernador, cuartel para 60 homes, almacén de pólvoras e provisións. O castelo da Palma formaba un perfecto triángulo defensivo co castelo de San Felipe e o de San Martiño, hoxe desaparecido.

En 1869 foi reedificado na súa totalidade, segundo indican Juan Carneiro e Miguel Rodriguez no libro “Historia de Mugardos”.   O castelo da Palma oi prisión militar no século vinte. Alí cumpriron condena os militares antifranquistas da Unión Militar Democrática entre os que se atopaba Xosé Fortes Bouzán. Tamén o tenente coronel Tejero tras o intento de golpe de estado do 23-F. Estivo alí recluido en dous períodos entre 1981 e 1983. A fortificación vendeuse en 2003 a unha sociedade hosteleira.