Algarra está situada en el espolón desgajado del Cerro Santo, a una altura de 1280 metros. Estas condiciones propiciaron que en lo alto de la montaña donde se asienta el pueblo se construyera el castillo del que aún quedan algunos restos.
Tanto los orígenes del pueblo como de su castillo (probablemente ambos sean el mismo) son inciertos. Algunos autores citan que "el nombre de Algarra se deriva de la voz fenicia 'alygar', que significa 'la peligrosa'..." (Muñoz y Soliva). De cualquier forma, lo que parece seguro es la fundación de una pequeña colonia agrícola "en una muy rica vega a la falda de un encrespado montículo" (Miguel Romero). La época más floreciente de Algarra fué sin duda la Edad Media,
  como demuestran sus restos amurallados. Aquí convivieron durante largo tiempo cristianos y árabes, no así judíos, pero algún converso morisco dió pie a la actuación de la siempre temida Santa Inquisición, cuando en 1601 el vecino de la villa
Miguel Saiz fué prendido y acusado de mahometismo, aunque absuelto por falta de pruebas. Una vez ya dentro del siglo XX, Algarra fué un lugar clave en la postguerra, ya que su situación propición la actuación del 'maquis' en el pueblo. Actualmente, Algarra trata
de sobrevivir en la época invernal, donde la escasa economía y el abandono del campo han hecho mucha mella en la población, que durante los meses fríos del año se reduce a unos cuantos habitantes, aunque en verano se multiplica considerablemente.