撒克逊人于 7世纪在此定居,并于公元 676 年成为主教所在地。公元 760 年,英国人和威尔士人在赫里福德发生了一场战斗,在此期间,该城镇可能受到一条沟渠和顶部有木栅栏的土墙的保护。多年来,在这些冲突期间,该镇因其靠近威尔士边境以及圣埃塞尔伯特长眠于此而受益匪浅。那时候,许多人长途跋涉去参拜圣人的神社,这意味着他们给小镇带来了收入。
中世纪时期,赫里福德的主要产业是羊毛生产。羊毛被编织,然后在粘土和水的混合物中捣碎并进行清洁和增稠。羊毛是用水磨的木锤敲打的。
赫里福德于 1801 年进行了第一次人口普查,人口为 6828 人,这在当时对于一个集镇来说是相当大的规模。本世纪期间,该镇进行了许多改进,包括煤气街照明、1849 年引入消防队以及修建了自来水厂。此外,还修建了下水道网络,从 1899 年起该镇有了电力供应。