Colchester ha sido una importante guarnición militar desde la época romana. La guarnición de Colchester alberga actualmente la 16.ª Brigada de Asalto Aéreo. El único centro de entrenamiento correctivo militar del ejército, conocido coloquialmente dentro de las fuerzas y localmente como "The Glasshouse" en honor a la prisión militar original en Aldershot,[36] está en Berechurch Hall Road, en las afueras de Colchester.[37] El centro alberga a hombres y mujeres militares de los tres servicios que están condenados a cumplir períodos de detención.

De 1998 a 2008, la zona de guarnición de la ciudad sufrió una remodelación masiva. Gran parte del terreno del Ministerio de Defensa se vendió para desarrollo de viviendas privadas y se trasladaron partes de la guarnición. Muchas partes de la guarnición están ahora vacías a la espera de la segunda fase del desarrollo.

Desde 2006, Colchester ha sido uno de los 12 lugares del Reino Unido donde se realizan saludos reales para conmemorar los aniversarios reales y las visitas de jefes de estado extranjeros. Desde 2009, estos saludos se realizan en Castle Park.

Colchester alberga varios museos. El Museo del Castillo, que se encuentra dentro del Castillo de Colchester, presenta una extensa exposición sobre la Colchester romana. Muy cerca se encuentran el Museo Hollytrees, un museo de historia social con exhibiciones para niños en la antigua casa de Charles Gray, y el Museo de Historia Natural de la ciudad, ubicado en la antigua Iglesia de Todos los Santos. El Museo del Reloj de Tymperley, ubicado en el centro de la ciudad en una casa con estructura de madera del siglo XV, que alguna vez fue el hogar de William Gilbert, ahora alberga la colección de relojes de Bernard Mason.

El vínculo de la ciudad con el fútbol había comenzado con el club amateur Colchester Town, formado en 1867 y disuelto en 1937. Fueron sucedidos por el club profesional Colchester United, que compite en la Football League One y juega partidos en casa en el Colchester Community Stadium. Fundado en 1937, el club ingresó a la Liga de Fútbol en 1950. El Colchester United Ladies juega en la División Sur de la Premier League Femenina de la FA. Otros equipos deportivos con sede en la ciudad incluyen Colchester Rugby Football Club, Colchester Gladiators American Football Club, Colchester Weight Lifting Club y Colchester & East Essex Cricket Club. El Essex County Cricket Club juega algunos de sus partidos en casa en Castle Park Cricket Ground, hogar de Colchester y East Essex.

Las instalaciones deportivas en Colchester incluyen el centro deportivo Colchester Leisure World, el Colchester Garrison Athletics Stadium (una instalación cooperativa utilizada tanto por el ejército como por la población civil) y un skatepark.

El zoológico de Colchester es un gran zoológico ubicado en las afueras de la ciudad.

El principal hito medieval de Colchester es el Castillo de Colchester, que es una torre del homenaje normanda del siglo XI construida sobre las bóvedas del antiguo templo romano. Hay ruinas medievales notables en Colchester, incluida la puerta de entrada sobreviviente de la abadía benedictina de San Juan Bautista (conocida localmente como "Abadía de San Juan") y las ruinas del priorato agustino de San Botolph (conocido localmente como " Priorato de San Botolph"). Muchas de las iglesias parroquiales de Colchester datan de este período.

Colchester se desarrolló rápidamente a finales del siglo XIV como centro de la industria de tejidos de lana y se hizo famoso en muchas partes de Europa por sus rojizos (telas de color marrón grisáceo). Esto permitió a la población recuperarse excepcionalmente rápido de los efectos de la Peste Negra, particularmente mediante la inmigración a la ciudad.

Entre 1550 y 1600, un gran número de tejedores y fabricantes de telas de Flandes emigraron a Colchester y sus alrededores. Eran famosos por la producción de telas "Bays and Says", que se tejían con lana y normalmente se asocian con Baize y Serge, aunque los ejemplos supervivientes muestran que eran bastante diferentes de sus equivalentes modernos. Una zona del centro de la ciudad de Colchester todavía se conoce como el Barrio Holandés y muchos edificios datan del período Tudor. Durante este período, Colchester era una de las ciudades laneras más prósperas de Inglaterra y también era famosa por sus ostras. La antigua muralla romana recorre Northgate Street en el barrio holandés.

En 1648, durante la Segunda Guerra Civil Inglesa, un ejército realista liderado por Lord Goring entró en la ciudad. Un ejército parlamentario dirigido por Sir Thomas Fairfax y Henry Ireton rodeó la ciudad durante once semanas y media, un período conocido como el Asedio de Colchester. Comenzó el 13 de junio. Los realistas se rindieron a finales del verano (el 27 de agosto, Lord Goring firmó el documento de rendición en Kings Head Inn) y Sir Charles Lucas y Sir George Lisle fueron ejecutados en los terrenos del castillo de Colchester. Un pequeño obelisco marca el lugar donde cayeron.

Daniel Defoe menciona en Un recorrido por Inglaterra y Gales que la ciudad perdió a más de 5000 personas a causa de la peste en 1665, "más en proporción que cualquiera de sus vecinos, o que la ciudad de Londres". Sin embargo, cuando escribió esto en 1722, estimaba que su población era de alrededor de 40.000 habitantes (incluidas las "aldeas periféricas").

En 1884, la ciudad fue golpeada por el terremoto de Colchester, estimado en 4,7 en la escala de Richter, causando grandes daños regionales.

A principios del siglo XX, Colchester presionó para ser la sede de una nueva diócesis de la Iglesia de Inglaterra para Essex, que se separaría de la actual Diócesis de Rochester. La oferta no tuvo éxito y la ciudad del condado de Chelmsford formó la sede de la nueva diócesis. La Universidad de Essex se estableció en las afueras de la ciudad en Wivenhoe Park en 1961. La circunvalación este de Colchester A120 de ocho millas y 22,7 millones de libras esterlinas se inauguró en junio de 1982.