Colchester tem sido uma importante guarnição militar desde a era romana. A Guarnição de Colchester abriga atualmente a 16ª Brigada de Assalto Aéreo. O único centro de treinamento correcional militar do Exército, conhecido coloquialmente dentro das forças e localmente como "A Casa de Vidro", em homenagem à prisão militar original em Aldershot, [36] fica na Berechurch Hall Road, nos arredores de Colchester. [37] O centro abriga militares de todos os três serviços que são condenados a cumprir períodos de detenção.

De 1998 a 2008, a área da guarnição da cidade passou por uma grande reforma. Grande parte do terreno do Ministério da Defesa foi vendida para desenvolvimento habitacional privado e partes da guarnição foram transferidas. Muitas partes da guarnição agora estão vazias, aguardando a segunda fase do desenvolvimento.

Desde 2006, Colchester é um dos 12 lugares no Reino Unido onde Saudações Reais são disparadas para marcar aniversários reais e visitas de chefes de estado estrangeiros. Desde 2009, essas saudações acontecem no Castle Park.

Colchester abriga vários museus. O Museu do Castelo, localizado dentro do Castelo de Colchester, apresenta uma extensa exposição sobre a Colchester romana. Nas proximidades, encontram-se o Museu Hollytrees, um museu de história social com exposições infantis na antiga casa de Charles Gray, e o Museu de História Natural da cidade, localizado na antiga Igreja de Todos os Santos. O Museu do Relógio de Tymperley, localizado no centro da cidade, em uma casa de madeira do século XV, antiga residência de William Gilbert, agora abriga a coleção de relógios Bernard Mason.

A ligação da cidade com o futebol começou com o clube amador Colchester Town, formado em 1867 e dissolvido em 1937. Eles foram sucedidos pelo clube profissional Colchester United, que compete na Football League One e joga em casa no Colchester Community Stadium. Fundado em 1937, o clube entrou na Football League em 1950. O Colchester United Ladies joga na Divisão Sul da Premier League Feminina da FA. Outros times esportivos baseados na cidade incluem o Colchester Rugby Football Club, o Colchester Gladiators American Football Club, o Colchester Weight Lifting Club e o Colchester & East Essex Cricket Club. O Essex County Cricket Club joga alguns de seus jogos em casa no Castle Park Cricket Ground, casa do Colchester & East Essex.

As instalações esportivas em Colchester incluem o centro esportivo, o Colchester Leisure World, o Colchester Garrison Athletics Stadium (uma instalação cooperativa usada tanto pelo exército quanto pela população civil) e um parque de skate.

O Zoológico de Colchester é um grande zoológico localizado nos arredores da cidade.

O principal marco medieval de Colchester é o Castelo de Colchester, uma torre de menagem normanda do século XI, construída sobre as abóbadas do antigo templo romano. Há ruínas medievais notáveis em Colchester, incluindo o portal remanescente da abadia beneditina de São João Batista (conhecida localmente como "Abadia de São João") e as ruínas do priorado agostiniano de São Botolfo (conhecido localmente como "Priorado de São Botolfo"). Muitas das igrejas paroquiais de Colchester datam desse período.

Colchester desenvolveu-se rapidamente no final do século XIV como um centro da indústria de tecidos de lã e tornou-se famosa em muitas partes da Europa por seus russets (tecidos de cor cinza-amarronzada). Isso permitiu que a população se recuperasse excepcionalmente rápido dos efeitos da Peste Negra, principalmente pela imigração para a cidade.

Entre 1550 e 1600, um grande número de tecelões e fabricantes de tecidos de Flandres emigraram para Colchester e áreas vizinhas. Eles eram famosos pela produção de tecidos "Bays and Says", tecidos de lã e normalmente associados ao Baize e à Sarja, embora exemplares remanescentes mostrem que eram bastante diferentes de seus equivalentes modernos. Uma área no centro de Colchester ainda é conhecida como Bairro Holandês e muitos edifícios ali datam do período Tudor. Durante esse período, Colchester foi uma das cidades produtoras de lã mais prósperas da Inglaterra e também famosa por suas ostras. A antiga muralha romana estende-se ao longo da Rua Northgate, no Bairro Holandês.

Em 1648, durante a Segunda Guerra Civil Inglesa, um exército realista liderado por Lord Goring invadiu a cidade. Um exército parlamentarista, liderado por Sir Thomas Fairfax e Henry Ireton, cercou a cidade por onze semanas e meia, um período conhecido como o Cerco de Colchester. Começou em 13 de junho. Os realistas se renderam no final do verão (em 27 de agosto, Lord Goring assinou o documento de rendição na Kings Head Inn) e Sir Charles Lucas e Sir George Lisle foram executados nos terrenos do Castelo de Colchester. Um pequeno obelisco marca o local onde caíram.

Daniel Defoe menciona em "Um passeio pela Inglaterra e País de Gales" que a cidade perdeu mais de 5.000 pessoas para a peste em 1665, "mais em proporção do que qualquer um de seus vizinhos, ou do que a cidade de Londres". Na época em que escreveu isso, em 1722, no entanto, ele estimou sua população em cerca de 40.000 (incluindo "vilas periféricas").

Em 1884, a cidade foi atingida pelo terremoto de Colchester, estimado em 4,7 na escala Richter, causando grandes danos regionais.

No início do século XX, Colchester fez lobby para se tornar a sede de uma nova diocese da Igreja da Inglaterra para Essex, a ser separada da Diocese de Rochester. A proposta não teve sucesso, com a cidade de Chelmsford se tornando a sede da nova diocese. A Universidade de Essex foi fundada nos arredores da cidade, em Wivenhoe Park, em 1961. A A120 Colchester Eastern Bypass, de £ 22,7 milhões e 13 quilômetros, foi inaugurada em junho de 1982.