Colchester è stata un'importante guarnigione militare sin dall'epoca romana. La guarnigione di Colchester è attualmente sede della 16a brigata d'assalto aereo. L'unico centro di addestramento correttivo militare dell'esercito, conosciuto colloquialmente all'interno delle forze armate e localmente come "The Glasshouse" dal nome della prigione militare originale di Aldershot,[36] si trova a Berechurch Hall Road, alla periferia di Colchester.[37] Il centro ospita militari e donne di tutti e tre i servizi condannati a scontare periodi di detenzione.

Dal 1998 al 2008 la zona del presidio cittadino è stata oggetto di una massiccia riqualificazione. Gran parte del terreno del Ministero della Difesa fu venduto per un complesso residenziale privato e parti della guarnigione furono spostate. Molte parti della guarnigione sono ora vuote in attesa della seconda fase dello sviluppo.

Dal 2006, Colchester è stato uno dei 12 luoghi nel Regno Unito in cui vengono lanciati i saluti reali per celebrare gli anniversari reali e le visite di capi di stato stranieri. Dal 2009 questi saluti si sono svolti a Castle Park.

Colchester ospita numerosi musei. Il Museo del Castello, che si trova all'interno del Castello di Colchester, presenta un'ampia mostra sulla Colchester romana. Nelle vicinanze si trovano l'Hollytrees Museum, un museo di storia sociale con mostre per bambini nell'ex casa di Charles Gray, e il Museo di storia naturale della città, situato nell'ex chiesa di Ognissanti. Il Museo dell'orologio di Tymperley, situato nel centro della città in una casa a graticcio del XV secolo, un tempo dimora di William Gilbert, ora ospita la collezione di orologi Bernard Mason.

Il legame della città con il calcio era iniziato con il club amatoriale Colchester Town, formato nel 1867 e sciolto nel 1937. Gli successe il club professionistico Colchester United, che gareggia nella Football League One e gioca partite casalinghe al Colchester Community Stadium. Fondato nel 1937, il club entrò nella Football League nel 1950. Il Colchester United Ladies gioca nella Southern Division della FA Women's Premier League. Altre squadre sportive con sede nella città includono il Colchester Rugby Football Club, il Colchester Gladiators American Football Club, il Colchester Weight Lifting Club e il Colchester & East Essex Cricket Club. L'Essex County Cricket Club gioca alcune delle partite casalinghe al Castle Park Cricket Ground, sede di Colchester e East Essex.

Gli impianti sportivi a Colchester includono il centro sportivo, Colchester Leisure World, Colchester Garrison Athletics Stadium (una struttura cooperativa utilizzata sia dall'esercito che dalla popolazione civile) e uno skatepark.

Lo zoo di Colchester è un grande zoo situato alla periferia della città.

Il principale punto di riferimento della Colchester medievale è il castello di Colchester, un mastio normanno dell'XI secolo costruito sopra le volte dell'antico tempio romano. Ci sono notevoli rovine medievali a Colchester, tra cui la porta superstite dell'abbazia benedettina di San Giovanni Battista (conosciuta localmente come "Abbazia di San Giovanni"), e le rovine del priorato agostiniano di San Botolph (conosciuto localmente come "Abbazia di San Giovanni"). Priorato di San Botolo"). Molte delle chiese parrocchiali di Colchester risalgono a questo periodo.

Colchester si sviluppò rapidamente durante la fine del XIV secolo come centro dell'industria dei tessuti di lana e divenne famosa in molte parti d'Europa per i suoi color ruggine (tessuti di colore grigio-marrone). Ciò ha permesso alla popolazione di riprendersi in modo eccezionalmente rapido dagli effetti della peste nera, in particolare grazie all'immigrazione nella città.

Tra il 1550 e il 1600, un gran numero di tessitori e fabbricanti di tessuti dalle Fiandre emigrarono a Colchester e nelle zone circostanti. Erano famosi per la produzione di panni "Bays and Says" che erano tessuti di lana e sono normalmente associati a Baize e Serge, sebbene gli esempi sopravvissuti mostrino che erano piuttosto diversi dai loro equivalenti moderni. Un'area nel centro di Colchester è ancora conosciuta come il quartiere olandese e molti edifici risalgono al periodo Tudor. Durante questo periodo Colchester era una delle città della lana più prospere d'Inghilterra ed era famosa anche per le sue ostriche. Le antiche mura romane corrono lungo Northgate Street nel quartiere olandese.

Nel 1648, durante la seconda guerra civile inglese, un esercito realista guidato da Lord Goring entrò nella città. Un esercito parlamentare inseguitore guidato da Sir Thomas Fairfax e Henry Ireton circondò la città per undici settimane e mezzo, un periodo noto come l'Assedio di Colchester. Tutto è iniziato il 13 giugno. I realisti si arresero alla fine dell'estate (il 27 agosto Lord Goring firmò il documento di resa al Kings Head Inn) e Sir Charles Lucas e Sir George Lisle furono giustiziati nel parco del castello di Colchester. Un piccolo obelisco segna il punto in cui caddero.

Daniel Defoe menziona in Un tour attraverso l'Inghilterra e il Galles che la città perse oltre 5000 persone a causa della peste nel 1665, "più in proporzione di tutti i suoi vicini, o della città di Londra". Quando scrisse questo nel 1722, tuttavia, stimò che la sua popolazione fosse di circa 40.000 abitanti (compresi i "villaggi esterni").

Nel 1884, la città fu colpita dal terremoto di Colchester, stimato di magnitudo 4,7 sulla scala Richter, che causò ingenti danni alla regione.

All'inizio del XX secolo Colchester fece pressioni affinché diventasse la sede di una nuova diocesi della Chiesa d'Inghilterra per l'Essex, da separare dall'esistente diocesi di Rochester. L'offerta non ebbe successo, con la città della contea di Chelmsford che divenne la sede della nuova diocesi. L'Università dell'Essex è stata fondata alla periferia della città a Wivenhoe Park nel 1961. La tangenziale orientale di Colchester A120 da 22,7 milioni di sterline è stata aperta nel giugno 1982.