Colchester war seit der Römerzeit eine wichtige Militärgarnison. Die Colchester-Garnison ist derzeit die Heimat der 16. Luftangriffsbrigade. Das einzige militärische Korrekturtrainingszentrum der Armee, umgangssprachlich innerhalb der Streitkräfte und vor Ort als „The Glasshouse“ bekannt, nach dem ursprünglichen Militärgefängnis in Aldershot,[36] befindet sich in der Berechurch Hall Road, am Stadtrand von Colchester.[37] In der Einrichtung sind Soldatinnen und Soldaten aller drei Streitkräfte untergebracht, die zu Haftstrafen verurteilt wurden.

Von 1998 bis 2008 wurde das Garnisonsgebiet der Stadt umfassend saniert. Ein großer Teil des Landes des Verteidigungsministeriums wurde für die private Wohnbebauung verkauft und Teile der Garnison wurden verlegt. Viele Teile der Garnison stehen nun leer und warten auf die zweite Phase des Ausbaus.

Seit 2006 ist Colchester einer von zwölf Orten im Vereinigten Königreich, an denen anlässlich königlicher Jubiläen und Besuche ausländischer Staatsoberhäupter königliche Salutschüsse abgefeuert werden. Seit 2009 finden diese Salutschüsse im Schlosspark statt.

Colchester beherbergt mehrere Museen. Das Schlossmuseum im Colchester Castle bietet eine umfangreiche Ausstellung über das römische Colchester. In der Nähe befinden sich das Hollytrees Museum, ein sozialgeschichtliches Museum mit Ausstellungen für Kinder im ehemaligen Haus von Charles Gray, und das Naturkundemuseum der Stadt, das sich in der ehemaligen Allerheiligenkirche befindet. Das Tymperley's Clock Museum befindet sich im Stadtzentrum in einem Fachwerkhaus aus dem 15. Jahrhundert, in dem einst William Gilbert lebte, und beherbergt heute die Uhrensammlung von Bernard Mason.

Die Verbindung der Stadt zum Fußball begann mit dem Amateurverein Colchester Town, der 1867 gegründet und 1937 aufgelöst wurde. Ihm folgte der Profiverein Colchester United, der in der Football League One antritt und Heimspiele im Colchester Community Stadium austrägt. Der 1937 gegründete Verein trat 1950 der Football League bei. Colchester United Ladies spielen in der FA Women's Premier League Southern Division. Weitere in der Stadt ansässige Sportmannschaften sind der Colchester Rugby Football Club, der Colchester Gladiators American Football Club, der Colchester Weight Lifting Club und der Colchester & East Essex Cricket Club. Der Essex County Cricket Club spielt einige seiner Heimspiele auf dem Castle Park Cricket Ground, der Heimat von Colchester & East Essex.

Zu den Sporteinrichtungen in Colchester gehören das Sportzentrum, die Colchester Leisure World, das Colchester Garrison Athletics Stadium (eine kooperative Einrichtung, die sowohl von der Armee als auch der Zivilbevölkerung genutzt wird) und ein Skatepark.

Der Colchester Zoo ist ein großer Zoo am Rande der Stadt.

Das wichtigste Wahrzeichen des mittelalterlichen Colchester ist Colchester Castle, ein normannischer Bergfried aus dem 11. Jahrhundert, der auf den Gewölben des alten römischen Tempels errichtet wurde. In Colchester gibt es bemerkenswerte mittelalterliche Ruinen, darunter das erhaltene Tor der Benediktinerabtei St. John the Baptist (lokal bekannt als „St. John's Abbey“) und die Ruinen des Augustinerklosters St. Botolph (lokal bekannt als „St. John's Abbey“). St. Botolph's Priory"). Viele der Pfarrkirchen von Colchester stammen aus dieser Zeit.

Colchester entwickelte sich im späteren 14. Jahrhundert rasch zu einem Zentrum der Wolltuchindustrie und wurde in vielen Teilen Europas für seine Russets (Stoffe von graubrauner Farbe) berühmt. Dadurch konnte sich die Bevölkerung, insbesondere durch Zuwanderung in die Stadt, außerordentlich schnell von den Auswirkungen der Pest erholen.

Zwischen 1550 und 1600 wanderten zahlreiche Weber und Tuchmacher aus Flandern nach Colchester und in die umliegenden Gebiete aus. Sie waren berühmt für die Herstellung von „Bays and Says“-Tüchern, die aus Wolle gewebt wurden und normalerweise mit Baize und Serge in Verbindung gebracht werden, obwohl erhaltene Beispiele zeigen, dass sie sich deutlich von ihren modernen Gegenstücken unterschieden. Ein Bereich im Stadtzentrum von Colchester ist noch immer als „Dutch Quarter“ bekannt und viele Gebäude stammen aus der Tudor-Zeit. Zu dieser Zeit war Colchester eine der wohlhabendsten Wollstädte Englands und auch für seine Austern berühmt. Die alte römische Mauer verläuft entlang der Northgate Street im Holländischen Viertel.

Im Jahr 1648, während des Zweiten Englischen Bürgerkriegs, marschierte eine von Lord Goring angeführte Royalistenarmee in die Stadt ein. Eine verfolgende parlamentarische Armee unter der Führung von Sir Thomas Fairfax und Henry Ireton umzingelte die Stadt elfeinhalb Wochen lang, eine Zeit, die als Belagerung von Colchester bekannt ist. Es begann am 13. Juni. Die Royalisten kapitulierten im Spätsommer (am 27. August unterzeichnete Lord Goring das Kapitulationsdokument im Kings Head Inn) und Sir Charles Lucas und Sir George Lisle wurden auf dem Gelände von Colchester Castle hingerichtet. Ein kleiner Obelisk markiert die Stelle, an der sie fielen.

Daniel Defoe erwähnt in A tour through England and Wales, dass die Stadt im Jahr 1665 über 5000 Menschen durch die Pest verlor, „mehr im Verhältnis als jeder ihrer Nachbarn oder als die Stadt London“. Als er dies 1722 schrieb, schätzte er die Bevölkerung jedoch auf etwa 40.000 (einschließlich „Außendörfer“).

Im Jahr 1884 wurde die Stadt vom Erdbeben in Colchester mit einer Stärke von schätzungsweise 4,7 auf der Richterskala heimgesucht, das in der Region erhebliche Schäden verursachte.

Zu Beginn des 20. Jahrhunderts setzte sich Colchester dafür ein, Sitz einer neuen Diözese der Church of England für Essex zu werden, die von der bestehenden Diözese Rochester abgespalten werden sollte. Das Angebot war erfolglos, da die Kreisstadt Chelmsford den Sitz der neuen Diözese bildete. Die University of Essex wurde 1961 am Rande der Stadt im Wivenhoe Park gegründet. Die 22,7 Millionen Pfund teure acht Meilen lange A120 Colchester Eastern Bypass wurde im Juni 1982 eröffnet.