La sede della Galleria d'Arte Moderna del Comune di Verona occupa parte dell'isolato di origine romana delimitato da Via Forti, Via Massalongo, Corso S. Anastasia e Vicolo Due Mori.
L'ossatura originaria di Palazzo Forti potrebbe essere databile intorno al secolo XIII. Unica testimonianza quasi sicuramente attribuibile a questo periodo è la cosiddetta "ala di Ezzelino da Romano". Si tratta di Ezzelino III, tirannico capitano del popolo che governò Verona dal 1232 al 1259, dopo il matrimonio con Selvaggia, figlia naturale dell'imperatore Federico II. Dopo la morte cruenta dello stesso Ezzelino (1259) la costruzione subì e distruzioni o trasformazioni, soprattutto durante la dominazione scaligera. La struttura medievale ha subìto nel tempo tre grossi interventi. Il primo eseguito alla metà del '400, dopo l'acquisto da parte della famiglia Emilei che, proveniente dal feudo di Montirone nel bresciano, si era trasferita a Verona fin dal 1416. Gli Emilei trasformarono l'edificio in palazzo residenziale, con locali di rappresentanza, biblioteche, giardini, cortili, servizi ecc, Il secondo intervento è di epoca cinquecentesca; il terzo, avvenuto nel '700, ha comportato il rifacimento del fronte principale ad opera dell'architetto Ignazio Pellegrini, Il palazzo divenne un importante luogo di incontri culturali, politici e artistici.
Francesco Emilei, provveditore della città, vi ospitò Napoleone I. Per ironia della sorte Francesco Emilei venne poi condannato a morte, come insurrezionalista, dallo stesso tribunale capeggiato da Napoleone. E a nulla valse la raccomandazione della nobildonna Silvia Curtoni Verza, che visse con lui una romantica storia d'amore, Dalle cronache si deduce che si ripete in parte la vicenda di Tosca, con una finta ma in realtà vera esecuzione e, sembra, un tentativo di suicidio di Silvia, che tuttavia si legherà più tardi al poeta Ippolito Pindemonte. ln seguito Pietro Emilei, acceso carbonaro, fu costretto per sopravvivere ad affittare i locali del piano nobile del palazzo al Comando granducale austriaco presieduto dal generale Radetzky. Per l'occasione la dimora fu ingrandita e prolungata fino all'attuale Via Massalongo.
Il periodo dell'occupazione austriaca fu quello di maggior risonanza pubblica del palazzo. Fu proprio Pietro degli Emilei che, dopo un periodo di prigionia nella fortezza di Salisburgo (fu accusato di appartenere a società segrete liberali), al suo rientro in patria vendette il palazzo, nel 1854, a lsraele Forti, che ne ordinò un ampio restauro. Nel 1937 Achille Forti, illustre botanico e ultimo discendente della famiglia, lasciò il palazzo in eredità al Comune di Verona che, come da volontà testamentarie, lo adibì a museo d'arte moderna. Con questi compiti il palazzo rimase aperto per poco più di un anno. ln seguito alle vicende belliche fu adibito prima a sede dell'Accademia di Belle Arti e Liceo Artistico, poi a Uffici dell'amministrazione comunale fino al 1950 circa.
Nel 1966 furono intrapresi alcuni lavori di restauro, sotto la sovrintendenza del Prof. Licisco Magagnato, che misero in luce le strutture medievali. Intanto, ma solo per qualche mese, fu riaperta la sede museale, che fu però definitivamente chiusa (tranne qualche solitaria esposizione) fino agli anni '80.
Nel 1982 l'amministrazione comunale decise la definitiva apertura della Galleria che venne inaugurata il 14 marzo dello stesso anno. Da allora, sotto la direzione del Prof. Giorgio Cortenova. la struttura museale ha organizzato numerose e importanti rassegne dedicate ai personaggi e ai movimenti più importanti del panorama artistico nazionale e internazionale: da Gnoli a Cintoli, da Capogrossi a Baj, da Leoncillo a Pozzati, da De Chirico a Tancredi, da Degas a Guttuso, da "Astratta" alle "Scuole romane", dagli impressionisti a Modigliani, dagli espressionisti a Magritte, Picasso, Klee, Kandinsky e altri. Si è inoltre atteso alla collezione che annovera opere di Fattori, Casorati, Birolli, Hayez, Semeghini, Guidi, Dall'Oca Bianca, Trentini ecc.