Palazzo Caffi fa parte di un gruppo di prestigiosi edifici che, nel corso del tempo sono andati a costituire il complesso dello storico Ospedale Civile di Belluno connotando in modo deciso questa porzione di città.

L’ edificio più antico dell’insieme è Palazzo Bembo in quanto il suo impianto risale al 1568 quando il vescovo Contarini lo fece erigere per ospitare il primo Seminario dei Chierici.

Nel 1885 venne realizzata la prima parte della lunga ala su via Caffi, oggi nota come Palazzo Caffi. Questa prima costruzione dal fronte elegante e raffinato nella decorazione che evidenzia i piani e le aperture, si concludeva prima del grande accesso centrale, che introduce alla vasta corte interna, ed è tuttora riconoscibile poiché sono ancora visibili le lesene in rilievo che ne segnavano l’angolata.
Nel 1909 fu eseguito verso est un nuovo edificio, vicino ed in linea con quello gia esistente, e poco dopo, nel 1925, venne realizzato il collegamento tra i due fabbricati coprendo al piano terra il suddetto accesso ancora oggi in uso. L’ultima porzione ad est, che oggi ospita un istituto bancario, venne eseguita nel 1928.
Nell’ultimo dopoguerra fu poi realizzato l’ultimo piano, innalzando l’edificio.

Stoneservice s.r.l. opererà realizzando la pavimentazione in pietra Muggia.