Первые оборонительные сооружения Милана было решено возвести в 1368 году за пределами городских стен. Эта идея пришла в голову второго герцога Галеаццо Висконти. Тогда первый замок, гораздо меньших размеров, чем нынешний, был построен на этой земле. Следующий Висконти, Джан-Галеаццо, которого мы знаем как инициатора строительства Дуомо, задумал расширить крепость и сделать из нее резиденцию, которая бы отражала богатство, достоинство и могущество семьи. Последний Висконти, Филиппо-Мария, нанял лучшего в то время архитектора, Брунеллески, и приказал сделать из замка чуть ли не самое роскошное здание Милана. Однако за время существования Амброзианской республики и сопутствующих этому волнений большая часть замка получила серьезные повреждения.

В 1450 году к власти пришел Франческо II Сфорца, бывший начальником войск у Филиппо-Марии и мужем его дочери Бьянки. Несмотря на то, что народ требовал снести замок, он решил его восстановить. Прежде всего, он дал развалинам свое имя и пригласил инженеров Джованни да Милапо и Марко-Леоне да Ногароло для отстройки замка. После них над крепостью работал Антонио Аверулино по прозвищу Филарет. Его имя увековечено в истории замка — над главными воротами возвышается 70-метровая башню, под названием Филаретова башня. Ее второе название, башня Умберто II, возникло в XIX веке после очередной реставрации замка, которую пришлось производить после взрыва пороха в 1521 году. Именно тогда она на ней появился скульптурный портрет вышеупомянутого монарха.

В 1466 году Франческо Сфорца скончался, совсем немного не дожив до завершения реставрационных работ. Замок приобрел две угловые башни и глубокий ров, вырытый перед стенами с перекидным деревянным мостом. Место, где крепилось устройство, отвечавшее за поднятие моста, все еще можно заметить на надвратной башне, так как отверстия от него заделаны более светлым кирпичом.

Следующий правитель из рода Сфорца, Галеаццо Мария, в 1469 году активно занялся реконструкцией внутреннего Герцогского дворца. Этот герцог отличался своей нетерпеливостью, подгонял бедных строителей, и добился своего: он успел переселиться в свою новую резиденцию еще при жизни. Конечно, внутренний декор не был закончен. Росписи украшали только половину залов, остальные были задрапированы бархатом красных и зеленых оттенков, а один зал был покрыт сусальным золотом.