Форт был построен в 1855–1856 годах под руководством Э. И. Тотлебена и впоследствии перестроен К. Я. Зверевым в 1869–1879 годах. Название связано с Дмитрием Алексеевичем Милютиным — соратником Александра II, доктором истории, членом-корреспондентом и почётным членом Академии наук. При нём началась масштабная модернизация крепостных сооружений. Время перестройки совпало с переходом к нарезной артиллерии, что потребовало кардинально нового подхода к размещению орудий.
Поводом для строительства башенной батареи стал бой «Монитора» с «Мерримаком» в американской Гражданской войне. Впервые в русской фортификации орудия установили в вращающихся башнях — пока ещё несовершенных, но открывавших новые горизонты. Форт получил прозвище «Башенная» и стал одним из ключевых звеньев южного направления обороны.




