Віктор Дмитрович Єлізаров народився в с. Пашково Веньовського р-ну Тульської обл. У 1937 р. закінчив Московський архітектурний інститут, де навчався фаховим знанням в майстернях академіка І. Фоміна, професорів І. Рильського та М. Марковнікова, був помічником в академіка архітектури І. Жолтовського. Керівництво дипломним проектом В. Єлізарова провадив відомий архітектор О. Власов, з іменем якого буде пов"язана подальша праця.
Після закінчення інституту В. Єлізаров працював на Донбасі (робота над експериментальними проектами селищних і сільських житлових будинків), згодом - у Москві. У столиці колишнього СРСР спільно з О. Власовим і В. Москвіним молодий Віктор Дмитрович розробляв проект Ботанічного саду АН СРСР. Крім того, В. Єлізаров брав участь у проектуванні будівель Центрального парку культури і відпочинку ім. О. М. Горького, розробив проект аеровокзалу та пасажирського терміналу Московського аеропорту.
Під час Другої світової війни він залишається працювати в Москві, проектуючи й керуючи будівництвом оборонних споруд міста.
З 1944 р. В. Єлізарова призначено керівником архітектурних майстерень (згодом - «Київпроекту») і заступником головного архітектора м. Києва. Він очолював роботи з реконструкції площі Богдана Хмельницького, розробив проект і керував реконструкцією бульвару Тараса Шевченка. Протягом 1949-1957 рр. був одним із розробників проекту відновлення й забудови Хрещатика (у співавторстві з О. Власовим, А. Добровольським, Б. Приймаком та ін.).
У 1955 р. у співавторстві з Л. Куликовим, А. Осмером, М. Шилом і Г. Кульчицьким Віктор Дмитрович спроектував будівлю колишнього Міністерства сільського господарства УРСР (вул. Хрещатик, 24).
Завдяки клопотанню В. Д. Єлізарова під час реконструкції та відбудови головної вулиці Києва до кінця ХХ ст. на вул. Хрещатик не зносили вцілілу після війни будівлю старого поштамту. На жаль, будинок був знесений на початку XXI ст. задля зведення на його місці «хмарочосу». У 1964 р. у співавторстві з Н. Б. Чмутіною та ін. архітекторами Віктор Дмитрович спроектував готель «Дніпро» (вул. Хрещатик, 1/2). На вул. Хрещатик, 26 за проектом митця у 1952 р. також збудована будівля Телевізійного центру.
У співпраці з колегами В. Д. Єлізаров спроектував чимало споруд у м. Києва, серед них: комплекс нового Київського аеропорту «Жуляни» (1946-1949), Клуб залізничників у Дарниці (1950), комбінат друку на Брест-Литовському проспекті (нині - просп. Перемоги) (1958-1965). Архітектор взяв активну участь в розробці проекту генерального плану Виставки досягнень народного господарства УРСР (нині - Національний комплекс «Експоцентр України») та її виставкових павільйонів, зокрема, зернових та олійних культур (1957). Крім того, наукові дослідження та проектні розробки Віктора Дмитровича стали поштовхом для введення в широку практику нових типів житлових будинків, зокрема, комплекс великоблокових будинків у Жданові (сучасний Маріуполь) (1952-1955); експериментальні житлові будинки в Харкові (1955-1956); великопанельні споруди на вулиці Олексіївській (1957-1961) та п"яти- і дванадцятиповерхові великопанельні експериментальні будинки на житловому масиві Києва (1961-1965).
У 1953 р. Віктор Дмитрович захистив дисертаційне дослідження «Тонкостінна кераміка в архітектурі житлових будинків». Серед наукових праць, що стали класичними в архітектурі, були «Будівельна семирічка України» (1960), «Пути дальнейшего развития индустриализации, улучшения качества и снижения стоимости жилищно-гражданского строительства в г. Києве» (1962), «Строительство и архитектура. Жилые дома» (1964), «Массовое жилищное строительство» (1966).
У 1948-1963 рр. В. Д. Єлізаров працює в Академії архітектури УРСР (з 1950 р. був обраний членом-кореспондентом Академії архітектури, після її реорганізації - дійсним членом Академії будівництва і архітектури Української РСР (1958), від 1961 р. - її віце-президентом, а у 1992 р. - почесним членом Української академії архітектури). Він керував науковою діяльністю інститутів Академії в галузі розробки нових прогресивних типів житла, зокрема діяльністю Київського інженерно-будівельного інституту (нині - Київський національний університет будівництва і архітектури), НДІ архітектури споруд, інститутів - «Київпроект» і «Діпромісто».
З 1964 по 1975 рр. В. Д. Єлізаров був заступником, а згодом - першим заступником голови Держбуду УРСР.
У 1973 р. Віктор Дмитрович розробив проект двадцятиповерхового готелю «Київ» (вул. М. Грушевського, 26/1). На момент зведення це був найвищий будинок в Україні.
На початку 1970-х рр. розпочинається будівництво меморіального комплексу «Українського державного музею історії Великої Вітчизняної війни 1941-1945 років» (нині - Національний музей історії Великої Вітчизняної війни 1941-1945 років). Його форпроект розробили скульптор Є. Вучетич і архітектор Є. Стамо. Віктору Дмитровичу доручили керувати творчою групою провідних архітекторів Києва й Москви. Архітектор впорався з завданням і починаючи з 9 травня 1981 р. Київ уже не уявляється без музею Великої Вітчизняної війни 1941-1945 рр., монументу «Батьківщина-мати». За вагомий внесок у створення меморіального комплексу В. Д. Єлізарова та інших учасників проекту було нагороджено Ленінською премією СРСР (1984).
Під час будівництва музею на схилах Дніпра було створено Печерський ландшафтний парк. На його території проклали доріжки, облаштували майданчики для відпочинку, розбили газони і квітники. Наприкінці 1980-х рр. у центральній частині парку було створено Співоче поле.
У похилому віці Віктор Дмитрович продовжував напружено працювати. Мрією архітектора було створити в Києві парк, який за рівнем мистецького виконання можна було б порівнювати з Олександрією чи Софіївкою.
20 лютого 1987 р. Віктора Дмитровича не стало.
Відновлений повоєнний Хрещатик, і колишній меморіальний комплекс «Український державний музей історії Великої Вітчизняної війни 1941-1945 років» (сучасний Національний музей історії Великої Вітчизняної війни 1941-1945 років), і станція метро «Хрещатик», і колишня Виставка досягнень народного господарства УРСР (нині - Національний комплекс «Експоцентр України») та її виставкові павільйони - це та спадщина, яку залишив по собі Віктор Дмитрович Єлізаров.