Андрей Никитич родился в 1886 году в семье рабочего. С 1899 года работал токарем на заводах Москвы и Санкт-Петербурга. За участие в революционном рабочем движении был под арестом в 1907-1909 годах. Во время Первой мировой войны был призван в действующую армию и находился на фронте.
В феврале 1917 года вступил в РСДРП(б). Находясь в рядах Красной гвардии, принимал активное участие в боях в Гатчине и Петрограде. Ездил в Москву к Ленину, чтобы объяснить действия Черезвычайкома. Вскоре после этого переведён в Иваново, затем в Москву. Награждён знаком «Почётный чекист».
В 1926-1929 годах назначен управляющим строительно-монтажного треста «Строитель» (г. Москва). Под его руководством осуществлено строительство завода им. Сталина (ЗИЛ), заводов «Фрезер», «Калибр», «Борец», станкозавода, велозавода, комбината газеты «Правда», здания «Наркомзёма».
В 1937 году возглавил Управление строительством Дворца Советов при СНК СССР.
С октября 1941-го по июль 1943 года – начальник Управления строительства Уральского алюминиевого завода и Красногорской ТЭЦ (особой строительно-монтажной части «Уралалюминстрой») в Каменске-Уральском.
А. Н. Прокофьев стал прототипом Ивана Прокофьевича Ивашова – героя повестей Анатолия Алексина «Ивашов» (1980) и «Запомни его лицо…» (1985) (трилогия «В тылу как в тылу»).
«Самый мощный и опытный в стране строительный коллектив, в котором работала мама, был брошен на выполнение «исторического» задания». «Ты будешь нам нужен!» – сказал мне начальник стройки Андрей Никитич Прокофьев, которого любили и называли стариком, хотя теперь я понимаю, что ему было едва за пятьдесят. Он знал меня и потому, что я был сыном своей мамы, и потому, что уже тогда, в мальчишеском возрасте, часто печатался и выступал по радио. Одним словом, мы с мамой отправились вместе», – так в книге «Перелистывая годы» Анатолий Георгиевич Алексин описывает свое знакомство с Прокофьевым.
В 1943 году Прокофьев назначен начальником «Главвоенпромстроя» при СНК СССР.
В 1946 году – начальником строительства военных и военно-морских предприятий. В марте 1949 года А. Н. Прокофьев стал заместителем министра строительства предприятий машиностроения. Ушёл из жизни 19 октября 1949 года.