По окончании Петроградского политехнического института и курсов авиации при нём (1916) работал на Русско-Балтийском вагонном заводе, где под руководством И.И. Сикорского участвовал в постройке самолёта «Илья Муромец» и проектировании истребителей РБВЗ. С 1918 работал на заводе «Дукс» (авиазавод №1), где до 1923 г. руководил техническим отделом.
Весной 1923 г. Поликарповым был создан первый советский истребитель И-1 (ИЛ-400), ставший первым в мире истребителем - свободонесущим монопланом. В 1923 под руководством Поликарпова создан и разведчик Р-1. В январе 1925 Н.Н.П. (после отъезда Д.П.Григоровича в Ленинград) добился организации на ГАЗ 1 им. Авиахим опытного отдела и стал его начальником. В феврале 1926 г. Н.Н.Поликарпова назначили начальником отдела сухопутного самолетостроения (ООС) ЦКБ «Авиатреста». В 1927 он создает истребитель И-3, в 1928 - разведчик Р-5 (получил широкую известность в связи со спасением экспедиции парохода «Челюскин»), самолёт первоначального обучения У-2, получивший всемирную известность и переименованного в По-2 после смерти конструктора). У-2 (По-2) строился до 1959 г. За это время выпущено более 40 тысяч машин, на них было подготовлено более 100 тысяч летчиков. Во время Великой Отечественной Войны У-2 успешно применялись в качестве разведчиков, ночных бомбардировщиков.

Поликарпов был необоснованно репрессирован. В октябре 1929 г. его арестовывают по стандартному обвинению - «участие в контрреволюционной вредительской организации» - и без суда приговаривают к высшей мере наказания. Более двух месяцев Поликарпов находился в ожидании расстрела. В декабре того же года (без отмены или изменения приговора) его направляют в «Особое конструкторское бюро» (ЦКБ-39 ОГПУ), организованное в Бутырской тюрьме, а затем переведенное на Московский авиазавод N 39 им. В.Р.Менжинского. Здесь совместно с Д.Григоровичем в 1930 он разработал истребитель И-5, который находился на вооружении 9 лет. В 1931 г. коллегия ОГПУ приговорила Поликарпова к десяти годам лагерей. Но после удачного показа Сталину, Ворошилову, Орджоникидзе самолета И-5, пилотировавшегося Чкаловым и Анисимовым, было решено считать приговор в отношении Поликарпова условным. В июле того же года Президиум ЦИК СССР принял решение об амнистии группы лиц, в том числе Поликарпова. Только в 1956 г. - через 12 лет после смерти конструктора - Военная коллегия Верховного Суда СССР отменила прежнее решение Коллегии ОГПУ и прекратила дело в отношении Поликарпова.

В 30-х гг. им были созданы истребители И-15, И-16, И-153 «Чайка», составившие основу советской истребительной авиации в предвоенные годы. 21 ноября 1935 г. на И-15 летчик В.К.Коккинаки установил мировой рекорд высоты - 14575 км.

После ареста А.Н.Туполева Н.Поликарпов был назначен Главным конструктором авиазавода № 156 (ЗОК ЦАГИ). В начале января 1938 его КБ переехало сюда с завода №84. К концу 1938 г. был построен истребитель И-180 - развитие И-16 с двигателем М-87. Но гибель на нем В.П.Чкалова в первом же испытательном полете вновь ввергло Поликарпова в опалу. Были арестованы его заместитель - ведущий конструктор Д.Томашевич, директор завода № 156 Усачев и др. Самого Поликарпова от ареста спасло только то, что он отказался подписать акт готовности самолета к первому полету и ходатайство Байдукова. В мае 1939 работы по И-180 были переданы на Государственного авиазавода № 1. Сюда же перевели и КБ, а Поликарпов стал техническим директором и главный конструктором завода. Параллельно со скоростным И-180 Поликарпов продолжил и линию маневренных бипланов - И-190 (1939), И-195 (проект 1940).

В 1939 г. Поликарпов выехал в командировку в Германию. В его отсутствие директор завода Павел Воронин и главный инженер Петр Дементьев (будущий министр авиационной промышленности) выделили из состава КБ часть подразделений и лучших конструкторов (в том числе Михаила Гуревича) и организовали новый Опытный конструкторский отдел, а по сути - новое КБ, под руководством Артема Микояна.

Заодно Микояну передали проект нового истребителя И-200 (будущий МиГ-1), который Поликарпов направил в Наркомат авиационной промышленности (НКАП) на утверждение перед своей поездкой в Германию. Поликарпов в качестве утешения получил премию за проектирование истребителя И-200 и... остался без многих опытных конструкторских кадров, без собственных помещений и, тем более, без производственной базы. На первых порах его приютил испытательный ангар ЦАГИ. Затем под Поликарпова в старом ангаре на окраине Ходынки был создан новый государственный завод № 51, не имевший никакой собственной производственной базы и даже здания для размещения КБ. На территории этого завода в настоящее время находится ОКБ и опытный завод им. П.Сухого.

В 1938–44 Поликарпов сконструировал ряд опытных военных самолётов: ТИС, ВИТ, СПБ, НБ и др. 11 января 1941 взлетел И-185 - первый отечественный истребитель по требованиям 1940 г. с двигателем воздушного охлаждения. В 1942 г. он прошел госиспытания и войсковые испытания на Калининском фронте. По оценке НИИ ВВС самолет превосходил все отечественные и немецкие серийные истребители. Недоведенность двигателя М-71, катастрофа, в которой погиб летчик-испытатель В.А.Степанчонок, и отсутствие завода не позволили запустить самолет в серию.

Вокруг Поликарпова складывалась нездоровая атмосфера. Началась травля конструктора, работы тормозились, его обвиняли в консерватизме. Так продолжалось до 1942 г., когда Сталин взял Поликарпова под свою защиту. Но в 1944 г. его не стало.

Одной из последних его работ был проект ракетного истребителя «Малютка».

Всего Поликарповым было разработано свыше 80 самолётов различных типов. За период 1923–1940 гг. на заводе № 1, на территории которого сейчас размещается машиностроительный завод им. П.В. Воронина, было построено 15951 самолетов (а с учетом модификаций опытных и построенных небольшими сериями - 16698 машин), в основном, конструкции Поликарпова. Среди них - самолеты-разведчики Р-1 (1914 самолетов), Р-5 (4548), такие известные истребители, как И-3 (399 машин), И-5 (803), И-15 (674 машины; а всего - 3083), И-153 (3437), И-16 (находился в серийном производстве с 1934 по 1941 гг.; всего было построено 9450 машин), учебно-тренировочный истребитель УТИ-4 (1639 машин). На самолётах Поликарпова совершен ряд дальних перелетов.

Поликарпов одним из первых расчленил проектирование самолётов на специализированные части. Под руководством Поликарпова работали А.И.Микоян, М.К.Янгель, А.В.Потопалов, В.К.Таиров, В.В.Никитин и др. специалисты, ставшие впоследствии видными конструкторами авиационной и ракетно-космической техники.

С 1943 Поликарпов - профессор МАИ. Депутат ВС СССР с 1937. Государственная премия СССР (1941, 1943). Награжден 2 орденами Ленина, орденом Красной Звезды. Памятники Поликарпову установлены в Москве, Орле, Ливнах. В селе Калинине Орловской области открыт музей Поликарпова. Его именем назван пик на Памире.

5 мая 2000 г., в преддверии Дня Победы, на территории «ОКБ Сухого» был торжественно открыт мемориал, посвященный Николаю Николаевичу Поликарпову. На краю небольшого парка, рядом с историческим ангаром, в память об этом замечательном авиаконструкторе установлен его бюст и небольшая стела со скромным тружеником войны, истребителем И-153.

После смерти Николая Поликарпова в 1944 г. его КБ возглавил Владимир Челомей, который сконцентрировал усилия коллектива на разработке первых в СССР крылатых ракет с пульсирующими воздушно-реактивными двигателями (самолетов-снарядов).