С 1950 по 1975 год Николай Рыжков работал на инженерно-технических должностях на Уральском заводе тяжелого машиностроения им. Серго Орджоникидзе (ПО «Уралмаш»). С 1971 по 1975 годах он занимал должность генерального директора предприятия.

С 1975 по 1979 год Рыжков занимал пост первого заместителя министра тяжелого и транспортного машиностроения СССР.

В 1979-1982 годах Николай Рыжков являлся первым заместителем председателя Госплана СССР, после чего ушел на партийную работу в ЦК КПСС и в дальнейшем связал карьеру с политикой. Переход на партийную работу стал результатом положительного отношения к Рыжкову со стороны Юрия Андропова.

В 1986 году Рыжков внес значительный вклад в организацию работ по ликвидации последствий аварии на Чернобыльской АЭС.

С 1991 года, выйдя на пенсию, Рыжков работал экспертом Военно-промышленной инвестиционной компании, а также председателем совета директоров Тверьуниверсалбанка.

В 1993-1995 годах Рыжков возглавлял попечительский совет «Прохоровское поле» по созданию мемориального комплекса в поселке Прохоровка в память о сражениях на Курской дуге в годы Великой Отечественной войны. Комплекс был открыт ко дню 50-летия Победы.

С 1995 года Рыжков является президентом Международного общественного объединения «Евразия», созданного для содействия интеграции стран бывшего СССР.

В 1998 году за весомый личный вклад в организацию восстановительных работ после Спитакского землетрясения в городе Спитаке Николаю Рыжкову был установлен памятник.

С 1998 по 2011 год Рыжков возглавлял Координационный совет содействия отечественным товаропроизводителям (в настоящее время Российский союз товаропроизводителей), объединяющий более 130 отраслевых союзов и ассоциаций.

Николай Рыжков — академик Инженерной академии России, академик Технологической академии РФ, Академик Академии социальных наук, Действительный член Международной Академии управления.

Рыжков — дважды Лауреат Государственной премии СССР, автор шести изобретений в области сварки и металлургии, принимал непосредственное участие в создании уникальных машин в тяжелом машиностроении.

С ноября 1982 года по октябрь 1985 года Николай Рыжков занимал пост секретаря ЦК КПСС и заведовал экономическим отделом ЦК КПСС.

С 23 апреля 1985 года по 13 июля 1990 года Николай Рыжков входил в состав Политбюро ЦК КПСС.

С 27 сентября 1985 года по 26 декабря 1990 года Николай Рыжков являлся Председателем Совета Министров СССР.

В июне 1987 года Рыжков выступил на сессии Верховного Совета СССР с докладом о перестройке управления экономикой в ближайшие десять лет, где впервые проявились существенные разногласия в понимании социально-экономического развития у руководства страны.

В декабре 1990 года Николай Рыжков перенес обширный инфаркт и был отправлен Горбачевым в отставку.

В 1991 году Николай Рыжков в паре с Борисом Громовым баллотировался в президенты РСФСР от партии КПСС, на выборах он набрал 16 % голосов, заняв второе место после Ельцина, избранного в первом туре.

В декабре 1995 года Николай Рыжков был избран депутатом Государственной думы второго созыва по Белгородскому одномандатному избирательному округу № 62 от блока «Власть — народу».

В Госдуме Рыжков вошел в состав комитета по конверсии и наукоемким технологиям. Он возглавлял депутатскую группу «Народовластие», являлся председателем Исполкома Народно-патриотического союза России (НПСР).

В декабре 1999 года Николай Рыжков был избран депутатом Государственной думы третьего созыва.

В сентябре 2003 года Рыжков был назначен представителем администрации Белгородской области в Совете Федерации, в связи с чем сложил полномочия депутата Государственной думы. В Совете Федерации Рыжков возглавил комиссию по естественным монополиям, и вошел в состав Комитета по вопросам местного самоуправления.