Дипломированный юрист. На последнем курсе юридического факультета Университета Сантьяго-де-Компостела готовился к должности регистратора недвижимости, которую и занял по окончании университета в 24 года, став таким образом самым молодым регистратором в Падроне (Галисия), Вильяфранка-дель-Бьерсо (Леон) и Санта-Пола (Аликанте).

Галисийская политика (1981—1991)

При поддержке Хосе Луиса Баррейро в 1981 году Рахой вступил в Народный альянс (Alianza Popular; с 1989 года Народная партия) и был избран депутатом местного парламента на первых выборах в автономном сообществе Галисия, прошедших в том же году.

В 1982 году Рахой был назначен генеральным директором комитета по связям Правительства Галисии и секретарём комиссии по трансфертам между государством и автономным сообществом Галисия. На муниципальных выборах в мае 1983 года Рахой был избран членом законодательного совета города Понтеведры. В 1986 году он был назначен председателем законодательного совета провинции Понтеведра и занимал эту должность до 1991 года.

На всеобщих выборах 1986 года Рахой получил депутатский мандат в Конгрессе депутатов, возглавив избирательный список от Понтеведры. Однако, уже в ноябре в результате кризиса и отставки Хосе Луиса Баррейро и остальных членов Хунты Галисии он вынужден был отказаться от этой должности, чтобы занять место вице-президента Правительства Галисии. На внеочередном съезде партии в мае 1988 года Рахой был назначен генеральным секретарем отделения Народного альянса в Галисии.

В январе 1989 года Народный альянс был преобразован в единую партию и переименован в Народную партию (НП), возглавляемую Мануэлем Фрагой Ирибарне. Рахой был назначен членом исполнительного национального комитета Народной партии и представителем Понтеведры. В 1993 году он был переизбран.

4 сентября 1989 года Хосе Мария Аснар (до того момента председатель Хунты автономного сообщества Кастилия и Леон), по предложению самого Фраги был избран кандидатом на всеобщих выборах и в апреле 1990 года. Аснар стал председателем Народной партии, а Рахой был избран членом Национального исполнительного комитета и заместителем генерального председателя НП. После этих выборов он был избран представителем от Понтеведры и возглавил Комиссию парламентского контроля.

На выборах 1993 года Народная партия стала главной партией лагеря оппозиции, и Рахой вернул себе депутатский мандат представителя от Понтеведры.

Министр правительства (1996—2004)

3 марта 1996 года Народная партия победила на выборах, получив 9 716 006 голосов. Аснар был избран премьер-министром при поддержке Баскской националистической партии, Конвергенции и Союза, и Канарской коалиции, и Рахой в третий раз получил свой депутатский мандат в Конгрессе депутатов. За заслуги в руководстве предвыборной кампанией, которая оказалась более чем успешной, Рахой был назначен министром общественной администрации, которая была учреждена Законом «Об организации и функционировании общественной администрации». В этом же году он вступил в брак с Эльвирой Фернандес Бальбоа.

В январе 1999 года Рахой сменил на посту министра образования и культуры Эсперансу Агирре (Esperanza Aguirre), которая была смещена вследствие острой критики в свой адрес. Находясь на этом посту, Рахой способствовал принятию нового плана в области профессионального образования (об получении образования через Интернет) и программы по улучшению работы музеев. В этом же месяце на VIII съезде Народной партии он был переизбран заместителем генерального секретаря партии.

На всеобщих выборах 2000 года Народная партия получила абсолютное большинство в Парламенте, набрав 10 321 178 голосов (самый высокий результат за всю историю существования Народной партии). Рахой, как и на предыдущих выборах, руководил предвыборной кампанией и поэтому был назначен первым вице-премьером и министром администрации Аснара, сменив на этом посту Франсиско Альвареса Каскоса (Francisco Álvarez Cascos).

В феврале 2001 года после нарушенного перемирия 1999 года с ЭТА, он оставил пост министра администрации председателя правительства и сменил на посту министра внутренних дел Хайме Майора Ореху. Находясь на этом посту, Рахой сосредоточил свою деятельность на борьбе с террористической организацией ЭТА и углублению сотрудничества с Францией в этой, принятию проекта Закона «О присоединении» (июнь, 2001), Регламента, развивающего Закон «О проживании лиц без гражданства» (июль, 2001) и предварительного проекта Закона «О запрете употребления алкогольных напитков в неположенных местах» (май, 2002).

В январе 2002 года на съезде партии Рахой был вновь переизбран на посту заместителя генерального секретаря партии. В июле этого года он ушёл с поста министра внутренних дел и получил портфель официального представителя Правительства и министра администрации председателя правительства.

В качестве представителя Правительства Рахою пришлось иметь дело с двумя самыми крупными кризисами: урегулированием последствий экологической катастрофы из-за крушения танкера «Престиж» у берегов Галисии и противостоянием политике Аснара, поддержавшего Дж. Буша во время вторжения в Ирак в 2003 году.

3 сентября 2003 года он ушёл со всех занимаемых должностей, поскольку Хосе Мария Аснар выдвинул его кандидатуру на пост генерального секретаря НП и кандидата на пост президента. На XIV съезде Народной партии он был избран новым лидером.

Выборы, прошедшие после террористических актов 11 марта 2004 года, были отмечены уменьшением неявки на выборы. Победу одержала Испанская социалистическая народная партия, возглавляемая Хосе Луисом Родригесом Сапатеро, получив почти на 1 300 000 голосов больше, чем НП, и 164 депутатских кресла. Народная партия получила 9 763 144 голоса и 148 депутатских мест, что на 35 мест меньше, чем в 2000 году, хотя она сохранила относительное большинство в Сенате, потеряв 25 сенаторских мест.

Лидер оппозиции (2004—2011)

16 апреля 2004 – 21 декабря 2011 лидер оппозиции.

С 2 октября 2004 занимает пост председателя Народной партии.

Его критика правительства в период пребывания во главе оппозиции была сконцентрирована в основном на отмене планов своего предшественника (Национальный план по гидроэнергетике), на внешней политике, главным образом, на отношениях с США, на миграционной политике, на критике признания гомосексуальных союзов браками и на реформах уставов автономий, в особенности, Каталонии. По мнению Рахоя, изменения в Уставе автономии Каталонии повлекут за собой неявный переход от модели государства автономий к модели конфедерации и несовместимости и поставит под угрозу само существование единой Испании. Кроме того, он считает, что пересмотр Устава автономии Каталонии приведёт к необходимости пересмотра Конституции, поэтому необходимость его проведения должна решаться на референдуме. В отношении мирного процесса, начавшегося после того, как в 2006 году ЭТА заявила о прекращении действий, Рахой занимает открыто критическую позицию и не поддерживает политику правительства и мнение остальных оппозиционных партий, поскольку не верит в намерение ЭТА сложить оружие. Такая позиция, занимаемая Рахоем и его партией, стала первым примером, когда оппозиционная партия не поддерживает антитеррористическую политику правительства, несмотря на то, что и до этого другими правительствами велись переговоры с ЭТА, и даже правительством самого Аснара.

В апреле 2007 года Рахой выступил в известной телепрограмме на канале TVE 1 (Первый телевизионный канал Испании). Во время своего выступления он отказался отвечать, сколько он получает, и заявил, что обвинения в адрес Ирака о наличии у последнего средств массового уничтожения были ошибкой всего мирового сообщества. Несколькими днями позже стало известно, что он получает больше, чем председатель правительства Сапатеро. В октябре 2007 года Рахой опять вызвал бурную полемику и оказался в центре всеобщего внимания после своего заявления, в котором он преуменьшил значение предотвращения последствий изменения климата в долгосрочном периоде. Множество политических представителей и экологических организаций не преминули осудить подобное заявление, от которого, впрочем, Рахой отказался через несколько дней.

После второй неудачи подряд многие средства массовой информации стали всерьез рассуждать о том, продолжит ли Рахой возглавлять партию и оппозицию. Тем не менее, сам Рахой ясно выразил своё намерение остаться у власти, выступив на съезде партии в июне этого же года с заявлением о том, что он будет вновь баллотироваться на выборах. В течение следующих недель и особенно после назначения Сорайи Саэнс де Сантамария на пост представителя Народной партии в Конгрессе депутатов, шли особенно бурные и острые дискуссии в СМИ вместе со сторонниками Эсперансе Агирре и окружением Мариано Рахоя.

Председатель Правительства Испании (с 2011 года)

После победы Народной партии на выборах 2011 года, получившей 186 из 350 мест в Конгрессе депутатов, возглавил правительство Испании.

Парламентские выборы 20 декабря 2015 года ввергли Испанию в правительственный кризис. Занявшая первое место Народная партия получила 28,7 % голосов и 123 места в Конгрессе депутатов, а Испанская социалистическая рабочая партия (ИСРП) — 22 % (90 мест). Сформировать правительство, которое получило бы большинство в Конгрессе депутатов, не удалось. 26 июня в Испании состоялись досрочные парламентские выборы, по результатам которых Народная партия осталась самой крупной, немного прибавила и добилась 137 мандатов, но это не позволяло ей сформировать правительство в одиночку. С декабря 2015 по октябрь 2016 года Испанией управляло техническое правительство, во главе с исполняющим обязанности премьер-министра Рахоем.

29 октября Конгресс депутатов во втором туре голосования простым большинством поддержал кандидатуру Рахоя на пост главы правительства. Сформированное Рахоем правительство меньшинства опирается на наименьшую парламентскую поддержку в современной истории Испании.