По словам Георгия Толорая, Карлов в МГИМО упорно изучал Корею, её историю и язык. В 1976 году окончил факультет международных экономических отношений МГИМО МИД СССР и с того же года на дипломатической службе. 

В 1976—1981 и в 1984—1990 годы — работал в Посольстве СССР в КНДР. Владел корейским и английским языками.

В 1992 году окончил Дипломатическую академию МИД России.

С 1992 по 1997 годы работал в Посольстве России в Республике Корея (Южная Корея).

С 9 июля 2001 по 20 декабря 2006 года — чрезвычайный и полномочный посол Российской Федерации в Корейской Народно-Демократической Республике. Содействовал строительству православного Троицкого храма в Пхеньяне. 13 августа 2006 года в день освящения храма митрополитом Кирилл (Гундяевым) награждён орденом преподобного Серафима Саровского III степени.

В 2007—2009 годах — заместитель директора консульского департамента МИД России.

С 26 января 2009 по 12 июля 2013 года — директор консульского департамента МИД России.

С 12 июля 2013 года до конца жизни — чрезвычайный и полномочный посол Российской Федерации в Турецкой Республике.

В феврале 2014 года открывал Центр российской науки и культуры в Анкаре.

Коллеги рассказывают, что кризис в отношениях между Турцией и Россией после того, как турецкие ВВС сбили российский военный самолет, воспринимал очень лично, поскольку ранее в отношениях двух стран удалось добиться серьезных сдвигов и в политике, и в экономике, подписать соглашение о «Турецком потоке» и многое другое.

Гибель

Вечером 19 декабря 2016 года погиб в результате покушения в Анкаре во время открытия выставки в Центре современного искусства. Во время речи посла террорист, опознанный как бывший полицейский Мевлют Мерт Алтынташ, одетый в деловой костюм и галстук, вынул пистолет и выстрелил в Карлова со словами: «Это месть за Алеппо. Мы умираем там, ты умрёшь здесь», добавив традиционное восклицание «Аллах акбар». По некоторым сведениям, стрелявший прошёл на выставку по полицейскому удостоверению. По сообщениям турецких СМИ, нападавший был застрелен турецкой полицией.

В этот же день президент России Владимир Путин дал указание министру иностранных дел России Сергею Лаврову представить Карлова к государственной награде и внести предложение об увековечении его памяти. По словам Путина, Карлов был «блестящим дипломатом», «очень интеллигентным, мягким человеком, добрым».

Церемония прощания и похороны

20 декабря 2016 года церемония прощания с Андреем Карловым прошла в аэропорту Анкары Эсенбога. С турецкой стороны на ней присутствовали мэр Анкары Мелих Гёкчек, министр внутренних дел Сулейман Сойлу и вице-премьер Тогрул Тюркеш. Заупокойную литию в аэропорту совершил архимандрит Константинопольской православной церкви Виссарион (Комзиас).

В тот же день самолёт ФСБ доставил тело Андрея Карлова в Москву. В аэропорту Внуково самолёт встречали главы МИД России и Турции Сергей Лавров и Мевлют Чавушоглу. Отпевание пройдёт в Храме Христа Спасителя, богослужение проведёт Патриарх Московский и всея Руси Кирилл.

Похороны состоятся 22 декабря 2016 года. В траурных мероприятиях примет участие Президент России Владимир Путин, который перенёс свою ежегодную пресс-конференцию на другой день.

Память

20 декабря 2016 года глава МИД Турции Мевлют Чавушоглу сообщил, что улица в Анкаре, на которой находится посольство России, будет названа именем погибшего.

20 декабря 2016 года мэрия Анкары приняла решение назвать выставочный зал в Центре современного искусства, в котором был застрелен Андрей Карлов, в его честь.

20 декабря 2016 года Учёный совет МГИМО учредил именные стипендии и премии им. А. Г. Карлова для студентов и преподавателей университета, занимающихся восточной проблематикой. Кроме того, имя посла будет также присвоено дипломатическому клубу МГИМО.

Семья

Жена — Марина Михайловна. 15 августа 2006 года в Троицком храме в Пхеньяне были обвенчаны митрополитом Смоленским и Калининградским Кириллом (Гундяевым). Свидетелем на венчании выступил советник-посланник Посольства России в КНДР Александр Мацегора.

Сын — Геннадий, закончил МГИМО, окончил бакалавриат на факультете международных отношений, потом поступил на магистратуру на факультете международной журналистики, секретарь консульского отдела посольства России в КНДР.

Дипломатический ранг

Чрезвычайный и полномочный посланник 2 класса (15 января 2002 года)
Чрезвычайный и полномочный посланник 1 класса (25 августа 2004 года)
Чрезвычайный и полномочный посол (22 марта 2011 года)

Награды

Герой Российской Федерации (посмертно, 21 декабря 2016 года) «за проявленные стойкость и мужество на посту Чрезвычайного и Полномочного Посла Российской Федерации в Турецкой Республике, большой вклад в реализацию внешнеполитического курса Российской Федерации». 

Орден преподобного Серафима Саровского III степени (2006).