Институтты бітіргеннен кейін мамандығы бойынша КСРО Сыртқы істер министрлігінің орталық аппаратында, шетелдік өкілдіктерде қызмет істеген. 1984 жылдан КСРО Сыртқы істер министірлігінің орталық аппаратында, Сингапур Республикасындағы КСРО елшілігінде, КСРО-ның Қытайдағы елшілігінде қызмет етті. 1991 жылы КСРО Сыртқы істер министрлігінің Дипломатиялық академиясының тыңдаушысы болды. 1992 жылы наурызда - Қазақстан Республикасы Сыртқы істер Министрінің орынбасары, Министрдің бірінші орынбасары.
1994 жылы қазаннан бастап Қазақстан Республикасының Сыртқы істер Министрі. 1999 жылы наурыздан бастап Қазақстан Республикасы Премьер-Министрінің орынбасары - Сыртқы істер Министрі. 1999 жылы қазан - 2002 ж. қаңтар аралығында Қазақстан Республикасының Премьер-Министрі. 2002 жылы қаңтар - 2003 ж. маусым аралығында Қазақстан Республикасының Мемлекеттік хатшысы - Сыртқы істер Министрі. 2003 жылы маусымнан Қазақстан Республикасының Сыртқы істер министрі. 2007 жылы қаңтар айынан - Қазақстан Республикасы Президенті жарлығы бойынша Парламент Сенаттың депутаты. 2007 жылы қаңтардың 11 Парламент Сенаттың төрағасы болып сайланды.
2011 жылғы 12 наурызда БҰҰ Бас хатшысы Пан Ги Мун Қасым-Жомарт Тоқаевты БҰҰ Бас хатшысының орынбасары, БҰҰ-ның Женевадағы бөлімшесінің бас директоры қызметіне тағайындағаны туралы шешімін жариялады. Атқаратын қызметіне сәйкес Қ.-Ж. Тоқаев БҰҰ-ның қарусыздану жөніндегі Женевадағы бас хатшысы болды. Ол БҰҰ-ның Женевадағы бөлімшесінң бас директоры қызметіне тағайындалған Азиядан шыққан алғашқы өкіл болды.
Дипломатиялық дәрежесі - Төтенше және Өкілетті Елші. Тоқаев тәуелсіз Қазақстанның сыртқы саясатының бағыты мен жүзеге асырылуына тікелей қатысты. Ағылшын, қытай, француз тілдерін меңгерген.
«Парасат», «Қазақстан Республикасының Тұнғыш Президенті Нұрсұлтан Назарбаев» ордендерімен, «Астана», «Қазақстан Республикасының тәуелсіздігіне 10 жыл», «Қазақстан Республикасының Парламентіне 10 жыл» мерейтойлық медальдарымен марапатталған.
Қазіргі қызметінде 2013 жылдың қазанынан істеуде.