Родился 5 июня 1916 года в улусе Верхний Торей ныне Джидинского района Бурятии. В 1936 году он вступил в ряды комсомола, а в 1937-ом вместе с несколькими земляками его призвали в армию. Сначала служил рядовым 41-го кавалерийского полка (76-я армия), дислоцированного под Ленинградом. В 1939 г. после окончания курсов младшего командного состава назначен командиром отделения, затем – помощником командира взвода, исполняющего обязанности командира взвода.
В ноябре 1939 г. началась советско-финская война. На передовой Гармажап Гармаев был пулеметчиком в составе 25-го стрелкового полка 7-й стрелковой дивизии 7-й армии Северо-Западного фронта. Особенно тяжелые бои развернулись суровой зимой 1940 г. в районе известной оборонительной линии Маннергейма. Тогда была сформирована разведгруппа из 40 советских бойцов, состоявшая из снайперов и стрелков. В нее был включен Г. Гармаев. Группа получила задание: проникнуть в тыл противника, разведать подходы к линии обороны врага, определить число обороняющихся. Во время выполнения боевого задания первый отряд разведчиков, захвативший «языка», был обнаружен. Поэтому второму отряду пришлось вызывать огонь на себя. В результате мощного минометно-артиллерийского огня финнов в живых осталоиь только двое – Гармажап Гармаев и тяжело раненый лейтенант Василий Орешкин, замерзавший на холодном снегу. Воин из Бурятии сумел под покровом ночи вынести с поля боя. Другой подвиг на финской войне храбрый фронтовик совершил, также находясь в тылу противника. В январе 1940 г. Гармаев выполнил рискованное задание: проник за линию обороны врага, протянул телефонную линию, провел корректировку огня. После этого он заметил, что одно вражеское оружие по-прежнему стреляло. Гармаев сумел скрытно подобраться к огневой точке неприятеля, уничтожил двух солдат. Развернул захваченное орудие и открыл огонь по врагу. За этот подвиг указом Президиума Верховного Совета СССР от 11 апреля 1940 г. Г.А. Гармаеву присвоено звание Героя Советского Союза. Примечательно, что Орден Ленина и «Золотую Звезду» героя ему лично вручил в Москве Всесоюзный староста Михаил Калинин. Таким образом, он стал первым из бурят, удостоенным высшим знаком отличия страны. При штурме Выборга Гармажапа Гармаева ранили. Перед Великой Отечественной войной Гармажап Гармаев служил милиционером на малой родине. Когда началась война, его направили на краткосрочные курсы командиров. Затем он служил на пограничной заставе, был назначен помощником, а затем командиром взвода Кяхтинского погранотряда.
С 1 мая 1944 г. Гармаев проходит службу в Брестском Краснознаменном 86-м пограничном отряде имени Ф.Э. Дзержинского в должности помощника начальника штаба 3-й погранкомендатуры. Летом 1945 г. в боях с белорусскими националистами его тяжело ранили. Скончался 16 июня в возрасте 29 лет в госпитале. Похоронен на Гарнизонном кладбище города Брест.
Постановлением Совета Министров РСФСР от 22 октября 1970 г. заставе Забайкальского пограничного округа города Кяхта присвоено имя Героя Советского Союза Гармаева Гармажапа Аюровича. Там же установлен бюст Героя. 20 марта 1985 г. улица Киевская (пос. Мясокомбинат) Улан-Удэ решением исполнительного комитета Улан-Удэнского городского Совета народных депутатов была переименована в улицу имени Героя Советского Союза Гармажапа Гармаева, у дома № 13 установлен бюст-памятник Герою. В с. Петропавловка Джидинского района установлен памятник, в Кяхтинском краеведческом музее ему посвящен отдельный стенд. В 2003 г. в Бресте был установлен памятник защитнику Родины.