Службу в Красной армии проходил в 1934-1936 годах. В 1939-м он окончил трёхмесячные курсы среднего начсостава и получил офицерское звание. Вторично на службу в РККА Жарова призвали в мае 1941-го.

Он участвовал в Смоленском сражении, боях на Северском Донце, в Курской битве, освобождении Харькова, в Корсунь-Шевченковской операции…. За время войны 5 раз был ранен.

К сентябрю 1943 года гвардии старший лейтенант Жаров командовал ротой противотанковых ружей. Шло сражение, вошедшее в историю как Битва за Днепр. 28 сентября он со своей ротой переправился через реку к северу от села Мишурин Рог и захватил плацдарм на западном берегу. Рота успешно отразила несколько контратак, при этом одно немецкое штурмовое орудие Жаров лично подбил из ПТР. В бою он получил ранение, но командование ротой не сдал. За это был удостоен звания Героя Советского Союза.

После войны продолжал службу, в январе 1961 года был уволен в запас в звании майора. Но с оружием не расстался – служил начальником Измайловского участка инкассации Московского городского комитета Госбанка СССР.