Уже с февраля 1941 года Германия начала постепенно сосредотачивать войска у советских границ. Генеральному штабу приходилось с учетом ежедневно поступающей тревожной информации вносить коррективы в имеющийся план по отражению надвигающегося нападения.
Весной начались мероприятия по мобилизации резервистов, переброске к границам войск из глубины страны, строительство новых оборонительных сооружений. Однако полностью завершить эти мероприятия не удалось.
22 июня началась война. Через несколько дней создается Ставка Верховного главнокомандования вначале во главе с наркомом обороны С.К.Тимошенко, а затем во главе с И.В.Сталиным. Членом Ставки становится и Василевский.
Начальником Генерального штаба был вновь назначен Б.М.Шапошников, а его заместителем и начальником оперативного управления – Василевский. С этих пор его встречи со Сталиным сделались почти ежедневными. Одной из главных тем докладов Верховному главнокомандующему стало формирование стратегических резервов.
Главным направлением являлось центральное, на котором были сосредоточены основные массы гитлеровских войск, нацеленных на захват Москвы. Но Генеральный штаб не смог своевременно предугадать замысел противника, который планировал окружить под Вязьмой и Брянском значительные массы войск Западного, Резервного и Брянского фронтов, а в дальнейшем пехотными соединениями наступать на Москву с запада, а танковыми группами охватить столицу с севера и юга. 30 сентября началась операция «Тайфун»; противнику удалось прорвать фронт и окружить в районе Вязьмы четыре советские армии.
Для удержания самыми жесткими мерами обороны в районе Гжатска и Можайска туда прибыли представители Государственного комитета обороны В.М.Молотов и К.Е.Ворошилов, а в качестве представителя Ставки – Василевский. Буденный, потерявший связь со своими войсками, был отстранен от командования Резервным фронтом, командующему Западным фронтом генералу Коневу угрожал трибунал. Положение спас Г.К.Жуков, принявший командование Западным фронтом и взявший Конева своим заместителем.
В результате нависшей над Москвой угрозы большая часть Генерального штаба была эвакуирована в Куйбышев. В Москве осталась лишь оперативная группа для обслуживания Ставки из десяти человек, руководить которой было поручено Василевскому.
В разгар битвы за Москву по личному указанию Сталина Василевскому было присвоено звание генерал-лейтенанта.
В конце ноября Шапошников заболел, и обязанности начальника Генерального штаба были временно возложены на Василевского. С его именем связано руководство наступлением Калининского фронта (командующий И.С.Конев), первым перешедшего в контрнаступление в ночь на 5 декабря, а также координация действий Юго-Западного фронта по освобождению Ростова-на-Дону.
Несмотря на тщательно проведенную разведку, советскому командованию не удалось точно узнать планы противника. Генеральный штаб по-прежнему считал, что значительные немецкие резервы сосредоточены на центральном направлении, в то время как вермахт готовил основное наступление на Кавказ с целью захвата источников нефти.
Было решено провести несколько отдельных операций под Ленинградом, Смоленском, Харьковом и в Крыму.
В мае 1942 года из-за тяжелого заболевания Шапошников был освобожден от обязанностей начальника Генерального штаба. Последние были возложены на Василевского. Ему было присвоено звание генерал-полковника.
В мае для Красной Армии вновь началась полоса неудач. В самом начале месяца немецкие войска прорвались в Крым. Начался последний этап обороны Севастополя, продлившийся до 4 июля. В те же дни развернулись операции в районе Харькова. Вначале они шли успешно, но вскоре немецкие войска сами перешли в наступление и к середине мая вышли в тыл войскам Юго-Западного фронта и развернули наступление на юг в направлении Кавказа и Сталинграда.
К концу августа Василевский приехал в район Сталинграда на Юго-Восточный фронт, которым командовал А.И.Еременко. Ставка приказала принимать все необходимые меры по мобилизации населения, но не сдавать Сталинграда. После разговора со Сталиным Василевский принял решение сосредоточить севернее и северо-западнее Сталинграда две-три армии из резерва Ставки и их силами ликвидировать части прорвавшегося противника. Вскоре туда приехал Жуков, а Василевский улетел в Москву.
В конце сентября Василевский вновь вернулся на Юго-Восточный фронт, где внимательно изучалась обстановка в ходе подготовки наступления с целью окружения всей немецкой группировки в Сталинграде. Операция готовилась в строжайшей секретности, о ней знали лишь немногие из высшего командного руководства.
Василевский по-прежнему контролировал Юго-Восточный фронт, получивший название Сталинградского. Планом операции предусматривался удар по румынским войскам, стоявшим на флангах немецкой группировки, прорыв их обороны танковыми и механизированными корпусами Сталинградского и Юго-Западного фронтов с дальнейшим соединением их в районе Калача.
Уже в первые дни наступления, начавшегося 19 ноября, Василевский понимал, что германское командование попытается оказать помощь своей окруженной группировке и деблокировать ее. Потому он заранее настоял перед Сталиным на создании достаточно сильного внешнего кольца окружения, а за ними резервов из подвижных войск.
На завершающем этапе Сталинградской битвы Василевский руководил боевыми действиями по отражению попыток деблокировать окруженную группировку и ее окончательной ликвидации. По его инициативе одна из лучших армий – 2-я гвардейская была брошена против группы армий «Дон», пытающейся деблокировать окруженную 6-ю армию Паулюса.
За участие в разгроме немецкой группировки в районе Сталинграда Василевский был награжден орденом Суворова I степени (№ 2).
После Сталинградской битвы немецкое командование решило подготовить наступление из Курского выступа, сложившегося в результате боев зимой и весной 1943 года. На этот раз разведка Генерального штаба своевременно вскрыла замысел противника. Было решено не переходить первыми в наступление, а занять жесткую оборону, выбить немецкие танки, измотать противника в оборонительных боях и только тогда перейти в наступление путем введения накопленных резервов.
В предстоящих оборонительных боях должны были принять участие войска Центрального фронта под командованием К.К.Рокоссовского и Воронежского – под командованием И.Ф.Ватутина, а также войска Брянского и левого крыла Западного фронтов.
5 июля началось немецкое наступление на Курской дуге, отражаемое соединением Центрального и Воронежского фронтов. Кульминацией оборонительных боев стало знаменитое танковое сражение под Прохоровкой 12 июля, в котором принимали участие до 1200 танков и самоходных установок. В тот же день перешли в наступление Брянский и Западный фронты, а 15 июля – и войска Центрального фронта.
В августе началась битва за Донбасс, в которой координация действий Юго-Западного и Южного фронтов была возложена на Василевского. С этими фронтами была связана деятельность Василевского и в ходе битвы за Днепр, а также в ходе освобождения Мелитополя, Кривого Рога, Запорожья и начало освобождения Крыма.
В следующем году войска фронтов, действия которых координировал Василевский, в весеннюю распутицу освободили Никополь, Николаев, Одессу и вышли к Днестру. В день освобождения Одессы 10 апреля Василевский был награжден орденом «Победа» (№ 2).
Летом основные военные действия были перенесены в Белоруссию, где войска четырех фронтов начали операцию «Багратион».
По предложению Василевского две армии, освободившие Крым были переброшены в Белоруссию, туда же выехало и бывшее управление 4-го Украинского фронта. Василевскому было приказано координировать действия 1-го Прибалтийского и 3-го Белорусского фронтов, которыми командовали молодые генералы И.Х.Баграмян и И.Д.Черняховский.
22 июня началось наступление фронтов. В первые дни боев был освобожден Витебск, западнее которого в котле оказалось около 5 немецких дивизий. 27 июня была освобождена Орша. Советские войска форсировали Березину. 3 июля войска 3-го и 1-го Белорусского фронтов встретились в Минске. Началось освобождение Прибалтики, которую Василевский не покидал до самого нового года.
Из Прибалтики бои перешли в Восточную Пруссию, изобилующую укрепленными районами. Вначале Василевский по-прежнему координировал действия 1-го Прибалтийского и 3-го Белорусского фронтов. Но после гибели Черняховского Василевский лично возглавил его войска. Он попросил Сталина освободить его от должности начальника Генерального штаба и назначить на свое место бывшего начальника Оперативного управления Генерального штаба А.И.Антонова.
