Сталин был жестким и грубым шефом, требовавшим безоговорочного и полного подчинения. Каганович тоже обладал сильным и властным характером. Но он не вступал в споры со Сталиным и сразу же показал себя абсолютно лояльным работником, готовым к выполнению любого поручения. Сталин сумел оценить эту покладистость, и Каганович вскоре стал одним из наиболее доверенных людей своеобразного «теневого кабинета», или, как выражаются на Западе, «команды» Сталина, то есть того личного аппарата власти, который Сталин стал формировать внутри ЦК РКП(б) еще до смерти Ленина. Лазарь Каганович быстро обогнал в партийной карьере своего старшего брата Михаила, который в 1922 году был секретарем уездного комитета партии в небольшом городке Выксе, а затем возглавил Нижегородский губернский совнархоз. Лазарь Каганович в 1924 году был избран не только членом ЦК РКП(б), но и секретарем. Новому секретарю ЦК было тогда всего лишь тридцать лет.
В развернувшейся после смерти Ленина острой внутрипартийной борьбе Сталину было крайне важно обеспечить себе поддержку Украины - самой крупной после РСФСР союзной республики. По рекомендации Сталина именно Каганович был избран в 1925 году Генеральным секретарем ЦК КП(б)У.
Политическая обстановка на Украине тогда была крайне сложной. Гражданская война закончилась победой большевиков, но среди крестьянского населения республики были еще очень сильны пережитки петлюровского и махновского движений, то есть националистические или анархистские настроения. Большевистская партия опиралась главным образом на промышленные районы Украины, где преобладало русское население. Значительную часть кадров партия черпала и среди еврейского населения республики, которое видело в Советской власти гарантию защиты от притеснений и погромов, прокатившихся по еврейским поселкам в годы Гражданской войны. Украинская культура не имела еще достаточной силы, чтобы стать серьезным препятствием для далеко зашедшей русификации. Не менее половины студентов украинских вузов составляла русская и еврейская молодежь.
В национальной политике на Украине проводились два курса: на «украинизацию», то есть поощрение украинской культуры, языка, школы, выдвижение украинцев в аппарат управления и т. д., и на борьбу с «буржуазным и мелкобуржуазным национализмом». Четко разграничить эти два курса, особенно в городах и промышленных центрах, было нелегко, и Каганович явно тяготел ко второму курсу: он был безжалостен ко всему тому, что казалось ему украинским национализмом. У него происходили частые конфликты с председателем СНК Украины В. Я. Чубарем. Одним из наиболее активных оппонентов Кагановича был также член ЦК КП(б)У и нарком просвещения Украины А. Я. Шумский, который в 1926 году добился приема у Сталина и настаивал на отзыве Кагановича с Украины. Хотя Сталин и согласился с некоторыми доводами Шумского, но одновременно поддержал Кагановича, направив специальное письмо в Политбюро ЦК Украины.
Возможно, какой-то отзвук этих разногласий присутствовал в выступлении Кагановича на Всеукраинском съезде Советов в апреле 1927 года.
«Т. Каганович читает заметку из газеты «Русь». Под огромным заголовком «Независимость Украины» белогвардейцы пишут, что в Харькове на съезде Советов будет обсуждаться вопрос о независимости Украины и создании национальной армии.
Весь съезд хохочет. А тов. Каганович говорит:
- Глупые сплетни. Они не знают, что независимость Украины уже провозглашена с начала Октябрьской революции…
Т. Каганович читает далее отрывок из белогвардейских газет о том, что сепаратизм развивается на Украине, что контрольная комиссия с Затонским во главе борется с сепаратизмом в партии, что к Петровскому приставили надежных чекистов. Зал трясется от смеха, когда т. Каганович говорит:
- Вы видите - 95 чекистов в президиуме окружают Петровского, а здесь, в зале, сотни делегатов - тоже надежные чекисты…» (Комсомолець Украiни (Харьков). 1927. 7 апр.)
Конечно, Каганович проделал немалую работу по восстановлению и развитию промышленности Украины. Однако в политической и культурной областях его деятельность принесла гораздо больше вреда, чем пользы. Как партийный руководитель Советской Украины Каганович был фактическим руководителем и небольшой Компартии Западной Украины. Национальная обстановка и настроения среди населения западной части Украины существенно отличались от того, что имело место в ее восточной части. Но Каганович не разобрался в сложных проблемах этой компартии, которой приходилось действовать в условиях подполья на территории бывшего Польского государства. Огульно обвинив ЦК КПЗУ в национализме и даже предательстве, Каганович довел эту партию до раскола и добился ареста некоторых ее руководителей, которые создали свой руководящий центр на территории Советской Украины. Каганович не постеснялся дискредитировать всю КПЗУ. В ноябре 1927 года, на одном из заседаний Политбюро ЦК КП(б)У он цинично заявил, что не знает, на чьей стороне в случае войны будет КПЗУ (См.: Архив Института истории партии при ЦК КПУ. Ф. 1, Оп. 69. Ед. хр. 11. С. 59-60.).
Уже после отъезда Кагановича в Москву Чубарь, выступая на объединенном заседании Политбюро ЦК и Президиума ЦКК КП(б)У, таким образом характеризовал обстановку, созданную Кагановичем в партийном руководстве Украины: «Взаимное доверие, взаимный контроль у нас нарушались, так что друг другу мы не могли верить… Вопросы решались за спиной Политбюро, в стороне… Эта обстановка меня угнетает» (Там же. Ф. 1. Оп. 145а. Ед. хр. 99. С. 101-103.).
Масштабы оппозиции Кагановичу на Украине возрастали. К Сталину приезжали Г. И. Петровский и В. Я. Чубарь с просьбой отозвать Кагановича с Украины. Сталин вначале сопротивлялся, обвиняя своих собеседников в антисемитизме. И все же ему пришлось в 1928 году возвратить Кагановича в Москву. Но это вовсе не свидетельствовало о недовольстве Сталина его работой. Наоборот, Каганович снова стал секретарем ЦК ВКП(б) и вскоре был также избран членом Президиума ВЦСПС. Он должен был составить противовес руководству М. П. Томского в профсоюзах.
В самом конце 1929 года был отпразднован юбилей Сталина. 21 декабря большая часть восьмистраничного номера «Правды» была посвящена его 50-летию. Ничего подобного прежде еще не бывало. То был значительный шаг к грядущему культу. Среди многих статей о Сталине (Куйбышева, Калинина и других) выделялись и были гвоздем выпуска две: статья Ворошилова «Сталин и Красная армия» и Кагановича «Сталин и партия». Как известно, в идейных спорах у Сталина бывали в прошлом ошибки и просчеты, бывали и серьезные разногласия с Лениным, и это для очень многих не составляло секрета. Каганович в своей статье «отутюжил» биографию Сталина до идеально гладкого образа: «Самой замечательной и характерной чертой т. Сталина является именно то, что он на протяжении всей своей партийно-политической деятельности не отходил от Ленина, не колебался ни вправо, ни влево, а твердо и неуклонно проводил большевистскую выдержанную политику, начиная с глубокого подполья и кончая всем периодом после завоевания власти» (Правда. 1929. 21 дек.). В данном случае Каганович сыграл ту роль, которую он часто и охотно брал на себя в дальнейшем: он произнес - и сделал официально установленным - то, что хотелось бы, но неудобно было произнести от первого лица самому Сталину.