Помимо «Силы и здоровья» и Яхт-клуба футбол в Казани культивировался в спортобществе «Флорида», который в новом виде сохранился и после революции 1917 года. Именно из рядов «Флориды» и появился первый по-настоящему футбольный тренер города, председатель этого общества Симон Абрамович Цирюльников. Отметим среди организаторов советской «Флориды» Семена Зонина, отца заслуженного тренера СССР Германа Зонина, оставившего столь глубокий след в истории «Рубина». Именно «Флорида» с весны 1919 года организовала регулярные осенние и весенние первенства Казани, а на базе общества была сформирована первая сборная города. Уже в 1922 году сборная города заняла почетное третье место в чемпионате РСФСР, проиграв в полуфинале харьковчанам 1:2. В 1924 году, победив в финале Поволжской олимпиады лидера региона сборную Самары 2:0, казанцы во второй раз пробились в финальный этап чемпионата РСФСР, где снова проиграли в полуфинале, на этот раз сборной Москвы, 1:5. Вот состав сборной Казани образца 1924 года: Жабин, Николаев, Бабинцев, Зонин, Феоктистов, Борисов, Гусев, Зиновьев, Попов, Миронычев, Сапожников.
Третье участие сборной Казани в финальном турнире чемпионата РСФСР датировано 1928 годом, и вновь казанцы заняли почетное третье место, будучи разгромленными в полуфинале ленинградцами – 1:12, а в матче за 3-е место победили сборную Дальнего Востока 5:3. В 1926 году в городе появилось общество «Динамо», заменившее прекратившую свое существование «Флориду». Отметим участие сборной Казани, читай, «Динамо», в финале чемпионата СССР среди городов 2-й группы (всего более 40 участников) 1935 года, где в решающем матче на своем поле казанцы проиграли Днепропетровску 1:2. Посмотрите, кто оказался выше: Москва, Ленинград, Харьков, Киев, Баку, Тифлис и Днепропетровск, весьма почетное общее 8-е место в СССР. Ядро казанского «Динамо» составляли выходцы из Одессы (Кумбари, Бессараб, Медун, братья Борисевичи), быстро ставшие кумирами казанской публики. В чемпионате СССР 1936 года, осень, группа «В», казанское «Динамо» заняло первое место, а в Кубке страны дошли до четвертьфинала, где предсказуемо уступило московским одноклубникам 1:5. Дебютже в клубном чемпионате СССР казанцев состоялся 24 мая 1936 года на стадионе «Динамо», где хозяева уверенно обыграли команду «Угольщики» (Стапино) – 4:1, а финишировали казанцы в весенней части первого союзного первенства на 4-м месте в группе «В». Любопытно, что как раз в составе казанского «Динамо» в сезоне 1939 года играли будущие известные тренеры Александр Севидов (лучший бомбардир команды в этом сезоне) и Борис Цирик. Второе участие казанского «Динамо» в чемпионате СССР датировано 1947 годом, а в 1948 году казанцы заняли 5-е место в финальной пульке шести команд 2-й группы в Харькове, в составе тогдашнего «Динамо» уже играл Зонин-младший, Герман. Увы, в 1949 году казанское «Динамо» в силу низких спортивных показателей прекратило свое существование. Так была закрыта первая страница казанской футбольной истории, которую продолжила «Искра», ставшая затем «Рубином».
Во время Великой Отечественной войны в Казань было эвакуировано немало крупных промышленных предприятий из Ленинграда, Москвы и других городов. В числе таковых был и авиазавод имени Горбунова, где уже в середине 40-х годов прошлого века была создана приличная футбольная команда, с 1948 года ставшая участницей чемпионата РСФСР. О силе заводчан говорит счет товарищеского матна с московским «Спартаком» – 6:6, причем казанцы добились почетной ничьей со знаменитым соперником, уступая красно-белым по ходу матча 2:6. Называлась эта казанская команда то «п/я 747» (режимное предприятие, понятное дело), то команда Ленинского района, «Крылья Советов», «Искра». С 1948 по 1957 год казанские авиаторы шесть раз занимали 2-е место в Поволжской зоне чемпионата РСФСР, три раза были третьими. В 1956 году казанцы пробились в финальную пульку, но заняли только 9-е место из 13. Так что именно благодаря своим успешным выступления команда авиазавода в 1958 году была включена в число участников чемпионата СССР в классе «Б», первая зона. Тогда «Ленинский район» и был переименован в «Искру», чей дебют в чемпионате страны состоялся 20 апреля 1958 года в Херсоне, где гости проиграли местному «Спартаку» 2:4. Кстати, первые шесть (!) матчей «Искра» провела на выезде.
Пришёл год 1958-й, и, в связи с успешными выступлениями команды завода имени Горбунова в первенствах РСФСР и расширением класса «Б», команда была включена в состав участников этого подразделения чемпионата СССР. В городе снова появилась команда мастеров. Ныне 1958-й год принято считать официальной датой рождения современного «Рубина».
«Искра», под таким названием команда дебютировала в чемпионате, оказалась в 1-й зоне РСФСР класса «Б» в которой были объединены в основном команды Поволжья и Украины. Премьера состоялась 20 апреля в Херсоне. Первый блин оказался комом – казанцы уступили местному «Спартаку со счётом 2:4. Автором первого гола «Искры» в чемпионатах СССР стал Игорь Игнатов. Состав казанцев в этом дебютном матче был следующим: Галимов, Зиннуров, В. Сурков, Хорьков, Кашурин, Дардымов, Поляков, Ю. Марков, Гельман, Игнатов, Шарипов.
Сезон-58 «Искра» завершила на 14-м месте, сумев опередить лишь команды Ульяновска и Волжского. На выступлениях казанцев сказалось отсутствие опыта встреч на серьёзном уровне и тренерская чехарда.
В 1959 году «Искру» возглавил 50-летний специалист Николай Иванович Сентябрёв. На ближайшие 12 лет должность старшего тренера команды оказалось занятой. Ни до, ни после Николая Ивановича никому не удавалось превзойти этот срок. Ранее Сентябрёв играл в сборной Иваново и возглавлял ивановский «Текстильщик». Результаты работы Николая Ивановича не заставили себя долго ждать.
«Искра» сделала сразу 9 шагов вверх по турнирной таблице, остановившись на 5-м месте. По сравнению с прошлым сезоном заметно повысилась результативность – в два раза уменьшилось количество пропущенных мячей. Двое искровцев – защитник Виктор Сурков и вратарь Ильяс Галимов – были включены в состав сборной РСФСР. Так в казанском футболе началась эпоха Сентябрёва, с именем которого неразрывно связаны все успехи команды 60-х.
Сезон 1960 года команда провела ещё более успешно. После первого круга, потерпев лишь одно поражение от пермской «Звезды», казанцы находились в числе лидеров зоны. Однако, вторую половину «Искра» провела намного слабее, в итоге 4-е место. Этот сезон памятен ещё и тем, что в июне «Искра» посетила Польшу и сыграла свои первые международные товарищеские матчи: с командой «Скра» (Ченстохова) – 1:0, со сборной г. Тешина – 0:0, с «Вислой» (Плоцк) – 8:0.
В 1960 году в Казани состоялось открытие Центрального стадиона. 21 августа 1960 года «Искра» провела дебютный матч на новой арене против «Металлурга» из Каменск-Урапьского (2:1).
В 1961 году казанцы снова сильно провели первую половину чемпионата и заметно сдали во второй. Отставание от лидеров в итоге выразилось лишь одним очком. Яркой игрой в атаке запомнился Амир Туфатуллин, который забил 17 мячей в 22 матчах. В том же году «Искра» пробилась в 1/16 финала кубка СССР, где в переигровке уступила московскому «Динамо».
На следующий год в команде дебютировал будущий любимец болельщиков, один из наиболее техничных и результативных форвардов клуба за всю его историю – Виктор Тетёркин.
В 1962 и 1963 годах казанцы заняли ставшее уже традиционным 3-е место – высокое, но не дающее перспектив на повышение в ранге. Однако всё это время шла кропотливая работа по созданию команды, способной не только добиться результата, но и развить успех на более высоком уровне.
Переломным стал сезон 1964 года. Состав команды усилили молодые воспитанники клубных команд города Ислам Миннибаев и Альберт Файзуллин. Не слишком успешное начало чемпионата компенсировали 15 беспроигрышных матчей подряд на его финише. В итоге – 2-е место в зоне и возможность продолжить борьбу за выход в класс «А». Но полуфинальная пулька, которая проводилась в Орджоникидзе и Нальчике, с первой попытке казанцам не покорилась. Минимальное поражение в двух стартовых матчах от «Ростсельмаша» (0:1) и орджоникидзевского «Спартака» (2:3) оставили «Искру» за чертой участников финала.
В межсезонье произошло историческое событие. Правление спортклуба предложило сменить название команды на красивое и звучное – «Рубин». Идея оказалась удачной. Уже в первый под новой «вывеской» сезон 1965 года команда добилась наивысшего на тот период времени успеха. Но обо всём по порядку.
Костяк команды, сложившийся уже несколько лет назад, остался неизменным: защитники Николай Марков, Виктор Сурков, Анатолий Фомин, полузащитники Виталий Голубев и Виктор Новичков, нападающие Виктор Тетёркин, Алексей Берючевский и Ислам Миннибаев. На протяжении всего чемпионата «Рубин» находился в числе лидеров зоны, обеспечив себе в итоге 2-е место в группе, и отправился по уже знакомой дороге на полуфинальный турнир сильнейших команд класса «Б». Обыграв по 2 раза обоих соперников по подгруппе, в том числе хозяев – калининградскую «Балтику», казанцы переехали в Нальчик, где через 3 дня стартовал финальный турнир. Решающей стала игра с саратовским «Соколом», в которой «Рубин» благодаря голам Тетёркина и Голубева одержал победу со счётом 2:1 и впервые в истории завоевал путёвку в класс «А», вместе с хозяевами турнира, нальчикским «Спартаком», которые в итоге стали его победителями. «Рубин» вернулся в Казань с серебряными медалями в ранге вице-чемпиона России.