В противоположность Кронеккеру, Вейерштрасс уже тогда проявил полное понимание идей своего прежнего ученика. Он заинтересовался уже докладом в семинаре, где тот, еще будучи студентом, располагал рациональные числа в последовательность; точно так же, после недолгой первоначальной озадаченности, он очень быстро оценил сообщенное ему в 1873 году понятие счётности в его общем виде, и сразу воспользовался счётностью алгебраических чисел в одном вопросе, касающемся действительных функций[7]. Далее Кантор по предложению Вейерштрасса впервые применил понятие счетности к анализу (в работе [8]), и обратно, канторова теория объема в [13] побудила Вейерштрасса заняться теорией действительных функций[8].
С работой [11] тесно связана, и в некотором смысле противостоит ей, работа [12], в которой предпринята попытка выяснить значение непрерывности для понятия размерности; идея эта, по существу, возникла из переписки с Дедекиндом. Как известно, теорема об инвариантности размерности, о которой идет речь в этом (недостаточном) доказательстве, была строго обоснована лишь Л. Э. И. Брауэром много десятилетий спустя.
Начало восьмидесятых годов было временем интенсивнейшего творчества Кантора, могучего, переливающегося через все видимые границы развертывания его гениальных идей; но тогда же произошел тяжелый кризис в его жизни, не покинувший его до конца.
Работа [13], опубликованная в шести частях в 1879−84 годах, принадлежит к тем историческим явлениям, когда совершенно новая мысль, открывающая целую эпоху и полностью противоречащая воззрениям прошлого и настоящего, пробивается и кристаллизуется со все возрастающей отчетливостью, лишь постепенно осознаваемая в своей смелости и новизне самим ее творцом. В 1870 году ему впервые является идея трансфинитных чисел; в 1873 году он постигает значение счетности и зияющую пропасть, отделяющую ее от континуума; лишь теперь он решается предложить современникам свои идеи во всей их широте, отдавая себе полный отчет в их возможном воздействии: так, он говорит о «предметах, примыкающих к теории множеств или теснейшим образом с нею связанных, как, например, современная теория функций и, с другой стороны, логика и теория познания». Во всяком случае, часть пятая этой работы [13] , вышедшая также отдельно с предисловием[9], делает ее важным событием не только в математике и философии, но и вообще в истории науки и человеческого мышления; без сомнения, она еще окажется поучительной и ценной с самых разнообразных точек зрения, пока нам недоступных.
Редакция “Mathematische Annalen” снискала высокую заслугу, открыв страницы своего журнала идеям, решительно неприемлемым для математического и философского мира того времени, которым еще предстояло более десятилетия ожесточенно бороться за свое признание.
В серии статей [13] излагается, главным образом, теория точечных множеств[10]; вместе с дополняющими ее работами [14]–[16] она содержит, прежде всего, теорию производных множеств, исследование строения точечных множеств и теорию объема, а также теорию порядковых чисел, в особенности второго класса. Следует упомянуть еще некоторые отдельные места, непосредственно не относящиеся к этим основным темам, но имеющие общее значение: сохранение свойства связности Rn, когда из него удаляется счетное всюду плотное множество, после чего в столь разрывном пространстве оказывается возможным непрерывное движение; признание автора в конце части пятой, что успешное продолжение его исследований невозможно без расширения числового ряда в трансфинитную область, и его убеждение в том, что это расширение, как бы оно ни казалось сначала спорным математическому миру, в конце концов проложит себе путь; осуждение бесконечно малых величин, а также финитистской точки зрения Кронеккера, и дискуссия с финитистски ориентированными философами древности и средних веков до Спинозы, Лейбница и Канта; историко-критический и логико-математический анализ сущности континуума; общий метод вложенных интервалов. В эту последовательность статей вклинивается работа [8] , в которой Кантор, по инициативе Вейерштрасса, использует понятие счетности в своем методе сгущения особенностей.
В безмерном духовном напряжении, связанном с зарождением революционных идей работы [13], в особенности теории трансфинитных чисел, и с утверждением их вопреки сопротивлению современных исследователей, отягчающую роль сыграли две специфических трудности: борьба с проблемой континуума и усиление антагонизма с Кронеккером. О том и другом мы хорошо осведомлены благодаря изданным А. Шенфлисом письмам Кантора к Миттаг-Лефлеру[11] от 1884 года, когда произошел решающий поворот в его жизни.
Когда в начале 1884 года была завершена основополагающая работа [13], Кантор уже далеко продвинул открытое еще в [10] и подчеркнутое в [11] деление бесконечных множеств на два класca – счетные и эквивалентные линейному континууму; как при этом обнаружилось, ко второму классу относятся, прежде всего, «совершенные множества». С другой стороны, также отправляясь от точечных множеств, он ввел трансфинитные порядковые числа второго числового класса (как символы порядка производных), конструируя их с помощью предельных процессов, подобных построению иррациональных чисел в виде фундаментальных рядов. Таким образом, казалось чрезвычайно вероятным, что второй числовой класс как раз имеет мощность континуума; и в самом деле, в шестой части работы [13] Кантор объявляет, что с помощью своих предыдущих теорем он может это предположение доказать; это должно было увенчать все полученные им результаты. Однако, его настойчивые попытки провести такое доказательство, как в то время, так и позже, летом и осенью 1884 года, с привлечением все новых методов, оказались безуспешными[12]; в ноябре он даже отказывается от своего предположения − построив мнимое доказательство, что континууму вообще не соответствует в качестве мощности никакой алеф − но на следующий же день изменяет это мнение. За повторными безуспешными усилиями следует усталость, уныние, разочарование; осенью 1884 года, после кризиса в состоянии здоровья, о котором пойдет речь дальше, вдруг обнаруживается стремление вообще отойти от математики. Он хочет полностью оставить ее и намеривается даже просить у министерства разрешения перейти в своей преподавательской деятельности от математики к философии[13]. Но прежде всего он отдается в то время, с величайшей энергией и, очевидно, в связи с расстройством здоровья, попыткам доказать, что автором пьес Шекспира был Френсис Бекон[14]. Он и в этом направлении проявил свойственные ему увлеченность и настойчивость, о чем свидетельствуют, между прочим, опубликованные им по этому вопросу сочинения[15]. Как видно из его письма Дедекинду от 28 июля 1899 г., лишь вследствие недостатка времени и денег он в конце концов перестал разрабатывать эту тему, которой в периоды депрессии занимался даже в своих лекциях и семинарах; но живейший интерес к ней он сохранил на всю жизнь. Этим настроением разочарования в математике, и лишь отчасти действительным положением вещей объясняется его высказывание в то время, что он предпринял «утомительное и не особенно благодарное исследование точечных множеств», главным образом, для того, чтобы применить результаты к «естественному учению об организмах», для которого недостаточны применявшиеся до сих по механические принципы и которым он занимается уже в течение четырнадцати лет.
На это решение оставить математику (впрочем, неоднократно нарушенное уже в течение 1885 года чисто математическими исследованиями), вероятно, еще сильнее неудачи с проблемой континуума повлияло разочарование, вызванное у Кантора отношением к его предыдущим трудам в математическом и философском мире. Достигший сорокалетнего возраста исследователь, выступавший в течение более десяти лет со своими новыми идеями перед научной общественностью, естественно, должен был стремиться к признанию его труда коллегами и к научному влиянию на младших из них. Но этого он был почти лишен. Лишь в очень ограниченной мере могла способствовать осуществлению его желаний дружба с Миттаг-Лефлером, длившаяся до конца и настолько прочная, что смогла противостоять известным (отчасти действительным, отчасти же лишь воображаемым) расхождениям во взглядах в 1884−85 годах. Когда Миттаг-Лефлер в 1881 г. приступил к преподаванию во вновь созданном Стокгольмском университете и сразу же основал журнал Acta Mathematica, он не только пригласил Кантора участвовать своими публикациями в новом журнале, но и позаботился перевести на французский язык работы [4], [5], [9], [10] и, что особенно важно, большую часть работы [13] (части 1–5), опубликовав их во 2-м томе Acta. Уже сама по себе эта поддержка со стороны уважаемого ученого, пользовавшегося значительным влиянием ввиду его отношений с Вейерштрассом и с кругом парижских математиков, была в моральном отношении важна для Кантора в то время, когда для него был закрыт «Журнал Крелля» и господствовавшее влияние берлинских (а, по-видимому, и геттингенских) математиков было ему прямо враждебно. Не менее очевидно было и собственно научное воздействие дружбы с Миттаг-Лефлером; кроме начавшихся в 1883 году, в некотором смысле параллельных публикациям Кантора работ Бендиксона и Фрагмена о точечных множествах, в томах Acta. за 1883–84 годы появился целый ряд весомых применений теоретико-множественных понятий и результатов к задачам теории функций и геометрии, авторами которых были как сам Миттаг-Лефлер, так и восходившие тогда светила − Пуанкаре и Шеффер. Кантор не заметил сначала работы Пуанкаре, в которой теория точечных множеств была привлечена к исследованию строения области существования автоморфных функций; но при поездке в Париж весной 1881 г. он имел случай убедиться, что Пуанкаре знает и ценит его работы[16]. Бóльшие надежды возлагал он на влияние статьи Миттаг-Лефлера, которая должна была продемонстрировать силу и значение идей Кантора в области вейерштрассовой теории функций, стоявшей тогда в центре внимания, − в ней изучался вопрос о возможности построения аналитических функций с надлежащим образом заданными особыми точками. Тем глубже было его огорчение, когда обнаружилось, что ссылка на Кантора, напротив, во многом повредила приему, оказанному этой работе, особенно в результате сильного также и в Париже воздействия позиции Кронеккера.