Угроза, исходившая от БСФ, в полной мере не воспринималась британским обществом. Более того, лозунг, выдвинутый Мосли, «Британия для британцев», нашёл отклик в среде оказавшихся в самом низу социальной лестницы граждан. Часто в Союз вступали настоящие головорезы, замешанные в кражах, грабежах и убийствах. И Мосли принимал их.
Не смотря на это, многие политики в той или иной мере поддерживали организацию Освальда в публичных выступлениях. Он, как противник любых левых идей, виделся этаким лекарством от заразы большевизма.
Политики попрозорливее видели в Мосли инструмент для достижения собственных корыстных целей. Например, лорд Ротермир, финансировавший организацию Мосли, рассчитывал на вливание фашистов в правое крыло консерваторов и, таким образом, добивался раскола внутри партии. К тридцать третьему году, когда влияние Болдуина росло, многие его противники видели в объединении с БСФ возможность заменить неугодного лидера. Поэтому в партию Мосли поступали чеки как от лорда Ротермира, так и от других видных представителей британского общества, таких, как леди Хаустон и лорд Наффилд. В связи с этим, Освальду пришлось отказаться от националистической и антисемитской риторики, наметившейся в тридцать третьем году. Дело в том, что Ротермир был противником антисемитизма и, конечно же, отказался бы от щедрых пожертвований в Союз, коль скоро его лидер использует неугодные лорду приёмы. Впрочем, это не первый и далеко не последний раз, когда Мосли изменит свои взгляды в угоду мимолетным интересам.
Отчасти Ротермир добился своей цели — из консервативной партии в БСФ перешёл ряд деятелей. Вступил в Союз и брат Стэнли Болдуина. Мосли прочувствовал тенденцию, наметившуюся в партии тори, стал высказываться резче. В частности, он в открытую говорил о необходимости введения диктатуры, устраивал марши своих сторонников, прозванных чернорубашечниками за цвет их одежды, нередко заканчивающиеся стычками с коммунистами и избиением недовольных.
Наконец, угрозу, исходившую от Мосли, почувствовал Болдуин. Он выступил с речью, в которой говорил о необходимости сохранения демократических традиций, осторожно намекнул на опасность, исходившую как со стороны левого крыла лейбористов, так и со стороны Союза Мосли, взывал к консерватизму, в той или иной мере свойственному большинству англичан. Вместе с тем, озабоченное усилением фашистской организации правительство начало тайный сбор информации и слежку за наиболее активными чернорубашечниками. Можно предположить, что инициатором этих мер был Болдуин. Более того, отчетливее стали звучать призывы к официальному запрету деятельности партии. Правда, на такой шаг в Британии пойти не могли. Как только предложения о запрете деятельности партии озвучивались в прессе, их тут же заглушили возражения недовольных. Не смотря на тяжёлое экономическое положение, Великобритания оставалась страной, в которой свобода слова являлась одной из высших ценностей.
В тридцать четвертом Мосли активно противостояли лишь коммунисты, но их усилий явно было недостаточно. Несмотря на беззаконные выходки чернорубашечников, несмотря на улучшающуюся экономическую обстановку, движение фашистов, получавшее помощь как внутри страны, так и вне её, продолжало набирать силу. В первой половине тридцать четвёртого года регулярно проводились митинги БСФ, Мосли выступал с речами, большим тиражом печатались газеты «Блэкшет» и «Фэшист Уик», содержащие фашистские агитационные материалы. Продолжала расти численность региональных отделений Союза, активно пропагандировался образ врага в лице коммунистов, воспевались успехи стран, в которых фашистское движение одержало победу. Штаб-квартиру фашистов перенесли в Лондон, в Уайтлендский педагогический институт. Поговаривали о скором приходе Освальда к власти, оставался лишь один вопрос — каким путём?
Впрочем, чаяниям честолюбивого лидера не суждено было сбыться. И причиной этого стал инцидент в зале Олимпия. Седьмого июня около тысячи чернорубашечников маршем проследовали от штаб-квартиры Союза к залу, где планировалось выступление Мосли. Он много говорил о победе в Первой Мировой войне, взывал к патриотизму слушателей, не учитывая того, что уже несколько лет в среде британской молодежи зрели антимилитаристские настроения. Всякий раз, когда его перебивали выкрикиваниями «Долой Мосли!», «Фашизм — это голод и война!», в дело вступали чернорубашечники. Они демонстративно избивали кричавших (чаще всего ими оказывались коммунисты). После того, как его перебивали, Мосли делал длинный паузы, обстановка внутри зала накалялась.
Впоследствии, секретарь Стэнли Болдуина, Джеффри Ллойд, так охарактеризовал манеру Мосли: «В английской политической практике издавна допускаются добродушная перебранка и даже резкие замечания во время собрания, и эту практику считают для себя оскорбительной только неопытные и чересчур самонадеянные ораторы, полагающие, что каждое их слово должно выслушиваться в благоговейном молчании».
Чернорубашечники непросто били осмелившихся нарушить тишину, они калечили людей, не гнушались добивать упавших и прекративших оказывать сопротивление. Вмешивались и женщины-фашисты, проявлявшие не меньшую жестокость. Самым загадочным в творившемся бесчинстве было то, что констебли, дежурившие у «Олимпии» безразлично наблюдали за происходящим, не смея вмешиваться. Позже, один из них проговорился, что им строго-настрого запретили оказывать фашистам противодействие.
После «Олимпии» Освальд написал статьи в своих газетах, где в восторженной манере отозвался о прошедшем мероприятии, утверждал, что британцы осознали и приняли как данность восхождение новой политической силы — БСФ. Уже не молодой, но всё такой же неопытный, падкий до лести и честолюбивый Мосли так до конца и не осознал, к каким последствиям привели действия его молодчиков во время митинга.
Независимые газеты кричали о жестокости и безжалостности чернорубашечников, их лидера поносили. Общественность, до того настроенная к БСФ скорее благожелательно, резко переменила своё мнение. На последующих митингах и сходках, устраиваемых Мосли, число его противников в разы превосходило число сторонников. Подобно громадной волне, возникающей вовремя обманчивого штиля, восстали антифашистские силы Британии. Безотносительно политической ориентации, всех их объединяла ненависть к БСФ. Мосли закидывали гнилыми фруктами, чернорубашечников гнали из мелких и крупных городов, даже рьяные сторонники движения стали покидать Союз. БСФ дискредитировал сам себя, в результате чего наступил период упадка фашистского движения.
