Bovendien was menigeen doodsbenauwd voor de ongekende snelheid waarmee het ijzeren paard over twee smalle rails raasde en voor het beangstigende gesis van de stoommachine. Het tragische ongeluk bij Gent op 22 januari 1839 - bij het vertrek van de trein was de stoomketel met een geweldige klap uiteengespat - was dan ook koren op de molen van de tegenstanders.

Daartoe behoorde ook het gemeentebestuur van Haarlem, dat vanaf het begin weinig interesse had getoond in een spoorwegverbinding met de hoofdstad. Toen Haarlem in 1835 om medewerking was gevraagd, had de stad niet eens geantwoord.

Ook de Hollandsche Maatschappij der Wetenschappen merkte weinig van een ‘spoorwegkoorts’. In 1837 had het geleerde genootschap een prijsvraag uitgeschreven: hoe kon een spoorweg het beste kon worden aangelegd? Het kreeg zegge en schrijve één reactie. En die was van zo’n erbarmelijke kwaliteit, dat het bestuur besloot geen prijs toe te kennen.

Een aantal particulieren uit de geld- en zakenwereld gaf de moed echter niet op, zodat het spoor er uiteindelijk tóch kwam.