De oorsprong van ons restaurant vinden we terug in het jaar 1648, toen Jonkheer van Reede een boerderij liet bouwen naast de offersteen "Dolmin". Vanuit de boerderij zou tol geheven worden voor de pas aangelegde weg van Hilversum over de Vuursche naar de Bilt, en tevens had de Jonkheer er zijn gerechtskamer. De vrouw van de jonkheer, Geertruide, vond die tolheffing geen prettige regeling. Zij had medelijden met de toch al zo arme boeren. Daarom gaf zij de boer, die het tolgeld moest innen, 's winters jenever en 's zomers bier. Dit ter compensatie voor de boeren die toen ook al geen rijk bestaan hadden. Die eerste boer was een ondernemend man en al spoedig ging hij zelf bier en een borrel verkopen. Dit was het begin van de Herberg.

Ruim twee honderd jaar later in maart 1865 huurde Willem van Oosterom, de stamvader van de huidige familie van Oosterom, deze boerderij met herberg van Jonkheer van Drakestein, de bezitter van het dorpje de Vuursche. Van Oosterom voelde zich al snel thuis en exploiteerde naast de boerderij en de herberg ook binnen korte tijd de stalhouderij. Hij schafte zich een paar rijtuigen aan en onderhield een bode-dienst op Utrecht en Baarn.

Inmiddels was er in de zomermaanden wat vertier gekomen. De wat beter gesitueerden uit Baarn, Utrecht en Hilversum kwamen met rijtuigen naar de Vuursche om van de prachtige bossen te genieten. Willem's vrouw was een ware keukenprinses en dochter van de dorpsbakker. Zij vergastte de bezoekers met pannekoeken, gebakken eieren, ham en kaas en uiteraard kwamen alle ingredienten van het eigen bedrijf. In 1880 legde zij de grondslag voor het Restaurant.

Een paar maal per winter was er een houtverkoping in de herberg. De jonkheer, de notaris en nog wat belangrijke personen namen dan in de Opkamer (toen nog de woonkamer) plaats en de afslager stond op de trap, terwijl de kopers op de banken in de herberg zaten. In 1905 overleed de stamvader. Na lang en rijp beraad besloten de zonen Hein en Jan in 1940 de boerderij aan de kant te doen om zich meer toe te leggen op de inmiddels tot "Hotel-Café-Restaurant" uitgegroeide herberg.

Rond 1950 legde de gemeente een nieuwe weg aan door het dorp de Vuursche en fietspaden door de bossen. Vanaf die tijd is het toerisme alleen maar toegenomen en was het succes van de Vuursche een feit. Door de eeuwen heen is "de Lage Vuursche" een pleisterplaats geweest voor dorstige, hongerige en vermoeide reizigers. De reizigers per paard, koets, fiets en auto hebben altijd een gastvrij onthaal en een goede keuken gevonden. Tot op de dag van vandaag.