Het stadsbestuur van Deventer richtte in 1560 een weeshuis op. Dergelijke gasthuizen voor alleenstaande minderjarigen kwamen in die tijd ook in andere steden tot stand. Er ontstond zelfs een zekere na-ijver, waarbij weeshuizen statussymbolen voor steden werden, net als bijvoorbeeld waaggebouwen en stadhuizen.
Het huis was uitsluitend bestemd voor wezen van grootburgers. Dat waren Deventenaren die alle rechten en plichten van het burgerschap bezaten. Wat dat aangaat was het huis aanvankelijk een elitaire instelling. In overeenstemming daarmee kregen de kinderen een goede opvoeding en opleiding. Ze gingen naar school, de jongens leerden een vak en de meisjes werden voorbereid op een bestaan als huisvrouw en moeder. De bestuurders van het huis kregen de opdracht, een zo groot vermogen op te bouwen dat ze uit de opbrengst daarvan het weeshuis konden laten werken. Een belangrijk deel van dat vermogen belegde het bestuur veilig in onroerend goed, vooral in landerijen buiten de stad. Alleen in de beginperiode verschafte de stad een subsidie, daarna nooit meer. Na een startperiode in de Papenstraat betrok het weeshuis in 1579 het bagijnenhuis in de Bagijnenstraat.
In 1679 richtte het armbestuur een kinderhuis op. Dat was bestemd voor alle wezen waarvan de ouders geen grootburgers waren geweest: kinderen van andere burgers, van ingezetenen zonder burgerrecht en vondelingen. In dat huis ging de aandacht minder uit naar opleiding en meer naar werken. Alleen voor en na werktijd kregen de kinderen er een beetje onderwijs. Het verschil tussen beide instellingen vormt een typerend blijk van de standenmaatschappij van toen. Pas vanaf het eind van de 19de eeuw verdween het onderscheid heel geleidelijk.
Vanaf de oprichting voerden het weeshuis en het kinderhuis ieder een grote huishouding, die zoveel mogelijk op een gezin moest lijken. De leiding berustte bij een man en een vrouw, meestal een echtpaar, ‘vader en moeder’ genaamd. Zij probeerden een zo huiselijk mogelijke sfeer te scheppen, waarin de kinderen zich veilig en thuis konden voelen.
In 1930 kwam een einde aan de gezamenlijke verzorging van de kinderen in één gebouw. Voortaan werden de kinderen ondergebracht in gezinnen.