Fyrstu húsini á Fitjum komu, eftir at Rentukamarið hevði gjørt av at stovna ein kongligan úthandil í Vestmanna í 1839. Handilshúsini vóru tvey, og harumframt komu so sethúsini, har fyristøðufólkini í handlinum búðu. Har vóru onkuntíð meira enn 20 fólk í húsi, og ikki vóru húsini serliga stór.
Poul Hansen úr Saksun lærdi handilsskap og arbeiddi í handlinum, og hann bygdi í 1858 næstu sethúsini á Fitjunum til sín og konuna. Tey fluttu seinni út í bygdina. Kommunan keypti húsini, og í nógv ár vórðu hesi húsini brúkt sum læknahús í Vestmanna.
Virksemið, sum fyrst kongligi handilin og seinni privati Fitjahandilin gav av sær í Vestmanna, hevði stóran týdning fyri annan handilsskap og menningina av Vestmanna sum heild. Tá ið vatnbyrgingarnar hjá SEV komu fyrst í 1950’unum, var høvuðsskrivstovan á Fitjum.
Í 1801 var einki hús á Fitjum. Í 1858 vóru tvey hús og í 1925 vóru níggju.