Esta família teve seu mais antigo membro de uma das famílias portuguesas. Dom Pedro de Oliveira foi o iniciante desta tradicional linhagem que constituía o Solar dos Oliveiras, na freguesia de Santa Maria na região dos Arcos de Valdevez, lugar de onde se ramificou por todo Portugal esta nobre família. Os Oliveiras tiveram muitos cargos junto à Corte Portuguesa por várias gerações e obtiveram todos os títulos nobiliários da nobreza de Portugal. O primeiro Brasão de Armas lhes foi concedido em 1350 com honras e méritos devidos. Outros brasões em épocas posteriores vieram a ser concedidos a outros membros dessa enorme família.
Vieram parar no Brasil com a vinda da Corte Portuguesa para o Rio de Janeiro em 1808 com Dom João VI. Um dos Descendentes ilustres desta enorme família veio para esta região serrana para estabelecer propriedade em terras adquiridas por serviços prestados ao Rei e à Corte formando uma propriedade de mais de 100 alqueires de terras chamada Fazenda Lagoa. Flávio Antônio de Oliveira proprietário desta fazenda estabeleceu-se nesta região por volta de 1843. Trazia consigo uma imagem de Nossa Sra. da Conceição, padroeira de Portugal e que ficou aos seus cuidados em seu casarão num oratório dentro da casa onde se rezava o terço e cantavam-se as ladainhas ao anoitecer. Na base desta imagem de Nossa Sra. da Conceição ha uma plaqueta de prata com a data de 1843 que acredita-se ser a data de origem da mesma.