Os primeiros habitantes da região, onde hoje se localiza o Município de São José da Varginha, vieram em busca de ouro na região de Pitangui. Porém, como na localidade se cobrava o imposto do quinto, o bandeirante Domingos Rodrigues do Prado resolveu se estabelecer em outra localidade, trazendo consigo outros paulistas, iniciando assim a ocupação das terras do atual município.