Kdysi zde stála gotická tvrz na mohutném žulovém útesu v údolí Dírenského potoka. Přehrazením potoka a odtěžením šíje se skála změnila v rybniční ostrov. Pojmenování Červená Lhota se objevuje až od počátku 17. století, kdy prý zámeček museli natřít na červeno, aby zakryli stopu rodinné tragédie. Majitel byl katolík a zrovna se modlil, když do komnaty vtrhla jeho manželka protestantka a chtěla mu kříž vyhodit oknem do rybníka. Při vzájemné rvačce ji manžel křížem udeřil, krev vyšplíchla na zeď a rudá skvrna ve tvaru kříže tam zůstala navěky. Dodnes prý prosvítá i pod červenou omítkou.
