饒宗頤文化館的前身是荔枝角醫院，是香港特區政府發展局「活化歷史建築伙伴計劃」的首批活化項目，由非牟利慈善機構「香港中華文化促進中心」直接參與修復、活化及日常營運，以當代中國國學大師饒宗頤教授之名，命名為「饒宗頤文化館」。

文化館坐落在荔枝角山崗上，現址的建築群曾經先後用作不同用途，如醫院、海關分廠、華工屯舍、檢疫站、監獄、傳染病醫院和精神病療養院等等。 儘管角色不同，它們以其獨特的位置和建築，擔當特別的角色，以回應當時社會的需要。現在，建築群活化為一個地標性的文化平台，回應現時社會對文化發展的需要。