潘光旦最大的爱好就是研究家谱。因此他在新居落成后，特地开辟一室，整天沉溺于家谱的搜集工作。有人问他：“为什么你这么喜欢看人家的家谱，而不修自家的家谱呢？”潘笑而不答。为此，有人还送给了他一副对联：“寻自身陕乐，光他姓光他姓门楣。”不过，潘光旦虽然喜欢研究家谱，但他并不是无原则地“光他姓門楣”。权贵孔祥熙就曾经托人到潘处说情，请他证明孔祥熙为孔子的后代。他就一口拒绝说：“山西没有一家是孔仲尼的后人。”弄得来人十分尴尬。