祖是前凉陵江将军唐辉，这也直接影响到了唐寅，书画题名常用“晋昌唐寅”落款。先祖唐俭跟随李渊起兵，受封“莒国公”，所以唐寅也自称“鲁国唐生”。到了明代，其祖唐泰任兵部车驾主事，死于土木堡之役。唐泰的后代子孙多散部在苏州吴县白下、桥里间一代。唐寅也正是出生在这一带，其父唐广德经营一家小酒馆。