穿越时光的阻隔，一切回到一八五八年，时值晚清昏庸无能的清政府签定了《天津条约》，一时间，中国门户顿开，列强蜂拥而至，时任汉黄德道并兼任江汉关监督的何芷深感与一些畏事愉安者难于相处，又空有爱国自强之抱负而难于兑现于国事，并且家母年事已高，遂归隐于扬州。
    何园的故事便从这时开始了，扬州以园亭胜，何芷选择扬州营造心中的桃花源也顺理成章了，他选用东晋陶渊明的《归去来辞》中“倚南窗以寄傲，登东皋以舒啸”以寄啸两字为园提名：寄啸山庄，以抒发自己效法陶潜意去职隐于林泉的心境，后人因何园主人姓何，也就俗称寄啸山庄为何园了。