凡到过杭州胡雪岩故居的游人，无不叹服这个大宅院宅第朱扉紫牖、雕刻门楼的精巧，故居内芝园怪石嶙峋、石桥亭阁的雅致，郑板桥、唐伯虎等名家书法石刻彩画作品的珍奇。

胡雪岩故居建于同治11年（1827），占地十多亩，宅内有十三楼，建筑构思巧妙，建筑工艺精致，砖雕、木雕、石雕、灰雕无品不精；建筑用材讲究，大量选用紫檀、楠木、银杏、中国榉等高档木材。全宅铜铸件就重达10余吨，竭尽豪华，堪称清末中国巨富第一宅。如楠木厅，建筑全部用楠木构筑，至今在这里可以嗅到楠木特有的香味。如百狮楼，由100个紫檀磨成的狮子装饰栏杆构成。宅院还吸收了大量当时十分罕见的西洋建筑风格和材料，院内不少建筑门窗都装饰了以蓝绿色调为主的五彩玻璃，芝园中的影怜院，厅内装饰有在日本定制的水法塔灯和英国人送的两面大镜子。

尤其是宅院中的园林——芝园，更是江南园林之精品。芝园的中部主体建筑延碧堂，因材料全部选用鸡翅木故又称红木厅。站在厅前露台上隔水相望，只见对岸一座大假山造型奇特。据记载，此假山是当时誉满京师的造园名家伊芝所设计，是伊芝去灵隐寺前飞来峰住了一个月得到灵感而成，又请了杭州最著名的工匠负责叠造，历时两月才完成。更为巧妙的是，围绕假山石的回廊，建有造型精巧的影怜院、荟锦堂、御风楼、洗秋院、锁春堂等小楼，和假山石融为一体，别有韵致。

而后“富坼王候，财倾半壁”这八个字，极为简练地概括了当年胡雪岩炙手可热的暴富状态。

胡雪岩，原名光墉，字雪岩，安徽绩溪县人。咸丰十年他从上海运粮米、军火接济杭州清军，次年又与左宗棠组织常捷军，同治五年又协助左宗棠创办福州船政局，左调任陕甘总督后，胡在上海为他筹集军粮，订购军火。慈禧太后亲赐匾额，赏黄马褂。胡雪岩在各省设立阜康银号，经营当铺、药铺，出口丝、茶……他白手起家，买空卖空；操纵商场，晋陞官场；日进斗金，既富且贵，终成一代巨贾。

然而，兴也何迅，败也何速！“古云富不过三代，以红顶商人之老谋深算，竟不过十载。”胡雪岩从富甲天下到钱庄倒闭，商号破产，负债纍纍，革去职衔，家道破落，次年便忧愤而死。

据《清代七百名人传》记载：胡雪岩修建“第宅园囿，所置松石花木，备极奇珍。姬妾成群，筑十三楼以贮之”。“大起园林，纵情声色，起居豪奢，过于王侯，骄奢淫逸，大改本性。”说的是胡雪岩不仅修建了“江南第一豪宅”，还修了一个“十三楼”，用来安排自己的姬妾。

据传说，姬妾住进十三楼之后，胡雪岩象是一个帝王，每日临幸十三楼。他还模仿帝王，弄了个“翻牌子”。每天晚上，会有侍女端来写有姬妾名字的牙牌，胡雪岩今晚想在哪里睡，就翻谁的牌子。他还让诸妾穿上写着“车”“马”“砲”字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，“下活棋”。胡雪岩和他姬妾一起过着肉林酒池、欢歌盛宴的奢靡生活，享乐纵欲无度，挥金如汤沃雪，派头丝毫不亚于皇帝。

据光绪年间欧阳昱《见闻琐录》记载，胡雪岩的女人，还不止住在十三楼的“东楼十二钗”，“凡买而旋遣者，殆数百人”。胡雪岩会买许多女子，但他喜新厌旧，因此会定期遣散一些女人，光是遣散的人，就有几百人那么多，由此可见胡雪岩的生活过的是多么奢侈淫糜。