沿鸿雪径石阶向上转角处，有一两层建筑，上曰四照阁，下曰凉堂。凉堂，为宋时旧迹，1924年，由著名实业家、收藏家、书法家张钧衡复筑，遍植梅树，只是规模不比宋时。张钧衡（1872—1927），字石铭，号适园主人，湖州南浔人，以雄厚的资财和珍贵藏书闻名于世。他参加过“公车上书”，支持过“戊戌变法”，资助过辛亥革命。这个革命党人一生挚爱金石、典籍，对西泠印社多有贡献，除了捐资修复凉堂外，在1922年还捐资2000大洋参与赎购著名的“汉三老忌日碑”。

据张钧衡考证，宋叶绍翁《四朝闻见录·萧照画》曾载：“凉堂，西湖奇绝处也。堂规模壮丽，下植梅数百株，以备游幸。”据说，孤山凉堂刚刚建成，宋高宗第二天就要来游玩，但凉堂的四面墙壁还是一片素白，宋高宗听说大画家萧照功夫了得，于是就差人请来创作壁画。一夜之间画两丈高的四幅壁画几乎是不可能完成的任务，但皇命不可违，无奈萧照受命下来，且讨要了四斗御酒。当夜，萧照在凉堂举杯作画，每敲一更，喝一斗酒，落笔如神一般将四壁全画满了。第二天，高宗如期来到凉堂，看到四壁富丽堂皇，花枝招展，龙颜大悦，赞赏再三，即时命人赐金帛给萧照。

从此，凉堂声名远播，被视为浪漫的书画艺术之殿堂，为文人雅士所向往一聚，品茗谈艺之地。