《铁围山丛谈》一书正是蔡绦流放白州时所作。白州境内有山名铁围山，位于今广西玉林西，古称铁城，绦尝游息于此。《铁围山丛谈》六卷，记载了从宋太祖建隆年间至宋高宗绍兴年间约二百年的朝廷掌故、宫闱秘闻、历史事件、人物轶事、诗词典故、文字书画、金石碑刻等诸多内容，色彩斑斓，异常丰富，可谓一部反映北宋社会各阶层生活状况的鲜活历史长卷。文字生动流畅，要言不烦，浅显易懂，读来倍感清新。然书中“多为其父文过饰非”，对其家“佞幸滥赏、可丑可羞之事，反皆大书特书以为荣”，其是非颠倒之处在在有之。在众多的宋代史料笔记中，《铁围山丛谈》是很重要的一种，颇受历代学者重视，多为后人所征引。