最早引用《西京杂记》一书的是南北朝时期殷芸所编的《小说》。与殷芸同一时期的贾思勰在其所著《齐民要术》一书中,也引用数条《西京杂记》的故事。由此可知,《西京杂记》成书当在南北朝之前。
东晋葛洪在《西京杂记》一书后跋语中记载,他家中曾藏有西汉刘歆撰写的《汉书》一百卷。刘歆当时想编著《汉书》,但书未成他就去世了,书最终也没有定稿,只留下杂记西汉史事的草稿。后人根据刘歆草稿编成一百卷,就是葛洪家藏有的这部书。
葛洪将此书与班固《汉书》相对照,发现班书全部抄自刘书,班固舍弃的,只有两万之字。葛洪将这两万多字编次成书,取名《西京杂记》,希望补充《汉书》的缺漏。
由此可知,刘歆应为《西京杂记》的原著者,葛洪为《西京杂记》的编著者。
不过,葛洪虽然已经讲明该书成书过程,但是后来他的这段文字还是引起后人的质疑,认为《西京杂记》是葛洪托名之作。
自唐以后,关于《西京杂记》作者的争论更是愈演愈烈。有“刘歆说”,“葛洪说”,“吴均说”等诸多说法,至今仍没有一个确切的答案,但目前仍以“葛洪说”较有影响力。