既然桃园结义不是历史记载，那么又是如何产生的？
桃园三结义这一故事，经过明代小说《三国演义》的传播，已经家喻户晓。但这一故事还要上溯一段到宋元时期，现存较早的三国故事有元代的《三国志平话》和《三分事略》等。
宋末元初的郝经在《重建庙记》就写到关羽与刘张“约为兄弟”的说法。此时还没有详细的过程。到了元代，这个故事开始丰富，如上文提到的两本书中就记叙了其中就有刘关张相遇后痛饮一番，后于桃园宰杀牛宰马祭祀天地并结义的情节：
《三国志平话》写刘关张三人相遇后，刘备和关羽“随飞到宅中，后有一桃园，园内有一小亭。飞遂邀二公亭上置酒，三人欢饮。饮间，三人各序年甲，德公最长、关公为次，飞最小，以此大者为兄，小者为弟。宰白马祭天，杀乌牛祭地，不求同日生，只愿同日死。三人同行同坐同眠，誓为兄弟”。
——《三分事略》的记叙与《平话》基本相同，只不过是个别文字的差异。
同时，在元明之际的杂剧《刘关张桃园三结义》第四折中也有这一桥段，故事梗概大约是讲刘关张三人情投意合，结为兄弟。但结拜的细节却由皇甫嵩口中道出：……圣人再令小官，将空头宣诏、珍宝财物，招安英雄好汉。小官前至涿郡也，多闻此处有三个英雄壮士：一个姓刘名备字玄德，一个姓关名羽字云长，一个姓张名飞字翼德。此三人结为昆仲，听知的今日在此桃园，宰白马祭天，杀乌牛祭地；不求同日生，只愿同日死；一在三在，一亡三亡。此乃人中杰士也。小官不避驱驰，直至桃园中，招安此三人，走一遭去，有何不可。
在之后，各种版本《三国演义》基本也沿袭了桃园三结义这一故事框架，无非是字句的差异。
明代成化年间成书的《花关索传》甚至还有三人结义，互相杀死对方妻室断绝牵挂的桥段。而据现有的资料可见，桃园三结义这一故事，最早应当发端于宋代。
但从历史上讲，刘关张三人并未有过结义。只提到刘备在涿郡乡里征兵时投归了刘备，成为了刘备的部曲。
《关羽传》：亡命奔涿郡。先主于乡里合徒众，而羽与张飞为之御侮。
之所以刘关张三人在后世的小说中成为了兄弟，很大程度是由于三人在史书中的亲密记载，故而为民间百姓所津津乐道，：
《关羽传》：先主与二人寝则同床，恩若兄弟。而稠人广坐，侍立终日，随先主周旋，不避艰险。《张飞传》：少与羽俱事先主。羽年长数岁，飞兄事之。