关于“尉迟”的记载，最早（可能是）出现在《晋书》中，卷一二五乞伏国仁载记说：“乞伏利那讨尉迟渴权于大非川，收众三万余落。”据此，可知尉迟部落当时（约公元三世纪中）在大非川附近，大非川即今天的青海布哈河。 鲜卑族的吐谷浑部于公元四世纪初迁到青海一带。当时尉迟部落应在土谷浑境内，应为土谷浑所属部落之一。尉迟部后来，分为了两部分。一部分跟随土谷浑首领慕利延西侵入于阗，作为土谷浑部属之一的尉迟部或许从那时起被慕利延留镇于于阗，从此世代为于阗王；尉迟部落的另一部分逐渐向东迁徙，来到朔方（今内蒙古自治区乌拉特旗东，离包头大约200公里），并于天兴六年（公元403年）春，内附北魏道武帝拓跋珪，入居云中郡（即今内蒙古托克托县），进一步向东。
　　
　　尉迟部落虽号称鲜卑，但很可能源自月氏。加拿大学者蒲立本（E. G. Pulleyblank）认为尉迟氏即小月氏。月氏族曾生活在河西走廊一带。秦汉之交，匈奴击败了月氏。其一部远遁西域，为大月氏。一部逃到青海，为小月氏。尉迟部很可能出自小月氏，后来在吐谷浑部统治下久了，最终融入西部鲜卑。