文斯·卡特的全名是小文森特-拉马尔-卡特。

1977年7月26日出生在佛罗里达州代托纳海滩的一个普通家庭。卡特很小时，父母就已离婚，之后卡特一直和母亲以及继父一起生活，与生父很少联络。

值得一提的是，卡特的母亲米歇尔和继父哈里-罗宾逊的职业都是教师。

文斯·卡特从小在佛罗里达戴托纳海滩长大，在念二年级时他便经历了家庭的重大变革，生父抛弃了他们母子三人，而当卡特每次想到“父亲”时，他的记忆中只有继父哈利·罗宾逊。

卡特与篮球的第一次亲密接触还要追溯到他两岁那年，一场J博士出战的比赛让他看得如痴如醉，事后他在自家后院里一遍遍仿效朱丽叶斯·欧文的动作，想象着自己腾空跃起后完美地掌控着身体，由于他的动作太过夸张，因此那些童年小伙伴们给他取了个绰号“UFO”（不明飞行物）。

卡特的生母和继父都是老师，他们时常鼓励小卡特尝试各种展现自己创造力的事。

例如：让他接触一些乐器（萨克斯风、喇叭和鼓，他的继父曾担任过乐队指挥），不过相比之下，卡特在篮球上付出的时间还是要多出不少并最终在他11岁那年得到了回报。

那时候的卡特只有5英尺高，但出色的弹跳力让他的手指头一回触碰到了篮筐，而在一年后他完成了生涯的首次灌篮。

和年长的孩子们一块儿打比赛是卡特经常做的事，他的出彩表现也吸引了大量的围观者，然而卡特向他们展现远不止扣篮。

他在球场上的洞察力、为队友创造进攻机会以及机智的防守都让人印象深刻。

卡特的父母都很支持他打球，并经常用卡特叔父的成长历程来激励他（奥利弗·李，曾在1981年被芝加哥公牛选中），此外，他们俩也希望卡特能上一所好大学以便今后在篮球方面获得更好的出路。

“你越是认真对待读书，那么你就能进更好的大学”这句话是父母二人经常在卡特耳边重复的，后者牢记在心，卡特在整个高中生涯都未曾因为篮球放下过书本。

文斯·卡特在高中时便是队中球星，频繁的双人包夹让他颇受困扰，而在一次突破中，卡特提前起跳，他原本打算以一个低手上篮收场。

但或许是由于憋了一整场的原因，卡特没有选择轻松得分，而是完成了一记技惊四座的扣篮，场上其余的9位球员顿时都惊愕到站在场上直发愣，导致裁判不得不跑过来提醒每个人比赛还在继续。

从那一刻起，卡特真正意识到自己拥有着与生俱来的弹跳能力，除此之外，他还不断练习控球、传球以及左右手投篮，加上身高优势（六英尺），卡特在念高二时便场均能有20分进账。

作为得分后卫的卡特很快便被主教练查理·布林克霍夫要求担任前锋，这样他就可以利用自己的身高优势强攻内线并抓得大量的篮板。