1、出于姬姓

西周初年，周文王姬昌的第十五个儿子毕公高被封在毕（今陕西省咸阳北），建立毕国。毕公高又让自己的儿子季孙采食于潘，因氏焉。《广韵》是中国第一部官修的韵书，是在隋代陆法言《切韵》、唐朝孙愐《唐韵》等基础上编修而成。该书《卷一·桓》的“潘”字下注周文王之孙“毕公之子季孙食采于潘因氏焉”。

2、鲜卑改姓

北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘 。清康熙末年，台湾岸里大社（今台湾省台中市神岗）酋长阿穆归顺清廷，被赐姓为潘；光绪时，台湾高山族相率归化清廷，也被赐姓潘（这也就是台湾高山族人大多姓潘的重要原因）。

3、汉化改姓

源于其他少数民族，属于汉化改姓为氏。在今水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。

1、春秋战国时，潘姓主要在今湖北省境内发展，此后，有向山东、湖南迁徙的少数潘姓人。

2、汉时，有潘姓北迁至荥阳中牟（今属河南省）的，至三国时发展兴旺而为荥阳郡一大望族，以东汉献帝时尚书左丞潘勖为始祖。

3、东汉灵帝有潘乾因仕宦而迁江苏溧阳，此地以潘乾为始祖

4、北魏时，破多罗氏改汉姓潘，并逐渐在洛阳形成潘姓的第三大郡望，其开基始祖为潘威。此期潘才的第八世孙潘绍业因任随州（今湖北省随县）刺史落籍当地。此地成了这支潘氏的起源地。唐初，陈元光父子开漳，有河南固始人潘节随其入闽。

5、宋时有潘节后人迁广东、云南。元明清时，潘姓已分布于全国各地。

6、如今，潘姓人分布广泛，尤以广东、江苏、安徽、内蒙古、河南、四川、湖北、浙江等省。