1958年11月8日生於香港，原籍廣東佛山。1981年香港中文大學新聞傳播學系畢業。1983年加入新藝城，首部參與創製的電影是梁普智導演的《英倫琵琶》，一身兼四職：編劇、副導演、演員及主題曲填詞，此後一直在這四個崗位中發揮創意。其他編劇作品包括《補鑊英雄》、《郎心如鐵》、《幻影特攻》、《神偷諜影》等等。

1986年執導處女作《戀愛季節》，影片中的片段成為許多當年少男少女的集體記憶。相隔25年後，於2011年編導《出軌的女人》，獲提名香港電影金像獎最佳新晉導演。

潘源良的電影主題，以描劃女性微妙心理及感情關係的跌宕，最為擅長。在執導的技法方面，他喜歡跟演員詳談溝通，務求演員在討論中，更能透澈體會劇中人的心態與性格，從而進入角色，演繹出不一樣的效果。他相信，生活中已經有足夠的戲劇元素，引發演員的爆炸力，去感動觀眾。