上海美专由于最早在中国的美术课堂上使用裸体女模特进行人体写生，而在社会上引起了轩然大波，几乎遭到灭顶之灾。当时中国刚刚出现人体画，人们普遍将之视为荒淫之物横加鞭挞，但以刘海粟为首的美专不畏人言，与守旧势力及军阀强权斗争十年，并最终取得胜利。潘玉良进入美专后，就表现出了对于人体绘画超乎寻常的热爱，并将这种热爱延续了一生，后来她的佳作中人体画占了相当大的比重。据说，潘玉良为了写生，竟然跑到公共澡堂去素描，结果被人发现后撵了出来。此后，她索性自己给自己当模特，脱光衣服，对着镜子画自己。
按说青楼女子从良后总是对过去的经历讳莫如深，从这个角度，潘玉良应该对于人体画避而远之才是，以免触及自己内心的隐痛，并远离卫道者们的口诛笔伐。然而，潘玉良的性格注定她不是这种顺从大流之人。画家刘苇是潘玉良的同班同学，有一次她们在杭州写生，潘玉良内急，到雷峰塔墙圈里小便。这时一伙男同学过来了，刘苇喊潘玉良快出来。潘玉良却蹲在里面说：“谁怕他们！他们管得着我撒尿吗？”
潘玉良对画人体还有特殊的情感，对于一个青楼女子来说，身体不过是供人泄欲的工具，而画家笔下的人体却是美的象征，直指灵魂。潘玉良正是要用这种“坦荡荡”的美来向那些衣冠楚楚、道貌岸然的卫道者宣战，壁立千仞，无欲则刚。
不过，低贱的出身确实也给潘玉良带来了巨大的影响，并彻底改变了她的人生道路，她的两次出国都与此有关。
潘玉良于1920年9月考入刘海粟创办的上海美专西画系就读，但不到一年她就从美专退学。据说是因为有一次到外面写生，晚上大家闲着没事，弄了个文艺演出，潘玉良即兴唱了一段京戏，赢得满堂喝彩。不过，却也因此引起了别人的怀疑，这么高水准的唱腔不像是业余选手啊！一查，潘玉良的底细被公之于众。那些学画的女孩都是出身于大户人家的，耻于跟潘玉良为伍，纷纷摆出一副她在我走的架势，无奈之下潘玉良只好从美专退学，另谋去处。
1921年7月，潘玉良在潘赞化和陈独秀的帮助下，获得了安徽省公费留学的名额，她成为吴稚晖筹办的中法里昂大学的第一批学生，于9月份乘船抵达法国。同舟共济的有安徽才女苏雪林，两人成了同学兼终生挚友。立志学画的潘玉良并没有待在中法里昂大学，她先是考取了里昂国立美术专科学校，专攻油画，师从德卡教授。1922年，潘玉良考入巴黎国立美术学院，成了徐悲鸿的同学，师从风景画大师柯罗的弟子达仰，柯罗的一生目睹了古典主义、浪漫主义、现实主义、印象主义的历程，在他的绘画中包含着多种流派，这也反映在潘玉良的早期作品中，这一时期对她来说是个兼收并蓄的过程。
潘玉良比别人更加珍惜来之不易的留学机会，常常是吃饭的时间都在作画。从巴黎美术学校毕业后，她于1925年考入意大利罗马国立美术学院，师从康洛马蒂学习油画，并从琼斯学习雕塑，这段时间的学习让她将绘画与雕塑融于一体，对绘画的整体感与力量感有了更深的认识，以雕塑入绘画，而又以绘画入雕塑。1927年潘玉良的油画《裸体》获意大利国际美术展览会金奖，这是中国画家第一次获此殊荣，奠定了潘玉良在画坛的地位。
1928年，34岁的潘玉良从欧洲载誉归国，受刘海粟之聘，担任上海美专西画系主任，两年后她又受同学徐悲鸿邀请，到南京中央大学任教。从1928年到1937年，归来后的这十年时间是潘玉良一生中的黄金时期，当年为人不齿的青楼女子如今已经成为声望显着的大学教授，这简直是画坛的灰姑娘神话。她运用取经来的西方绘画先进理念，耕耘于教学的一线，为国家培养了众多的艺术人才。
而潘玉良自己也没有停止对艺术进步的追求，她开始学习中国的水墨画，尝试借鉴中国传统的线描手法来描绘人体。陈独秀在看了她的一幅《女人体》之后，赞其“以欧洲油画雕塑神味入中国之白描”，称之为“新白描”，在另外一幅《侧卧女人背体》中，他题跋道：“余识玉良女士二十年矣，日见其进，未见其止。近所作油画已入纵横自如之境，非复以运笔配色见长矣。今见其新白描体，知其进犹未已也。”这段时间，潘玉良常向张大千等国画大家请教，她和张大千交谊很深，以姐弟相称，大千常应邀到潘家赴宴，酒至酣处，玉良每每激昂高唱，大千则击节称妙：“有酒量，有韵味，气度不凡。”
然而，在荣耀与光环后面，传统社会对于潘玉良的偏见与歧视从未消除，各种明枪暗箭仍然不时让她陷入痛苦之中。1937年，困境中的潘玉良选择了再次赴法，原因有很多，但导火索则是一件让她深受刺激的事情。
1936年，潘玉良举办个人第五次画展，这也是她在国内的最后一次画展。展品中有一幅备受关注的大型油画《人力壮士》，画面上一个裸体的中国大力士双手搬掉一块压着小花的巨石。当时国难日殷，老百姓如蝼蚁一般任人践踏，潘玉良的用意正是借着对力的赞美来呼唤拯救苍生的英雄，观众在留言簿上赞其“在力的韵律中表达了无声的诗意”。令人意想不到的是，就在画展开幕的那天，《人力壮士》被人划破，边上还贴了一张恶毒的纸条：妓女对嫖客的颂歌。
这次事件让潘玉良深深认识到，无论怎么努力，在一个缺少宽容的国度和充满偏见的社会中，自己永远无法得到应有的尊重！
塞翁失马，焉知非福，潘玉良的这一次出国虽然永别于自己的家国，但对她的艺术生命却未尝不是一件幸事。她抛弃了衣锦还乡的荣耀，在异域孤独地度过了后半生，不过在那里她可以活得很简单，简单得完全是个艺术家。
在潘玉良此后的创作中，除了继续在学院派的形体与素描上下功夫，还闪现出了西方野兽派与后期印象派的影子，她借鉴了野兽派对于色彩的自由表达，从后期印象派那里吸收并延续了点描技法。潘氏将这些西方绘画的精髓与中国传统的线描手法以及中国水墨画的气韵相结合，终于在传统中走出一条属于个人的道路，正如她所追求的那样：“合中西合于一治，从古人中求我，非一从古人而忘我。”而后穷十余年之探索，潘玉良的创作在五六十岁之际渐入高峰，她将西方画的技法与中国式情味完美结合，创造了独具一格的人体彩墨画，开一时风气之先河。
女画家总是拜男画家为师，画得好不好常常也以能不能接近男画家的作品为判断标准，因此，很多女画家总是刻意去学男画家，由于笔力不到，最终不免给人留下矫揉造作的感觉。
潘玉良却让大多数人觉得不像一个“女画家”，多难的经历让她养成了一种傲慢刚强的性格，不让须眉。苏雪林小说《绿大银翅蝴蝶》里的螳螂夫人即以潘玉良为原型，她解释为何要把潘比作螳螂：“是因为此虫是昆虫中的厉害角色，玉良性情豪迈，言谈痛快，有点‘黑旋风’的脾味，我所以把有两柄板斧的螳螂来象征她。”两人同在法国时，有一次苏雪林出了新作后，送了一本给方君璧看，却没有给潘玉良送，潘氏知道了就找她质问：“你是不是把我给忘了？”说这话时玉良很自然，她从来不会刻意去掩饰自己的情绪。
潘玉良的性格反映在她的画作上，便有了非比寻常女子的魄力，苏雪林评价道：“玉良的画，色调沉深，气魄雄浑，表现力极强，大幅的画，充满了生命力的跳动，热烈情绪的奔放，万不像是纤弱女子的手笔。”她还用杜甫的诗句“元气淋漓障犹湿，真宰上诉天应泣”来概括观潘玉良绘画之感受。
在法国与潘玉良经常来往的旅法画家贺慕群也说过：“侨居巴黎后我和潘玉良常有来往，在艺术上和生活上都曾得到她的指导和帮助。潘玉良生活并不富裕，但是生性豪爽，乐于助人。她常留短发，喜喝酒，不拘细节，说话时声音很大，气势不让须眉，颇有男子气度。”贺所见到的是晚年的潘玉良，年过半百的潘氏住在艺术家集聚的蒙巴拿斯，不修边幅，颇具波西米亚人的气质，她为了人格独立而出国，尽管要付出与孤独为伴的代价，却也因此能够享受真正的自由，晚年她的画风渐趋洒脱、率真、无所顾忌，达到了一个前所未有的高度。
总是玉关情
稍微了解潘玉良的人都知道，她原来并不姓潘，其一生名字几经变化，婚前她名叫张玉良，婚后至1921年7月上海美专退学前改名潘世秀，“世秀”二字为潘赞化所取，她以此方式一来表达对丈夫的感激之情，二来宣示与过去的彻底决裂。从1921年赴法留学，她用的是潘玉良，这个名字一直用到去世，她又改回了在青楼时的名字，一来是对那些顽固势力的抗击，表明自己不屈之精神，二来也希望自己是可以独立存在的，而不是因为嫁人完全泯灭了自我。
可以说，潘玉良的每一次改名字都是对命运的一种抗争。但她嫁给潘赞化之后，前后历经六十年，哪怕她独处异域，始终没有再改回本姓，而是死心塌地做“潘家人”。女子嫁后随夫姓，这是一种“既嫁从夫”的传统习俗，像她这样具有独立女权意识，又常年旅居国外的人本可以跳出这个桎梏，但她自始至终都虔诚地遵守这个规则，这当然不是出于某种压力，而是源于她对丈夫真挚深沉的爱。如果没有潘赞化，这个世界上根本不可能有潘玉良。
潘赞化出生于1885年，安徽桐城人，祖父潘黎阁曾任清廷京津道台。他自幼父母双亡，由伯母戴氏抚养成人。清朝末年，潘赞化同陈独秀、柏文蔚等人在安庆组织“青年励志社”，从事反清活动，遭到清廷追捕，逃往日本，期间入东京振武学堂学习军事，并加入孙中山组织的“兴中会”。潘赞化身材高大、举止潇洒、思想进步，成长于桐城派的家乡，他个人的古文修养也非常高，诗文俱佳，也有过金戈铁马、醉卧沙场的岁月，堪称文武双全，被人称为“桐城怪杰”。
1907年，徐锡麟在安庆刺杀安徽巡抚恩铭，清政府疯狂搜捕革命党人，潘赞化被迫再次东渡日本，期间入早稻田大学学习兽医。直到辛亥革命后才回国，被安徽都督柏文蔚委任为芜湖海关监督。海关监督的官职不大，但权力和油水都不少，他到任后整顿关卡，杜绝偷税漏税，所有税收悉数上解同盟会支持革命，曾得到孙中山当面致谢。
这时的潘赞化已经成婚，结发妻子在老家。不过民国并没有规定一夫一妻，像他这样的成功男士在外面包个二奶、三奶不仅不违法，还是件风雅事，以潘监督的名望，在芜湖什么样的女人找不到！需要指出的是，真正的潘玉良并非小说中或者荧屏上的大美女，实际上她长得很低调，最多只能用“中人之姿”这样的话来形容。
爱上一个美女未必是真爱，可能仅仅是好色，潘赞化对潘玉良的爱显然已经超越了色相，深入心灵，此乃他第一个不凡之处；对待一个烟花女子，潘赞化本可以逢场作戏、金屋藏娇，作为一个革命者讨小老婆是件很为人不齿的事情，何况是跟一个烟花女子，但他还是不顾众人反对同她正式结婚，表现了自己的责任感，此乃他第二个不凡之处；在一个“女子无才便是德”还很盛行的时代，他能够亲自教她读书识字，并出钱让她学画，乃至将她送入美专与男生一起学习，此乃他的第三个不凡之处；当妻子提出要出国留学深造，他没有顾虑“鸡飞蛋打”的危险，还积极帮助她申请官费，在潘玉良最需要的时候，他总是能义无反顾地支持她，哪怕牺牲自己的利益，此乃他第四个不凡之处。
在对自己有再造之恩的丈夫面前，潘玉良对他的爱也是毫无保留的。潘氏由于曾经流产过，导致无法生育，1919年，她以潘赞化的名义给他乡下的大太太方氏写了一封信，希望方氏能来上海一起居住。潘赞化与自己这位原配夫人是包办婚姻，两人属于表兄妹关系，但感情并不好，方氏到了以后，潘玉良为了让丈夫与她同居，自己搬到了条件最差的亭子间居住。潘赞化本来决意不肯，但是经不住潘玉良苦苦哀求，才勉强答应了她。随后，潘赞化终于在第二年有了自己唯一的一个儿子——潘牟。
潘赞化曾作《迎妇生子》诗以纪此事：“几回青鸟使申江，避席亭间扫玉床。大礼躬行迎妇归，天津牵遗小牛郎。”此处“天津”指的是牛郎织女之间的一个星座，特指潘氏，“小牛郎”即潘牟。对于这个大太太所生的孩子，潘玉良始终视若己出，1928年她回国后还特地把潘牟从乡下接到上海抚养，潘牟也叫她妈妈，两人感情十分深厚。潘玉良再次赴法后，常作《牛群》、《牧场》之类画牛的作品，还有一些以母爱为题材的作品，以此表达对儿子的思念。
潘赞化尽管对于绘画是外行，但是他热爱艺术，也热爱艺术家的妻子，他为她请了很多木匠在家里做画框，画框上还有讲究的雕花，这是他表达爱的方式。两人在一起的日子是很恩爱的。
然而，潘玉良即使做出再大的牺牲也摆脱不了自己的宿命，在家里她是一个地位尴尬的小妾，又生活在一个尴尬的时代，在民国一夫多妻制已经成为众矢之的。最令她伤心的是，潘赞化的原配方氏是一个农村妇女，由于和丈夫感情并不好，使她总有一种潜在的危机感，本能地对潘玉良充满戒心与敌意。1929年潘赞化的大太太又从乡下来到上海，可以想象同一个屋檐下的生活一定让潘玉良非常压抑与难受，这也成了她于1937年二度赴欧的重要原因。
此次赴欧，潘玉良原本打算只是短暂地逃避国内折磨人的环境，到外面透透气，这样对自己的创作也有好处，她没有想到自己与丈夫的这一别竟成了永别。
身在国外的潘玉良由于战乱和政治的关系和潘赞化的联系时断时续，但她心里始终没有忘记丈夫。她去世的时候，大家在遗物里发现有两样她特别珍爱的东西，一件是两人结婚时潘赞化送给她的鸡心项链，项链里有两个人的照片；另一件是怀表，这是当年蔡锷将军送给潘赞化的，潘氏赴法留学的时候，丈夫就将此作为信物送给了她。这两件东西，一直是与潘玉良形影不离，被她视为生命的。
1957年，潘赞化一家的经济状况比较窘迫。潘玉良从丈夫的信中知道家里人在国内连肉都吃不上，她伤心地哭了。潘玉良此时也很困难，挣扎在温饱线边缘，但她还是从卖画的收入中挤出一点钱来，准备接济家里。当时中法尚未建交，通邮都必须经过香港，通汇更是不可能。情急之下，潘玉良哭求香港的一位老朋友马太太每月代她汇款。
直到潘赞化在同盟会的老战友，时任中央文史馆馆长的章士钊得知潘赞化潦倒的状况后，向周恩来举荐，让潘赞化当上了安徽省文史馆馆员，潘家的经济状况才有所好转。后来，潘赞化在给潘玉良的一封信中感慨地说：“生我者父母，活我者玉钊也。”（玉钊：潘玉良与章士钊）