當然這只是後人編撰、附會的美好傳說，但反映了人們對海棠喜愛及海棠是否有香的關心。海棠是否有香味，歷來眾說紛紜。《王禹_詩話》裏記載晉代石崇，曾對盛開的海棠花說：“汝若能香，當以金屋貯汝。”石崇是否真的說過海棠“汝若能香，當以金屋貯汝”？此事未見正史記載，這壹說法是在北宋才出現的，但這壹傳說反映了世人對海棠是否有香的關切。
許多詩人認為海棠花是有香味的，但對海棠花香的程度各人又有不同看法。海棠有香又分為兩派，壹派認為海棠有濃香，以“香裏無_敵，花中是至尊”（王禹_《商山海棠》）為代表，另壹派則認為海棠花的香味是天香、遠香、似有若無的空靈之香，此觀點大多是經過親身驗證而得到的。另有壹些文人認為海棠是有色無香、徒艷其表、不慧其中的花卉。陸遊禁不住為海棠的遭遇鳴不平，由此寫詩“譏彈更道無香處，常恨人言太刻深”（《海棠二首》）。在另壹首詩裏陸遊認為海棠姿色絕艷，即使無濃香也不能成為詬病的理由，“欲誇絕艷不勝說，縱欠濃香何足病”（《二月十六日賞海棠》）。
關於海棠無香的趣聞較多。宋人劉淵材自稱平生所恨五事，其壹就是恨“海棠無香”。才女張愛玲也曾表達類似的意思，她的人生三恨是“鰣魚多骨，海棠無香，紅樓夢未完”。《墨客揮犀》還記載淵材的另壹則趣聞：“李丹大夫客都下壹年無差遣。及授昌州，_議者以去家遠，乃改授鄂州。劉淵材聞之吐飯大_往謁李曰：‘誰為大夫謀？昌佳郡也，柰何去之？’李驚曰：‘供給豐乎？’曰：‘非也。’‘民訟簡乎？’曰：‘非也。’曰：‘然則何以知其佳？’淵材曰：‘海棠無香，昌州海棠獨香，非佳郡乎！’聞者傳以為笑”。
另有壹種觀點認為蜀中的嘉州（今樂山、峨眉等地）、昌州（今重慶市下屬永川市）地區的海棠和別處不同，都有香氣。至今樂山、大足等地有“海棠香國”的別稱。“誰恨無香，試把花枝嗅，風微透細熏錦袖，不止嘉州有”（宋代王十朋《點絳唇》）。也有說蜀中昌州海棠有香，“舊說海棠無香，惟昌州海棠有香，驗之蜀道信然，以為不易之論”（宋代薛季宣《香海棠》）。後來逐漸發現其它地方也有香海棠，不能說除嘉州海棠外壹概無香。薛季宣接著寫道“藥圃有棠三本，其花亦香，乃知非蜀棠獨香，香棠自有種耳！”
李漁在《閑情偶寄》中認為海棠有香，香氣在隱約之間，但因海棠花姿妖嬈艷麗、風姿綽約，而掩蓋了海棠的香氣。並指出海棠雖略欠香氣，但花美韻勝為其它花所不及，不應對海棠求全責備。“此《春秋》責備賢者之法。否則無香者眾，胡盡恕之，而獨於海棠是咎？然吾又謂海棠不盡無香，香在隱約之間，又不幸而為色掩。”對於古人以為海棠“有色無香”的問題李漁別有見解：“嗅之，另有壹種清芬。”嗅之以後，並大發感慨：“噫！大音希聲，大美不和。奚必如蘭如麝，撲鼻熏人，而後謂之有香氣乎？”筆者經多方考證加實地調查，傾向清人李漁的觀點，即海棠是有香的，但香氣較淡。具體說來海棠香否，與品種、花期有關，如復瓣的垂絲海棠較香，而單瓣的香味略淡；花初開時期較香，經風雨或花期末期香味淡。
海棠婀娜多姿、嬌艷欲滴，香味略嫌不足。其實，海棠少有香氣實屬瑕不掩瑜，世上許多名花均不香，如：杜鵑、郁金香、櫻花、仙客來、大麗花等，且海棠雖然花少有香，但海棠類的植物如木瓜海棠、貼梗海棠等的果實卻香氣襲人，別有情趣。