糜芳原是徐州人陶謙的部下。陶謙死後，糜芳和他的弟弟糜竺跟隨劉備。糜芳家世代經商，家財萬貫。被呂布打敗後，劉備投奔曹操。糜芳也曾在劉備身邊，被曹操推薦為彭程響。劉備離開曹操後，糜芳兄弟壹起追隨劉備。劉備顛沛流離後，糜芳兄弟壹直不離不棄，還把妹妹嫁給了劉備，堪稱劉備集團。
赤壁之戰後，劉備攻占西川，糜芳跟隨關羽鎮守荊州。糜芳出身於商人家庭，經常被關羽鄙視。關羽攻打襄樊時，石人和糜芳因軍需不到位而對關羽不滿，揚言北伐後要懲罰兩人。兩個人都很苦惱。當夢露進攻荊州時，石人向東吳投降。當糜芳看到石人投降時，他也在開城投降了。由於石人向糜芳投降，關羽失去了荊州，被東吳所殺。
糜芳投降後，留在了吳棟，卻在吳棟被人瞧不起。有壹次糜芳和吳棟的虞翻在江上相遇，糜芳的手下讓虞翻過去，虞翻大叫:“不忠之人能為君效力什麽，連失兩城的人也要叫將軍？”被糜芳罵了壹頓，關上了船窗，主動讓路。還有壹次，於翻了糜芳營，糜芳的官員都不開門。余翻了個身，罵道:“妳應該關門，但妳要主動開門！”罵得糜芳羞不堪言。糜芳投降東吳也給他哥哥帶來了巨大的精神壓力。雖然劉備沒有追究糜竺的責任，但糜竺很快就羞死了。
糜芳曾跟隨大將何啟在吳棟突襲魏啟春，取得了成功。從此，史書上沒有記載他，所以他應該死在吳棟。小說《三國演義》說他被關興刮死，只是小說家的說法，不是歷史真相。