由於曾國藩的推薦，左宗棠被清朝任命為四品京堂候補、襄辦曾國藩軍務的頭銜，隨後被曾國藩派往湖南招募湘勇。這年6月，清政府有意調左宗棠前往四川督辦軍務，曾國藩認為調走左宗棠無異於斷其臂膀，於是婉言謝絕了清廷的諭旨，從中可見曾國藩對左宗棠多麽器重。隨著湘軍完成對天京的包圍，曾國藩決定對浙江出兵，那麽選誰為統兵將領呢?曾國藩首先想到的是左宗棠。曾國藩認為，左宗棠平時用兵取勢甚遠，審機甚微，可挑大梁，不可久居人下。
曾國藩不但把駐紮在贛浙邊界的湘軍統歸左宗棠節制，而且給了他向皇帝的專奏權和征收厘金權。從此，左宗棠青雲直上，在對浙用兵中充分顯示了自己的才幹，和中興名臣曾國藩、李鴻章***稱“曾左李”。此時曾國藩對左宗棠的信任已是無以復加。往來書信中處處對左宗棠以兄弟相稱，而自謙為弟。左宗棠也摸透了曾國藩秉性，二人配合，相得益彰。
然而兩人在表面友善的背後，並非毫無矛盾。左宗棠個性剛直果斷，疾惡如仇。雖然才華橫溢，然而多次進京趕考卻未及第，且始終特別敏感，稍被人怠慢或過分謙讓，都可引起激烈的反應，而且言詞辛辣，令人不快。有壹次曾國藩在給左宗棠的信劄中，出於謙讓，用了“右仰”這樣的客套話，左宗棠很是不快，說道：“他寫了‘右仰’，難道要我‘左俯’不成!”此話後來傳到曾國藩耳朵裏，嫌隙由此而生。
此時在曾左二人雖然關系上有裂痕，但還只表現在個性差異上。真正關系破裂還在天京城被攻克，兩人就洪秀全的繼承者幼主洪天貴福是否已死的問題，向朝廷打起的筆墨官司。
攻陷天京後，曾國藩向朝廷奏報克復金陵，所有悍賊被壹網打盡，並特別指出，城破後，偽幼主積薪於宮中，舉火自焚。這就凸現了曾國藩對太平軍有攻克全功。不想左宗棠也上壹折，稱據金陵逃出難民供出偽幼主洪天貴福於同治六月二十壹日由東壩逃至廣德，被太平軍將領黃文金迎入湖州府城，想借偽幼主名號，召集太平軍余眾。清政府看到左宗棠奏報後，對曾國藩大為不滿。
曾國藩平生自認為以誠信為本，假如按左宗棠所言，則無異於欺君罔上。於是曾國藩上折反駁左宗棠，稱洪天貴福可能已死而黃文金為糾合太平軍余眾偽稱尚存，這是古來常有之事等。言外之意，左宗棠虛張聲勢，不過是邀功請賞。左宗棠看到此奏後，又上書為自己辨解，對曾國藩言詞激烈，口誅筆伐。至此曾左二人的關系已不可挽回，十幾年的交情為了各自的名利而付諸東流。
此後左宗棠在出任陜甘總督過湖北遇見曾國藩的弟弟曾國荃時，曾談到他和曾國藩絕交的原因，他說過錯在曾文正者七八，而己亦據其二三。這話不無道理，曾國藩太看重自己的名聲，而左宗棠壹貫口無遮掩，這是他們關系破裂的根由。但同為壹代名臣，始終不因個人恩怨而在公務上掣肘對方。曾國藩為左宗棠西征籌餉，始終不遺余力，而且推薦自己最得力的湘軍將領劉松山隨之西征，左宗棠在陜甘、新疆建功立業皆賴此軍。曾國藩後來聽說左宗棠收復新疆的喜訊後，認為左宗棠的能力天下無二。左宗棠平定新疆後，清廷擬封左宗棠壹等公爵。慈禧太後認為從前曾國藩克復金陵，僅獲封侯。左宗棠在新疆建立功業所依靠的將領劉松山和湘軍又是曾國藩所派遣的，於是封左宗棠壹等恪靖伯晉二等侯，以示稍亞於曾國藩。所以左宗棠在晚年，逢人便罵曾國藩，經常是喋喋不休。
然而名臣畢竟是名臣，當曾國藩離世時，人們紛紛猜測左宗棠可能不會致祭，左宗棠卻送來了他的挽聯：“知人之明，謀國之忠，自愧不如元輔；同心若金，攻錯若石，相欺無負平生”。此後他在給兒子的家書中又說：“從前我與曾國藩彼此之間的爭論，可以說是除去世事的變化，壹點也沒有待人處事寓於心機的意思，在這感情悲傷沒有閑暇的時間，還有理由與他負氣嗎?‘知人之明，謀國之忠’兩句話也久見於我寫給朝廷的奏章中，並非我從前對他詆毀今天對他贊譽，孩兒妳應該知道我的心思。我與曾國藩所爭的是有關軍國大計方面不同的意見，而不是爭權競勢所能比的。對那些心術不正、妄加評論之詞，何不壹笑置之呢?”