1946年7月，山東野戰軍攻擊泗縣失利，雖然戰斗中消滅桂軍172師3000余人，但是僅山野主力第8師就傷亡2700余人，而二縱和九縱也各有數百人傷亡，總數應該超過了4000人。戰后山野參謀長宋時輪引咎辭職，而司令員陳毅也遭受到黨內一些同志嚴厲的指責和批評，處境艱難。
同時，由于山東野戰軍沒有及時南下增援華中野戰軍，也造成兩淮保衛戰的最終失利，畢竟華中野戰軍只有30000余人，寡不敵眾。因此華中野戰軍主力被迫放棄兩淮根據地北撤魯南，整個華東解放區的面積縮小了一半，許多戰士從富庶的蘇北到達比較貧困的山東時，怪話不斷：“反攻反攻，反到山東，手拿煎餅，口咬大蔥”！
從1946年10月下旬開始，山東分局和華中分局在小鎮子陳師庵連續召開會議，會上陳毅飽受批評，比如救援兩淮不力、作戰指揮不夠優秀等等，整體局勢被動，大家有情緒也是可以理解的。所以陳毅表現的非常大度，一方面非常虛心地接受了大家的批評，另外一方面其實自己也比較痛苦，他會議上曾經激動地說：
“別人是毛主席的好學生，我陳毅也是毛主席的好學生，別人能打勝仗，我陳毅也能打勝仗”！客觀來說，陳老總從南昌起義起，擔任比較多的是政治職務，出任新四軍代軍長以后，受條件限制，并沒有機會與日軍進行大兵團作戰，包括之前規模較大的黃橋決戰，也是蘇北指揮部的副手粟裕實際指揮的，因此當戰爭發展到新形勢之時，出現一些不適應當屬正常。
此時敵人也在調整部署和步步緊逼，經過加強后的蔣軍，在華東戰場的野戰部隊已達25個整編師，在抗日名將薛岳的統一指揮下，分多路向魯南地區合圍而來，形勢還是非常嚴峻的。而在漣水西北舉行的“陳師庵會議”（多次會議）上，著重解決的第二個問題，就是我兩個野戰軍如何統一指揮，畢竟在敵人的壓迫下，山野和華野形成了事實上的會師局面。
在陳毅的力主和推薦下，會議決定由粟裕主要負責兩大野戰軍的作戰指揮事宜，并且得到了延安方面的批準，而面對敵人的多路進攻，陳毅經過認真考慮，選擇先打沭陽方向之敵整11師和整69師。1946年12月11日，延安急電正在蘇北鹽城指揮保衛戰的粟裕，既祝賀鹽城保衛戰的勝利，同時命令：“望粟即日北返部署沭陽作戰”，粟裕接電后立即動身，至沭陽與陳毅匯合。
從這一天起，原華中野戰軍司令員粟裕將軍，就事實上成為兩大野戰軍的統一指揮員，面對所謂的“名將”對手薛岳，陳粟決心調動24個主力團的兵力，以九縱監視和阻擊胡璉整11師，集中主力殲擊戴之奇的整編第69師，從而以“集中兵力打殲滅戰”的指導思想，一舉扭轉蘇北和魯南的不利局面。12月15日，延安復電表示同意：“決心與部署甚好，戰況望隨時電告”。
戰至1946年12月19日，我兩大野戰軍僅用三天時間便勝利結束“宿北戰役”，全殲中央軍嫡系部隊整編第69師，中將師長戴之奇兵敗自殺，少將副師長饒少偉被俘。幾十年以后，粟裕在回憶錄中談及宿北戰役，將其評價為“華東的一個轉折” ，盡管這次戰役的規模跟以后相比算不得大仗。
但是粟裕認為：“這次作戰是兩支野戰軍會師后的初次協同，這仗打勝了，兄弟部隊之間便產生了信任感，合并后的領導機構和所屬部隊也就產生了彼此和上下之間的信任，是無價之寶”！粟裕馬不停蹄，指揮部隊隨即又發起魯南戰役，至1947年1月4日，全殲敵整編第26師、整編第51師和第一快速縱隊共53000余人，取得空前大捷。
粟裕接手軍事指揮權僅僅20天，便取得兩戰兩捷，扭轉了戰爭局面，其卓越的大兵團指揮能力顯露無遺，盡顯名將風范，也證明陳毅的眼光是非常準確的。魯南戰役結束后，敵方主將薛岳被南京方面撤了職，敵軍進攻一時陷于停頓，而我山東野戰軍和華中野戰軍的合編問題，也在休整時期正式提上日程。
陳毅親自組織起草了“華東野戰軍”組建的整編草案，并電告延安做了詳細說明，1947年2月3日，延安復電“同意丑東電十個縱隊的編制”。于是華東野戰軍正式宣告成立，以陳毅為司令員，粟裕為副司令員。