1949年3月,中国人民解放军百万大军云集长江北岸,渡江战役爆发在即。中国人民解放军第三野战军接受了组建海军的任务。当时三野的主要领导陈毅、粟裕、谭震林均为总前委委员。大战在即,如箭在弦,他们的注意力全都集中在战役上。
但是,上级却让张爱萍独立担负人民海军组建工作,接受任务后,张爱萍火速前往第三野战军司令部驻地江苏泰州,与在那里指挥作战的粟裕研究拟调海军的部队和干部人选。全部精力集中在渡江战役的粟裕无暇与张爱萍具体商讨组建海军细节,但他很爽快干脆。
1949年4月23日下午2时,组建人民海军的第一次会议在距离南京数百里外的江苏省泰州白马庙三野渡江指挥所所在的楼里召开。张爱萍主持会议,共13人出席,即确定参加海军组建工作的李进、黄胜天、张渭清等。5月4日,中央军委、总政治部发出电令,批复同意三野关于成立华东海军的意见和临时党委会组成人选,正式任命张爱萍为“华东军区海军司令员兼政治委员”。此时,作为华东海军司令员的张爱萍的全部家当只有13个人外加3辆美式吉普车。
解放军有了海军,却缺乏懂海军的人,连有文化的人都奇缺。中央军委电令三野教导师师部、步兵30军和35军军部及其直属队1万多人调归海军。
据回忆,“张爱萍力排众议,起用曾与国民党海军司令桂永清结拜兄弟的原国民党海军上校徐时辅。”在短时间内,有4000多名国民党海军人员加入人民海军的行列,其中数百名担任过舰长和艇长以上职务。当时在80艘舰船中,能够称得上是军舰的只有9艘。国民党军队在撤退时,对无法开走的舰船进行了一次大破坏。
张爱萍提出“修旧利废,因陋就简,积小为大”的修建方针,在上海江南造船厂进行修废和改装的试点。
当时的张爱萍并不会驾驶军舰。在一次从南京去武汉的途中,张爱萍登上“元培”舰,径直走到舰长卢振乾面前,请舰长收下他这名水兵。据回忆说,卢振乾是位原国民党海军人员,从未见过这样的“水兵”,一时说不出话来。
卢振乾看出张爱萍真心想学,迅速在白纸上画出许多表示风向、风力、流速、潮水的箭头,并不停地挪动桌上的茶杯、铅笔,比划着各种操作动作。
一开始,“元培”号在张爱萍的指挥下,如醉汉般摇摇晃晃,好不容易才把军舰靠上码头。但半个月后,张爱萍就已经能够独立驾驶军舰返回南京了。
张爱萍因此成为第一位能够独立驾驶军舰的高级指挥员。
1950年4月14日,海军领导机关在北京成立。具有留苏经历的四野副司令肖劲光担任海军第一任司令。