胡适第二次回台湾是在1954年2月18日，此行主要是为了参加伪“国民大会”第二次会议。在19日举行的开幕典礼上，胡适担任临时主席并致开幕词。又被选为大会主席团主席之一。对中国国民党推定蒋介石、陈诚为正副总统候选人，胡适表示他“十二万分的赞成”，“理由是国家处境艰难，除蒋总统以外，没有人比蒋总统领导政府更为适当，更能有效完成反攻复国建国的历史使命。”而陈诚（时任行政院长）“是蒋总统最适当最理想的助手”。3月22日蒋介石当选为“中华民国”第二任总统，胡适对记者发表谈话说：

　　“蒋总统的当选连任，表示百分之一百的赞成，今后六年，是国家民族最艰难困苦的阶段，只有蒋先生才能克服一切困难，蒋先生肯负此项重大的责任，表示万分的钦佩和感谢。”

　　随后不久，蒋介石于7月16日聘请胡适担任了“光复大陆设计委员会”副主任委员。主任委员由“副总统”陈诚兼任。

　　胡适设想：在台北南港借一块地，他自己出钱盖一所小房子，利用“中央研究院”历史语言研究所的丰富图书，在有生之年完成《中国思想史》、《中国白话文学史》。蒋介石早就想让胡适回台湾，听说胡适有意回台定居，蒋介石表示愿意用他的《苏俄在中国》一书的版税所得给胡适在南港盖一所房子，用不着胡适自己出钱。1957年11月4日蒋介石以“总统”身分发布明令：

　　“代理中央研究院院长朱家骅呈请辞职，应予照准。此令。

　　特任胡适为中央研究院院长。此令。”

　　1958年4月2日胡适从纽约启程，4月8日抵台北，“副总统”陈诚率高级官员以及文化教育界人士约500多人到机场迎接。4月9日蒋介石在士林官邸以茶点款待胡适。4月10日上午9时“中研院”举行新任院长就职典礼，胡适正式接受了“中央研究院”的院长职务。他在典礼上讲话说：

　　“我已经六十七岁了，照西洋的看法已过了六十六岁。学术界有个普遍的规矩，年满六十五岁的学者退休之后，可以做他自己喜欢做的事，把研究工作让生力军补上。我已过了退休年龄一年有半，应该退休，享我退休的权利，做我自己喜欢做的事：看书、写文章。但在这个时候，国家艰难，而时代已进入原子能科学时代，国家需要科学，国家需要学术基础，而我们应为国家努力建立学术科学研究的基础，何况我们对中央研究院三十年来都有密切的关系。希望各研究所所长，各位研究员同人同我一致向这个目标前进。”

　　就职典礼完毕之后，接着举行第三次院士会议的开幕式。胡适以院长身份主持，正、副“总统”蒋介石与陈诚均亲自莅会。蒋介石并致训词，强调“为早日完成反共抗俄使命”，“希望今后学术研究，亦能配合此一工作来求其发展。”胡适对应道：“我个人认为，我们学术界和中央研究院挑起反共复国的任务，我们做的工作，还是在学术上，我们要提倡学术。”

　　台湾当局为胡适在“中研院”所在地台北南港盖好了房子，所需费用除蒋介石一本书的稿酬外，“中研院”报请“行政院”批准，由“中研院”追加预算20万元。建筑系一栋平式小洋房，占地50坪，有书房一间、客厅连餐厅一间、卧室两间、客房一间，此外还有厨房、配餐室及佣人的小房间。总的面积并不大，但环境很幽静，适宜胡适读书做学问。

　　胡适在台湾也有不如意甚至很烦心的时候：他卷入了“自由中国”事件。