1920年夏至1921年春，随着马克思主义在中国的广泛传播，中国工人运动的蓬勃兴起，作为两者结合产物的中国共产党早期组织，在上海、北京、武汉、长沙、济南、广州以及赴日、旅欧留学生中相继成立，建党条件基本成熟，召开全国代表大会也在建党骨干中开始酝酿。

6月3日，共产国际代表马林取道欧洲来到上海，与从西伯利亚南下的另一位国际代表尼科尔斯基会合。他们很快与陈独秀离沪期间主持上海党组织工作的李达、李汉俊取得联系，并交换了情况。共产国际代表建议及早召开党的代表大会，宣告中国共产党的正式成立。

李达、李汉俊在征询陈独秀、李大钊的意见并获得同意后，分别写信给各地党组织，要求每个地区派出两位代表到上海出席党的全国代表大会。

7月中下旬，设在法租界白尔路389号（今太仓路127号）的博文女校，陆续住进了一批教师、学生模样的青年人，以北京大学师生暑期考察团的名义，来上海参加这次历史性的聚会。代表们到齐以后，就便在住处开了预备会。