Istoria clubului începe în ziua de 25 iunie 1923, când, într-o sală a școlii primare din cartierul Grivița, lucrătorii de la Atelierele Grivița au pus bazele "Asociației Culturale și Sportive CFR". Din primul comitet au făcut parte: maistrul Teofil Copaci (devenit președintele asociației), strungarii Grigore Grigoriu (devenit primul căpitan al echipei), Dumitru Constantinescu, Géza Ginzer, Tudor Petre, Franz Hladt.Echipa s-a constituit în luna septembrie, după fuzionarea celor de la „Ateliere” cu cei de la „Excelsior” (care reprezenta cartierul muncitoresc „Steaua” și care avea în frunte pe Emil Dobrescu, V. Constantinescu, Gh. Mărculescu, D. Itu) și a închiriat terenul C.A.B. de la Șosea, pentru antrenamente și jocuri. Primele echipamente au fost confecționate din pânză vișinie în casa lui Grigore Grigoriu, iar ghetele cu crampoane recondiționate din bocancii uzați de la Ateliere.

Pe 28 octombrie 1923 echipa joacă primul său meci, împotriva celor de la Unirea Timișoara, pe care îl pierde cu 8-4. Al doilea meci, disputat peste zece zile, a fost jucat împotriva Gloriei Arad, pierdut și acesta cu 2-1.

Până în anul 1932 CFR joacă în campionatul Bucureștiului, neizbutind calificarea în turneul final al campionatului. În această perioadă, din conducerea echipei au făcut parte: Teofil Copaci, Grigore Grigoriu, Bozie Codreanu, iar din lotul de jucători: Stănică, Tudor, Molnar, Ștefănescu, Foran, Leoveanu, Constantinescu, Fetzko, Georgescu, Hladt, Geza, Weiss, Albert, Block, Filip, Itu I, Itu II, Pîrvulescu, Cichi, Schileriu, Svetcovschi, Oros, Ujlaki, Pop, Dobrescu I, Kelemen, Vlaiculescu, Ispas, Vintilescu, Petrovici etc.

În sezonul 1932-1933 se înscrie în Divizia A, primul sezon al competiției în sistem divizionar.[11] Începând cu acest an competițional, echipa are ca bază de antrenament și loc de disputare a meciurilor oficiale terenul Giulești. Primul meci al echipei în Divizia A a fost cel cu Ripensia Timișoara, disputat la 11 septembrie 1932 și câștigat cu scorul de 3-2.[11] Primul marcator al CFR-ului de atunci în Divizia A a fost Francisc Boroș.[11] Un alt rezultat important din acest sezon a fost cel din partida cu Șoimii Sibiu, care s-a terminat cu scorul de 9-1.[11]

Locurile ocupate în clasament în cele nouă ediții organizate până în anii celui de-Al Doilea Război Mondial au fost: 2 în seria I (1932-1933), 4 în seria I (1933-1934), 10 (1934-1935), 7 (1935-1936), 2 (1936-1937), 1 în seria I (1937-1938), 6 (1938-1939), 2 (1939-1940), 2 (1940-1941).[12] În această perioadă (1932-1941), din conducerea clubului au făcut parte: V. Blaj, V. Badiu, Costică Bauer, iar ca antrenori au funcționat: Krüger, Huniade, Wana, Konrád, Schaffer și Ștefan Auer.

În anul 1936 echipa își schimbă denumirea în Rapid București, fiind luată ca model formația austriacă Rapid Viena. În sezonul competițional 1937-1938 echipa se califică în finala campionatului național, după ce încheie seria pe locul 1. Finala este jucată împotriva Ripensiei Timișoara, pierzând în ambele manșe cu 0-2.

În perioada interbelică, formația feroviară s-a numărat printre echipele de top ale României, câștigând șapte Cupa ale României. Prima a fost adjudecată la 6 iunie 1935, în finala cu Ripensia câștigată cu scorul de 6-5[11], echipa CFR-ului era formată din: Theimler - Roșculeț, Ujlaki - Vintilă, Wetzer II, Cuedan - Georgescu, Barbu II, Strock, Medve, Attila.[13] Între 1937 și 1942 cucerește de șase ori consecutiv Cupa României, record neatins de altă echipă românească până în prezent.

În 1940 Rapid este prima echipă de fotbal din România care a reușit calificarea în finala unei cupe europene, Cupa Europei Centrale, nedisputată din cauza izbucnirii celui de-Al Doilea Război Mondial.[11]După ce trecuse de Hungária FC MTK în sferturi și de Građanski Zagreb în semifinale, feroviarii aveau să-i întâlnească în finală pe cei de la Ferencváros TC.

Din loturile echipei, între 1932-1942, au făcut parte: Roșculeț, Ujlaki, Vintilă, Wetzer II, Rășinaru, Cuedan, Barbu II, Rădulescu, Bogdan, Auer, Moldoveanu, Baratky, Raffinsky, Lengheriu, I. Costea, Sipoș, Gavrilescu, Sadowski, Silvăț, Ghiurițan, Wetzer III, Florian ș.a.