De Rijksverzekeringsbank begon klein. In 1902 waren er 57 ambtenaren in dienst. Al gauw ontstond er ruimtegebrek en in 1909 was de Rijksverzekeringsbank ondergebracht in tien gebouwen met maar liefst 100 kamers. Het aantal medewerkers was inmiddels gestegen tot meer dan 800. Ook waren er nog vier pakhuizen in gebruik: de archieven raakten al vol. Met de groei van het aantal regelingen groeide ook het personeelsbestand.

De invoering van de Wet op de Arbeidsongeschiktheidsverzekering (WAO) in 1967 betekende voor de (inmiddels tot Sociale Verzekeringsbank omgedoopte organisatie) een grote verandering. Deze wet luidde het einde in van de Invaliditeitswet en de Ongevallenwetten die door de Sociale Verzekeringsbank (SVB) en de Raden van Arbeid werden uitgevoerd. De WAO zou echter worden uitgevoerd door de Gemeenschappelijke Medische Dienst en de Bedrijfsverenigingen (het huidige UWV). Het personeelsbestand van de SVB werd gehalveerd van ± 2.400 naar ± 1.200. Bij de Raden van Arbeid was de klap wat minder groot. In de loop der jaren zijn er weer verschillende wetten en regelingen aan het takenpakket van de SVB toegevoegd.

In 1933 sloeg in politiek Den Haag de bezuinigingswoede toe en werd het aantal Raden van Arbeid teruggebracht naar 24. Er kwam een wet voor de Rijksverzekeringsbank en de Raden van Arbeid en de Rijksverzekeringsbank moest voortaan niet alleen samen met de Raden de sociale verzekeringswetten uitvoeren maar werd ook hun toezichthouder. Deze situatie heeft voortgeduurd tot 1988.

Het oude bestuur dat uit drie personen bestond en de dagelijkse leiding had, ging als directie verder. Het hoogste orgaan bij de Sociale Verzekeringsbank werd vanaf juli 1956 gevormd door het nieuwe bestuur, dat bestond uit vijftien leden, vijftien plaatsvervangende leden en een voorzitter. Dit bestuur bestond uit vertegenwoordigers van werkgevers- en werknemersorganisaties en een aantal kroonleden.

Een aantal ontwikkelingen heeft ertoe geleid dat de politiek besloot dat SVB en RvA samengevoegd zouden worden en dat de RvA zouden worden omgevormd tot districtskantoren van de SVB. Door de automatisering van de uitvoering van de kinderbijslag en de invoering van een nieuw stelsel van studiefinanciering, waardoor voor kinderen boven de 18 jaar niet langer recht op kinderbijslag bestond, zou de behoefte aan personeel van de RvA drastisch verminderen. Bovendien was er sprake van een grote mate van uniformiteit in de uitvoering van de AOW, AWW en kinderbijslag en waren er geen regionale verschillen die het voorbestaan van zelfstandige RvA nodig maakten. Op 1 april 1988 was de samenvoeging een feit.

Met de wet SUWI kwam de voorlopig laatste grote verandering in de formele structuur van de SVB. De toenmalige hoofddirectie werd omgevormd tot Raad van Bestuur, het tripartiete bestuur verdween en werd vervangen door een Raad van Advies.