Родился в Нижнем Новгороде в семье учителей. В 1920 году семья переехала в Москву. В 1921 году сдал экзамены за курс средней школы и поступил в Московское высшее техническое училище имени Баумана, которое окончил в апреле 1928 года по специальности «инженер-электрик».

После окончания института стал преподавателем МЭИ. В 1935 году получил звание профессора, в 1939 году, не будучи кандидатом наук, защитил докторскую диссертацию, связанную с разработанной им теорией искусственной устойчивости энергосистем. В течение 10 лет руководил отделом автоматики ВЭИ.

Во время Великой Отечественной войны разработал систему стабилизации танкового орудия при прицеливании, принятую на вооружение, аналоговую систему автоматического самонаведения на цель авиационной торпеды.

В 1945 году создал первую в стране электронную аналоговую вычислительную машину для решения систем обыкновенных дифференциальных уравнений, которые часто встречаются в задачах, связанных с энергетикой.

В 1947 году организовал в Институте электротехники лабораторию моделирования и вычислительной техники, в которой в 1948—1950 годах под его руководством была разработана первая в СССР и континентальной Европе Малая электронно-счётная машина (МЭСМ).

Ершов был убеждённым противником начавшегося в 1970-е годы копирования американской системы IBM 360, воплощённого в серии ЕС ЭВМ. Под его руководством были созданы 15 типов ЭВМ, начиная с ламповых (БЭСМ-1, БЭСМ-2, М-20) и заканчивая современными суперкомпьютерами на интегральных схемах. Разработки Лебедева определили дорогу мирового компьютеростроения на несколько десятилетий вперёд.

В последние годы по состоянию здоровья учёный уже не мог руководить институтом, но продолжал участвовать в разработке суперкомпьютера «Эльбрус». Сергей Алексеевич Лебедев умер 3 июля 1974 года.