Родился 18 января 1928 г. в городе Кронштадте. В 1948 году окончил Высшую школу тренеров при институте Лесгафта в Ленинграде, где учился с 1945 по 1948 года, а также Военный институт физкультуры по специальности "тренер - преподаватель по спортивным играм" в 1952 г.

В 1949 - 1952 гг. - тренер команды мастеров ЛГС "СПАРТАК", Ленинград.

С 1953 по 1966 г. являлся старшим тренером - начальником команды СКА Рига (Латвия). Под его руководством команда пять раз становилась чемпионом СССР, трижды - обладателем Кубка Европейских чемпионов (1957, 1958, 1959 гг.).

С 1966 по 1988 г. - главный тренер Вооруженных Сил и ЦСКА. При нем команда ЦСКА более 10 раз выигрывала первенство Советского Союза и неоднократно становилась обладателем Кубка Европейских чемпионов.

С 1962 по 1988 г. (с перерывом в 1970-1976 гг.) возглавлял сборную команду СССР по баскетболу. Тренировал баскетбольные команды Испании, Франции, США.

В 1991 - 1992 гг. являлся председателем Федерации баскетбола России.

В 1992 г. - Олимпийский атташе на Олимпийских играх в Барселоне (Испания).

В декабре 1997 г. стал президентом баскетбольного клуба ЦСКА.  С сентября 2004 г. - консультант мужской сборной России.

Неоднократно  вел репортажи о баскетбольных матчах чемпионатов России, Еврокубков, Национальной Баскетбольной Ассоциации.

Профессор (1985), кандидат педагогических наук, заслуженный тренер СССР (1956), заслуженный тренер Литвы (1982), заслуженный работник физической культуры России (1993), судья международной категории, четырежды (1967, 1977, 1982, 1988) был признан лучшим тренером страны.

Автор книг, в которых  содержится уникальный материал по тактике игры, фотоматериалы, мемуары. Им изданы: "С мячом по странам" (1960), "Будни баскетбола" (1964), "Управление командой в баскетболе" (1976), "Vodenje ekipe u kosаrci" (Белград, Югославия, 1977), "Вечный экзамен" (1978), "Баскетбол завоёвывает планету" (1980), "Управление командой в баскетболе" (1985), "Центровые" (1988), "Baloncesto la direcion del Equipo" (Барселона, Испания, 1990), "Тактика и техника" (Греция, 1990), "Библия баскетбола" (1994), "Баскетбол. Секреты мастера" (1997) и другие.

За заслуги в развитии армейского спорта и баскетбола награжден орденами Трудового Красного Знамени, Красной Звезды, Дружбы Народов, двумя орденами "Знак Почета", многими медалями.

16 января 1998 года за выдающиеся спортивные достижения Александр Яковлевич был удостоен Олимпийского Ордена Славы, который ему вручил президент Международного Олимпийского Комитета Хуан Антонио Самаранч.

В феврале 2003 года А. Гомельскому вручен орден "Спортивная слава России" первой степени, учрежденный газетой "Комсомольская правда" и Олимпийским комитетом России.

Почетный президент Североевропейской юношеской баскетбольной лиги (СЕЮБЛ).

Член всемирного "Зала баскетбольной славы" в Спрингфилде (США). 

Семейное положение: женат, сыновья: Владимир (1953 г.р.), Александр (1956 г.р.), Кирилл (1975 г.р.), Виталий (1997 г.р.).

Умер от рака 16 августа 2005 года. Похоронен на Ваганьковском кладбище в Москве.