Александр Орлов родился в Смоленске в семье священника. После гимназии он окончил физико-математический факультет Петербургского университета, учился в Сорбонне, стажировался в Германии и Швеции. С 1913 года его деятельность проходила в Украине — более 22 лет он руководил астрономической обсерваторией Одесского университета, где заложил традиции классических астрономических исследований.
Александр Яковлевич пригласил на работу в обсерваторию известных астрономов, а с помощью университетского механика Ивана Тимченко восстановил инструменты обсерватории, часть из которых стали одними из лучших в стране. Кроме того, долгое время Орлов занимался проблемами оползней в Одессе, проводил нивелировочные измерения на побережье.
В 1916 и 1917 годах профессор совершил поездки в Томск и Иркутск, откуда доставил в Одессу гравиметрическое оборудование. Здесь им был определен гравиметрический пункт — точка, где измерено ускорение силы тяжести и определены все геодезические координаты. Этот пункт вошел во все международные каталоги.
Также Орлов изучал приливы в Черном море и влияние Луны на скорость и направление ветра. По результатам исследований он установил, что даже в практически замкнутом Черном море присутствует приливная волна, а колебания уровня моря у берегов Одессы достигают шести сантиметров. Кроме того, ученый разработал новые методы гравиметрии, создал гравиметрические карты Украины, Сибири и Алтая, связав их в единую сеть.