Родился в Псковской губернии в семье мелкого торговца. Окончил церковно-приходскую школу, трудился в помещичьем имении, затем на заводе «Бергер и Вирт», грузчиком на Варшавском вокзале в Санкт-Петербурге.

В 1917 году А.П. Гричманов стал членом Российской социал-демократической рабочей партии большевиков (РСДРП(б)) и вступил в Красную гвардию. В 1918–1928 гг. находился на командно-политической работе в Красной армии, в 1928–1930 гг. работал в центральных партийных и советских органах, а в 1930–1932 гг. был заместителем заведующего организационно-распорядительным отделом ЦК ВКП(б).