El bombardero de preproducción Ki-21 realizó su primer vuelo a finales de 1936. La producción en serie de su primera modificación, el Ki-21-Ia, comenzó en 1938, el mismo año en que la aeronave hizo su debut en combate. Las unidades aéreas del Ejército Imperial Japonés, equipadas con el Ki-21-Ia, participaron en operaciones de combate activas en China. En la primavera de 1939, el Ki-21-Ia tomó parte en operaciones de combate contra el Ejército Rojo en el río Halhin Gol. La capacidad de carga de combate de 1,000 kg de la aeronave fue un indicador notable para su época y permitió ataques de bombardeo masivos. Las tácticas defensivas desarrolladas por los pilotos de estos bombarderos en batallas aéreas resultaron en pérdidas relativamente bajas en comparación con otros tipos de aeronaves. Después de que se produjeran modelos más avanzados, los bombarderos de la primera modificación fueron transferidos a unidades de entrenamiento, aunque un cierto número de Ki-21-Ia continuaron siendo operados por unidades de combate. Los pilotos estadounidenses, que asignaban nombres propios a las aeronaves japonesas, se referían a los bombarderos Ki-21 como "Sally".