Известны географические координаты двух точек на Земле. Кратчайшим расстоянием между ними является длина дуги круга, проведенного на сфере по этим двум точкам. Здесь я придерживаюсь убеждения, что Земля не плоская, а круглая, а точнее, имеет форму, приближенную к сфере, то есть, Земля — сфероид.
Формула для расчета расстояний на плоскости, известная всем из курса школьной геометрии, тут не подойдет, нужна формула расчета длины дуги. Это так называемая «модифицированная формула гаверсинусов».
Здесь http://en.wikipedia.org/wiki/Great_circle_distance все описано достаточно подробно.
Поскольку в расчете участвует радиус, а у Земли, как у не совсем правильной сферы, он разный, скажем на северном полюсе (6356.752 км) и на экваторе (6378.137 км), то в расчете берется среднее значение (6371.008 км), что должно давать, по утверждению той же Википедии, ошибку около 0.5%. Значения радиусов соответствуют WGS 84.

В калькуляторе ниже значения координат по умолчанию соответствуют Москве и Санкт-Петербургу.