Это очень непростой вопрос, хотя классическая грамматика дает на него достаточно простой ответ. Ответ следующий: если мы употребляем географическое название славянского происхождения с родовым наименованием (город, деревня, село и др.), то такое название считается приложением, а значит, согласуется с определяемым словом. То есть: мы изменяем географическое название (Москва) по подобию родового наименования (город).

Итак, есть два условия выполнения этого правила: само слово Москва склоняется (а город Осло нет, например) – оно не неизменяемое, а его родовое наименование – город. Как только мы склоняем город, склоняется и его номинация: город Москва, в городе Москве, у города Москвы, городом Москвой и т.д.

Классическая грамматика ответит на этот вопрос именно так, но помимо нее есть еще динамические процессы в морфологии, коммуникативный и семантический синтаксис. Это значит, что какую бы закономерность мы ни зафиксировали, речевая практика не стоит на месте, а отрасли лингвистики, ее изучающие, будут давать ответ на другие вопросы: например, почему люди говорят в городе Москва и считают этот вариант правильным. И главное – возможно ли это?

Разберемся, возможно ли. Вот две причины, по которым люди с чистой совестью носителя языка говорят «в городе Москва».

1. Если избежать лингвистических терминов, через которые трудно добраться до истины, то можно исходить из простого утверждения: не все элементы структуры высказывания обязательно вытаскиваются на поверхность. Вот пример: “Если захочешь есть, столовая за углом”. Это не значит, что если человек есть не захочет, столовая испарится или перестанет находиться за углом. Это значит буквально следующее: если захочешь есть [можешь пойти в столовую], столовая за углом [совсем рядом]. Носители русского языка “сворачивают” множество элементов смысла, употребляют косвенные высказывания и подразумевают под сказанным массу всего. Это находит отражение и в грамматике. Когда человек говорит «остановите на Дом быта», полное высказывание организуется так: «остановите на остановке под названием “Дом быта”». То же и с Москвой. В городе Москва — в городе [имя которого] Москва.

2. Грамматическая система русского языка показывает застывание некоторых ранее активно изменявшихся форм. Это естественный процесс, не омертвление языка и не ошибка. Он наиболее ярко проявляется в употреблении числительных, когда человек теряется, как произнести – пятисот или пятиста – и произносит пятьсот. Многие считают, что во всем виноваты лень и безграмотность современного общества. Это не так. С тем же успехом можно утверждать, что из-за лени и деградации мы утратили двойственное число, время плюсквамперфект, и пушкинские ланиты. Если грамматическая система выбрасывает какие-либо элементы, так и должно быть. Таким образом, есть тенденция к употреблению изменяемых форм в качестве неизменяемых. Говорим в Люблино вместо в Люблине, в Кемерово вместо в Кемерове, и, конечно, в городе Москва вместо в городе Москве. То есть мы употребляем слово Москва так же, как слова Фиджи, Осло и Токио. Нельзя сказать, что это хорошо или плохо – это просто языковой процесс, а мы его наблюдаем.

Итак, классическая грамматика: правильно в городе Москве. Речевая практика: в городе Москва.