В целом последовательность примерно такая:
1. Устанавливаешь и настраиваешь ДНС-сервер (например, bind), где, строго соблюдая формат, записываешь доменное имя, правильное разрешение имен, все это проверяешь (например, почитав тему про bind на этом форуме).
2. Регистрируешь домен у регистратора. Если уже зарегистрирован, надо на сайте регистратора ввести IP адреса ДНС серверов (обычно требуется не менее двух компьютеров, желательно в разных подсетях, поэтому я второй ДНС поднял у друга в Израиле).
Собственно, все. При правильных настройках после обновления списка ДНС у регистратора (обычно раз в 6 часов) каждый, кто будет "стучаться" по адресу твоего домена будет регистратором отправляться на твой ДНС-сервер, дабы он дальше рассказал, куда именно надо послать запрос (веб-серверу, почтовику, и т.д.)