А ты что индексировать собираешься? Что-то в инете или внутренние данные какого-нибудт интранета?
Если публичную сеть с чужими данными, то существует вроде много решений, не факт что велосипед переизобретать имеет смысл. Если внутренности, то покопай в сторону библиотеки Lucene её реализация на многих языках есть, одно из лучшех решений для всяких поисков по внутренностям всяких интранетов.