как создать свой поисковик?

[Skorpion555]

Добрый день всем!

Хочу создать свой поисковик, что-то вроде гугля, ну естественно только намного проще, оговорюсь сразу что поисковит будет сканировать только определенные сайты, например гостевые ресурсы одного провайдера, (если кто знаком - гостевой Byfly). Будет приобретен выделенный сервер, и установлен ЦОД, ОС хочу поставить Ubuntu Server 9.04. От вас нужно подсказать какими имеено способами можно реализовать мою идею? Могу выучить все что надо В интернете искал скрипты/движки поисковиков, и был разочарован, весьма скудный выбор, а точнее выбора нету вообще, нашел: Sphider, DataparkSearch Engine и нейкий "m" (скриншет ниже, чтобы вопросов не возникало) . Проще довести до ума что-то из перечисленного или с нуля создать свое? Хотелось бы подчеркнуть что сканирование сайтов будет около 100-300, т.е. очень мало, но нужна хорошая производительность, чтобы все изменения на сайтах в течении часа-трех были отсканированны ботами.

P.S.
Google Adsense и аналоги не предлогать!


P.P.S.
Посоветуйте железо максимально подходящее для этой цели из расчета цена/производительность.
Пользователь решил продолжить мысль 19 Июня 2009, 15:01:12:Никто мне так и ничего не скажет? Или не знаете тоже?

[unimix]

Хочу создать свой поисковик, что-то вроде гугля, ну естественно только намного проще, оговорюсь сразу что поисковит будет сканировать только определенные сайты, например гостевые ресурсы одного провайдера, (если кто знаком - гостевой Byfly). Будет приобретен выделенный сервер, и установлен ЦОД, ОС хочу поставить Ubuntu Server 9.04. От вас нужно подсказать какими имеено способами можно реализовать мою идею? Могу выучить все что надо

Если уж свой поисковик, то как обычно: пиштся программа поиска, программа отчета и соответствующе спроектированная база данных. Также можно и лингвистикой заняться. Совет: желательно проектировать до реализации программного кода.

PS.
Вот такой ответ из-за незнания требований создаваемого проекта.

[Skorpion555]

я же описал все требования проекта выше, и можно по подробнее на чем лучше всего писать программу, от куда можно взять инфо или полезные материалы?

[lockie]

PRO-Search посмотрите, думаю, подойдёт.

[unimix]

Позволю себе перефразировать первое сообщение.

Требования:

1. Хочу создать свой поисковик, что-то вроде гугля, ну естественно только намного проще
2. поисковит будет сканировать только определенные сайты, например гостевые ресурсы одного провайдера
3. Будет приобретен выделенный сервер, и установлен ЦОД, ОС хочу поставить Ubuntu Server 9.04
4. В интернете искал скрипты/движки поисковиков, и был разочарован, весьма скудный выбор, а точнее выбора нету вообще
5. Хотелось бы подчеркнуть что сканирование сайтов будет около 100-300, т.е. очень мало
6. но нужна хорошая производительность, чтобы все изменения на сайтах в течении часа-трех были отсканированны ботами

Вопросы:

От вас нужно подсказать какими имеено способами можно реализовать мою идею?
Проще довести до ума что-то из перечисленного или с нуля создать свое?
Посоветуйте железо максимально подходящее для этой цели из расчета цена/производительность.

Возможности:

Могу выучить все что надо

Для меня эти требования выглядят примерно так (нарочно переведу тему для наглядности):

Требования:

1. Хочу создать свою машину, что-то вроде Ferrari, но естественно намного проще.
2. Машина будет ездить только по определенным дорогам и к определенным местам. Например, на дачи к друзьям.
3. Будет приобретен собственный гараж и установлен гаражный кооператив.
4. На улицах видел машины и был разочарован -- весьма скудный выбор. Точнее, выбора нет вообще.
5. Хотелось бы подчеркнуть, что дач у друзей будет около 1-3, т.е. очень мало.
6. Но нужна хорошая производительность моей машины, чтобы она смогла объехать все дачи в течение часа-трех.

Возможности:

Могу выучить все что надо.

Попробуй из этих требований представить какая машина нужна человеку.

Примерно то, о чем я веду речь: примерные объемы сайтов; ширина каналов; что нужно в конечном результате, с какими характеристиками и возможностями; какой бюджет; сколько времени; какие профессионалы (учить можно что-угодно, но нужны знания и опыт) и т.д. и т.п. Может быть вообще какой-нибудь простенький поисковик нужен? Ведь для минимума почти ничего не нужно.