Новый поисковик по сайтам Сибирт телекома Бурятия и не только

[zascorp]

Проблема решается, неправильное отображение кнопочки вызвана, разными стандартами HTML и XHTML - с этим мы пока работаем, думаю через некоторое время сделаем хорошо продуманный шаблон, с кодировками тоже загвоздка небольшая, скорее всего будем переконвертировать страницы в одну, пока работаем над вариантом, скорее выберем в сторону UTF8. Спасибо, за ваши замечание, они очень облегчают проводить нам тестирование! Ждем новой критики!

[navalpro]

исправили ошибки, скорость поиска увеличилась на порядок работаем над модулями орфография и синонимы. Сервер для почтового сервера установлен идет отладка.

Но в первую очередь поставим сервер мгновенных сообщений

[Гость bot]

Топик был перенесен из форума Новости в форум Мобильная связь и Интернет

bonfunk

[neustroev]

Какой сервис нужен?

Почтовый сервер

Поисковик

Интернет магазин

сервис мгновенных сообщений типа ICQ

по сабж, не совсем ясно, все перечисленные службы нужны

2. реализовал ты, коряво но есть, респект

4. тож реализован, реклама запрещена, ссылку не пишу, ток замечу от G@Gnet -> Kinsei

[navalpro]

Когда база ссылок перевалила 10 миллионный барьер сервер поисковика встал колом. В очередной раз пришлось пересмотреть SQL базу, добавили новые индексы, перекомпилировали sql-сервер под многопоточность ( кому интересно можно почитать здесь) Пересмотрен алгоритм расчёта релевантности и рейтинга популярности. Использования словарей и базы синонимов запущена в бета режиме. Возможно, на страницах встретятся несколько редких слов, не включённых в словари. В этом случае для построения всех форма слова выбирается запись с максимально совпадающим суффиксом.

[navalpro]

На сегодня 10 миллионов страниц бурятского интернета, но еще цикл полной индексации не закончен

Проиндексированы 208 сайтов

из них монстры Бурятского интернета:

http://*ulanovka.ru

http://*bol.ru

http://*stbur.ru

http://*burnet.ru

http://*e-baikal.ru

http://*kabansk.ru

http://*-buryatia.ru

Зона поиска

# StBur

62.33.133.0/24

83.234.84.0/23

83.234.86.0/24

83.234.120.0/22

87.103.160.0/21

90.188.32.0/19

92.124.192.0/19

# Burnet

212.0.64.0/19

Добавлено спустя 7 минут 54 секунды:

Работаю над индексацией ftp серверов и расшифровкой форматов DOC, PDF, MP3

[Jinchuuriki]

Я не особо шарю, поэтому не пинайте меня если что...

Вы же не на mysql это делаете? ИМХО (мэйби ламерское мнение), сия субэдэха при огромном колве инфы загнется... *28

Добавлено спустя 1 минуту 12 секунд:

Судя по ссылке в предыдущем посте.

[navalpro]

Да sean прав с начало так и было. Даже пришлось поставить скоростной винт под базу результат не изменился. В результате пришлось самому собирать MYSQL (компилировать по себя). База примерно 50000000 записей работает нормально и без дополнительного винта, поиск не превышает 1 минуты. Кстати за неуплату отключили домен, да и перебои с электричеством достали из-за погоды, но поисковик работает здесь http://92.124.219.192/. Еще пришлось обнулить базу из-за неправильной определения кодировки некоторых сайтов базы и разрушения индексов после аварийных выключений. Сейчас идет полная индексация. Конечно можно было восстановить базу, но лучше с нуля проиндексировать с учетом всех исправленных ошибок.

[Jinchuuriki]

Кррруто!!! Ядро под себя компилить.!!!

[SECFOX]

А у мя не прёт ваш поисковик

[Jinchuuriki]

Когда же он заработает?

[navalpro]

Я нашел деньги на этот проект, поисковик активирован можете пользоваться, жду предложений и нареканий

[-=Nik0=-]

Ссылку-то на поисковик дай))

з.ы. не капли внешки ?

[navalpro]

http://kabnet.ru

Да все сайты во внутренней сети, хотя у некоторых есть внешние модули например погода и др.

Эту проблему можно обойти используя сохраненную копию на сервере поисковика.

[arc]

Очень похож на поисковый скрипт RiSearch

Или это именно вы написали?

[navalpro]

Это точно не скрипт. В основу взят свободный продукт DataparkSearch Engine, мною внесены кардинальные изменения в коде (язык С) поисковика и не только. База поисковика в июне 2008 года достигала до 11 миллионов страниц - это 4 Гб размер базы.

Ведется работа над дополнительными функциями такими как "новости" и "статистика", "рейтинг сайтов".

Работа над поисковиком занимает массу времени и не приносит дохода, популярность поисковика маленькая.

Если так пойдет дальше проект придется закрыть.

Добавлено спустя 5 минут 42 секунды:

Карта использования поискового движка DataparkSearch http://www.dataparksearch.org/usersmap

[JIEXA]

"сервис мгновенных сообщений типа ICQ" уже имеется

Запущен ICQ сервер в зоне провайдеров Сибирьтелеком и Бурнет!

обещали что откроют для внешки, не знаю может уже открыли

[Jinchuuriki]

Прикольно!

Вчера вот, что нашел http://www.bhp.ru/~vsl/fusion_forum/viewthread.php?forum_id=8&forum_cat=7&thread_id=401. *05

*110 И как это относится к теме? Хочешь получить предупреждение? //Shuuhei

[Vаlя]

Прикольно!

Вчера вот, что нашел http://www.bhp.ru/~vsl/fusion_forum/viewthread.php?forum_id=8&forum_cat=7&thread_id=401. *05

Мерзко! И не относится к теме.

[navalpro]

"сервис мгновенных сообщений типа ICQ" уже имеется

У нас будет Jabber, а главное будет сервис для передача файлов на прямую с ip до ip без посредников.

И еще ведется работа над созданием голосового и видео обмена в внутренней сети, также без посредников, обеспечивая конфиденциальность передачи данных.

[VampiRUS]

даёш jabber в массы)

зы: на бурнете есть уже джаббер сервер, но как-то народ неактивно им пользуется.

[†Corpse†]

над созданием голосового и видео обмена в внутренней сети, также без посредников, обеспечивая конфиденциальность передачи данных.

это былобы просто отли4но!!! Будит пользоватся много народу!

[navalpro]

над созданием голосового и видео обмена в внутренней сети, также без посредников, обеспечивая конфиденциальность передачи данных.

Наша задача объединить сервисы, в одну регистрационную форму, почтовик + сервер мгновенных сообщений + видео и аудио трансляция. А главное не лишать пользователей таких любимых сервисов как iCQ, mail.ru ...

[Vitaly]

navalpro молодцы, надеюсь всё у вас получится

[Jinchuuriki]

У всех прошу прощения за моё предыдущее сообщение. Не удержался, чтоб не пошутить.

Но зато поисковик работает, и за счет подобных запросов все поисковики приобретают популярность.

Теперь только осталось придать дело как можно большей огласке и покапают денежки.