Проект Majestic-12

Целью проекта является создание поисковой системы, типа Google, Yahoo и т.п , но с наиболее полной и глубокой базой данных проиндексированных интернет страниц.

Дело в том, что Интернет гораздо больше, чем его на данный момент смогли проиндексировать крупные поисковики. Самая большая база данных на данный момент у поисковика Google. Сейчас они закрыли доступ ко всем своим техническим данным. По словам Марка Левина, профессора компьютерной науки университета Birkbeck, по информации на 2006г. Гугл имеет порядка 15000 серверов, индексирующих около 3000 страниц в секунду(по другим данным серверов от 30 до 70 тысяч). (The Guardian от 23 марта 2006)

Но это совсем не много… по словам автора проекта, Александра Чудновского, при распределённом индексировании, имея в сети хотя бы 8000 участников, можно проиндексировать в разы больше и собрать базу данных, гораздо большую, чем имеет Гугл.

Автор проекта Александр Чудновский, наш соотечественник, ныне проживающий в Англии. Программист, ныне возглавляет компанию Majestic-12, занимающуюся созданием ПО на базе платформ .NET/C# . До этого работал в английской компании Jungle.com маркетологом (на сколько я понял по его словам о том, что он занимался увеличением продаж – прим. Di).

На данный момент(16 ноября 2007) проиндексировано 37.5 миллиардов страниц, поисковик проекта уже начал кое-что находить :D , а всё это добро лежит на новеньком сервере, предоставленном компанией Gigaserver с размером хардов в 16 террабайт. Заполняют данными новое железо 2000 активных участников проекта(в смысле тех, что онлайн).

Клиент графический, называется MJ12node. Индексирует страницы и отправляет результаты на основной сервер. Процессор практически никак не загружает, может работать на слабеньких компах (Pentium-II 400 Mhz+ 256Mb RAM).

Проект ест очень много трафика, желательно иметь безлимитный интернет.

Больее подробную информацию о клиенте и его настройке можно найти в этой теме форума.

Зачем мы создаём поисковую систему, когда все могут просто использовать гугл(яху/яндекс и т.д)?

Это сложный вопрос, так как на него нет единственного ответа. Мини-ответы разбиты на социальные и персональные категории для того, чтобы попытаться и начать объяснять хотя бы часть причин работы этого проекта:

Социальные:
1) Вы можете представить себе жизнь без Интернета? А как вам Интернет без поисковых систем? Поисковики являются важной частью жизни, будь то работа или досуг и отсутствие возможности контролировать ИХ(насколько я понял, речь о поисковиках…прим. Di) в известной степени не очень хорошая вещь.
2) Потому что мы можем – персональные компьютеры и связи достигли того уровня, когда массовые масштабные проекты делают подобное возможным(в смысле создать поисковик прим. Di). Задумайтесь над этим: один компьютер с инетом в 512к может собрать 500 000 страниц в день, так что имея всего 8000 участников в сети, можно в день проиндексировать столько страниц, сколько нет у Гугла во всей его базе данных! И это всего да один день! Мы раельно можем побить Гугл по крайней мере в части размера и глубины базы данных.
3) Вы когда-нибудь, вглядываясь в чистое звёздное небо, не хотелы бы узнать, сколько там звёзд? Собственно, мы тут не звёзды считаем, но аналогично этому примеру, никто точно не знает, насколько сейчас велика Международная Паутина. Всё, что мы знаем, дак это то, что она намного больше, чем её проиндексировали крупнейшие поисковые системы. Проект постарается обеспечить ответ на этот сложный вопрос, собирая каждый линк и каждую страницу Интернета.

Персональные:
1) Я, Александр Чудновский, хочу взяться за решение задачи, требующей мировых возможностей и амбиций (в последнем я уверен, а насчёт предпоследнего - время покажет ).
2) Я хочу посмотреть, сможет ли Microsoft's .NET справиться с этим.
3) Я хочу предоставить людям различие в поиске чего-либо в Интернете. Интернет является большой частью моей жизни и был ей достаточно долгое время, и это правильно, что я использую все свои навыки в попытке сделать лучше другим людям.

• Официальный сайт
• Список российских команд
• Обсуждение на нашем форуме