Раздел Новости!
Идея не нова. Был изготовлен RSS аггрегатор, который собирает новости с новостных лент, предлагаемых самими пользователями IRC.LV. Вроде бы все просто, ан нет!
После того, как новость приходят к нам - она проходит морфологический анализ по словам, создается база ключевых слов новости, по которым находятся "похожие".
Чем больше похожих новостей в определенный промежуток времени - тем больше вес принимает новость. Считается, что если "одинаковая" новость пришла с разных лент - то, скорее всего - она заслуживает внимания. Это первый вариант "сортировки" новостей, который на данный момент используется для формирования главной страницы и "похожести" новостей.
Но это только пол дела.
Любой пользователь может составить "свою подборку новостей". Что это такое? Это список новостных лент и их категорий. Многие новостные ленты создают категории (например Спорт, Политика), добавляя их в свою подборку - каждый участник создает свой уникальный набор "новостей". А дальше включается колаборативный фильтеринг. Какая новость чаще всего встречается в фильтрах? Какая категория? Этим самым можно показывать как и "новости на эту тему", так и "похожие ленты", подборки и тд.

Все это создает массу информации, которую мы сейчас пытаемся переварить и обработать.

продолжение следует...