Каждому по поиску

Автор: Янковский, Роман

Наступившая эпоха Web 2.0 затронула и поисковики. Один за другим появляются различные специализированные поисковые системы (например, scholar.google.com, google.com/codesearch, koders.com и др.). В этой статье автор хотел бы поделиться впечатлениями о сервисах, позволяющих создать свой тематический поисковик.

Около года назад ЗАО «Поисковые технологии» запустило бета-версию «Персонального поиска» в рамках проекта «Новотека», который позволил желающим создавать свои тематические поисковые системы. Предлагается несколько вариантов использования сервиса «Новотека», в том числе и бесплатный (в результатах поиска которого демонстрируется реклама). Платные варианты отличаются размером дисковой квоты и количеством разрешенных за месяц запросов. Также они позволяют экспортировать результаты поиска в XML-формате.

Автор тематического поисковика должен настроить поискового робота, указывая ему точки входа на сайты (страницы, с которых начнется индексация содержимого сайта) и маски, по которым робот будет отбирать ссылки на веб-страницы для скачивания. Размер поисковой базы ограничен дисковой квотой, которая в бесплатном варианте составляет 1 Гбайт — этого объема достаточно в большинстве случаев. Некоторые из поисковиков, разработанных на базе «Новотеки», обрели популярность. Например, поиск по антивирусным сайтам от Игоря Ашманова или по ресурсам для поисковых оптимизаторов.

Несмотря на жесткие правила регистрации новых посетителей, уже опубликовано более 550 поисковых систем на различные темы — от электронных библиотек и научных сайтов до недвижимости и тендеров.

Следующим этапом эволюции «Персонального поиска» станет проект Flexum, запуск которого запланирован на середину апреля. Как обещают разработчики, пользователи «Персонального поиска» будут автоматически перенесены во Flexum, но об этом чуть позже.

Через несколько месяцев после запуска «Персонального поиска» и Google объявил об открытии сервиса Google Custom Search Engine. Поисковому гиганту нет нужды в выделении дополнительных мощностей под хранение данных тематического поиска, достаточно лишь использовать уже существующую базу.

Как раз благодаря использованию готовой глобальной базы отпадает надобность в поисковом роботе — достаточно настроить фильтрацию существующей поисковой базы. Настройка Google CSE — гибкая, простая и интуитивно понятная — заключается в указании фрагментов ссылок на страницы, которые будут использоваться в тематическом поиске. У автора поисковика также есть возможность присвоить сайтам теги, выбирая которые, пользователь сможет лучше конкретизировать запрос.

В отличие от «Персонального поиска», Google CSE не позволяет экспортировать результаты в XML. Интеграция с поиском возможна только с использованием JavaScript или AJAX. Это действительно проще, но накладывает ограничения на программную обработку результатов поиска.

Google SCE, как и системе от «Новотеки», не хватает поддержки регулярных выражений в масках. Нельзя сказать, что она нужна позарез, но порой довольно удобна. В некоторых случаях регулярные выражения позволили бы сделать запись более компактной. Например, вместо нескольких ссылок, вроде site.ru/hunting, site.ru/fishing и site.ru/justforfun, можно было бы прибегнуть к более краткому варианту: site.ru (hunting|fishing|justforfun).

Опыт использования упомянутых движков для реализации поиска по материалам о программировании1 показывает, что Google CSE часто позволяет более качественно и в то же время просто фильтровать контент при включении в поиск только отдельных частей сайтов. В «Персональном поиске» нередко приходилось использовать несколько точек входа, количество которых, к слову, для одного сайта ограничено, что сужает возможности настройки.

На многих сайтах размещены материалы на самую разную тему. Например, на одном и том же сайте может присутствовать как документация по программированию на PHP, так и статьи о веб-дизайне. Можно выделить два способа построения ссылок при разбиении сайта на тематические разделы. В первом случае имеют место статьи с адресами вида site1.ru/category_name/article_name.htm и оглавление раздела со ссылками на статьи по адресу site1.ru/category_name. А во втором соответственно site2.ru/article_name.htm и site2.ru/category_name.htm.

При работе с «Персональным поиском» оба способа одинаково удобны: задается одна или несколько точек входа — по количеству страниц оглавлений разделов, — и статьи, на которые эти точки ссылаются, будут проиндексированы.

В Google CSE очень просто работать со ссылками первого типа: для каждого раздела достаточно добавить фрагмент текста, который присутствует в адресах входящих в него статей (site1.ru/category_name). Со вторым типом возникают проблемы. Если указать строку «site2.ru», то в поиске будут задействованы статьи всех разделов, даже ненужных. В таких случаях можно добавлять в базу ссылки на статьи нужной тематики по одной, но это трудоемкое занятие, если статей на сайте сотни. К счастью, большинство качественных ресурсов использует первый способ адресации статей и разделов.

Отметим и возможность показа объявлений Google AdSense в тематическом поиске, которые приносят автору поисковика дополнительный доход. Также сервис Google позволяет выводить на странице поиска список наиболее популярных запросов.

Отсутствие у «Новотеки» общих поисковых баз не следует ставить ей в вину. «Персональный поиск» предоставляет возможность создания своей собственной поисковой базы. Некоторые веб-страницы по разным причинам могут отсутствовать в индексе Google. «Персональный поиск» лишен этого недостатка, и в базу будет включено только то, что указано в настройках робота. И обновляться она будет с заданной периодичностью.

Как в Google CSE, так и в будущем Flexum автор может приглашать людей для совместной работы над настройкой своего поиска. Но в Flexum это более явно выделено в концепцию «социального поиска». Вокруг создателей поисковых систем организуется социальная сеть, в которой они могут общаться, искать себе новых соавторов, давать друг другу права на работу со своими поисковыми системами (добавлять, редактировать описания или удалять сайты из поисковой системы, работать с тегами), оценивать качество работы других поисковых систем и т. д.

Все это позволяет создать на основе Flexum социальную саморегулируемую поисковую систему, построенную самими участниками-авторами.

Кроме того, в Flexum автор имеет большие возможности по управлению поисковой системой, такие как:

• редактирование релевантности, то есть назначение каким-либо поисковым сайтам более высокого веса, чем остальным;

• создание тематических статей-объявлений, связанных с поисковыми запросами и появляющихся в поисковой выдаче выше результатов обычного поиска;

• заимствование описания сайтов у других авторов.

Кроме стандартного списка документов, присутствующих в любой поисковой системе, пользователь может увидеть его реферат, автоматически построенный по тексту документа и заданному пользователем запросу, тем самым можно оценить, насколько информация в документе соответствует запросу пользователя, перед тем как непосредственно перейти на выбранный сайт. Описанные возможности Flexum реализованы в действительно удобном интерфейсе, построенном на AJAX.

В заключение, хотелось бы отметить, что двумя вышеперечисленными сервисами список онлайн-средств для создания тематических поисковиков не исчерпывается. Например, есть Rollyo и Swicki. Последний имеет большую социальную составляющую, так как его удобно адаптировать не только к определенной тематике, но и конкретному онлайн-комьюнити. К тому же этот сервис обладает рядом интересных возможностей, таких как самообучение на основе прошлых запросов, демонстрация «облака» популярных запросов и т. д. Большая ложка дегтя заключается в том, что Swicki упорно не хочет сколько-нибудь прилично работать с русским языком. Да и у Rollyo в этом плане не все благополучно. Возможно, поэтому сервисы по сей день остались практически не востребованными в Рунете.

Оригинальную вариацию тематического поиска воплотили в жизнь разработчики системы BYOMS (то есть build your own mobile search, или «построй свой собственный мобильный поиск»). Впрочем, к мобильному телефону сервис имеет весьма отдаленное отношение. Суть его работы в следующем. Пользователь регистрируется на сайте системы, после чего составляет список ресурсов для индексации, параллельно указывая ряд дополнительных параметров для работы. После этого через IM-клиент (увы, поддерживается только AIM) пользователь получает доступ к системе. В списке интернет-пейджера появляется новый контакт. Это бот, который воспринимает реплики пользователя в качестве поисковых запросов и отвечает результатами поиска. С мобильниками BYOMS связывает только то, что многие телефоны поддерживают работу с IM-клиентами, и в этом случае еще ярче проявляется удобство такой формы поиска. РН

ОГОРОД КОЗЛОВСКОГО: Колосс Родосский

Автор: Козловский Евгений

«Это уже традиция: умопомрачительный дизайн, завидное быстродействие и... полная несовместимость с окружающим миром.»

— Сергей Голубицкий, "Как никто другой, «Бизнес журнал»

На Родос (см. фотографии) я попал в рамках европейского пресс-тура (или как там его правильнее назвать? — Sony Media Experience 2007), который устроил один из современных Колоссов (или, если угодно, — чудес света) — компания Sony.

Она собрала без малого пять сотен журналистов со всей Европы, к которой, по счастью, причислила и Россию, набив их битком в два чартерных «аэробуса» в местах сбора: в Амстердаме и Мюнхене, — и поселила в огромном отеле на самом берегу поражающего своей синевой Средиземного моря, километрах в десяти от города Родос. Вечером в огромном зале отеля была устроена так называемая общая (или главная? вступительная?) презентация, на которой выступало разное руководство европейского подразделения, весь следующий день был посвящен собственно воркшопам (семинарам с тестированием, хотя, как вы понимаете, в этом быстром контексте слово «тестирование» можно было понимать только в буквальном смысле: «снятие пробы») и закончился грандиозным ужином на открытом воздухе, во дворе, объединяющем несколько ресторанчиков в самом сердце старого города и — поскольку в марте по ночам прохладно и на Средиземном море — обогреваемом газовыми и электрическими факелами. Ужин назывался Blu-ray Disc, освещался, кроме факелов, массой синих лампочек и сопровождался перманентными выступлениями венецианских «масок» на ходулях и жонглеров голубовато светящимися булавами (фотовпечатления). На следующий, отъездной, день кто-то поехал в город на экскурсию, кто-то (в том числе и я) — на джип-сафари в самое сердце острова.

Для порядка перечислю (коротко и не переводя, как они были указаны в программе) предложенные журналистам семинары: Alpha 100, Blu-ray Disks, Bravia, Bravia Home Theatre, Cyber-shot, Handycam, PlayStation 3, Ultimate HD In-venue Experience, Vaio и наконец — Release Your Music, посвященный Walkman’ам и всему вокруг них. Кроме того, у входа в отель стоял роскошный автомобиль ярко-желтого цвета (я так и не понял, какой марки), снабженный очередной моделью уже описанной мною как-то блютолы ("Блютола, или Голубой зуб Соньки"), которая приобрела наружное гнездо линейного входа, а в остальном, по первому взгляду, уступила модели, описанной мною; эффектными динамиками в багажнике, а главное — собственным, сониевским, GPS-навигатором по имени nav-u (ничего особенного, кроме разве что довольно большого экрана: просто сегодня уже никто не может пройти мимо подешевевших GPS-чипов и не выпустить либо специализированный навигатор, либо не встроить его во что-нибудь карманное).

Как человек ответственный (и пока еще любознательный), я попытался обежать все семинары, где задерживаясь подольше, где — только глянув и все поняв (или, как, например, в случае с PlayStation 3, поняв, что это все равно не мое), и сделал печальный (лично для меня) вывод, что практически все, что было представлено на Sony Media Experience 2007, я либо уже видел, держал в руках и описывал (как, например, Alpha 100), или Vaio с Blu-ray-дисководом и Full HD-матрицей ["Rhapsody in Blue«], или, наконец, HD-видеокамеру [»High Definition", аж полтора года назад!]), либо — и не стал бы брать на тест по отсутствию в них принципиальной, технологической новизны (как, например, фотоаппараты серии Cyber-shot, которым стали приплюсовывать HD-выход; я долго удивлялся, причем тут HD с его двумя мегапикселами, когда мыльниц меньше чем с пятью давно уже не выпускают, пока не понял, что речь идет просто о совместимости картинок с аппарата с HD-телевизорами и панелями...).

Разумеется, я ожидал каких-нибудь новинок или принципиальных изменений и первым делом набрасывался на менеджеров с больными вопросами: например, что слышно про зеркалку с матрицей в полный пленочный кадр и по щадящей цене в районе полутора штук баксов; или: нет ли среди нескольких представленных моделей HD-видеокамер хоть одной с «несжатой» матрицей, то есть с разрешением 1920х1080, а не 1440х1080, — и всегда получал отрицательный ответ типа «нету и неизвестно».

Эта причисленная к семи Чудесам Света статуя Аполлона была поставлена у входа в Родосскую гавань почти две с половиной тысячи лет назад и, простояв 56 лет, рухнула, подломившись в коленях, из-за землетрясения. Ее обломки валялись на земле еще добрую тысячу лет, порождая разные легенды, пока, наконец, не были проданы арабам и вывезены купцом-покупателем на девятистах верблюдах. На самом деле, Колосс был не столь уж — по нынешним меркам — и колоссален: 35 метров высотой (тем не менее не каждый мужчина — по свидетельству очевидцев — мог обхватить большой палец его руки), — однако самая, на мой вкус, красивая легенда гласила, что Колосс был столь огромен, что опирался одной ногой на один берег четырехсотметровой горловины, ведущей в гавань Родоса, а другой — на другой, — так что входящие в гавань и выходящие из нее корабли проплывали — вместе со своими мачтами — между ног гиганта.

Оказавшись на Родосе, я первым делом устремился к гавани, желая собственными глазами увидеть эту четырехсотметровую горловину. На местах, на которые, согласно легенде, опирались ноги Колосса, сейчас стоят две одинаковые колонны метров, наверное, по десять в высоту, увенчанные бронзовыми не то ланями, не то оленями, не то газелями (я плохо в них разбираюсь), причем несколько разного вида. Я подошел к одной колонне, потом — обойдя бухту по берегу, — к другой, и подумал, что, будь Родос побогаче, — очень эффектно было бы соорудить над горловиной что-нибудь высокотехнологичное, лазерно-голографическое, чтобы этот, легендарный, вариант Колосса Родосского восставал по вечерам во весь свой неимоверный рост, а между его ногами шныряли бы ярко освещенные, сочащиеся музыкой прогулочные яхточки...

Голубицкий, конечно, прав (см. эпиграф) — почти все вещицы, представленные на семинарах, были очень хороши собой и так и просились в руки, — однако получалось, что все это скорее семинары для продавцов, чем для хайтек-журналистов, которых, впрочем, судя по лейбликам, и четверти не было на Experience, прочие как раз и представляли что-то глянцевое и лайф-стайловое, порой — «чисто женское».

Однако, несмотря на несколько брюзжащий тон, мало того что общее впечатление от этого праздника осталось очень приятное (спасибо, Sony) — осталось и несколько совершенно технологических восторгов, может быть, не меньше, чем после недельных прогулок по прошлогоднему CeBIT’у. А это в наш век замедления технологической поступи — очень и очень немало. Потому по впечатлениям и пройдусь, отдавая себе отчет, что их не всегда оставляли исключительно последние новинки, — просто кое-что я как-то пропустил раньше мимо внимания.

Первый восторг — это проектор, который участвовал во вступительной вечерней общей презентации. К нему было подсоединено несколько источников, один из которых — профессиональная HD-камера от Sony, синхронно увеличивающая каждого выступающего. Экран был столь велик (явно больше десяти метров по диагонали), столь детализован (по впечатлению — проектор имел подлинное HD-разрешение, как и камера) и столь ярок, что не у одного меня вызвал почти что изумление. На вопросы о характеристиках и марке мы получили лапидарный ответ, что он, дескать, сделан Sony. И все. Сегодня, когда в мире действующих моделей Full HD-проекторов кот наплакал, рассказ о нем был бы, наверное, очень и очень интересен (особенно если иметь в виду, что матрицы для своих проекторов делает, как правило, сама Sony) — однако это, похоже, выходило за рамки тематики Media Experience, рассчитанного исключительно на представителей «рядового покупателя».

Второй восторг был скорее количественным, чем качественным: во дворе отеля, в специальный павильон в виде пирамиды (ну совсем как во дворе Лувра), посвященный камере Альфа 100, было свезено столько всяческих добавок к камере — сменная оптика, разного рода кольцевые макровспышки и все такое прочее, — что просто разбегались глаза. Мы, конечно, понимаем, что это наследие фирмы Minoltа или спецзаказ от Zeiss’а, так что собственно Sony сыграла тут роль скорее менеджера, — но менеджера очень эффектного и талантливого. Может, кто помнит расклеенные по Москве рекламы Альфы, сфотографированной на фоне трех десятков самых разных объективов, — так вот, тут все это неприличное даже богатство было перед глазами, с возможностью потрогать и посмотреть сквозь, и, пожалуй, даже побольше в количественном отношении.

Третий... ну, не то чтобы восторг... удовольствие, — я получил, увидев крохотные, размером чуть больше батарейки АА, GPS-модули, предназначенные специально для подключения к старшим моделям Cyber-shot’ов (H-серия), с тем чтобы сохранять вместе со снимком не только информацию о его параметрах, но и о точном месте его произведения. Тут, конечно, есть некоторое противоречие: наверное, такая информация особо важна для профессиональных фотографов, раскатывающих по всему миру и зачастую оказывающихся в совершенно экзотических местах, — но вряд ли им придет в голову снимать камерой этого класса. Тем не менее игрушка очень прикольная, и я бы не отказался, если б мой Canon можно было ею снабдить.

Четвертый восторг (я уже видел нечто подобное у других производителей, но здесь очень уж велик был эффект от демонстрации): специальный экран для проекторов, работающих в светлых помещениях. Черный!!! Менеджер перекрыл его наполовину обычным белым экраном, и в темноте картинка на черной половинке выглядела хоть и вполне приличной, однако несколько, что ли... темноватой. Стоило же зажечь в зале свет, и картинка на белой половине бледнела почти до неразличимости, на черной же — оставалась прежней: яркой и сочной. Боюсь, что стоить такие экраны будут едва ли не дороже самих проекторов, однако эффект «направленного» восприятия света чрезвычайно силен и даже не особенно зависит от угла зрения. Там же, в рамках улучшения звука и картинок под общим названием Bravia, вовсю демонстрировались и преимущества светодиодной подсветки перед стандартной (впрочем, на CeBIT 2006 подобных демонстраций было достаточно), — но все чаще появляющиеся сообщения о «лазерных телевизорах» заставляют надеяться, что эти последние задавят светодиодные ЖК-панели, не дав им толком и распространиться...

Еще очень впечатлил интерьер зала, где демонстрировались достоинства High Definition Video: весь (кроме, наверное, пола) обшитый зеркальными (но не ровными, а эдакими... вольной поверхности) листами, он так причудливо отражал находящихся внутри людей, что голова кружилась и все это запоминалось куда больше, чем содержание презентации. Вообще говоря, удивительная вещь: продвигать повышение качества посредством High Definition и одновременно — его снижения посредством распространения сжатой музыки. Похоже, что коммерческие соображения играют здесь куда большую роль, чем соображения собственно качества.

Ну и, как ни странно, одним из главных впечатлений оказалась не столь уж и новая игрушка по имени Micro Vault Tiny, опровергающая слова Голубицкого про «полную несовместимость с окружающим миром». Micro Vault Tiny, на которую мне (и коллегам) записали пресс-материалы, представляет собой (если кто еще не в курсе, как совсем недавно был не в курсе я) крохотную, размером с половинку SD-карточки, флэшку (выпускаются вплоть до четырех гигов емкостью), которая напрямую вставляется в стандартный USB-слот и даже помигивает с миллиметрового торца зеленым светодиодиком. Карточки уложены в специальные пластиковые чехольчики с прижимчиком и пружинной петелькой, а разной емкости — отличаются цветом. Кроме того, на каждую флэшку Sony устанавливает специальный компрессирующий (и разумеется — проприетарный) софт по имени VirtualExpander, но в этом, конечно, концептуальной новизны нет просто никакой.

Всем приехавшим Sony подарила по фильму «Казино Рояль», записанному на Blu-ray-диске с пометкой: совместимо с PS3! (но впечатлениями от фильмов на Blu-ray я уже делился), и по изящному mp3-видеоплееру NW-A805, который еще даже не появился на прилавках и который я намерен описать подробнее в одном из ближайших «Огородов». Ничего концептуально нового — зато очень много характерного «чисто для Sony».

СОФТЕРРА: Софтерринки

Автор: Илья Шпаньков

ОС Windows XP

Адрес homepage.ntlworld.com/hellzbellz/flickz

Версия 2.5.0.5

Размер 5,6 Мбайт

Интерфейс многоязычный (русский не поддерживается)

Цена бесплатно

Лицензия проприетарная (freeware)

Несмотря на похожее название, Flikz имеет мало общего со своим веб-тезкой. В обязанности этого приложения входит тесное сотрудничество с онлайновой базой данных IMDB, в результате чего пользователь получает полную информацию о DVD-фильмах (жанр, имена режиссера и актеров, обложку диска и пр.). Для добавления новой записи в свой каталог достаточно провести поиск в базе данных по названию фильма. Одной из «полезняшек» Flikz является способность создавать специализированные списки по заданным критериям. Например, при указании имени режиссера программа выдаст список всех фильмов коллекции, к созданию которых этот человек приложил руку. Списки могут сохраняться в формате HTML для публикации в Сети.