— Работает. Но мы делаем так, чтобы «черные методы» работали похуже.

Нынешний директор «Яндекс.Украина» Сергей Петренко действительно известен прежде всего как оптимизатор и главный редактор сайта SearchEngines.ru.

— Украинский офис работает по двум направлениям, — рассказывает Аркадий Волож, — Во-первых, они там развивают портал (сервисы на Украине и в России одни и те же, но сама домашняя страничка yandex.ua преднастроена на украинскую аудиторию). Во-вторых, на них лежит работа с рекламодателями.

— Офис нужен, чтобы принимать гривны — и делать это корректно с точки зрения украинского законодательства и удобно с точки зрения украинского рекламодателя, — поясняет Андрей Себрант. — Кроме того, тонкая настройка сервисов для Украины из Москвы невозможна. Мы не способны оценить, насколько адекватен контент, а Петренко живет там, читает местную прессу, чувствует медиапространство. Простой пример: в проекте «Города» появилась Украина. Мы для начала решили сделать пять городов, но как их правильно выбрать, находясь в Москве? Как узнать, чем гордятся жители, скажем, Луганска и почему они часто ищут в «Яндексе» завод «Линос» или Стаханова? Таких вопросов возникает множество. И без помощи Сережи сделать проект, за который нам не стыдно перед украинцами, было бы трудно.

Технологически преднастройка уаndex.ua делается почти так же, как обычные региональные настройки для городов России. Вся разработка по-прежнему ведется в Москве, и планов расширить штат программистов за счет украинских разработчиков у компании, судя по всему, пока нет. Справляются и сами — никаких сложностей с включением украинской морфологии у «Яндекса» не возникло.

— Да просто лицензировали словарь и все, — разводит руками Илья Сегалович, но уже следующий вопрос заставляет его задуматься.

А другие языки добавлять планируете?

Сегалович смотрит на Себранта. Себрант смотрит на Воложа. Волож пожимает плечами и улыбается.

— Не знаю.

Казахстан?

— Казахстана не будет, — отрицательно качает головой Сегалович, — нет машинных морфологий хороших.

Непосредственно о бизнес-составляющей «Яндекса» рассказывает, естественно, Аркадий Волож.

— Наш бизнес состоит из двух частей. Первая — это оказание услуг онлайн-аудитории в 20 млн. человек. Вторая — работа с десятками тысяч рекламодателей. Иными словами, есть портал, построенный вокруг поиска, и есть бизнес, заключающийся в правильном нацеливании правильных рекламодателей на правильную аудиторию. Правильным средством для этого опять же оказался поиск.

По поиску в портале вся статистика открыта. Шестьдесят процентов пользователей Интернета пользуется поиском на «Яндексе» (еще 20 процентов у «Рамблера», по шесть процентов у Google и Mail.ru). От контекстной рекламы, которая завязана на услугу поиска, мы получаем порядка 80 процентов всех доходов. Остальное это баннеры и всякая мелочевка типа продажи ПО — «Спамообороны» и «Яндекс.Сервер». По сравнению с другими порталами баннеры для нас — сравнительно небольшая часть дохода, но, возможно, в этом году что-то изменится. Большие рекламодатели — в частности, Video International — собираются в этом году прийти в Интернет. Если это произойдет, то рынок будет расти не только за счет контекста, как сейчас, но и за счет медийной рекламы. И через год-два доля Интернет-рекламы от рекламного рынка будет не два процента, как сейчас, а четыре.

«Яндекс.Деньги» не считаем?

— А там нулевой доход. Не совсем, конечно, ноль, но так… Внизу, на радарах. «Яндекс.Деньги» растут очень быстро, но пока потребляют все, что зарабатывают.

Введение веб-интерфейса благотворно повлияло на популярность проекта?

— Дааааааааа! — Это Себрант на минутку оторвался от ноутбука и включился в разговор.

— Введение веб-интерфейса расширило аудиторию «Яндекс.Денег» за счет офисных людей, — кивает Волож. — До этого нашей платежной системой пользовались в основном веб-мастеры, гики, люди, которые в Интернете давно. А сейчас пришли простые офисные сидельцы. Теперь им удобно. Сдвиг виден по тому, как сместились платежи. Раньше пользователи платили либо за интернет-услуги (хостинг, к примеру), либо друг другу. Сейчас же пошли и коммунальные платежи, и телефон. Изменилась и средняя сумма платежа — у пользователей «новой волны» она меньше.

Место действия: большая переговорная в старом офисе «Яндекса».

Действующие лица те же.

Сегалович: Наша задача — обеспечить пользователю идеальную подборку ссылок на его запрос, как мы его пониманием. То есть все упирается в уровень понимания запроса. А это понимание обусловлено не только текстом, но и контекстом запроса. Например, география пользователя или тематический класс, к которому этот запрос относится по ассоциациям запроса других пользователей.

Вот классический пример. Человек вводит в строку поиска слово «жизнь». Что выдавать? Что он ожидает увидеть?

«КТ»: Да какая разница? Все равно понятно, что этот человек — идиот.

Сегалович: Вы почти угадали. Но этот запрос можно понять. Оказывается, люди так ищут газету «Жизнь».

«КТ»: А нет опасности, что вы додумаете что-то не то?

Сегалович: Конечно, есть. Но это статистический процесс, и мы обязаны давать лучшую аппроксимацию, чем сейчас. Наша задача — как можно точнее (с помощью статистики, лингвистики, понимания запроса на уровне технологии отвечания на вопросы) понимать, что именно человек спросил, и максимально точно ответить на его запрос.

«КТ»: А вообще, с поисковым движком много работы? Или все основные задачи уже решены и теперь идет подкрутка?

Волож: (бледнеет от возмущения) Да вы что, это же главный проект компании…

Сегалович: Работы море. Во-первых, мы должны лучше научиться распознавать истинную ценность информации и лучше отличать оптимизированные страницы от неоптимизированных. Кроме того, идет работа с ядром, улучшение базовой функциональности. Мы видим, что и где можно улучшить. Мы хотим, чтобы качество ответов повышалось, и мы знаем, где мы плохо отвечаем.

«КТ»: Это где, например?

Сегалович смотрит на Воложа. Волож смотрит на Себранта. Себрант смотрит в ноутбук.

Сегалович: Ну, если в общем виде, то мы когда-то первыми стали аккуратно искать по всем словоформам. И концептуально это очень правильная вещь, которая работает у нас почти в неизменном виде уже много лет. Но иногда ее полезно отключать. Мы умеем это делать, но не на уровне ядра. Вот вам одно направление. На уровне ядра будем также работать над поддержкой многоязычности, постараемся реализовать возможность включения в запрос не только букв, но и специальных символов. Кроме того… (Воложу) Мы это не анонсировали еще, да?

Далее следует бурный обмен междометиями и жестами, которые должны пояснить собеседнику, какое именно «это» имеется в виду. Через минуту Волож, воспользовавшись знанием лингвистики и глубоким пониманием контекста, пожимает плечами: мол, сам решай. Сегалович решает ответить, но полезной информации в его ответе чуть больше, чем на среднестатистическом дорвее.

Сегалович: У нас на новостях справа есть колоночка, в которую выводятся имена людей, упомянутых в сюжетах. В общем, в этом направлении будем работать.

Себрант: Расскажи лучше про географию.

Сегалович: Речь вот о чем. Мы в ближайшее время собираемся включить более детальный географический каталогизатор. Нынешний основан только на каталоге, а мы уже научились распознавать сайты и страницы на лету — исходя из IP-адреса, содержания страниц и других факторов. Благодаря этой технологии мы резко увеличим полноту локализованного поиска — текущий алгоритм все же сильно сужает спектр сайтов, доступных для регионального поиска. Объем информации увеличится в разы. Кроме того, география будет помогать отвечать на запрос, который, по нашим представлениям, является географически локализованным. Если человек ищет компьютер в Санкт-Петербурге…

Волож: (перебивает) …то мы будем выдачу немножко подстраивать.

Сегалович: Это тонкий вопрос, будем ли мы подстраивать выдачу. Но это качественно новый уровень продвижения в регионы. У нас, конечно, есть «Яндекс.Города», но это поверхностная локализация. А теперь вся база будет промаркирована посайтно, постранично — что к какому региону относится.

Волож: И если для заграничных сайтов регион — это Россия, то для нас регион — это, скажем, Новосибирская область.

Сегалович: Плюс работа с тематической классификацией. Более глубокое понимание, к какой теме относится сайт. И использование этого понимания при формировании выдачи. В общем, работы много. С «Картинками» работа идет, будем делать новую версию. Поправим, например, ранжирование, на «Картинках» оно пока не очень хорошее.

«КТ»: А насколько это все востребовано? Есть же масса людей, которые днюют и ночуют на одном портале, потому что на нем есть все, что им нужно для жизни.

Сегалович: У меня ощущение, что человек — исключительно требовательное существо. Лично я жутко недоволен «Яндексом». Я к нему отношусь одновременно и с любовью, и с ненавистью, и мне очень стыдно за огромное количество недоработок и недоделок.

Есть какие-то сервисы, которыми вы недовольны?

— Есть любимые, но больные дети, — первым отвечает Илья.

Это, например, кто?

— Ну, например, «Открытки», — печально произносит Себрант.

Илья Сегалович называет «Закладки» и «Народ».

— Но и до них дойдут руки, — философски замечает Волож.

Закладки, кстати, жалко. Идея ведь верная, что блистательно доказал несколько лет спустя del.icio.us.

— Да, любимые, — соглашается Сегалович, — да, жалко.

Аркадий Волож, еще минуту назад хладнокровно комментировавший естественный отбор, благодаря которому выживают лишь самые сильные и востребованные сервисы, неожиданно с какой-то ностальгией произносит: «2001 год. Хороший сервис».

— Модель была неправильная, как мы теперь понимаем, — говорит Сегалович. — Там нет тегов и круга друзей. Но я надеюсь, что мы сделаем revival.

— Мы потихонечку, — вступает Волож. — Руки-то у нас доходят до всего, но «только Аллах может все, и даже Аллах не может все сразу». Главный вопрос, который решается на еженедельных менеджерских встречах, — что мы НЕ делаем. Мы растем очень быстро, у нас уже работает больше трехсот человек, но все равно не успеваем.

«Поиск по блогам и форумам», по мнению присутствующих, — это любимый и здоровый ребенок. Довольно оригинальное на первый взгляд решение — объединить поиск по блогам с поиском по форумам — вызвано тем, что в «Яндексе» особых различий между блогами и форумами не делают: «Первое сообщение форума ничем не отличается от первого сообщения в комьюнити» (Сегалович); «Форумы и блоги — это почти один формат» (Волож). Еще один довод в пользу объединенной индексации — полезность форумов: «Сообщество ru_seo на порядки менее интересно форума на Search-Engines.ru» (Себрант).

— По-хорошему, нужно индексировать все, включая комментарии, что в блогах мы делать пока не умеем, — говорит Сегалович, — но при поиске следует понимать разную ценность разных частей — очевидно ведь, что первое сообщение форума важнее всех остальных. Форумы отдают RSS так, как они его отдают, и отрезать первое сообщение от остальных трудно. Но мы уже умеем искать отдельно по форумам и отдельно по блогам (это появится в ближайшей версии). Они у нас не в одной куче, это только так кажется.

Форумы и блоги отделены от «большого робота», потому что важный признак, объединяющий форумы и блоги и четко отделяющий их от всего остального, — это время. Даже выдача на запрос по умолчанию сортируется по времени.

— Вот эта временная шкала совершенно перестраивает мозги, — продолжает Илья, — это не алгоритм PageRank, а совершенно иная мера.

— Неслучайно мы по умолчанию выдаем результаты, отсортированные по времени, — замечает Андрей Себрант. — Трехлетней давности сообщение в форуме представляет скорее исторический интерес, каким бы релевантным оно ни казалось.

Несмотря на всю полезность поиска по блогам он явно не дотягивает до зарубежных аналогов и в первую очередь — до Technorati. Аркадий Волож с такой оценкой не согласен, но даже если и так, отмечает он, сервис не заброшен, работа над ним ведется очень активно. Илья Сегалович идет еще дальше.

— Technorati — лишь первый шаг в нужном направлении. Там есть задел, но нужно двигаться вперед. В блогах часто попадается ценная информация, но как ее оттуда извлечь? Мы уже решили похожую проблему с новостями, создав полностью автоматизированный сервис (руками только добавляются сами ресурсы). Ни один редактор не пострадал. Такой должности, как журналист, в «Яндексе» нет. Вот.

В голосе Ильи слышится такая неподдельная радость, что оба редактора нервно поправляют свои розовые кофточки, ожидая в следующую минуту услышать классическое «А теперь встали и вышли отсюда».

— Что касается блогов, — продолжает суровый директор по технологиям, — то есть чудовищный соблазн сделать что-то интересное. Прошлый год уже показал, что в блогосфере есть настоящие жемчужины, которые нужно доносить до внимания общественности. Они перетекают в новости в полуразмытом виде, и нужно научиться их находить и выделять. Вопрос — как это сделать. Технически это очень нетривиально.

Место действия: большая переговорная в старом офисе «Яндекса».

Действующие лица те же.

Волож: Я против разговоров о том, что Google придет в Россию. Черная рука идет по улице, черная рука стучится в ваш подъезд…

Сегалович: (перебивает) Черный ящик на семи колесиках…

Волож: Ну хорошо. В разных лагерях рассказывали по-разному. Google приходит в Россию? Да он в 2001 году сюда пришел, как только открыл Google.ru! И посмотрите статистику — что-то принципиально изменилось? Они в прошлом году потрясающе выросли, кстати. С пяти до шести процентов. Без шуток — это 20-процентный рост.

Сегалович: Точно так же, как «Яндекс» пугают приходом Google, Google пугали Microsoft. Мол, придет страшный черный ящик на семи колесиках и всех раздавит, как клопов. MSN в прошлом году сделал свой поиск. И что? Пять лет кричали о том, что Microsoft сделает лучший в мире поиск, Microsoft перетащила себе большую команду из Китая, разработала, выпустила — и в результате доля MSN в поиске упала с пятнадцати процентов до семи.

«КТ»: А кстати, как вы «отвоевали» Mail.ru у Google?

Волож: Ничего про это не знаю. Они сами к нам пришли. И это был большой подарок судьбы. А почему? Видимо, им понравилось, сколько денег мы собираем.

«КТ»: Просто немного странно. Они же к движку Google серьезно относились, даже морфологию русскую прикрутили.

Сегалович: О, тут как раз ничего странного нет. Алексей Сокирко, который делал русскую морфологию в Mail.ru для движка Google, теперь работает у нас.

«КТ»: А насколько качество поиска коррелирует с популярностью поискового сервиса?

Себрант: Ни насколько.

Волож: Да нет, если наш поиск долго будет хуже гугловского или рамблеровского, то люди начнут уходить.

Себрант: Но не наоборот. Если предположить, что гугловский поиск будет на два процента лучше, то… Во-первых, что значат эти два процента? Во-вторых, что значит «лучше»?

Волож: Неизвестно, как устроена эта материя. Почему пользователи приходят туда, а не сюда — никто не знает.

Сегалович: Ну нет, я знаю.

Волож: У тебя теории. У всех свои гипотезы. Я вот считаю, что просто не надо вредить. Надо стараться делать хорошо.

Сегалович: В конце 2004 года у нас был небольшой кризис, из которого мы вышли, и в течение всего 2005 года последовательно улучшали робота. Робот у нас очень приличный. По скорости занесения в базу мы опережаем конкурентов от нескольких часов до суток.

«КТ»: А в среднем прямое занесение в базу сколько времени занимает? Сколько времени проходит от момента, когда веб-мастер сообщает вам URL своего ресурса, до начала индексации?

Сегалович: Прямое занесение, то есть механизм «Добавить URL», играет не очень большую роль. А вот если на вас сослались из какого-нибудь интересного места, это дело, скажем, нескольких часов.

«КТ»: А почему при обновлении индекса из «Яндекса» частенько пропадают сайты?

Сегалович: Это стандартная беда всех веб-мастеров и всех роботов…

«КТ»: Но ругаются-то обычно именно на «Яндекс».

Себрант: Потому что когда перестает приходить трафик с «Яндекса» — это заметно, а если, допустим, с Google — то не очень.

Сегалович: Это, конечно, тоже играет роль. Но дело еще и в том, что у нас база обновляется очень часто, трижды в неделю. И если какой-то сайт почему-то не ответил, мы его сразу же убираем. А у того же Google месячный период обхода плюс быстрый робот, который обслуживает далеко не всех. И если уж я попал в Google со своей страничкой, то так в нем и живу. А «Яндекс» может меня выкинуть, потому что сайт в тот момент, когда ткнулся робот, лежал. И всё. На три дня меня в базе нет. То есть сама наша живость — это, безусловно, плюс, но у нее есть и неприятный побочный эффект.

Себрант: Нужно учесть, что когда мы случайно выкинули какой-то сайт, качество ответа практически не изменилось.

Волож: Зато увеличилась живость всей базы.

«КТ»: Веб-мастера жалко.

Себрант: Жалко. Но одним из проявлений кризиса, о котором говорит Илья, были мертвые ссылки в первой десятке выдачи. Люди переходили по ссылке, а ничего не открывалось. И это было страшно раздражающим фактором.

Волож: Не будет пользователей, веб-мастерам еще хуже станет со временем.

— У нас есть скрипт, собирающий и сравнивающий ответы поисковых систем по редким запросам, — поясняет Илья Сегалович, — и мы постоянно себя измеряем. Так вот, моя теория, в которую Аркаша и Андрей не верят, говорит, что рост популярности «Яндекса» коррелирует с состоянием базы. Не 87 процентов стала чистота, а 92 процента. Не 91 процент небитых ссылок, а 94, и так далее.

— Под «не верю» нужно понимать, что я не верю в абсолютизацию базы, — поправляет Себрант.

Перенос фокуса на базу позволяет нам вытащить домашнюю заготовку и спросить, как «Яндекс» относится к метапоисковым машинам, использующим для формирования результатов в том числе и выдачу «Яндекса».

— Выдачу у нас, кстати, можно купить, — замечает Волож.

Сегалович к паразитизму относится плохо, и в перспективность такого подхода — независимо от его этичности — в принципе не слишком верит. Портальная поисковая система при обработке запроса анализирует его, учитывая историю предыдущих запросов пользователя, историю кликов и переходов. А у метапоисковиков данных одновременно с двух концов цепочки (со стороны пользователей и со стороны веб-сайтов) нет и быть не может. Даже поисковые машины без портала — и те находятся в невыгодном положении.

— Все такие искалки умерли. Fast умер и был продан Yahoo через вторые руки (часть разработчиков осталась в Норвегии, а часть перешла в Yahoo и сделала поисковый движок для почты). Бизнес-идея компании Inktomi, полагавшей, что сможет разрабатывать поисковый механизм, продавать его порталам и жить на вырученные деньги, не сработала. Потому что нельзя жить без толстого портала с толстым слоем пользователей и информацией об этих пользователях. Потому что это, черт возьми, та самая обратная связь. Логика развития поисковых систем и порталов такова, что толстый портал с пользователями и хорошим поиском — это законченная модель, которую очень трудно разрезать. Нельзя сделать поиск отдельно.

Наши собеседники согласны с тем, что появление новых игроков на рынке поиска маловероятно. Эпоха накопления первоначального капитала завершилась, и сейчас хорошему поиску необходимо множество разных источников информации, которых у нового движка не может быть по определению. И если нишевые поисковые движки вполне могут появиться, то названия всех важных поисковиков, скажем так, общего назначения мы уже знаем. Скорее всего.

— Но Google ведь тоже пришел на практически поделенный рынок, — задумчиво говорит Сегалович.

По поводу успеха Google у Сегаловича есть теория.

— Считается, — говорит Илья, — что успех Google базируется на PageRank, новаторском алгоритме который придумали два студента в гараже. Однако ничто из этого не является правдой. Первое: опубликованный вариант PageRank не имеет почти никакого отношения к тому, что на самом деле работает в Google. Новизна его тоже под вопросом. По большому счету, все это уже было опубликовано, но в параллельных областях. И самое главное, PageRank не предоставлял никакого конкурентного преимущества, потому что то же самое практически сразу было реализовано во всех остальных поисковых системах.

А что сработало на Google? Например, с 1999 по 2003 год — как минимум четыре года — Google был единственной мировой искалкой, которая выдавала сниппеты, что повышает информативность выдачи на 30 процентов. Мы это тоже делали, но в России. Такая, казалось бы, мелочь. Технологически — совсем не сложная задача. У меня в 2000 году это было тестовым заданием при приеме на работу. Тем не менее четыре года сниппеты выдавал только Google. Почему остальные порталы это не реализовали? Не знаю.

— В Yahoo это теперь называется search lessons. Типа, «что мы делали неправильно с 2000 по 2003 год», — улыбается Волож.

Снова Волож.

— Мы занимаемся настольными онлайновыми сервисами для русскоязычной аудитории. Все слова в данной фразе ключевые. Наши приложения, конечно, могут иметь некоторые расширения, но мы не будем разрабатывать мобильные (специально спроектированные исключительно под мобильные устройства) или «диванные» (как правило, не требующие интерактивности) сервисы. Онлайновые — это значит, что «Яндекс.Офис» мы не пишем. Третья часть — это очень важный момент. Мы занимаемся сервисами, потому что считаем, что главное в Интернете не контент, а услуги.

— То есть у нас два главных фокуса, — говорит Илья Сегалович. — Первый — это русскоязычные пользователи. А второй — информационные сервисы. В информационном секторе наши планы связаны с созданием сервисов, которых у русского пользователя еще нет. Что касается коммуникационных сервисов, то мы в этом году будем заниматься переосмыслением. Не думаю, что мы изобретем что-то совершенно новое. Но попытаемся оценить, что есть у нас, что есть у конкурентов, — и сделать какие-то выводы.

Можно сказать, что Mail.ru — коммуникационный портал, «Рамблер» — медийный, а мы — поисково-информационный. Понятно, что разделение это достаточно условное, и мы будем стараться закрыть «чужие» сектора, но вряд ли эта картина в ближайшее время изменится.

— Остальным мы никогда заниматься не будем, — говорит Волож.

— У меня небольшое примечание-звездочка, — отрывается от ноутбука Себрант, — Никогда — это пять лет. Ты со мной согласен, Аркадий?

Аркадий согласен.

В новый офис мы все-таки попали. Все фотографии, сделанные во время интервью, исчезли с редакционного сервера, пока мы с Сергеем Леоновым были в Германии. В итоге на следующий день после возвращения я с фотографом Александром Масловым поехал в «Яндекс» снова. На сей раз — в новый офис, расположенный у набережной Яузы, в стратегической близости от ликеро-водочного завода «Кристалл». Показать читателям, как выглядит новый дом «Яндекса» изнутри, нам, к сожалению, пока не разрешили, но колонны с загадочным клеймом «Эрбъ и Атрыганьевъ» имеют к переезду самое непосредственное отношение.