Этот программный комплекс первоначально разрабатывался для нужд французской разведки, где он потом ударно трудился в течение 11 лет, после чего был передан для коммерческого использования. Задачи, которые перед ним ставят теперь уже гражданские специалисты, остались теми же: «шарить» по Интернету для извлечения ценной информации из баз данных о патентах, сообщений информационных агентств и публикаций о научных конференциях.
Методика ведения аналитической разведки с помощью данного программного обеспечения следующая: обрабатывая материалы открытого доступа, имеющиеся в Интернет-пространстве, программа статистического анализа составляет так называемые карты работы в различных отраслях науки. В свою очередь, это позволяет аналитикам устанавливать наиболее перспективные научные разработки в областях, где конкуренция пока что сравнительно невелика. Результаты количественного и качественного анализа результатов работы научных лабораторий позволяют оценить степень творческой атмосферы исследовательских коллективов. Это также может быть весьма полезным при выявлении «перспективных летунов», т.е. исследователей, которые за сравнительно короткий срок успевают поменять ряд представляющих интерес научных центров, а тем самым знакомы со многими результатами их работы.
Стоит упомянуть еще одну французскую разработку. Для проведения семантического анализа крупных информационных массивов компания «Acetic» совместно с учеными Парижского университета разработала пакет прикладных программ «Tropes». Отбор требуемой информации происходит в соответствии с ключевыми словами и понятиями, связанными по смыслу. Так, например, название типа самолета «Мираж» соотносится со словами «самолет», «истребитель», а сочетание слов «госсекретарь США» автоматически ассоциируется со словами «министр», «политик». Данное программное обеспечение позволяет одновременно анализировать два текстовых информационных фрагмента объемом в несколько десятков книжных томов. Помимо этого «Tropes» предоставляет возможность создавать необходимые для работы информационные «сценарии», на основе которых автоматически осуществляется не только поиск, но и целевое группирование требуемых данных.
Технический прогресс не стоит на месте, и весьма очевидно, что если государственные спецслужбы отдают для коммерческого использования подобные разработки, то это может означать только одно — они получили в свое распоряжение что-то гораздо более мощное.
«Noemic», сменивший «Taiga» на боевом посту, не только сканирует, но и автоматически осуществляет «объединение источников», обрабатывая полученную информацию со скоростью 1 млрд. знаков в секунду независимо от того, существуют ли она в виде готовой базы данных или, например, передается электронным агентством новостей на любом языке в виде целостного текста. Этот семантический процессор сбора данных способен также подвергать обработке заслуживающие его внимания концепции, метафоры и совокупности идей. Если перед ним поставить задачу выявить, например, все случаи установления связей между гонконгскими и американскими фирмами, действующими в области микроэлектроники, за последние пять лет, то для ее выполнения ему хватит всего нескольких часов.
Американский аналог этих программных комплексов, который называется «Topic», также первоначально разрабатывался для нужд разведки. Данная система появилась на свет в результате длительных исследовательских работ, осуществлявшихся под контролем ЦРУ. Сегодня он также передан в коммерческое использование, и все права на него принадлежат калифорнийской фирме «Verity», мировому лидеру по сбору документальных данных.
Не отстают от «Verity» и ее конкуренты. Так, например, американская фирма «Intelligent Search Solutions» выпустила на рынок пакет программного обеспечения «InfoTracer», предназначенный для сбора разведывательной информации экономического характера в сети Интернет. Для «фильтрования» информации указанное программное обеспечение использует ключевые слова и фразы, после чего автоматически составляются сообщения необходимого пользователям содержания. В них могут быть, например, данные о деловых операциях конкретной компании и ее партнерах, используемых ими технологиях и выпускаемой продукции, а также фамилии руководящего персонала.
В данной связи хотелось бы отметить, что появление новых сетевых информационных технологий практически уравняло возможности конкурентов в получении необходимой исходной информации. Теперь основное значение имеют быстрота поиска и правильный анализ. В этом как раз и могут помочь процессоры сбора данных, позволяющие «извлекать» и анализировать необходимую информацию из крупных информационных массивов. Профессионалы прекрасно понимают, что экономическую разведку можно вести без компьютерных взломов, просто обрабатывая по специальному алгоритму огромные массивы информации, доступные каждому пользователю Интернета.
По оценкам специалистов, в настоящее время только в США насчитывается около 150 фирм, которые специализируются на анализе данных, полученных из Интернета. Причем новые фирмы растут как грибы после дождя.
Но следует отметить, что аналитическая разведка средствами Интернета — это палка о двух концах. Дело в том, что если отследить и проанализировать тематику интересующих конкретный хозяйствующий субъект данных, имеющихся в Интернете, то достаточно просто можно построить причинно-следственную цепочку и выявить перспективные намерения предприятия, уровень его притязаний, по которым, в свою очередь, можно будет оценить его уровень развития. Для этого разработаны специальные «роботы роботов», которые позволяют перехватывать данные о работе системы, занимающейся целенаправленным сбором информации.
Наиболее продвинутые корпорации с целью введения в заблуждение о своих деловых контактах, разработках, финансовых и маркетинговых планах активно используют дезинформационные технологии (более детально они будут рассмотрены в главах «Активные мероприятия»: информационно-психологическое воздействие» и «Информационно-аналитическая работа: дезинформация»). При участии экспертов-отраслевиков и при помощи специальных программных комплексов, также функционирующих на принципах лингвистического и статистического анализа, из кусочков уже опубликованных текстов и отдельных заумных терминов создаются и публикуются в Интернете различные материалы, мягко говоря, не соответствующие истинному положению дел: информационные сообщения, отраслевые обзоры, «научные» статьи, а иногда целые базы и банки данных.
Эффективность проведения дезинформационных мероприятий оценивается путем заказа через подставные компании у провайдеров «сетевой разведки» аналитических отчетов на самих себя. В дальнейшем контролируемая утечка этих отчетов в прессу выполняет роль «кругов на воде» и является материалом «вторичного закрепления» требуемых стереотипов у объектов дезинформационной атаки.
А теперь давайте вернемся в российскую действительность и попытаемся рассмотреть национальные особенности ведения аналитической разведки, причем остановимся на тех, что не требуют значительных финансовых вложений. Я думаю, что предыдущий материал смог убедить большинство читателей в том, что использование методик аналитической разведки открывает огромные возможности по оперативному получению необходимых данных как из профессиональных баз и банков данных, так и из неструктурированной информации, имеющейся в Интернете.
Эти обстоятельства естественным образом выделяют аналитическую разведку в самостоятельное направление деятельности подразделений безопасности хозяйствующих субъектов, а в сочетании с другими технологиями аналитической обработки информации, которые будут описаны далее, позволяют говорить о целом комплексе разведывательных мероприятий, основанных на современных информационных технологиях.
В данной главе мы основное внимание уделим информационно-поисковой составляющей аналитической разведки, так как в рассматриваемой нами методике поиск в Интернете — это в основном только предварительный подбор информации.
Большая часть информации, полученной в результате, носит неявный характер и нуждается в аналитической обработке. Мой собственный опыт и практика работы моих коллег позволяют утверждать, что только порядка 10-15% нужной информации имеется в Интернете уже в готовом виде (необходима только верификация), а остальные 85-90% получаются в результате сравнения, анализа и синтеза разрозненных и разбросанных по разным источникам фактов, по которым вполне можно составить хотя бы фрагментарную картину настоящего. Естественно, что информация, полученная таким образом, нуждается в уточнениях и верификации (проверке).
Но, во-первых, опять же из личного опыта могу отметить, что оперативность предоставления информации в определенной мере компенсирует ее неполноту.
Во-вторых, как правило, на первоначальном этапе знакомства и этот объем удовлетворяет заказчика.
И, наконец, в-третьих, при наличии дальнейшего интереса к исследуемому хозяйствующему субъекту эта предварительная информация поможет заказчику расставить акценты и задать ориентиры в дальнейшей работе.
Детально с методикой аналитических исследований вы познакомитесь в главе «Информационно-аналитическая работа: обработка материалов средств массовой информации».
Кстати, слегка переиначив вождя мирового пролетариата, стоит заметить, что вышеописанные методики «не догма, а руководство к действию». В данной главе автор не претендует на всепригодный и всеобъемлющий алгоритм аналитической разведки, ибо, как говаривал незабвенный Козьма Прутков: «Невозможно объять необъятное». Наша с вами цель значительно проще и прозаичнее — попытаться предельно минимизировать свои трудовые затраты, как моральные, так и финансовые.
Итак, приступим к делу.
3. Каталоги
Каталоги представляют собой еще один удобный вид доступа к данным. Каталоги — это рубрикаторы или классификаторы, организующие множества документов в деревья или целые заросли рубрик.
Однако есть и весьма существенное НО: для эффективного использования каталога пользователю нужно правильно угадать принцип структуризации, который был применен при его создании и который зачастую существует только в головах авторов каталога. Поэтому для компенсации неудобств каталогов (если уж пользователь не знает, на какой ветке дерева «по логике» данного каталога лежит нужная ссылка, то не найдет ее никогда) они в последнее время стали включать и средства поиска. И наоборот — поисковые машины стали снабжаться каталогами; в частности обзавелся своим тематическим каталогом ресурсов ветеран русского Интернета «Рамблер».
В качестве примера для возможных изысканий можно привести следующие каталоги:
Yahoo (http://www.yahoo.com);
«Ay!» (http://www.au.ru);
«List.Ru» (http://www.list.ru);
«Рамблер» (http://www.rambler.ru);
«Лица российских сайтов» (http://www.sites.ru:8000);
«Улитка» (http://www.ulitka.ru);
«Золотое Кольцо Российского Интернета» (http://www.catalog.net).
При работе с классификаторами следует учитывать, что сайты классифицируются разными каталогами по-разному, это и понятно, так как Интернет-пространство в принципе не может быть упорядочено линейно, оно имеет более сложную геометрию.
Например, каталог «Omen.Ru» (http://www.omen.orc.ru) уже на первом уровне структуризации своей коллекции оперирует более чем с 200 рубриками. «Рамблер» в качестве стартовой процедуры поиска информации предлагает 50 рубрик, одна из которых — «Классификаторы» — объединяет более 200 каталогов.
Сайты, обнаруженные в каталогах, от базы данных Федеральной комиссии по ценным бумагам (http://www.fedcom.ru) до регистрационной базы данных по предприятиям Санкт-Петербурга (http:/ /www.infobroker.ru), как мы увидим далее, могут оказаться весьма полезными в дальнейшей работе.
Помимо хранилищ общего назначения существует множество специализированных каталогов, помогающих пользователям ориентироваться в достаточно узких предметных областях.
Ну а для тех, кто желает повысить свой профессиональный уровень, познакомиться со свежими новостями, а также пообщаться с коллегами на форуме, можно порекомендовать для ознакомления следующие специализированные сайты, посвященные вопросам безопасности: электронная версия журнала «БДИ» (http://www.bdi.spb.ru), Интернет-газета по безопасности (http://www.oxpaha.ru) сайт по безопасности (http://www.sec.ru) и сайт (http://www.agentura.ru). С более полной подборкой сайтов по вопросам безопасности можно ознакомиться в тематическом каталоге Рамблера «Безопасность».
4. Поисковые системы
Еще один простой и дешевый способ информационно-поисковой работы в Интернете — воспользоваться услугами бесплатных поисковых систем.
С помощью поисковых систем можно осуществлять различные манипуляции с информацией: индексирование текстов и поиск по одному (нескольким) ключевым словам (по индексу); морфологический поиск — разбор и отождествление различных грамматических форм слов; ранжирование по степени соответствия документа запросу.
На сегодняшний день самыми эффективными русскоязычными поисковыми системами являются Яндекс (www.yandex.ru), Апорт (www.aport.ru), Рамблер (www.rambler.ru). Из личного опыта могу посоветовать начинать именно с Яндекса, у него самая производительная поисковая машина, к тому же на его сайте имеются ссылки практически на все другие поисковики. Так, например, Яндекс дает ссылку на одну из лучших западных поисковых машин Google (www.google.com), которая при поиске информации просматривает свыше 1 600 млн. страниц.
Стоит отметить, что даже самые лучшие поисковые машины обрабатывают только вершину имеющегося в сети информационного айсберга. Поисковые роботы не могут просматривать закрытые для них коммерческие сайты, число которых в настоящее время приближается к миллиону. Эти сайты различны по содержанию (информация правительственная, законодательная, статистическая, научно-техническая, патентная, новостная и т. п.) и форме — например, сайты, содержащие видеоинформацию, музыкальные сайты.
Поиск нужной информации в данном случае осуществляется по следующему алгоритму: задается ключевое (поисковое) слово или фраза, и система ищет данное слово или фразу в базе данных, автоматически составленной поисковой машиной на основе текстового содержимого исследуемых сайтов.
Имеющимися техническими средствами полностью формализовать процедуру поиска информации пока не представляется возможным. Из-за того, что до настоящего времени не существует стандарта на размещение информации в Интернете, реализовать сложную стратегию поиска часто бывает весьма затруднительно. Поэтому при ведении аналитической разведки средствами Интернета приходится идти по пути информационной избыточности, что накладывает весомые ограничения на релевантность найденных документов. Из-за высокого процента информационного шума в общем объеме найденных документов значительно увеличивается время, необходимое для аналитической обработки полученных сведений.
Следует отметить, что результативность поиска в данном случае зависит от двух составляющих.
Во-первых, от степени соответствия ключевого слова или фразы поставленной информационной задаче, т.е. релевантности информационного запроса.
Причем если по первому запросу поисковая система нашла слишком много документов, то по уже отобранному массиву можно провести второй поиск с заданием дополнительных условий и тем самым сузить круг выдаваемых документов. Эта функция очень проста в исполнении (нужно только запомнить предыдущую выборку) и реализована в большинстве популярных машин, включая российские «Яндекс» и «Рамблер».
Помимо этого в современных поисковых машинах — западные AltaVista и HotBot, российские «Яндекс» и «Рамблер» — существует (по крайней мере декларируется) функция интерактивного поиска («найти похожие»). Она также позволяет постепенно уточнить запрос: указать на один или несколько найденных документов и попросить найти документы, повествующие «о том же». Выполняется такой поиск путем превращения документа в поисковый запрос (естественно, с определенной степенью «сжатия», так как запрос слишком большим быть не может). Но нужно отметить, что работает эта функция весьма «капризно» — очень часто находит совсем не то, что ищешь.
Во-вторых, у каждой поисковой системы свой алгоритм поиска и перечень сайтов, входящих в базу данных поиска, поэтому при одном и том же запросе результаты поиска в различных поисковых системах могут значительно отличаться. Поэтому для чистоты эксперимента лучше всего последовательно «прочесать» информационное пространство Интернета при помощи нескольких поисковиков. При поиске информации о конкретных хозяйствующих субъектах или о целых экономических регионах особое внимание стоит уделить поиску официальных сайтов субъектов Федерации и муниципальных образований, где расположены объекты вашего оперативного интереса. При этом не стоит ограничиваться элементарным «скачиванием» заинтересовавшего вас документа. Стоит «обработать» весь сайт как следует. Это связано с тем, что очень часто на нем имеются ссылки на сайты местной торгово-промышленной палаты, средств массовой информации и т.д.
В качестве примера можно привести следующий случай, служба безопасности предприятия, собирая информацию в отношении предполагаемого партнера в одном отдаленном субъекте Федерации посредством Интернета, вышла на официальный сайт данного субъекта Федерации. Официальная пресса, представленная там, расписывала возможного партнера, не жалея творческих сил и бюджетных средств. Но аналитики пошли дальше и через ссылку на официальном сайте администрации вышли на сайт торгово-промышленной палаты, а оттуда на сайт, посвященный местным СМИ. С данного сайта вышли на материалы одной из оппозиционных главе администрации региона газет и этим существенно расширили свои знания об исследуемом объекте на предмет имевшегося на него «негатива».
Еще один пример.
Службе безопасности банка поставлена задача в течение суток подготовить справку по крупному хозяйствующему субъекту, расположенному в весьма отдаленном субъекте РФ. Как назло, человек, который мог бы «подсветить» эту организацию, болеет. Выход из ситуации один — обойтись подручными средствами.
С помощью поисковой системы аналитики СБ сделали выборку разноплановых информационных документов, где упоминается данное предприятие, с различных сайтов. Отобранные документы были полностью скопированы на жесткий диск. Далее наступил черед анализа и синтеза.
Рассмотрим детально, что и как было использовано.
1. Фактографическая информация о предприятии была частично получена из нескольких источников — собственный сайт предприятия (история предприятия, его реквизиты, руководство, перечень необходимого сырья и производимой продукции, перспективные планы), сайт региональной Торгово-промышленной палаты, сайты областной и городской администрации.
2. Финансово-экономический блок — сайт Федеральной комиссии по ценным бумагам — ситуация с акциями (хотя и не всегда свежая), сайты информационных и консалтинговых фирм, а также средств массовой информации, исследующих экономические проблемы (например, журнал «Эксперт»), — так были получены баланс предприятия (который предприятие обязано опубликовать) и другие экономические показатели; на сайте местного отделения Министерства по налогам и сборам — информация о задолженности предприятия в бюджет.
3. Инвестиционная информация — на сайте областной администрации и на сайте консалтингового агентства была получена информация об инвестиционных программах предприятия.
4. Информация о перспективах развития — на сайте отраслевых журналов можно получить весьма интересные аналитические обзоры, причем в динамике всей отрасли.
5. Социально-политическая информация — сайты местных СМИ, как официальных, так и оппозиционных.
6. Информация о фирмах, работающих с ценными бумагами предприятия, с сайтов объявлений о продаже акций и векселей, что позволило в дальнейшем уже оперативным путем проследить связи выявленных фирм.
7. Персональная информация о руководстве — сайты местных СМИ и официальные сайты местных органов власти.
8. Компрматериалы — сайты местных и центральных СМИ, специальные «жареные» сайты.
Кстати, при правильном подходе даже официальные сайты предприятий могут сообщить вам очень много интересного.
Так, например, накануне большой отраслевой ярмарки одна из крупных западных компаний на сайте своего основного конкурента обнаружила информацию о массированной кампании по стимуляции своего товара. Это позволило вовремя переработать подготовленный к выставке прейскурант и лишить конкурента возможности сыграть на явном ценовом преимуществе.
Или, например, если в сети появилось объявление вашего конкурента о поиске специалиста в новой для него области, то это может стать сигнальной информацией для вас о предстоящей смене приоритетов в хозяйственной политике конкурента.
Аналогично, если оперативно нужна информация по предполагаемым зарубежным партнерам, то при соответствующем подходе и знании иностранного языка, это тоже не проблема. На западных серверах существует масса доступных сайтов с очень интересной информацией, надо просто знать, где и что искать.
Так, например, достаточно широко известна история, когда журналисты одного из крупнейших российских изданий в ходе проводимого журналистского расследования без особых проблем с помощью Интернета выяснили месторасположение интересовавшей их персоны. Найти человека или принадлежащую ему фирму в США, как оказалось, особых трудов не представляет. Информационная система газеты «Baltimor Sun» весьма шустро выдала на экран компьютера не только данные по интересующим журналистов фирмам, их деятельности и учредителям, но и домашний телефонный номер самого объекта, а также список телефонов его соседей. Алгоритм тот же самый, только теперь вы используете уже зарубежные поисковики и каталоги.
Основные недостатки «бесплатной» информации — это не гарантированная полнота и достоверность данных, а также значительные затраты времени, необходимые для поиска нужных сведений.
Частенько представленные на сайтах данные вообще не обновляются или обновляются крайне нерегулярно. В качестве примера возможной неполноты имеющейся в Интернете информации можно привести тот факт, что, например, до сих пор на некоторых сайтах висит таблица Менделеева, в которой только 84 элемента, тогда как сейчас известны уже 112 (некоторые пока не имеют названия).
Так же нет никакой уверенности, что найденные документы абсолютно достоверно описывают события.
5. Онлайновые базы данных
Если вы располагаете определенными финансовыми ресурсами, то имеет смысл воспользоваться услугами онлайновых баз данных информационных и консалтинговых компаний. Эти фирмы отвечают за качество предоставляемой информации своим именем. Подход информационных агентств к оплате своих услуг следующий: плата взимается только за просмотренные или скачанные документы (под документом понимается отдельная статья, сообщение информагентства, пресс-релиз, аналитический обзор и т.д.). Стоимость документа указана в ссылке на него еще до обращения к полному тексту.
В качестве примера можно привести базы данных компаний «Dun amp; Brad-street» (http://www.dnb.ru) и «Experian Information Solution (EIS)». Базы данных СМИ «News Net» и «Data Times» включают в себя индексы, а иногда и в полном объеме статьи о различных фирмах, опубликованные в газетах, журналах и бюллетенях. В базах данных «Lexis-Nexis» www.lexis-nexis.com) и «Westlaw» содержатся сведения о судебных делах, когда-либо возбуждавшихся против компаний, а также перечисляются применявшиеся к ним регулятивные меры правительства. «Lexis-Nexis» является первой и крупнейшей в мире полнотекстовой онлайновой информационной системой, интегрирующей в себе более 300 баз данных, содержащих сведения о десятках миллионов компаний. На сегодняшний день ее информационные массивы содержат более 2,5 млрд. документов с глубоким архивом (до 30 лет по бизнес-информации и более 200 лет по юридической информации), причем каждую неделю к ним добавляется еще 14,7 млн. новых документов из более чем 24 тыс. информационных источников.
Для облегчения поиска пользователи «Lexis-Nexis» могут использовать мощные инструменты внутренних классификаторов системы, на разработку которых у компании ушло несколько лет. В ходе этой работы было защищено три патента США. На сегодняшний день классификаторы «Lexis-Nexis» на английском языке имеют свыше 1 600 разделов по бизнесу и более 4 000 по юридическим вопросам.
«Lexis-Nexis» обслуживает более 1,8 млн. зарегистрированных клиентов, ежедневно обрабатывая 400 тыс. запросов. Вся информация платная. Ценовые ориентиры следующие — если вы хотите три раза в день запрашивать информацию о конкурентах, то придется раскошелиться на $107 в месяц, ну а за час интенсивных исследований с вас могут попросить до $885.
В России интересы «Lexis-Nexis» представляет «Русское информационное пространство-М» («РИП-М») http://www.ris.ru). Для более детального ознакомления с западными информационными ресурсами можно порекомендовать имеющуюся на сайте книгу Н.П.Лиходеева и Л.Е.Товстых «Информационные ресурсы для бизнеса».
В настоящее время в русском секторе Интернета также можно найти не только электронные версии практически всех российских периодических изданий, но и многочисленные банки данных с различной бизнес-информацией. Все это значительно облегчает доступ к открытой информации, получаемой в электронном виде, и последующую автоматизированную обработку полученных информационных массивов.
Как и на Западе, в русском секторе Интернета тоже существуют электронные библиотеки, в которых накапливается различная тематическая информация. В качестве примера можно привести «Национальную Электронную Библиотеку» http://www.nns.ru). информационное агентство «Интегрум-Техно» http://www.integrum.ru), Публичную Интернет-библиотеку (http://www.public.ru)
«Национальная Электронная Библиотека» располагает значительным электронным полнотекстовым архивом средств массовой информации -более 5 млн. документов, 2,5 тыс. источников из 73 регионов России, стран СНГ и Балтии, более 7000 новых документов и около 400 источников ежедневно.
Информационное агентство «Интегрун-Техно» было создано в 19% году.
Еще в 1967 г., в НИИ Информэлектро, один из основателей агентства Пархоменко начал работу над интеллектуальной системой поиска по большим массивам текста. В1994 — 1995 гг. он познакомился со специалистом по анализу открытых источников информации, бывшим сотрудником ФСБ Кузнецовым. Результатом этого сотрудничества стала поисковая машина «Артефакт».
В настоящее время агентство предоставляет платный доступ к 1600 базам данных различной тематики. Суммарно это составляет более 50 млн. документов.
Контрольный пакет ИА «Интегрум-Техно» принадлежит инвестиционной группе «АТОН». Около 6% принадлежит неназванному иностранному инвестору. Оставшаяся часть акций принадлежит менеджерам компании.
Публичная Интернет-библиотека специализируется на предоставлении услуг в области отечественной периодики. Библиотека поддерживает архив публикаций центральных и региональных периодических изданий начиная с 1990 года, предоставляет массовый доступ к нему, организует справочно-библиографическое обслуживание пользователей и исследование рынка СМИ.
Фонды хранятся на бумажных носителях и в электронном виде. В библиотеке представлено около 500 источников — центральные и региональные газеты и журналы. К настоящему моменту в архивах собрано 4 млн. документов общим объемом около 10 Гбайт, за сутки фонды пополняются примерно на 4 тыс. документов. Доступ к фондам в электронном виде обеспечивается через Интернет.