Поисковые сервисы

Содержание

Поисковые сервисы в Сети Интернет

Поисковые сервисы в современном Интернете занимают одну из ведущих ролей. Когда мы хотим найти какую-нибудь информацию в Сети — например, о каком-нибудь информационном продукте… то куда обращаемся в первую очередь?

Правильно – к поисковым системам и каталогам ресурсов (Google, Яндекс, и т.д.). В сети Интернет таких сервисов довольно много, и в рамках одного поста невозможно описать их все… а тем более нюансы по работе с ними.

Поэтому я дам общее описание лишь нескольких основных поисковых сервисов, которых в принципе достаточно, чтобы провести поиск информации в Интернете.

Каталог ресурсов

Представляет собой упорядоченную (по темам) коллекцию ссылок на многочисленные Интернет-страницы, сайты и блоги. Обычно каталог содержит только адреса и краткие описания интернет-ресурсов. Он составляется и поддерживается специалистами технической службы соответствующего ресурса.

Эти специалисты самостоятельно или по заявкам владельцев ресурсов пополняют перечень ссылок и составляют обзоры Web-страниц, включающие краткое описание ресурса, его адрес в Интернете и определенные ключевые слова.

Ключевые слова — в свою очередь, используются поисковой программой… входящей в состав каталога. По этим словам сайт может быть найден среди прочих ресурсов, описания которых имеются в базе данных Интернет-каталога.

Примеры такого рода Интернет-ресурсов (самые первые поисковые сервисы):

List.mail.ru, Ulitka.ru, www.ru (первый каталог ресурсов о России в Интернете), Allrunet.ru и т.д.

Все современные поисковые сервисы (Google, Яндекс, Yahoo и т.д.), а точнее компании – владельцы поисковых систем – имеют множество вспомогательных сервисов. Таких как бесплатная электронная почта, чаты, бесплатные блоги, различные информеры, гороскопы, новости, переводчики, словари и т.д.

Точный алгоритм работы поисковой системы держится в тайне. Поисковик включает в себя три основных компонента.

Программа-робот. Эти роботы-пауки непрерывно сканируют (просматривают) сеть Интернет или определенную ее часть (например, Рунет) в поисках новых ресурсов, а также с целью проверки существования ранее найденных ресурсов.
Так называемый “индекс” – своя база данных, в которой хранятся сведения о найденных в Сети ресурсах.
Поисковая программа – непременный элемент поисковика. Именно поисковая программа осуществляет поиск по нашему запросу в своей индексной базе (с учетом заданных нами критериев запроса — по ключевым словам).

Индексная база поисковой системы

Индексная база поисковой системы, как правило, располагает более обширными данными о Web-ресурсах по сравнению с каталогом ресурсов. В ней хранятся не только адреса и краткие описания, но и само содержимое всех известных ему интернет-ресурсов. Происходит это из-за того, что роботы-пауки поисковика в состоянии “обшаривать” Сеть и индексировать страницы практически сутками, без перерыва. Специалистам же Интернет-каталога требуется отдых — у них ведь обычный рабочий день — 8 часов.

Но зато поиск с использованием каталога Интернет-ресурсов часто позволяет быстрее найти искомую информацию в силу того, что при составлении описаний, эксперт может точнее подобрать ключевые слова, которые будут использоваться при поиске.

Расширенный поиск

Практически все поисковые системы, кроме простейшей поисковой формы, обладают и функцией расширенного поиска. Эта функция позволяет задавать более точные настройки параметров запроса. Так же можно использовать поиск с использованием специализированного языка запросов (с помощью различных операторов, префиксов и т.д.). Но это уже для продвинутых пользователей…

Но как правило, расширенный поиск обычно игнорируется пользователями. Между тем, лишние пару минут, затраченных на уточнение параметров поиска, позволяют иногда в итоге сэкономить значительно больше времени при поиске. Причем результаты работы поисковика будут ближе к тем, что ожидал получить пользователь.

Вот наиболее популярные и известные поисковые сервисы:

Google.ru, Yandex.ru, Rambler.ru, Aport.ru, Ru.yahoo.com, и т.д.

Для каждого определенного рода информации желательно использовать свою поисковую систему или каталог ресурсов. При повседневном поиске общих данных лучше выбрать один или два поисковика. Мне, например, достаточно Google.ru и Yandex.ru, также использую Rambler.ru (в основном для статистики по запросам). Но иногда приходится прибегать и к помощи буржуйских поисковиков – их перечислять не буду, в каждом отдельном случае использую разные.

Удачных поисков…

shih.ru

200 бесплатных сервисов на все случаи жизни

Полезные ресурсы для работы, отдыха, поиска музыки, занятий спортом и не только. Сохраняйте в закладки: что-то точно пригодится.

Для ведения дел, хранения заметок и выработки привычек

Gingko — сервис с древовидной иерархической структурой для систематизации данных и творчества.
Evernote — популярный сервис для создания и хранения заметок.
Google Keep — аналогичный сервис от Google. Есть мобильные приложения и расширение для Chrome.
OneNote — заметочник с древовидной структурой от Microsoft.
Simplenote — лёгкий кросс-платформенный заметочник.
«Google Календарь» — универсальный помощник и отличный вариант для хранения долгосрочных задач и заметок, напоминаний о днях рождения и прочих вещей, привязанных к датам.
LiquidTime — браузерный планировщик рабочих и личных задач с привязкой к «Google Календарю».
Wunderlist — лёгкий кросс-платформенный задачник с простым интерфейсом.
Todoist — кросс-платформенный планировщик, задачи в котором можно сортировать по дате или приоритету.
365done — сайт с шаблонами трекеров привычек, списков дел и чек-листов, которые можно распечатать и повесить на холодильник или над рабочим столом.
WeDo — многофункциональный таск-менеджер с акцентом на отслеживании привычек.

Для интернет-сёрфинга

News Tab — агрегатор новостных сайтов, формирующий единую ленту из всего, что вам интересно.
Pocket, Instapaper — сервисы отложенного чтения, в которых можно хранить все ссылки на недочитанные статьи и важные страницы.
Lumio — сервис для быстрого сохранения как страниц, так и отдельных их элементов для отложенного просмотра. Существует в виде мобильных приложений и расширения для Chrome.

Tunnelbear, Windscribe, Speedify — популярные VPN-сервисы для посещения недоступных в вашем регионе сайтов. Бесплатные версии имеют ограничения.
Narro — превратит любой текст в подкаст.
Feedly, Inoreader, Digg — агрегаторы RSS-лент.
Speedtest — инструменты для проверки скорости интернета.
Vk.cc, U.to, Bitly.com, Clck.ru — сокращатели ссылок.

Для хранения файлов

Dropbox — облачный сервис с 2 ГБ места в бесплатной версии. С помощью программы можно создать на компьютере папку, которая будет синхронизироваться с хранилищем автоматически.
MEGA — файлообменник, представляющий до 50 ГБ места без подписки.

«Google Диск» — хостинг от Google с 15 ГБ места без подписки.
«Яндекс.Диск» — облачный сервис с 10 ГБ места в бесплатной версии и безлимитным хранилищем для мобильных фото и видео.
«Облако Mail.Ru» — аналогичный сервис от Mail.Ru с 8 ГБ бесплатного места в хранилище.
OneDrive — облачный сервис от Microsoft с 5 ГБ места в хранилище без подписки. Поддерживается просмотр и редактирование документов в онлайн-версии Microsoft Office.

Для совместной работы

Štefan Štefančík / Unsplash

Trello — кросс-платформенный сервис, реализованный по принципу канбан.
ZenKit — неплохая альтернатива Trello. Задачи можно просматривать в канбан-режиме, в виде стандартного списка или в календаре.

MindMeister — инструмент для совместной визуализации карт мыслей.
Slack — мессенджер для рабочих коллективов. Бесплатная версия подойдёт для компаний с небольшим количеством сотрудников.
Appear.in — браузерная альтернатива Skype. В бесплатной версии можно вести диалог с четырьмя людьми.
Join.me — сервис для шаринга рабочего стола для коллег и клиентов.

Для работы с документами

ZenPen — онлайн-редактор текстов с поддержкой форматирования.
TextPad — простая замена «Блокноту» без поддержки форматирования.
«Google Документы» — замена Word онлайн. Все документы автоматически сохраняются на «Google Диске».

Dropbox Paper — альтернатива «Документам» от Google. Отличаются они не сильно, но своя база пользователей есть и у того, и у другого сервиса.
«Google Таблицы» — альтернатива Excel онлайн.
Online OCR, FineReader Online, Free OCR — распознаватели текста на изображениях онлайн.
«Грамота.ру» — незаменимый справочный инструмент для всех, кто работает с текстом.
«Главред» — проверка текста на предмет словесного мусора от Максима Ильяхова. То, что нужно, для тех, кто старается писать в инфостиле.
«Орфограф» — быстрая проверка текста на орфографические ошибки.
«Google Презентации» — альтернатива PowerPoint онлайн.
Infogram, Easel.ly, Cacoo — онлайн-сервисы для создания инфографики.

«Google Формы» — сервис для создания форм, опросов и викторин.
Advego — биржа труда для авторов-фрилансеров. Есть сервис для проверки текста по ключевым параметрам и на наличие ошибок.
Readability — сервис, оценивающий читаемость текста по пяти формулам.
«Типограф» — инструмент, который поможет быстро заменить неправильные кавычки на правильные, а (c) на ©.
PDF.io — сервис для работы с PDF-документами.
Telegraph — быстрый способ сверстать статью онлайн.

Для своего дела

«Яндекс.Метрика», Google Analytics, SimilarWeb — сервисы веб-аналитики, собирающие статистику по посещаемости сайта.
Tilda Publishing — конструктор сайтов, не требующий навыков программирования.

Later — сервис для отложенного постинга в Instagram. Бесплатная версия имеет ограничения.
Domainr — сервис для поиска свободного домена.
Logaster — быстрый подбор лого к вашему названию и сфере деятельности. За дополнительные функции придётся заплатить, но для поиска новых идей сгодится и бесплатная версия.
Logodust — база бесплатных элементов для логотипов.
Invoicetome — удобный инструмент для создания счетов, которые можно выписывать клиентам или партнёрам.
Cloudim, Jivosite — сервисы для встраивания на сайт окон консультации или чатов с сотрудником. Бесплатные версии имеют ограничения.
MailChimp — сервис для создания и автоматизации рассылок. Бесплатная версия имеет ограничения.

Для концентрации и продуктивности

Cold Turkey — программа, блокирующая на время работы те сайты, на которых вы впустую проводите время.
My Hours, TrackingTime, TMetric — таймеры для отслеживания времени, уходящего на выполнение задач.
Tomato Timer — простой Pomodoro-таймер онлайн.

Для поиска и прослушивания музыки

ArturVerkhovetskiy/Depositphotos.com

«Яндекс.Музыка» — стриминговый сервис, позволяющий слушать музыку из браузера без авторизации.
Genius — сервис с расшифровками и объяснениями значения текстов песен.
Last.fm — музыкальная социальная сеть, в которой можно находить новых исполнителей и вести учёт собственных прослушиваний.

Gnoosic — сервис с музыкальными рекомендациями. Вводите названия трёх любимых групп — Gnoosic советует четвёртую в похожем стиле.
Bandcamp — здесь можно послушать музыку неизвестных исполнителей, а при желании купить её за символическую плату.
Mixcloud — стриминговая площадка с бесплатной музыкой, подкастами и DJ-сетами.
Soundcloud — сервис с большим количеством уникальной музыки, доступной для бесплатного прослушивания.
TheParade — онлайн-проигрыватель с удобным поиском по жанрам и похожим артистам, заимствующий музыку из библиотек YouTube, Soundcloud и Last.fm.

ListenOnRepeat — сервис, позволяющий слушать музыку и составлять плейлисты из клипов на YouTube.
Mubert — онлайн-генератор музыки в разных электронных стилях.
eMusic — облачное хранилище для музыки, которую можно слушать с любого устройства.
HQRadio — сотни радиоканалов, собранных в одном месте и поделённых на пять секций.
Radio Garden — база FM-радиостанций со всего мира, которые можно послушать в реальном времени.
BBC Radio — все радиоканалы от BBC, доступные для онлайн-прослушивания.
«Яндекс.Радио» — сервис с музыкальными рекомендациями, представленными в виде нескончаемого плейлиста.

Для поиска и просмотра кино и сериалов

«КиноПоиск» — популярный сервис с информацией о фильмах, актёрах и режиссёрах, рекомендациями по жанрам и много чем ещё.

IMDb — примерно то же, что и «КиноПоиск», но в мировом масштабе.
MovieLens, A Good Movie to Watch — рекомендательные сервисы для поиска фильмов.
MyShows — социальная сеть, рекомендательный сервис и дневник просмотров для любителей сериалов.
Rotten Tomatoes — сервис с пользовательскими и профессиональными рецензиями на фильмы и сериалы. На основании оценок картинам присваивается рейтинг, выраженный в процентах, а также в виртуальных свежих и тухлых помидорах.
Metacritic — агрегатор, собирающий отзывы о кино и сериалах, а также музыкальных альбомах и играх. На Metacritic выставляются две оценки — от критиков и от пользователей.

Для планирования путешествий

Airbnb — сервис для поиска и сдачи жилья в аренду.
Trivago, Booking.com — сервисы для поиска и бронирования отелей.
Aviasales, Momondo, Skyscanner — сайты для поиска дешёвых авиабилетов.
Hipmunk — универсальный поисковик, который пригодится при поиске авиабилетов, отелей и авто напрокат.
TripAdvisor — сервис с базой достопримечательностей, заведений, музеев и прочих мест в 45 странах. Каждой локации присваивается рейтинг на основе пользовательских отзывов.
BlaBlaCar — сервис для поиска попутчиков и автомобилей, отправляющихся по заданному маршруту.
Workaway — сервис для поиска работы за границей.

Hitchwiki — энциклопедия для автостопщиков.
Couchsurfing — сеть, объединяющая более 7 миллионов человек по всему миру. С помощью каучсёрфинга люди находят место для ночлега, планируют совместные путешествия с пользователями и сами предоставляют апартаменты для зарубежных гостей.
«Суточно.ру» — сервис поиска жилья для посуточной аренды. В базе есть данные по 36 странам.

Для работы с графикой, аудио и видео

Freesound — огромная база бесплатных звуков и шумов.
Stock Up — агрегатор, позволяющий искать изображения сразу на трёх десятках бесплатных фотостоков.
Unsplash — популярный фотосток с бесплатными фотографиями в высоком разрешении.
«Google Шрифты», Fontstorage — библиотеки бесплатных шрифтов.
Online-Convert — онлайн-конвертер документов, аудио, видео и изображений.
CC Search — поиск по изображениям, распространяемым бесплатно по лицензии Creative Commons.

Для фотографов

Anete Lūsiņa / Unsplash

Photography Mapped — тренажёр для тех, кто снимает в ручном режиме. Помогает улучшить навык быстрой настройки диафрагмы, выдержки и ISO.
Fototips.ru, Photo-monster, Photoindustria — много справочной информации для фотографов.
Lens-Club.ru — большая база данных по объективам.
DxOMark — популярный сайт с большой базой данных, где каждой камере присваивается объективный рейтинг.

Для обработки фотографий на компьютере

Photovisi — сервис для создания коллажей онлайн. Много шаблонов.
FotoJet — онлайн-редактор с режимом создания коллажей.
BeFunky, Fotor — универсальные инструменты для обработки изображений, включающие редактор, конструктор коллажей и сервис для создания дизайнов.
Photopea, Pixlr — аналог Photoshop в Сети.
Vectr — онлайн-редактор векторной графики.

Для создания настроения и поиска вдохновения

Focusmusic.fm — музыка для продуктивности. Можно выбрать один из трёх стилей или шум дождя.
Noisli — генератор шумов. В библиотеке 16 звуковых дорожек, микшировать которые можно самостоятельно.
Defonic — то же самое, но звуковых дорожек чуть больше.
Pinterest — фотохостинг с тематическими коллекциями. Поможет в поисках вдохновения, создании интерьера или подборе одежды.
«Спокойное место» — страница Лайфхакера для тех моментов, когда срочно нужно расслабиться.
Listen to the Clouds — генератор успокаивающего аудиофона, совмещающий записи переговоров пилотов и диспетчеров с эмбиентом.

Для обучения

Quora — сервис обмена знаниями, построенный по принципу вопросов и ответов.
TheQuestion — то же, что и Quora, но на русском.
TED-Ed — сайт с записями выступлений на TED.
Snapguide — сайт для тех, кто любит делать что-то своими руками. Есть множество инструкций типа how-to.
«Теории и практики» — медиа с обзором научных событий, богатой коллекцией видео, афишей лекций и курсов.
«ПостНаука» — один из лучших просветительских проектов в Сети. Здесь можно найти интересные курсы, статьи, видео и даже игры.
Arzamas — просветительский проект о гуманитарных науках: истории, искусстве, литературе, антропологии.
«Открытое образование» — образовательная платформа, предлагающая бесплатные онлайн-курсы по дисциплинам, преподаваемым в университетах.
«Универсариум» — система онлайн-образования, обучение в которой строится на последовательном прохождении модулей курсов длительностью 7–10 недель.
«Внимание ТВ» — премия, присуждаемая лучшим образовательным видеопроектам. Все видео представлены на сайте в свободном доступе.
Stepik — бесплатные онлайн-курсы. Есть разные дисциплины, но особое внимание уделено программированию.
N+1 — научно-популярное развлекательное издание о том, что происходит в науке, технике и технологиях прямо сейчас.
«Лекториум» — онлайн-курсы с богатой коллекцией видеоматериалов (более 4 000 часов).
Quizlet — образовательный сервис, основанный на изучении предметов с помощью карточек.

Для изучения языков

Lingualeo — кросс-платформенный сервис, предлагающий изучение английского языка по индивидуальному плану с помощью видео, песен и аудиокниг.
Duolingo — бесплатный сервис для изучения английского, испанского, немецкого, шведского или французского языка.
Tinycards — сервис с карточками от создателей Duolingo.
Memrise — сервис для изучения языков с упором на лексику. Обучение происходит в форме запоминания слов и идиом. Можно изучать один из 11 языков.
My Spelling — сервис, предназначенный для практики правописания.
BBC Learning English — занятия по классическому и деловому английскому. Уроки дополняются аудио.
«Google Переводчик» — поможет перевести слова, фразы и предложения, узнать и прослушать транскрипции. Доступно около 70 языков.
Translate.ru — альтернатива переводчику от Google. Хорошо работает с большими текстами и целыми сайтами.

Для занятий спортом

VitalikRadko/Depositphotos.com

SongBPM — база данных по темпу песен, может быть полезна бегунам.
Jog.fm — сервис для подбора музыки под каденс бега.
WodCat — сервис для подбора программы тренировок. Рассчитан на любителей высокоинтенсивных тренировок и кроссфита.
42km.ru — большой справочный ресурс для бегунов. Информация по предстоящим марафонам, программы тренировок, советы по бегу, форум для общения — всё здесь.
Fitness Tracker Database — сайт, помогающий подобрать фитнес-трекер под любые требования.
Muscle & Strength — ресурс с программами для похудения, построения мышц, увеличения силы и других целей.
Exercise.com — сайт с 638 программами тренировок. Бесплатно доступны 26.
Workout — программы от профи, советы по освоению упражнений с собственным весом и переводы тематических материалов. В архиве есть выпуски программы «100-дневный воркаут», которые станут отличным подспорьем для новичка.

Для занятий музыкой

Yousician — кросс-платформенный сервис для обучения игре на гитаре, басу, укулеле или пианино.
911tabs, GTP-tabs — сайты с библиотеками табулатур для Guitar Pro.
Noteflight — сервис для создания нотных записей. Можно набивать символы на стан самостоятельно или импортировать MIDI-файлы.
Gieson — сайт с различными инструментами для музыкантов: тюнером, метрономом, справочником аккордов и другими.

Прочее

Inkitt — сервис с бесплатным доступом к произведениям пока неизвестных авторов. Есть приложения для iOS и Android.
Bookmate — пожалуй, самая популярная мобильная читалка. Есть приложения для iOS и Android, также читать книги можно в браузере. Подписка платная, но Bookmate поддерживает импорт пользовательских текстовых файлов.
«Купи Батон!» — кросс-платформенный сервис для ведения списков покупок.
«Едадил» — сервис для сравнения акций и цен на товары в супермаркетах.
«Госуслуги» — сервис, позволяющий перенести в онлайн кучу операций, ранее требовавших личного присутствия: от оплаты услуг ЖКХ до подачи заявления в загс.
Avito, «Юла» — сайты с объявлениями о покупке и продаже вещей.
«Циан» — сайт для поиска жилья (покупки или аренды).
Dr.Web, VirusTotal, Kaspersky VirusDesk — быстрые способы проверить на вирусы сайты или файлы с компьютера онлайн.
F‑Secure Online Scanner, ESET Online Scanner — инструменты для поиска и удаления заражённых файлов на компьютере с Windows.
17track — сервис для отслеживания посылок, в частности с AliExpress.
Foodily — агрегатор рецептов с популярных кулинарных сайтов.
About.me — сервис для создания онлайн-визиток с кратким описанием автора и ссылками на социальные сети и мессенджеры.
Deseat.me — быстрый способ удалить учётные записи отовсюду, где вы регистрировались через почту Gmail.
Unroll.me — поможет отписаться разом от всех ненужных рассылок в почте Gmail.
Guerilla Mail, Nada, Mailinator, Fake Mail Generator — сервисы мгновенной почты, позволяющие создать одноразовый ящик для регистраций.
Giphy — огромный каталог анимаций, которые можно использовать в переписках.
Meme Generator — генератор мемов на случай важных переговоров.
«Клавогонки» — тренажёр для улучшения навыка быстрой печати.
Miniclip — сайт с браузерными мини-играми, которые помогут скоротать время.
Uplift — ежедневный тренажёр скорости реакции, памяти, внимания и других навыков.

Софт и сервисы для профессионального поиска

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/- одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer. Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new https://where-you.com/ – эффективный поисковик-агрегатор для поиска людей в основных российских социальных сетях.

https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP.

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http://appfollow.ru/ – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store, Google Play и Windows Phone Store.

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom, позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 — бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home — специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для GoogleChrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные. http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/- сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https://www.idmarch.org/ – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.

hrazvedka.ru

Секреты поиска в интернет и необычные поисковики / Программное обеспечение

Astronet.ru — астрономический поисковый сервис

Этот ресурс предоставляет поиск информации по сайтам, чья тематика, так или иначе, имеет отношение к астрономии. Всего в базе данных поисковой системы около четырех сотен сайтов по астрономической тематике — сайты обсерваторий, любительские странички, библиотеки научной литературы и пр. Тем, чья профессия связана с астрономией, можно только позавидовать — в изучении космических событий есть доля романтики. Ничто не кажется человеку столь интересным, как область неизведанного. Может быть, поэтому он так часто обращает свое внимание к космосу и пытается найти ответ на вечный вопрос «Есть ли жизнь во Вселенной?» Мы тоже не стали отличаться оригинальностью и попробовали задать поисковику легендарный вопрос «Есть ли жизнь на Марсе?» Ответов было так много, и все они были столь интересны, что, позабыв обо всем, мы погрузились в чтение гипотез и рассматривание фотографий и макетов марсианской поверхности. Помимо функции поиска, на сайте есть масса других полезных сервисов, среди которых, например, есть Англо-Русско-Английский Астрономический словарь, биографический справочник с подробными сведениями обо всех ученых, которые внесли свой вклад в развитие астрономии, глоссарий астрономических терминов. Есть также удобная карта звездного неба, которая генерирует положение созвездий, в зависимости от широты и долготы точки наблюдения, а также времени суток.

Friv.com — бесплатные игры на любой вкус!

Поисковые сервисы нужны всем — и тем, кто использует их для написания диссертации, и тем, кто хочет узнать прогноз погоды или расписание поездов, и даже тем, кто выкроил пять минут свободного времени и хочет просто, что называется, повалять дурака, поиграть в какую-нибудь незамысловатую компьютерную игру. Для последней категории пользователей этот ресурс будет настоящим кладезем игр. Это — не совсем поисковик, хотя именно так его называют западные обозреватели (Game search engine). Сайт friv.com представляет собой, скорее, каталог, сборник 264 игр на Flash, собранных на одной странице. Нажмите любую из красочных иконок и играйте на здоровье. На friv.com вы найдете любые «офисные забавы» — от тетриса и шахмат до квеста-бродилки и шутера. Сюжет многих игр сделан с большим юмором и, несомненно, понравится не только вам, но и вашим друзьям.

VisualWorld.ru — поиск с ассоциативными связями

Методика отбора правильных результатов у каждого поисковика своя, уникальная. Вот, например, эта поисковая система работает по принципу ассоциативности. Данный поисковик старается не только правильно отобрать web-ресурсы, соответствующие определенному запросу, но и подсказать ассоциативными словами направление поиска. Так, если ввести в поле запроса ключевое слово или словосочетание, результат, показываемый поисковой машиной, будет выглядеть как набор ассоциативных слов, семантическое облако, ну, и, разумеется, обычный список сайтов, отобранных поисковиком в результате поиска. Отличительная особенность VisualWorld.ru — это визуализация ассоциативных связей, т.е. составление карты-диаграммы, демонстрирующей связи между словами, которые относятся к схожим темам. Этот граф поначалу может показаться чем-то непонятным и необычным, но после нескольких попыток поиска к нему привыкаешь и используешь его для сужения области поиска. Поисковый сервис VisualWorld.ru может работать не только в режиме ассоциативного поиска, но и обычного. Для более быстрой работы с системой, существует «облегченная» версия сайта — viwo.ru.

Briefly.ru — краткое содержание любой книги

Можно долго спорить о том, умрет ли книга или нет, но факт остается фактом — сегодняшний читатель — это не тот, кто листает томик Лермонтова или Толстого, а, скорее, тот, кто еще умеет читать. Скоро библиофилом сможет считать себя каждый, кто знает что Бендер — это плод фантазии Ильфа и Петрова, а не герой «Футурамы», а Гомер — это вовсе не персонаж «Симпсонов», а вполне адекватный грек, живший пару тысяч лет назад. Нам думается, что пропавший интерес к литературе — это явление временное, и наступят времена, когда люди вернутся к книгам. Ну а пока время диктует свои законы, и появляются такие ресурсы, как briefly.ru. Не нужно быть особенно прозорливым, чтобы догадаться, на кого рассчитан данный ресурс — конечно, на школьников и студентов. Зачем читать целую книгу, если можно в двух словах узнать, о чем там писал старина Метерлинк. На сайте briefly.ru собрано большое количество кратких содержаний к разным книгам — от «Божественной комедии» Данте Алигьери до «Гамлета» Шекспира и «Тихого Дона» Шолохова. Содержание произведений рассортировано на сайте по авторам, есть функция поиска. Нужно отдать должное создателям этого ресурса — они очень тщательно подошли к подбору текста для пересказа, поэтому большинство произведений пересказано литературным языком, все понятно и… интересно. Ну что ж, быть может, среди тех, кто ознакомится с содержанием этих книг, найдется и такой, кто захочет узнать книгу, прочитав ее в оригинале. И не с экрана КПК или ноутбука, а с белых листов обычной книги, пока еще есть такая возможность.

Videoinet.ru — поиск по видеороликам

Этот сервис выполняет поиск видео по различным онлайновым хранилищам видео, как отечественным, например RuTube.ru, так и по зарубежным. Всем известно, что самый большой видеоархив — это сервис YouTube. Однако на практике оказывается, что наши отечественные сервисы для хранения видеороликов мало в чем уступают, а кое в чем и лучше сервиса, принадлежащего Google. Во-первых, отечественные сервисы более демократичны к выкладываемому видео — к счастью, в нашей стране пока никому не приходит в голову подавать в суд за то, что в сеть на всеобщее обозрение выложен музыкальный клип или фрагмент нового блокбастера. Во-вторых, содержание клипов, которые загружают на сервер наши пользователи, нам более близко и понятно. Вот, например, репортаж с одного из телеканалов, ставший уже документальным, о событиях, предварявших приезд на Украину сэра Пола Маккартни — оказывается, есть на Закарпатье село Битля, в котором местные гуцулы готовят «гарну писню» для одного из «Битлз». А вот — другой ролик, где пьяный преподаватель одного из столичных вузов пытается провести лекцию. Шанс увидеть подобное на YouTube гораздо ниже — это то, что близко нашему зрителю, это — наш менталитет. Поиск на сервисе videoinet.ru можно выполнять по тегам, по рейтингу и ключевым словам, которые имеют отношение к содержанию клипа. Сервис позволяет делать закладки и составлять из видеоклипов списки воспроизведения.

Kartoo.com — поиск с картой результатов

В ситуации, когда долгий поиск в Интернете не принес никакого положительного результата, логично предположить, что поисковый запрос был сделан не совсем удачно и его стоит сформулировать как-то по-другому. Но чем дольше пользователь перебирает страницы, тем труднее ему включить воображение и придумать, как иначе описать свою проблему одним-двумя словами. В этом случае нужно просто переключиться и попробовать какой-нибудь совершенно другой поисковый сервис, например, kartoo.com. Одно только наличие необычного интерфейса поискового ресурса может подтолкнуть пользователя к идее сформулировать свой запрос по-новому. А если учесть при этом, что результаты будут совсем не те, что выдавал предыдущий поисковик, можно предположить, что шансы найти ответ в этом случае будут выше. Поисковый сервис совершенно не похож на обычные поисковые машины — его внешний вид больше напоминает окно какого-то приложения. После ввода слова-запроса, в окне «приложения» появляется анимированный персонаж, который развлекает пользователя, пока результаты подготавливаются к выводу на экран. Далее следует построение карты Интернета, которая определяет связи между смысловым содержанием различных ресурсов. По этой карте хорошо видно, какая область ближе всего к тематике выбранного ресурса и где следует искать информацию. Интересно, что показанные на карте связи можно редактировать, определяя тем самым область поиска. На карте интернет-ресурсов сайты отмечены разными иконками — те, которые имеют больший размер иконки, скорее соответствуют поисковому запросу. Пользоваться поисковой системой kartoo.com очень непривычно, особенно вначале. Но, тем не менее, к некоторым возможностям поиска привыкаешь мгновенно — например, очень удобные пиктограммы сайтов, которые дают возможность судить о том, просматривал ты эту страницу или нет. Также поисковая система хранит историю запросов, что очень удобно, если необходимо вернуться к какому-то результату. Для этого можно просмотреть список слов, запрашиваемых в поисковике, и вспомнить, какой именно привел к тому или иному ресурсу. Поисковик, к сожалению, плохо работает с русским текстом. Поиск может производиться в одном из трех режимов — по всему интернету, только по англоязычным страницам и с использованием «родительского» фильтра. Когда страниц, соответствующих запросу, поисковая система обнаруживает много, результаты поиска делятся на страницы (как в любом поисковике) и для каждой из них создается своя карта Интернета. Любая карта результатов может быть сохранена и затем заново использована для поиска.

Webbrain.com — конкретизация области поиска

Визуальное представление результатов поиска — это частое явление среди альтернативных поисковых систем. Наиболее близкий и понятный способ демонстрации области поиска — это диаграмма, которую, так или иначе, обыгрывают в необычных интерфейсах создатели альтернативных поисковиков. Сервис webbrain.com — это попытка сделать поисковую систему, в которой пользователь мог бы не только перебирать подряд результаты, но и выбирать направление поиска. Работает поисковый сервис очень просто. Пользователь вводит запрос, после чего в верхней части страницы строится диаграмма слов, определяющих смысловую область поиска, а в нижней части окна браузера показывается стандартный список сайтов, отвечающих требованию запроса. В центре диаграммы ключевое слово, наиболее близко соответствующее тематике запроса. Иногда по центральному слову можно судить, насколько «правильно» поисковая система идентифицировала смысл запроса. Например, если ввести «3dnews.ru», в центр диаграммы система ставит игры. Ну что ж, это верно, хотя, по правде сказать, нам кажется, что логичнее было бы увидеть в центре диаграммы другое слово, например «свежие IT-новости» или «компьютер». Неточность результатов этого поисковика объясняется скудной базой проиндексированных сайтов, однако сама идея интересна и, возможно, когда-нибудь получит продолжение. Для того, чтобы можно было работать с webbrain.com, необходимо иметь установленный компонент Java Virtual Maсhine, Internet Explorer, Firefox или Netscape.

Agakids.ru — детский поисковик

Когда ребенок стремится изучать компьютер — это нужно всячески поощрять. Но давать ему самостоятельно искать ответы на свои вопросы в Google или подобном «взрослом» поисковике не стоит. Ведь даже если поисковый движок имеет функцию ограничения результатов поиска с учетом нежелательного содержания, то это означает лишь то, что при включенном фильтре порнография и насилие не исчезнут полностью, а будут встречаться на страницах результатов реже. Гарантировать же полностью «чистый» список результатов не может ни один поисковый сервис. Не решают до конца эту проблему и программы для родительского контроля. Но есть один очень хороший выход из положения — предложить ребенку поработать со специальным детским поисковиком agakids.ru. Этот сервис устроен таким образом, что осуществляет поиск исключительно по тем ресурсам, которые были добавлены в базу данных agakids.ru и были одобрены создателями сервиса. Поисковый сервис может найти полезную информацию и для родителей — расскажет, как правильно воспитывать детей, как заботиться об их здоровье и т.д. На сайте работает и детское интернет-радио, которое транслирует в эфир разные сказки, детские песни, рассказы и многое другое. Чтобы ребенку было интересно использовать этот поисковик, работа с результатами может происходить в режиме визуального поиска, когда найденные странички показываются в виде красивой анимированной серии картинок-скриншотов заглавной страницы сайтов. Взрослым же, наверное, будет удобнее работать в текстовом режиме.

Eyeplorer.com — поиск в онлайновой энциклопедии

Создавая этот необычный поисковый движок, создатели стремились сделать его как можно более «умным», способным точно настраиваться на поисковый вопрос. Решив, что нет более универсальной базы, чем та, которая содержится в энциклопедических статьях, создатели сервиса пришли к выводу, что новый поисковик следует создавать на основе Википедии — популярной онлайновой энциклопедии. Созданный немецкими программистами, eyeplorer.com визуализирует результаты поиска и дает возможность конкретизировать поиск. Eyeplorer.com — очень удобный инструмент, для того, чтобы быстро найти краткие сведения в определенной области. Поисковая система выглядит как круговая диаграмма. В центре этой диаграммы находится окно поиска. После того, как запрос выполнен, на этой диаграмме начинают отмечаться точками результаты поиска, причем эти результаты выглядят как тэги-ссылки, помогающие пользователю раскрыть суть вопроса. Ссылки в этой диаграмме ведут на страницы онлайновой энциклопедии. Для большего удобства масштаб диаграммы можно менять, используя для этого специальный ползунок. Любой тэг, перемещенный в поле запроса, автоматически запускает новый поиск, и диаграмма перестраивает карту результатов. Поисковый запрос можно уточнять, добавляя дополнительные слова, уточняющие суть вопроса. Справа от этой диаграммы имеется блокнот, на который можно перетаскивать комментарии-ссылки к тэгам диаграммы, своего рода закладки онлайн.

Picollator.ru — поиск по содержимому картинок

Когда вы вводите запрос на большинстве популярных поисковых систем, предлагающих поиск графических файлов, вы получаете результаты, основанные на том, какой текст встречается на странице, а также на названиях файлов. А вот менее известный поисковик Picollator работает совершенно по-другому. Эта система идентифицирует то, что изображено на картинках. Естественно, что при таком подходе и поисковый запрос должен формулироваться не в виде слова или словосочетания, а быть картинкой. Именно так и есть: загрузите на сервер фотографию или укажите ссылку на сайт, куда она уже загружена, и спустя несколько секунд вы увидите эскизы изображений, похожих на загруженное фото. Сервис имеет некоторые ограничения: он работает только с фотографиями людей. К тому же, чтобы получить приемлемый результат, исходное фото должно быть хорошего качества — лицо человека на нем должно быть хорошо видно, также желательно, чтобы он не было повернуто.

Kwmap.net — предложит направления поиска

Слоган этого сайта под поисковой формой «Keymap of whole Internet» полностью соответствует сути этой поисковой машины. Сервис kwmap.net визуализирует найденные результаты самым простым и наглядным образом, какой только можно придумать — в виде карты дорог, чем-то напоминающей карту метрополитена. Узловые точки этой карты — это ключевые слова, найденные поисковой системой. Точка на пересечении путей — это центральное слово, то самое, которое было введено в поле запроса поисковой машины. Поисковая машина отчасти выполняет работу пользователя — в случае неудовлетворительного результата, можно не ломать голову над тем, какой вопрос задать более точно — достаточно взглянуть на визуальное представление результатов поиска и выбрать одно из ключевых слов. Иными словами, используя эти ключевые выражения, можно управлять направлением поиска.

Заключение

На этом список «странных» поисковых сервисов, конечно же, не заканчивается. Лучшие умы стараются разработать все более совершенный алгоритм отбора результатов поиска в интернете. Но, несмотря на все их усилия, до сих пор не было предложено такого решения, которое бы смогло вызвать большой интерес у пользователей. Это можно объяснить не только силой привычки, но и тем, что за годы существования Google, Yandex, Yahoo! и других поисковых систем, многие пользователи научились «фильтровать» результаты, умело оперируя синтаксисом поискового запроса, ничуть не хуже, чем это делают альтернативные поисковики. Полагаем, что ситуация может в корне измениться лишь тогда, когда на горизонте появится поисковый сервис, использующий не движок старших систем, а свой собственный, и который при этом сможет проиндексировать такое же огромное количество страниц, как Google. Спор относительно того, какой из поисковиков самый лучший, определенно обречен на бесконечный диспут. Наверняка найдется немало людей, которые будут утверждать, что ничего лучше, чем Google или Yandex человек не придумал. Найдутся и такие, кто скажет, что альтернативные поисковики ищут точнее. Правы и те, и другие. В конце концов, в закладках браузера есть место для всех поисковых систем, которые могут пригодиться.

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

3dnews.ru

Поисковики без цензуры и ограничений. Топ лучших сайтов

Не секрет, что крупнейшие поисковые системы мира — Google, Yandex, Yahoo, Bing и т.п. — собирают массу различной информации по поисковым запросам. И нет никаких гарантий, что по запросу органов власти они не передадут эти данные в третьи руки. И тут не обязательно быть криминальной личностью или параноиком, достаточно просто того, что эта перспектива в принципе неприятна и никто не хочет, чтобы данные о них отслеживали посторонние люди. Второй момент, о котором так же надо упомянуть — это цензура и ограничения на поисковых сайтах: системы применяются различные фильтры и запреты. Например — фильтры на эротику и жестокость, ограничения Роскомнадзора, фильтры самой поисковой системы. Чтобы от всего этого уйти и найти нужную информацию без ограничений, без фильтров и, тем более, без регистрации — можно воспользоваться сторонними сайтами поисковиками без цензуры. К счастью, их в Интернете немало. Я приведу свою пятёрку лучших.

1. DuckDuckGo

Самый популярный поиск из непопулярных 😉 — это DuckDuckGo.com. Он по-праву считается самым продвинутой поисковой системой «второго сорта». Многие именитый компьютеные издания считают его лучшей альтернативой Google. «Утиный» поиск (Duck — «утка» в переводе с английского) даже ставят по-умолчанию в качестве основного на некоторых веб-браузерах. Например, SRWare Iron. Здесь администрация сайта заявляет о полной сохранности пользовательских данных, так как серверы не хранят информацию о поисковых запросах своих пользователей. Конечно, понятно, что в чём-то разработчики могут лукавить и какая-то часть данных о запросах в DuckDuckGo продаётся рекламодателям — организация то коммерческая, прибыль получать надо. К тому же крутится вся система на платформе Amazon, которая сотрудничает с Американскими властями. Но абсолютных гарантий Вы сейчас нигде не получите и потому остаётся всё же только поверить администрации что этот сайт-поисковик без цензуры. Тем более, что пока недоверять им повода не было. Зато DuckDuckGo 100% без ограничений и фильтров — ищите всё, что душе угодно!

2. Qwant

Отличный самостоятельный поисковый сервис французского происхождения со своей системой индексации сайтов. Главная его «фишка» — анонимность введённых веб-запросов: ни сами запросы, ни IP-адреса пользователей, ни какие-либо иные данные не записываются. Этот факт более-менее гарантирует работу поиска без цензуры. Работает французский поисковик QWant.com относительно быстро. К тому же, его работа постоянно совершенствуется. Отдельно стоит сказать, что консультации по анонимности и безопасности для его разработчиков дают некоторые именитые хакеры.

3. Unbubble

Сайт unbubble.eu — это реально эффективный поисковый сервис, нейтральный к ограничениям в разных странах. Этот поисковик не имеет цензуры и не использует фильтры, что позволяет легко искать фото, аниме, хентай и т.п. Отдельно стоит рассказать, что unbubble — это не обычный, а метапоисковый сайт. Что это значит? У него нет своего индекса, вместо этого в комплексе используются результаты других поисковых систем. То есть, фактически, предоставляет возможность пользоваться всеми сильными сторонами лидеров Интернет-поиска. При этом сайтом не используются файлы cookie, он не сохраняет данные пользователя. А для предотвращения их перехвата используется шифрование.

4. Ixquick

Ещё один метапоисковый инструмент с простым и удобным интерфейсом. Он самый первый удалил данные о своих пользователях и с 2006 года их не собирает. Ixquick.com предоставляет доступ ко всем «плюшкам» системы того же Гугл и при этом полностью обеспечивает анонимность с помощью криптографического алгоритма. IP пользователя удаляется из базы через 48 часов. Правда, из-за той же крипто-системы Ixquick Search Engine обработка запросов занимает значительно больше времени, чем хотелось. Но за всё в этом мире нужно платить. Ожидание — не самая большая плата за отсутствие ограничений и анонимность.

5. YaCy

Сайт search.yacy.net — это немецкая поисковая система, позволяющая относительно быстро, а главное — успешно искать фильмы, клипы, видео и фото без цензуры. Его разработкой занимается компания YaCy. Он крутится в облаке не привязан ни к каким ограничениям или фильтрам типа Роскомнадзора и т.п. Его данные хранятся в распределённом виде, а значит Ваш запрос никто не сможет отследить. К тому же этот анонимный поисковик без регистрации и без рекламы. Минус тут такой же, как и у Ixquick — он ооочень долго обрабатывает запросы. Но тут уж ничего не поделаешь. Анонимная сеть Tor тоже небыстрая. Так что это общая проблема всех подобных систем.

6. StartPage

Псевдо-поисковая система StartPage.com — это по-сути всего лишь прокси-сервис для передачи запросов в старый добрый Google. Но именно это делает его анонимным поисковиком без цензуры, ведь он не записывает Ваш IP и данные о браузере, а значит и не передаёт их дальше, маскируя запрос.

7. Tryndex

Трындекс — это Российский поисковик без фильтров и ограничений. Несмотря на то, что основной его направленностью является поиск объявлений, он отлично ищет музыку, видео и игры без ограничений. Этот поисковый сайт имеет белорусское, украинское и казахстанское зеркала. К сожалению, об анонимности пользователей информации нет никакой. К тому же на нём присутствует реклама. К сожалению, это единственный подобный крупный сервис в России.

set-os.ru

Поисковые технологии или в чем загвоздка написать свой поисковик / Habr

Когда-то давно взбрела мне в голову идея: написать свой собственный поисковик. Было это очень давно, тогда я еще учился в ВУЗе, мало чего знал про технологии разработки больших проектов, зато отлично владел парой десятков языков программирования и протоколов, да и сайтов своих к тому времени было понаделано много.

Ну есть у меня тяга к монструозным проектам, да…

В то время про то, как они работают было известно мало. Статьи на английском и очень скудные. Некоторые мои знакомые, которые были тогда в курсе моих поисков, на основе нарытых и мной и ими документов и идей, в том числе тех, которые родились в процессе наших споров, сейчас делают неплохие курсы, придумывают новые технологии поиска, в общем, эта тема дала развитие довольно интересным работам. Эти работы привели в том числе к новым разработкам разных крупных компаний, в том числе Google, но я лично прямого отношения к этому не имею.

На данный момент у меня есть собственный, обучающийся поисковик от и до, со многими нюансами – подсчетом PR, сбором статистик-тематик, обучающейся функцией ранжирования, ноу хау в виде отрезания несущественного контента страницы типа меню и рекламы. Скорость индексации примерно полмиллиона страниц в сутки. Все это крутится на двух моих домашних серверах, и в данный момент я занимаюсь масштабированием системы на примерно 5 свободных серверов, к которым у меня есть доступ.

Здесь я в первый раз, публично, опишу то, что было сделано лично мной. Думаю, многим будет интересно как же работают Яндекс, Google и почти все мне известные поисковики изнутри.

Есть много задач при построении таких систем, которые почти нереально решить в общем случае, однако с помощью некоторых ухищрений, придумок и хорошего понимания как работает железячная часть Вашего компьютера можно серьезно упростить. Как пример – пересчет PR, который в случае нескольких десятков миллионов страниц уже невозможно поместить в самой большой оперативной памяти, особенно если Вы, как и я, жадны до информации, и хотите кроме 1 цифры хранить еще много полезностей. Другая задача – хранение и обновление индекса, как минимум двумерной базы данных, в которой конкретному слову сопоставляется список документов, на которых оно встречается.

Просто вдумайтесь, Google хранит, по одной из оценок, более 500 миллиардов страниц в индексе. Если бы каждое слово встречалось на 1 странице только 1 раз, и на хранение этого надо было 1 байт – что невозможно, т.к. надо хранить хотя бы id страницы – уже от 4 байт, так вот тогда объем индекса бы был 500гб. В реальности одно слово встречается на странице в среднем до 10 раз, объем информации на вхождение редко когда меньше 30-50 байт, весь индекс увеличивается в тысячи раз… Ну и как прикажите это хранить? А обновлять?

Ну вот, как это все устроено и работает, я буду рассказывать планомерно, так же как и про то как считать PR быстро и инкрементально, про то как хранить миллионы и миллиарды текстов страниц, их адреса и быстро искать по адресам, как организованы разные части моей базы данных, как инкрементально обновлять индекс на много сотен гигов, ну и наверное расскажу как сделать обучающийся алгоритм ранжирования.

На сегодня объем только индекса, по которому происходит поиск — 57Gb, увеличивается каждый день примерно на 1Gb. Объем сжатых текстов – 25Gb, ну и я храню кучу другой полезной инфы, объем которой очень трудно посчитать из-за ее обилия.

Вот полный список статей которые относятся к моему проекту и описаны здесь:
0. Поисковые технологии или в чем загвоздка написать свой поисковик
1. С чего начинается поисковик, или несколько мыслей про crawler
2. Общие слова про устройство поиска в Web
3. Dataflow работы поисковой машины
4. Про удаление малозначимых частей страниц при индексации сайта
5. Методы оптимизации производительности приложения при работе с РБД
6. Немного про проектирование баз данных для поисковой машины
7. AVL деревья и широта их применения
8. Работа с URL и их хранение
9. Построение индекса для поисковой машины

habr.com

Яндекс.Поиск для сайта — легко установить и настроить

Учёт морфологии и лексики языка

Яндекс.Поиск для сайта использует все технологии «большого» поиска Яндекса. В том числе учитывает различные формы слов, исправляет ошибки и опечатки, а также неправильную раскладку клавиатуры.

Поиск умеет находить на сайте не только слова, которые встречаются в запросе пользователя, но и их синонимы. Например, если пользователь ищет информацию об игре World of Warcraft, он не обязательно напишет название полностью. Его запрос может выглядеть как [Warcraft], [WoW] или даже [ВоВ]. Но Яндекс поймёт, что нужно человеку, и даст ему верный ответ.

Яндекс.Поиск для сайта понимает разные варианты написания слов, даже неправильные

Настройка синонимов для поиска

Вы можете дополнять основную базу синонимов поиска своими вариантами, специфическими именно для вашего сайта и ваших пользователей. Для этого в Яндекс.Поиске для сайта реализован простой и понятный интерфейс.

В левой колонке добавляйте слова, которые вводят ваши пользователи в поисковой форме, а в правой — соответствующие им синонимы со страниц вашего сайта или сайтов.

Гибкие настройки

Вы сами выбираете, как выглядит поиск Яндекса на вашем сайте. Он может быть ярким элементом интерфейса или не слишком бросающимся в глаза, но заметным помощником в навигации — всё зависит от ваших предпочтений и целей.

От вас зависит, оставить ли стандартное оформление, знакомое всем пользователям Яндекса, или оформить поисковую строку и результаты в своих фирменных цветах.

А если окажется, что стандартных опций оформления поисковой формы и результатов поиска недостаточно, чтобы идеально вписать поиск в дизайн вашего сайта, вы (или ваши разработчики) можете применить собственные CSS-стили к необходимым элементам формы или выдачи. Благодаря этому вы полностью можете управлять внешним видом поиска и дополнять его нужными вам элементами.

Если на найденных документах есть видеоролики или картинки, в результаты поиска будут вставлены их превью. Вы также можете менять оформление этих превью с помощью применения собственных CSS-стилей.

Можно выбрать дизайн поисковой формы для сайта. Например, она может быть со стрелкой.

Результаты поиска открываются или на странице вашего сайта, или на Яндексе — вот так.

Поисковые подсказки

Поиск для сайта, как и основной поиск Яндекса, содержит поисковые подсказки — они ускоряют ввод запроса. Ещё до того, как посетитель сайта наберёт запрос полностью, он сможет перейти к нужному варианту. Так получается гораздо быстрее.

Яндекс создаст набор поисковых подсказок специально для ваших нужд. Они будут учитывать запросы ваших пользователей и содержимое сайтов, по которым вы хотите искать.

Ничего страшного, если пользователи будут ошибаться при вводе запроса. Поиск для сайта умеет исправлять опечатки, грамматические ошибки и неправильную раскладку клавиатуры — в том числе и всё сразу. Исправление работает для запросов на русском, английском, украинском, белорусском, турецком и еще нескольких языках.

Поисковые подсказки умеют исправлять ошибки и опечатки, а также неправильную раскладку клавиатуры.

Вы можете редактировать предложенные Яндексом поисковые подсказки. Например, добавлять новые, изменять порядок существующих и удалять ненужные. С помощью этого инструмента легко подсказать пользователям, на что обратить внимание на вашем сайте.

Уточнения результатов поиска

Вы можете помочь посетителям найти на вашем сайте именно то, что им нужно. Это может быть, например, статья, опубликованная в августе 2010 года, или документ из раздела «Обзоры и тесты». Поиск для сайта предоставляет инструмент для уточнения запросов — можно выбирать раздел сайта, указывать временной промежуток, а также формат или язык документа.

Также у вас есть возможность указать ключевые слова, которые посетитель сможет добавлять к запросу. Например, если ваш сайт связан с играми, то ключевыми могут быть слова «игра», «обзор», «купить» и так далее.

Вот так выглядят уточнения в результатах поиска.

Поисковые темы

Если вам нужно организовать поиск по множеству различных сайтов или по группе сайтов одной тематики, воспользуйтесь поисковыми темами. Одна поисковая тема может объединять до 100 000 сайтов. Их список легко редактировать с помощью HTTP-запросов.

Подготовьте список сайтов, создайте новую тему и отправьте её на модерацию. После подтверждения темы организуйте поиск на её основе с помощью сервиса Яндекс.Поиск для сайта или Яндекс.XML.

Создать тему: http://site.yandex.ru/themes/new/

site.yandex.ru