Мы в Evrone создали на Ruby высокоуровневый фреймворк для сканирования веб-сайтов. С его помощью можно парсить данные с веб-сайтов для последующего анализа, мониторинга или архивирования.
В статье про проект Machinio рассказываем, как автоматически собирать информацию с разных сайтов и систематизировать её на едином маркетплейсе.
На сайте Evrone расширенная статья о фреймворке Vessel.
Репозиторий проекта на Github.