Выносим всё! Какие данные о нас хранит Google и как их вернуть себе через Takeout — «Хакер»

[Решение найдено!] Вместо Direct API для резервного копирования Google Takeout (что сейчас практически невозможно сделать) вы можете создавать…

Поиск

Начнем с одной из самых занимательных вещей — истории поисковых запросов. Она лежит в папке Searches и разбита на файлы по три месяца, к примеру 2006-01-01 January 2006 to March 2006.json. Если откроешь один из них, то увидишь, что информация о каждом запросе состоит всего из двух вещей: времени в формате Unix и искомой строки.

Для перевода времени можно использовать какой-нибудь онлайновый конвертер, а если нужно будет сконвертировать массово, то это делается одной строкой на Python (замени слово «время» на свое значение):

datetime.datetime.fromtimestamp(int(«время»)).strftime(‘%d-%m%-%Y %H:%M:%S’)

Но подробным анализом я предлагаю тебе заняться самостоятельно. Мы же забавы ради попробуем поискать вхождения тех или иных строк при помощи grep. Поскольку данные сохранены в JSON, их сначала нужно будет сконвертировать в строки — я для этого использовал утилиту gron, о которой недавно писал в рубрике WWW.

Если у тебя установлен gron, можешь написать что-то в таком духе:

$ for F in *; do cat «${F}» | gron | grep «xakep»; done

И увидишь все свои запросы со словом xakep за все время. Какие еще ключевики можно попробовать? Ну например, слово «скачать». ? Или вот занятная идея: если поискать символ @, то ты найдешь все почтовые адреса и аккаунты Twitter, которые ты пробивал через Google.

Обрати внимание, что здесь нет поиска по картинкам и видео, но мы их еще обнаружим в папке My Activity.

Вход в аккаунт Google

Это еще не автоматизировано. Сценарий должен был бы претендовать на роль браузера и преодолевать возможные препятствия, такие как двухфакторная аутентификация, CAPTCHA и другие расширенные проверки безопасности.

Google Авиабилеты

14 полезных сервисов Google, на которые вы не обращаете внимания

Введите в Google, к примеру, «рейс Москва-Дубай» или «купить билеты на самолет» и обратите внимание на удобную табличку с перечнем рейсов из указанного пункта А в пункт Б. Это данные сервиса Google Авиабилеты — сайта, при помощи которого Google аггрегирует предложения авиакомпаний. Он помогает быстро узнать о доступных рейсах в нужном вам направлении, а в полной версии — еще и подберет самые выгодные, даст полезные подсказки, а также предложит расписание поездов — а вдруг?

Сервис Google Авиабилеты доступен по адресу:

https://www.google.ru/flights

Максим Клименчук

@maks.klim

Автор, инженер, кофеман и отец маленького «почемучки». Стараюсь не обрастать гаджетами. Не получается.

Google в курсе, где Вы были, проходили и какие места посещали

История местоположения

История местоположение (если включена геолокация) позволяет всегда знать, где находились и какой траектории движения придерживались. Хронология покажет Вам путь передвижения, места, транспорт, километры, время, возможно, не со 100% точностью, однако информация есть. Здесь можете увидеть все более подробно: google.com/maps/timeline.

2. Как Google отслеживает твои перемещения по городу

Если ты являешь счастливым обладателем смартфона или планшета на Android, то «корпорация добра» может отслеживать все твои перемещения по точным географическим координатам с жёсткой привязкой по времени — все твои похождения, путешествия и поездки, вплоть до дайвинга на Красном море или похода в ближайший ларёк за баночкой пива для пересохшего горла. Или вечерних проводов новой знакомой до дома, плавно перетекших в утренний кофе в её обществе — у неё ведь тоже есть смартфон на Андроиде, правда? — и ваши с ней географические координаты в понимании Google всю ночь накладывались друг на друга.

А вот обладателям продукции со слегка обгрызанным яблоком на девайсе здесь зубоскалить не следует — у них в этом плане ситуация еще печальнее.

Смотреть всё это нужно ЗДЕСЬ.

Кстати, как пример можешь глянуть на скриншот ниже — это перемещения одного из разносчиков пиццы.

7 секретных ссылок - проверь, что Google знает о тебе

Чаты

Возможно, у тебя уже где-то спрятана папка со старыми логами ICQ и ты бы хотел присовокупить к ней еще и все когда-либо написанное через Google Talk и Hangouts. Это вполне реально, но, к сожалению, читать переписку в том виде, в котором она приходит из Takeout, практически невозможно (в отличие, кстати, от логов ICQ).

Весь текст экспортируется как единственный файл JSON плюс горка приложенных картинок — все это лежит в папке Hangouts. С картинками никаких проблем, а вот в JSON на каждое написанное сообщение приходится порядка двух десятков строк метаданных. Но пожалуй, главная головная боль — в том, что вместо имени отправителя здесь ID пользователя.

Наверное, самое простое, что мы можем сделать, — это выкинуть всю мишуру и оставить только текст. По крайней мере можно увидеть какие-то, пусть и обезличенные, беседы.

$ gron Hangouts.json | grep ‘.text’

Так хотя бы есть шанс что-то выловить.

Он все знает о Ваших приложениях

Как много приложений на своем мобильном устройстве Вы используете? А, как много устанавливали ранее, а потом удаляли? Самое время это узнать: myaccount.google.com/permissions. По ссылке сможете посмотреть список приложений, к которым предоставляли доступ к аккаунту Google.

Можно ли почистить эту информацию

На деле поисковик открывает доступ к аккаунтам пользователей, что позволяет удалить любые сведения о себе из Google. Необходимо зайти на страницу «Гугл Истории», где раскроются разделы с указанными данными:

Screenshot_2

  • история веб и приложений;
  • голосовые и звуковые данные;
  • информация об устройстве;
  • история местоположения;
  • история по просмотру и поиску Ютуб-каналов.

Для полной очистки необходимо:

  • Зайти в раздел «История Гугл» и нажать на раздел, который нужно удалить, например, «История местоположения» («Location History»).

Screenshot_3

  • Нажать на кнопку с тремя точками (в верхнем правом углу), выбрать функцию «Удалить».
  • Для удаления полной истории – выбрать «Все время» или «All time».

Аналогичные действия проделываются с другими разделами.

Google+

Что действительно есть смысл бэкапить — это посты из социальной сети Google+, которая стремительно становится артефактом прошлого. Если ты, конечно, вообще когда-либо ей пользовался.

Данные поделены на три папки: Google+ Stream, Circles и Pages. Давай заглянем в них по порядку.

Circles — это контакты людей, организованные по «кругам» из Google Plus. Формат — vCard (VCF) с той информацией, которую люди сами о себе заполнили. Можно при желании одним махом импортировать в любую адресную книгу.

Папка Pages будет присутствовать в том случае, если у тебя имелись публичные страницы. Но ничего интересного там нет, разве что юзерпик и обложка страницы.

Также к данным Google+ стоит отнести папку Profile. В ней содержится JSON с копией всех тех данных, что ты заполнил о себе в этой соцсети. Основные интересные вещи лежат в структурах urls (ссылки на другие профили в соцсетях) и organizations (места работы с датами). Забавная деталь: при том, что у меня в профиле не указан возраст, здесь присутствует поле «ageRange»: {«min»: 21}, значение которого Google, кажется, определил самостоятельно.

Самое главное ты найдешь в папке Google+ Stream. Здесь в качестве отдельных HTML свалены все твои посты с комментариями и даже отдельные комментарии. Можно полистать и поностальгировать, а можно парой строк на Python с BeautifulSoup выдрать, к примеру, только тексты постов. Выбирать нужно будет элементы с классами entry-title и entry-content.

К сожалению, картинки из постов не бэкапятся автоматически — они так и остаются ссылками на сервер Google, который еще и не отдаст их без авторизации. Недоработочка!

Продолжение доступно только участникам

Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте

Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее

Вариант 2. Открой один материал

Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.

Я уже участник «Xakep.ru»

Получить архивный список

У меня есть команда, чтобы сделать это, предполагая, что куки были установлены в качестве переменных среды в разделе «Получить куки» выше:

curl sL H «Cookie: SID=${SID}; HSID=${HSID}; SSID=${SSID}; OSID=${OSID};» ‘https://takeout.google.com/settings/takeout/downloads’| grep Po‘(?<=»)https://storage.cloud.google.com/[^»]+(?=»)’| awk ‘!x[$0]++’

Результатом является разделенный строкой список URL-адресов, которые приводят к загрузке всех доступных архивов.
Он разбирается с HTML с помощью регулярных выражений .

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: