DOCKER SWARM ЗАЛИПШИЙ DNS
Я довольно часто использую docker swarm. Мне нравится что он поднимается одной командой, и позволяет быстро раскидать нагрузку по нескольких серверам не прибегая к крутым и сложным решениям типо kubernetes/nomad. Но с ним при нагрузке и частом деплое бывает проблема залипания DNS, когда контейнер уже умер и перезапустился, но его IP остался висеть в DNS как будто он доступен. Ситуация не приятная, но есть решение которое поможет из DNS данный IP прибить. К сожалению работает не всегда, но в 70% случаев это помогает. Для этого необходимо включить дебаг режим у сети докера, и поудалять у него ненужные нам адреса.
AWS GLUE РАСШИФРОВКА И КОНВЕРТИРОВАНИЕ CSV В PARAQUET
Пришла мне задача принимать gpg-зашифрованные csv, расшифровывать их с секретным ключом и паролем из AWS Secrets Manager, а затем сразу конвертировать в parquet, что бы после подключить AWS Athena и не думать о преобразованиях, партициях и так далее. Все должно стартовать само, когда в S3 появляется новый файл.