Заметки на breys.ru

Flask.admin FileAdmin проблема с локалями

ffsdmad@jabber.ru ( Басманов ) — Mon, 13 Oct 2014 09:38:35 +0400

Если использовать FileAdmin модуля Flask.admin то в dev сервере есть небольшая проблема: файл, имеющие в именах кирилицу, при сохранении получаю имена без букв Кирилла и Мефодия, а в продакшен вообще появляются проблемы с обработкой строк, в том числе в файловом менеджере и логах. Проблема частично решается в продакшене частично решается путём установки переменной окружения при запуске uwsgi сервера через файл настроек

допустим имеем такой стартовый скрипт

cat /etc/init/proj1.conf
description "uWSGI server Proj#1"
start on runlevel [2345]
stop on runlevel [!2345]
respawn
exec /home/data/flask-project/env/bin/proj1_uwsgi.sh

который запускает

cat /home/data/flask-project/env/bin/proj1_uwsgi.sh
#!/bin/sh
/home/data/flask-project/env/bin/uwsgi -c /home/data/flask-project/proj1/uwsgi.ini

а уже в

[uwsgi]
socket = /tmp/proj1.sock
master = true
enable-threads = true
processes = 3
chdir = /home/data/flask-project/proj1/
module = app:app
virtualenv = /home/data/flask-project/env/
uid = ffsdmad
gid = ffsdmad
logto = /home/data/flask-project/proj1/error.log
env = LC_ALL=ru_RU.UTF-8

устанавливается переменная env, которая используется для запуска app. Осталось решить проблему сохранения кирилических имён файлов

Python: сортировка списков

ffsdmad@jabber.ru ( Басманов ) — Thu, 25 Sep 2014 11:00:30 +0400

Предположим у вас есть список объектов с различными атрибутами, и вам необходимо отсортировать их этот список по нужному вам критерию, для этого вам необходимо воспользовать встроенной в списки функцией .sort с параметром key

Например, у меня в базе есть список людей репрессированных за всякие нехорошие делишки, среди всех атрибутов этих людей меня интересуют пол и имена:

for a in rl:print a.id, a.sex, a.first_name
... 
1551987 1 Виктория
2212644 1 Клавдия
2212647 1 Валентина
2214814 2 Павел
2223472 1 Владислава
2223482 2 Павел
2227653 1 Марина
2227682 2 Николай
2227757 2 Саша
2227844 2 Николая
2228553 2 Алекс
2228608 1 Екатерина
2228657 2 Максим
2228692 2 Роман
2228748 2 Василий-Дмитриевич
2230327 2 Михаил
2232569 2 Анатолий
2232829 1 Анастасия
2233073 2 Максим
2233087 1 Инга
2233098 2 Владимир
2234717 2 Фёдор
2235549 1 Марина
2235552 2 Яросав
2235850 2 Рустам
2239743 2 Пётр
2239766 1 Мария
2239785 1 Юлия
2240058 2 Николай
2240658 2 Максим
2240722 2 Евгений

Допусти мне нужно отсортировать список по полу, а затем по имени и для этого я использую следующий ключ

rl.sort(key = lambda x: x.sex)
for a in rl:print a.id, a.sex, a.first_name
...
2232829 1 Анастасия
2212647 1 Валентина
1551987 1 Виктория
2223472 1 Владислава
2228608 1 Екатерина
2233087 1 Инга
2212644 1 Клавдия
2227653 1 Марина
2235549 1 Марина
2239766 1 Мария
2239785 1 Юлия
2228553 2 Алекс
2232569 2 Анатолий
2228748 2 Василий-Дмитриевич
2233098 2 Владимир
2240722 2 Евгений
2228657 2 Максим
2233073 2 Максим
2240658 2 Максим
2230327 2 Михаил
2227682 2 Николай
2240058 2 Николай
2227844 2 Николая
2214814 2 Павел
2223482 2 Павел
2239743 2 Пётр
2228692 2 Роман
2235850 2 Рустам
2227757 2 Саша
2234717 2 Фёдор
2235552 2 Яросав

rl.sort(key = lambda x: x.first_name)
for a in rl:print a.id, a.sex, a.first_name
...
2228553 2 Алекс
2232829 1 Анастасия
2232569 2 Анатолий
2212647 1 Валентина
2228748 2 Василий-Дмитриевич
1551987 1 Виктория
2233098 2 Владимир
2223472 1 Владислава
2240722 2 Евгений
2228608 1 Екатерина
2233087 1 Инга
2212644 1 Клавдия
2228657 2 Максим
2233073 2 Максим
2240658 2 Максим
2227653 1 Марина
2235549 1 Марина
2239766 1 Мария
2230327 2 Михаил
2227682 2 Николай
2240058 2 Николай
2227844 2 Николая
2214814 2 Павел
2223482 2 Павел
2239743 2 Пётр
2228692 2 Роман
2235850 2 Рустам
2227757 2 Саша
2234717 2 Фёдор
2239785 1 Юлия
2235552 2 Яросав

Думаю тут всё очевидно, но ещё интереснее когда нужна сортировка по нескольким полям, для этого расширяем ключ сортировки вот так:

rl.sort(key = lambda x: [x.sex,x.first_name.lower()])
for a in rl:print a.id, a.sex, a.first_name
... 
2232829 1 Анастасия
2212647 1 Валентина
1551987 1 Виктория
2223472 1 Владислава
2228608 1 Екатерина
2233087 1 Инга
2212644 1 Клавдия
2227653 1 Марина
2235549 1 Марина
2239766 1 Мария
2239785 1 Юлия
2228553 2 Алекс
2232569 2 Анатолий
2228748 2 Василий-Дмитриевич
2233098 2 Владимир
2240722 2 Евгений
2228657 2 Максим
2233073 2 Максим
2240658 2 Максим
2230327 2 Михаил
2227682 2 Николай
2240058 2 Николай
2227844 2 Николая
2214814 2 Павел
2223482 2 Павел
2239743 2 Пётр
2228692 2 Роман
2235850 2 Рустам
2227757 2 Саша
2234717 2 Фёдор
2235552 2 Яросав

Вот такой вот классный Python, здесь фишка в том, что функция sort получает функцию которая получает сравниваемый объект(x) и подготавливает его для сравнения, в последнем примере она формирует для сравнения список состоящий из поля объекта "пол" и поля "имя" с применением функции перевода строки в нижний регистр (иначе возможны не корректные сортировки)

python ProxyError

ffsdmad@jabber.ru ( Басманов ) — Mon, 04 Aug 2014 12:14:12 +0400

Если ваш скрипт, работающий с https, вдруг начал выдавать вот такую ошибку

requests.exceptions.ProxyError: Cannot connect to proxy. Socket error: Tunnel connection failed: 302 Moved Temporarily.

то скорее всего вы используете прокси для браузера, чтобы отучить скрипт использовать proxy достаточно перед запуском скрипта сбросить значение переменной окружения https_proxy любым из доступных способов, например вот так

unset https_proxy
python tests.py

или запускать скрипт вот так

https_proxy='' ./tests.py

Python формирование даты в формате mysql

ffsdmad@jabber.ru ( Басманов ) — Thu, 18 Apr 2013 08:31:51 +0400

Каждый раз забываю как обрабатывать даты в os.path и каждый раз напоминаю себе:

import os, datetime

def modification_date( filename, frm="%Y-%m-%d" ):
    """возращает дату модификации файла в формате "Год-Месяц-День", \
    без проверки на существование файла"""
    t = os.path.getmtime( filename )
    return datetime.datetime.fromtimestamp(t).strftime( frm )

print modification_date('/etc/passwd', '%d:%m:%y')

try:
    print modification_date('/etc/passwd2')
except  OSError, err:
    print err

вроде всё просто: с помощью os.path.getmtime получаем дату модификации файла в секундах

создаём объект fromtimestamp и с помощью strftime добиваемся нужного формата вывода в строку

подробнее о форматах вывода strftime вот тут

err

Python, Json, Yandex.map

ffsdmad@jabber.ru ( Басманов ) — Tue, 05 Jul 2011 12:14:53 +0400

import json, urllib

def get_geocode(text, key):
    try:
        data = urllib.urlopen("http://geocode-maps.yandex.ru/1.x/?","geocode="+text+"&key="+key+"&format=json&").read()
        return json.loads(data)
    except Exception, e:
        return None

print get_geocode("Киров, Первомайский район, улица Большевиков, 16", "AHqsEk4BAAAAekkFTAMA9DGkZfo_WT9ci8K8X286J9ILWjIAAAAAAAAAAABhqxW74U1xylQQhCYKzVIxsQBPTQ==")

Вот так всё просто

from xml.dom.minidom import parse, parseString
dom1 = parse('Desktop/002.xml')
def get_value_text(node, name):
     if node.getElementsByTagName(name).length and node.getElementsByTagName(name)[0].childNodes.length:
         return node.getElementsByTagName(name)[0].childNodes[0].data
     return ""
for d in dom1.getElementsByTagName("Контрагент"):
     name = get_value_text(d, "НаименованиеТочки")
     address = "%s %s %s %s %s %s" % (get_value_text(d, "Город"), get_value_text(d, "Район"), get_value_text(d, "НасПункт"), get_value_text(d, "Улица"), get_value_text(d, "Дом"), get_value_text(d, "Корпус"))
     print get_geocode(address, "AHqsEk4BAAAAekkFTAMA9DGkZfo_WT9ci8K8X286J9ILWjIAAAAAAAAAAABhqxW74U1xylQQhCYKzVIxsQBPTQ==")