Заметки на breys.ru

Flask restful сериализация sqlalchemy моделей в Json поток

ffsdmad@jabber.ru ( Басманов ) — Sun, 19 Apr 2015 16:25:06 +0400

При использовать в проекте flask-restful удобно и необходимо возвращать в качестве результатов запросов объекты формируемые sqlalchemy моделями. Но есть одна проблема, так как очень часто эти модели содержат слишком много всяких дополнительных свойств, то встроенный сериализатор не справляется и ругается словами

is not JSON serializable

Проблема решается путём переопределения встроенного сериализатора Flask, а делается это вот так:

среди атрибутов приложения есть свойство указывающее на класс сериализатора Json, нам остаётся лишь взять базовый класс, переопределить его возможности обработкой своих типов и передать на исполнение в приложение (ниже общая схема)

from flask.json import JSONEncoder
class CustomJSONEncoder(JSONEncoder):
    def default(self, obj):
      # обработка собственных типов
      if isinstance(obj, мои типы):
         ....
      # стандартная обработка
      return JSONEncoder.default(self, obj)
app.json_encoder = CustomJSONEncoder

Чтобы научить сериализатор обрабатывать объекты sqlalchemy необходимо использовать следующую конструкцию

from sqlalchemy.ext.declarative import DeclarativeMeta
class CustomJSONEncoder(JSONEncoder):
    def default(self, obj):
          if isinstance(obj.__class__, DeclarativeMeta):
                # обрабатываем объект sqlalchemy                fields = {}
                obj_dict = obj.__dict__
                for field in obj.__table__.columns.keys(): # получаем список полей связанной с моделью таблицы
                    data = obj_dict.get(field) # извлекаем данные по имени поля
                    try:
                        json.dumps(data)
                        fields[field] = data
                    except TypeError:
                        fields[field] = None
                return fields
          return JSONEncoder.default(self, obj)

Собственно метод заключается в преобразование объекта sqlalchemy в обычный словарь, с последующей сериализацией полей словаря, имена которых являются полями таблицы, список которых получаем с помощью метода obj.__table__.columns.keys()

Использование такого метода позволяет очень просто и наглядно формировать rest Api с помощью sqlalchemy моделей

return jsonify(result=True, id=id, page=model_Page.query.get(id))

Flask, создание собственных, расширенных виджетов форм для Flask.admin

ffsdmad@jabber.ru ( Басманов ) — Fri, 28 Nov 2014 08:36:19 +0400

Часто требуется на формах Flask.admin создавать виджеты поведение которых не предусмотренно стандарными моделями и для решения этой проблемы необходимо уметь создавать свои виджеты, путём наследования базовых и расширением их функционала

Например, мне в модели страницы необходимо указывать путь к шаблону с помощью которого будет генерироваться редактируемая страница, а список шаблонов получается путём сканирования директории шаблонов текущего домена (мультидоменная CMS), для решения этой проблемы наследую от wtforms.fields.SelectField новый класс SelectTemplateField у которого переопределяю конструктор, где инициализирую параметр choices для родительского класса

делается это вот так, в файле fields.py объявляю новый класс

class SelectTemplateField(SelectField):
    def __init__(self, *args, **kwargs):
        template_dir = os.path.join(kwargs['app_template'], g.domen.template_path)
        choices = [ (name,name) for name in os.listdir(template_dir) if os.path.isfile(os.path.join(template_dir,name))]
        choices.sort()
        kwargs.pop('app_template')
        kwargs['choices'] = choices
        return super(SelectTemplateField, self).__init__(*args, **kwargs)

в конструкторе

вычисляю путь к директории шаблонов текущего домена (template_dir)
заполняю список именами файлов из этой директории
сортирую список
удаляю из kwargs элемент app_template, иначе базовый класс вылетит с ошибкой
добавляю в отсортированный список с доступными шаблонами в kwargs
вызываю конструктор базового класса

Затем этот виджен нужно подключить к классу PageAdmin, делается это путём добавления в класс PageAdmin опции form_extra_fields сделующим образом:

form_extra_fields = {
        'template': SelectTemplateField(u'шаблон',
                app_template = os.path.join(app.root_path, app.template_folder)),
    }

Здесь определяется стандартный класс для свойства template у класса Page, путём переопределения для него виджета с его инициализацией свойств label и app_template (которое затем используется в конструкторе переопредённого класса)

Вот так легко и просто можно очень существенно расширить возможности генераторов форм во Flask

Сброс пароля на Windows server 2012

ffsdmad@jabber.ru ( Басманов ) — Wed, 26 Nov 2014 08:27:02 +0400

Так уж получается, что использовать Windows server приходится очень редко, по-этому постоянно памятую пароли. Опишу тут как сбрасывать пароли на Windows server 2012, но думаю этот способ подойдёт и для любой другой NT системы.

Суть метода проста, нужно загрузиться с востановительного диска и заменить файл windows\system32\Utilman.exe на cmd.exe

это необходимо для того чтобы при следующем запуске офтопика, в окне авторизации при нажатии кнопки Win+U запустила консоль, в которой уже можно по быстрому сменить с помощью команды

net user (имя пользователя) (пароль пользователя)

Flask.admin FileAdmin проблема с локалями

ffsdmad@jabber.ru ( Басманов ) — Mon, 13 Oct 2014 09:38:35 +0400

Если использовать FileAdmin модуля Flask.admin то в dev сервере есть небольшая проблема: файл, имеющие в именах кирилицу, при сохранении получаю имена без букв Кирилла и Мефодия, а в продакшен вообще появляются проблемы с обработкой строк, в том числе в файловом менеджере и логах. Проблема частично решается в продакшене частично решается путём установки переменной окружения при запуске uwsgi сервера через файл настроек

допустим имеем такой стартовый скрипт

cat /etc/init/proj1.conf
description "uWSGI server Proj#1"
start on runlevel [2345]
stop on runlevel [!2345]
respawn
exec /home/data/flask-project/env/bin/proj1_uwsgi.sh

который запускает

cat /home/data/flask-project/env/bin/proj1_uwsgi.sh
#!/bin/sh
/home/data/flask-project/env/bin/uwsgi -c /home/data/flask-project/proj1/uwsgi.ini

а уже в

[uwsgi]
socket = /tmp/proj1.sock
master = true
enable-threads = true
processes = 3
chdir = /home/data/flask-project/proj1/
module = app:app
virtualenv = /home/data/flask-project/env/
uid = ffsdmad
gid = ffsdmad
logto = /home/data/flask-project/proj1/error.log
env = LC_ALL=ru_RU.UTF-8

устанавливается переменная env, которая используется для запуска app. Осталось решить проблему сохранения кирилических имён файлов

Python: сортировка списков

ffsdmad@jabber.ru ( Басманов ) — Thu, 25 Sep 2014 11:00:30 +0400

Предположим у вас есть список объектов с различными атрибутами, и вам необходимо отсортировать их этот список по нужному вам критерию, для этого вам необходимо воспользовать встроенной в списки функцией .sort с параметром key

Например, у меня в базе есть список людей репрессированных за всякие нехорошие делишки, среди всех атрибутов этих людей меня интересуют пол и имена:

for a in rl:print a.id, a.sex, a.first_name
... 
1551987 1 Виктория
2212644 1 Клавдия
2212647 1 Валентина
2214814 2 Павел
2223472 1 Владислава
2223482 2 Павел
2227653 1 Марина
2227682 2 Николай
2227757 2 Саша
2227844 2 Николая
2228553 2 Алекс
2228608 1 Екатерина
2228657 2 Максим
2228692 2 Роман
2228748 2 Василий-Дмитриевич
2230327 2 Михаил
2232569 2 Анатолий
2232829 1 Анастасия
2233073 2 Максим
2233087 1 Инга
2233098 2 Владимир
2234717 2 Фёдор
2235549 1 Марина
2235552 2 Яросав
2235850 2 Рустам
2239743 2 Пётр
2239766 1 Мария
2239785 1 Юлия
2240058 2 Николай
2240658 2 Максим
2240722 2 Евгений

Допусти мне нужно отсортировать список по полу, а затем по имени и для этого я использую следующий ключ

rl.sort(key = lambda x: x.sex)
for a in rl:print a.id, a.sex, a.first_name
...
2232829 1 Анастасия
2212647 1 Валентина
1551987 1 Виктория
2223472 1 Владислава
2228608 1 Екатерина
2233087 1 Инга
2212644 1 Клавдия
2227653 1 Марина
2235549 1 Марина
2239766 1 Мария
2239785 1 Юлия
2228553 2 Алекс
2232569 2 Анатолий
2228748 2 Василий-Дмитриевич
2233098 2 Владимир
2240722 2 Евгений
2228657 2 Максим
2233073 2 Максим
2240658 2 Максим
2230327 2 Михаил
2227682 2 Николай
2240058 2 Николай
2227844 2 Николая
2214814 2 Павел
2223482 2 Павел
2239743 2 Пётр
2228692 2 Роман
2235850 2 Рустам
2227757 2 Саша
2234717 2 Фёдор
2235552 2 Яросав

rl.sort(key = lambda x: x.first_name)
for a in rl:print a.id, a.sex, a.first_name
...
2228553 2 Алекс
2232829 1 Анастасия
2232569 2 Анатолий
2212647 1 Валентина
2228748 2 Василий-Дмитриевич
1551987 1 Виктория
2233098 2 Владимир
2223472 1 Владислава
2240722 2 Евгений
2228608 1 Екатерина
2233087 1 Инга
2212644 1 Клавдия
2228657 2 Максим
2233073 2 Максим
2240658 2 Максим
2227653 1 Марина
2235549 1 Марина
2239766 1 Мария
2230327 2 Михаил
2227682 2 Николай
2240058 2 Николай
2227844 2 Николая
2214814 2 Павел
2223482 2 Павел
2239743 2 Пётр
2228692 2 Роман
2235850 2 Рустам
2227757 2 Саша
2234717 2 Фёдор
2239785 1 Юлия
2235552 2 Яросав

Думаю тут всё очевидно, но ещё интереснее когда нужна сортировка по нескольким полям, для этого расширяем ключ сортировки вот так:

rl.sort(key = lambda x: [x.sex,x.first_name.lower()])
for a in rl:print a.id, a.sex, a.first_name
... 
2232829 1 Анастасия
2212647 1 Валентина
1551987 1 Виктория
2223472 1 Владислава
2228608 1 Екатерина
2233087 1 Инга
2212644 1 Клавдия
2227653 1 Марина
2235549 1 Марина
2239766 1 Мария
2239785 1 Юлия
2228553 2 Алекс
2232569 2 Анатолий
2228748 2 Василий-Дмитриевич
2233098 2 Владимир
2240722 2 Евгений
2228657 2 Максим
2233073 2 Максим
2240658 2 Максим
2230327 2 Михаил
2227682 2 Николай
2240058 2 Николай
2227844 2 Николая
2214814 2 Павел
2223482 2 Павел
2239743 2 Пётр
2228692 2 Роман
2235850 2 Рустам
2227757 2 Саша
2234717 2 Фёдор
2235552 2 Яросав

Вот такой вот классный Python, здесь фишка в том, что функция sort получает функцию которая получает сравниваемый объект(x) и подготавливает его для сравнения, в последнем примере она формирует для сравнения список состоящий из поля объекта "пол" и поля "имя" с применением функции перевода строки в нижний регистр (иначе возможны не корректные сортировки)

Отключаем csrt проверку во Flask

ffsdmad@jabber.ru ( Басманов ) — Thu, 11 Sep 2014 13:41:15 +0400

При отладке механизм защиты сайта csrt_token очень затрудняет жизнь, для его отключения, а лучше всего для управления этим механизмом нужно в config.py внести переменную

CSRF_ENABLED = True

Затем в __init__.py главного модуля добавить такие строки

if app.config['CSRF_ENABLED']:
    from flask_wtf.csrf import CsrfProtect
    CsrfProtect().init_app(app)

Затем при использовании форм передавать им дополнительный параметр

form = CreateProduct(csrf_enabled=app.config['CSRF_ENABLED'])

Ну и на последок, в шаблонах, использовать вот такую конструкцию

{% if csrf_token %}{{ csrf_token() }}{% endif %}

таким образом изменяя состояние CSRF_ENABLED в конфиге вы будете контолировать этот параметр по всему проекту

отключение журналов bind9

ffsdmad@jabber.ru ( Басманов ) — Tue, 12 Aug 2014 18:40:59 +0400

Нет ничего удивительного в использовании на домашнем компьютере собственного DNS сервера, так это экономит траффик, ускоряет запросы к сайтам, позволяет организовывать удобную домашную сеть с вайфаем и шарами, но весьма удивительно позволять настроенному DNS серверу писать свои сообщения в общесистемные журналы, потому что этот сервер весьма болтливый. Вот например анализ моего syslog, накопленный за 6 дней:

cat /var/log/syslog|sed 's/\[/ /g'|awk '{print $5}'|sort| uniq -c|sort -n

      1 avahi-daemon
      4 dbus
      7 rsyslogd:
     14 acpid:
     14 NetworkManager
     15 anacron
     15 pppd
     31 CRON
     48 dhcpd:
    679 kernel:
   1982 named

тут сразу видно, что каждые два из трёх сообщения произносится DNS сервером. Думаю на домашнем сервере можно просто напросто отключить логирование DNS, ну или перенаправить в отдельные файлы

Для отключения журналирования события BIND9 достаточно добавит опцию

querylog false;

в раздел options файла /etc/bind/named.conf.options

python ProxyError

ffsdmad@jabber.ru ( Басманов ) — Mon, 04 Aug 2014 12:14:12 +0400

Если ваш скрипт, работающий с https, вдруг начал выдавать вот такую ошибку

requests.exceptions.ProxyError: Cannot connect to proxy. Socket error: Tunnel connection failed: 302 Moved Temporarily.

то скорее всего вы используете прокси для браузера, чтобы отучить скрипт использовать proxy достаточно перед запуском скрипта сбросить значение переменной окружения https_proxy любым из доступных способов, например вот так

unset https_proxy
python tests.py

или запускать скрипт вот так

https_proxy='' ./tests.py

Sqlite3 работа с несколькими базами

ffsdmad@jabber.ru ( Басманов ) — Mon, 21 Jul 2014 15:12:29 +0400

Когда необходимо поработать сразу с несколькими базами SQLite, используя их в одном запросе, то приходится пошаманить и найти не самые хорошо задокументированные функции консольного клиента

Допустим вы работаете с текущей сессии с base.db и подключили её вот так:

$ sqlite3 base.db
SQLite version 3.8.2 2013-12-06 14:53:30
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite>

проверяем подключенные базы и видим

sqlite> .database
seq name file
--- --------------- ----------------------------------------------------------
0 main /home/ffsdmad/Flask/base.db

подключем ещё одну и проверяем

sqlite> attach database 'base.dbbase.db' as b2;
sqlite> .database
seq name             file
--- --------------- ----------------------------------------------------------
0    main             /home/ffsdmad/Flask/base.db
2    b2               /home/ffsdmad/Flask/base.dbbase.db
sqlite> select id, date from b2.pages;
1|2014-03-27
2|2014-03-27

вот так, теперь легко можно стряпать вставки из другой базы используя алиас

Как украли яндекс.деньги, кто виноват

ffsdmad@jabber.ru ( Басманов ) — Sun, 20 Jul 2014 15:18:50 +0400

Сегодня обнаружил, что с моего яндекс кошелька спёрли деньги при следующих обстоятельствах:

спёрли 1,900р., совсем маленькая шабашка, но это первый раз когда у меня, как у линуксоида, спёрли электронные деньги, причём в системе к которой раньше было большое доверие
в истории платежей указанно, что платёж произошёл ночью, 20.07.2014 02:58 с IP адреса 46.36.221.5 на счёт яндекс счёт 410011814039493
в деталях платежа указано следующее: 24obmin.com: обмен №758 1939.98 Яндекс.Деньги на 610.63 Приват24 UAH
мой аккаунт в яндексе авторизован с помощью паспорта в евросети
IP адрес 46.36.221.5 принадлежит fastvps.ru, который занимается предоставлением аренды хостинга
пароль ни кто кроме бывшей жены не знал
ящиком не пользовался уже много лет
воришки сменили мой пароль yandex аккаунта и платёжный пароль, для их восставления мне пришлось получать уведомления по SMS

а истории посещений моего аккаунта видно, что начиная с середины декабря прошлого года происходит иностранная активность, в частность вот лог первого вход с подозрительно чужого аккаута

37.115.158.10 входил [2013-12-15, / 00:31,] address: Degtyarevskaya, 53 address: Kiev, Ukraine descr: Kyivstar GSM descr: Kyivstar GSM, Kiev, Ukraine descr: Ukrainian mobile phone operator

а затем регулярные входы из различных стран

117.203.241.62 входил [2013-12-22, / 14:55,] address: 2nd Floor, Telephone Exchange, Sector 62 address: 8th Floor,148-B Statesman House address: Barakhamba Road, New Delhi - 110 001 address: Bharat Sanchar Nigam Limited address: Broadband Networks address: BSNL NOC Bangalore address: Internet Cell address: Noida descr: Broadband Multiplay Project, O/o DGM BB, NOC BSNL Bangalore descr: BSNL Internet

82.146.43.62 входил [2014-01-15, / 21:28,] address: CJSC The First, Raduzhny 34a address: Irkutsk, 664017, Russian Federation address: PoBox64, Irkutsk, 664017 address: Raduzhny st. 34a address: Russian Federation descr: TheFirst-RU descr: TheFirst-RU clients (WebDC Msk)

193.0.147.50 входил [2014-02-23, / 23:12,] address: Khimki, Moscow region, Russia address: Yubileyny av., 59-11 descr: Freestyle Ltd. descr: route object

212.86.254.138 входил [2014-03-20, / 15:13,] address: 30V Fizkultury Str. address: Farlep Invest PrJSC address: Kiev, 03680, Ukraine address: PJSC FARLEP-INVEST 30V Fizkultury St. 03680 Kiev Ukraine descr: ALKAR descr: PRIVATE JOINT-STOCK COMPANY FARLEP-INVEST

37.212.185.156 входил [2014-04-18, / 10:00,] address: 1, Kharkovskaya str., address: 220073, Minsk address: Minsk Public Telephone Network address: Republican Unitary Enterprise BELTELECOM Olga Romaniuk 6, Engels street 220030 Minsk BELARUS address: The Republic of Belarus descr: BELPAK-2012-3 descr: Republican Unitary Telecommunication Enterprise Beltelecom

190.37.87.220 входил [2014-05-04, / 14:37,] address: 1060 - Caracas - MI address: Segunda Avenida de los Palos Grandes, 000, Entre Av. Fr address: Segunda Avenida de los Palos Grandes, Entre Av. Fr, 000,

выходит что в конце декабря 2013 года, кто-то в революционном киеве сумел подобрать мой пароль, а затем ждал когда же в кошельке появятся деньги (я им не пользовался лет шесть), а когда деньги там появились, то они были переведены на яндекс кошелёк 410011814039493 с помощью виртуально машины размещённой у fastvps.ru

Пока что я написал в абузу fastvps.ru и саппорт Яндекса

Ну и как то автоматом встаёт вопрос о надёжности Яндекса как такового, потому что совершенно не ясно каким образом воришки сменили мои пароли если смена пароля происходит через SMS уведомления, а я таких не получал, ну и ещё, почему яндекс не сообщил мне, что в мой яндекс кошелёк регулярно заходят из разных стран.

В общем Яндексом пользоваться пока что не буду.

ps: скрипт для декодирования истории яндекса:

#!/bin/bash
function date_time_ip2whois {
    echo "*-*-*-*-*-*-*-*-*-*-"
    echo "$3 входил [$1 / $2]"
    whois $3 | egrep -i '^descr:|^Address:' |sort| uniq
    echo "---"
}
date_time_ip2whois $1, $2, $3 | xargs

Применять вот так:

egrep -v 192.168.[0-9]+|172.19.145.[0-9]+' session_yandex.txt |awk '{print "bin/whois_session.sh", $0}' |sh 2> /dev/null  |egrep -v 'Kirov|MefaFon' > session_yandex_decode.txt