Заметки на breys.ru

Flask, создание собственных, расширенных виджетов форм для Flask.admin

ffsdmad@jabber.ru ( Басманов ) — Fri, 28 Nov 2014 08:36:19 +0400

Часто требуется на формах Flask.admin создавать виджеты поведение которых не предусмотренно стандарными моделями и для решения этой проблемы необходимо уметь создавать свои виджеты, путём наследования базовых и расширением их функционала

Например, мне в модели страницы необходимо указывать путь к шаблону с помощью которого будет генерироваться редактируемая страница, а список шаблонов получается путём сканирования директории шаблонов текущего домена (мультидоменная CMS), для решения этой проблемы наследую от wtforms.fields.SelectField новый класс SelectTemplateField у которого переопределяю конструктор, где инициализирую параметр choices для родительского класса

делается это вот так, в файле fields.py объявляю новый класс

class SelectTemplateField(SelectField):
    def __init__(self, *args, **kwargs):
        template_dir = os.path.join(kwargs['app_template'], g.domen.template_path)
        choices = [ (name,name) for name in os.listdir(template_dir) if os.path.isfile(os.path.join(template_dir,name))]
        choices.sort()
        kwargs.pop('app_template')
        kwargs['choices'] = choices
        return super(SelectTemplateField, self).__init__(*args, **kwargs)

в конструкторе

вычисляю путь к директории шаблонов текущего домена (template_dir)
заполняю список именами файлов из этой директории
сортирую список
удаляю из kwargs элемент app_template, иначе базовый класс вылетит с ошибкой
добавляю в отсортированный список с доступными шаблонами в kwargs
вызываю конструктор базового класса

Затем этот виджен нужно подключить к классу PageAdmin, делается это путём добавления в класс PageAdmin опции form_extra_fields сделующим образом:

form_extra_fields = {
        'template': SelectTemplateField(u'шаблон',
                app_template = os.path.join(app.root_path, app.template_folder)),
    }

Здесь определяется стандартный класс для свойства template у класса Page, путём переопределения для него виджета с его инициализацией свойств label и app_template (которое затем используется в конструкторе переопредённого класса)

Вот так легко и просто можно очень существенно расширить возможности генераторов форм во Flask

Sqlite3 работа с несколькими базами

ffsdmad@jabber.ru ( Басманов ) — Mon, 21 Jul 2014 15:12:29 +0400

Когда необходимо поработать сразу с несколькими базами SQLite, используя их в одном запросе, то приходится пошаманить и найти не самые хорошо задокументированные функции консольного клиента

Допустим вы работаете с текущей сессии с base.db и подключили её вот так:

$ sqlite3 base.db
SQLite version 3.8.2 2013-12-06 14:53:30
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite>

проверяем подключенные базы и видим

sqlite> .database
seq name file
--- --------------- ----------------------------------------------------------
0 main /home/ffsdmad/Flask/base.db

подключем ещё одну и проверяем

sqlite> attach database 'base.dbbase.db' as b2;
sqlite> .database
seq name             file
--- --------------- ----------------------------------------------------------
0    main             /home/ffsdmad/Flask/base.db
2    b2               /home/ffsdmad/Flask/base.dbbase.db
sqlite> select id, date from b2.pages;
1|2014-03-27
2|2014-03-27

вот так, теперь легко можно стряпать вставки из другой базы используя алиас

Пакетная обработка DBF Foxpro файлов, Import в FoxPRO

ffsdmad@jabber.ru ( Басманов ) — Wed, 26 May 2010 15:36:55 +0400

Потребовалось импортировать данные из реляционный Mysql в ненавистный FoxPRO. Как всегда приходится использовать не менее ненавистный Perl

#!/usr/bin/perl
use XBase;
use DBI;

my $dsn = 'DBI:mysql:AF3:mysql.a';
my $db_user_name = 'root';
my $db_password = 'root';

my $dbh = DBI->connect($dsn, $db_user_name, $db_password);

sub mysql_2_dbf{
    my $nfile = "$_[0]";
    my $table = new XBase "struct/$_[0]"  or die XBase->errstr;
    my $newtable = $table->create("name" => $nfile, "codepage" => "cp1251");
    $table->close();

    $table = new XBase $nfile  or die XBase->errstr;

    my $sth = $dbh->prepare(qq{set names cp1251});
    $sth->execute();

    $sth = $dbh->prepare(qq{select * from $_[0]});
    $sth->execute();
    my $recno = 0;
    while (my @data = $sth->fetchrow_array())
    {
         $table->set_record($recno,@data);
         #print ($recno,@data);
         $recno++;
    }
    if($recno>0){
        print "expot to $_[0] -- $recno record\n";
    }
    $sth->finish();
    $table->close();
}

my @table = ("FOND","FOND3","MOVE","OPIS","OPIS2");

while ( my $arg = shift @table ) {
    mysql_2_dbf($arg);
}

Следует обратить внимание на функции создания структуры новой таблицы на основе эталонной table->create

На функцию добавления новой записи -- как ни странно необходимо указывать уникальный номер для вставки новой записи

А так же на то, что FoxPRO структура данных в самих полях может отличаться от нормальной, например данные могут выравниваться по краям или центру

Выбор платформы для презентаций

ffsdmad@jabber.ru ( Басманов ) — Mon, 19 Apr 2010 14:56:21 +0400

По долгу службы мне приходится заниматься презентациями, вернее помогать сотрудникам в создании этих самых презентаций. Насоздавали мы их уже не мало, но ни одна не удовлетворяет наших претензий. Давным давно мы использовали win32 программу которая обрабатывала список файлов-изображений и текстов, затем для создания презентаций использовать OOo Impress и распространяли в форматах ppt и odp. Затем с появлением в OOo возможности экспорта презентации в swf начали делать в виде вебсайта со страничками на флеше. Даже был опыт создания диска с запускающимся вебсервером и базой данных с предоставление возможности поиска.

Так как наша аудитория школы и гуманитарная интеллигенция — мы успели в доволь отведать кактусов совместно с нашими пользователями: у одного антивирус заблокировал программу, у другого нет Impress или PowepPoint у третьего нет флеша, а самостоятельно разобраться с установкой и настройкой необходимого ПО им не плечу. Это для нас звучит просто — установить OpenOffice, последнюю версию Firefox или Flash плагина, а для человека который сохраняет результат многолетних трудов на floppy дискете или добровольно использующих MS Vista на ноутбуке эти задачи не то что не посильны, но даже не понятен их смысл. Плюсом к этой проблеме является то, что мы разрабатываем, тестируем и презентуем эти самые презентации полностью в Linux, тоесть нам важна их кросплатформенность и лёгкость в использовании — пришёл человек, а наш сотрудник вставил диск в компьютер и презентовал ему нашу работу

Итак мы пришли к выводу, что для презентаций мы должны использовать минимум программ и программы эти должны быть установленным у всех. Напрашивается простой вывод, на каждом настольном компьютере имеются видеопрогрыватель и браузер. Презентация в виде видеоролика хороша тем, что сделать её проще всего и можно подобрать кодеки так, что они будут работать на всех платформах, но такие презентации лишены интерактивности и создавать их придётся мне, так как сотрудники не владеют навыками создания роликов (впрочем как и я)

Таким образом остаётся HTML+JS, с помощью этих технологий можно создавать красивые, удобные и главное кросплатформенные презентации — вставил диск, открывается с системном браузере индексная страничка офлайн версия сайта, а сайт этот коллективно создаётся в организации и вывешивается на поддомене её основного сайта с дополнительными возможностями в виде голосовалок, рейтингов и комментариев

Технически в HTML + jQuery можно быстро и легко создавать галереии фотодокументов, слайдеры статей и научных работ и наверняка уже имеются готовые решения. Только я пока не нашёл таких полностью готовых и с удовольствие бы протестировал

Кстати, вот с помощью таких файликов в корне компакт диска можно запускать индексные файлы как в Linux так и Windows

cat Autorun.inf
[autorun] 
shellexecute=index.html

cat autorun
#!/bin/sh
firefox index.html || mozilla-firefox index.html || mozilla index.html || konqueror index.html || opera index.html || chromium-browser index.html

А тут я буду собирать информацию о подобных системах

Путаница в Glade-3

ffsdmad@jabber.ru ( Басманов ) — Mon, 15 Mar 2010 13:14:03 +0400

В ходе освоения pygtk и собственно Glade3 натолкнулся на непонятную вещь: Если в свойствах проекта указан формат libglade, то часть виджетов недоступна с сообщением:

этот виджет поддерживается только в libglade

А после переключения к формату GtkBuilder виджеты становятся доступны но с тем же сообщением

Видимо всё делов в файле http://l10n.gnome.org/POT/glade3.HEAD/glade3.HEAD.ru.po

который содержит следующие переводы:

#: ../gladeui/glade-project.c:1566
msgid "This widget is only supported in libglade format"
msgstr "Этот виджет поддерживается только в libglade"

#: ../gladeui/glade-project.c:1572
msgid "This widget is not supported in libglade format"
msgstr "Этот виджет поддерживается только в libglade"

Мне почему то кажется, что где то тут кроется ошибка

python: try except else, кто бы мог подумать

ffsdmad@jabber.ru ( Басманов ) — Sun, 10 Jan 2010 04:01:41 +0400

Читая исходники одного тулкита от yahoo нашёл вот такую интересную запись. Ни когда не видел подобного кода и приёма, вроде не совсем привычно, но вполне логично. Работает вот так:

def test(a, b):
    try:
        # тестируемый код
        c = a / b
    except Exception, e:
        # перехват ошибки
        print e
    else:
        # собственно код ради чего проводился тест
        print c
a, b = 4, 2
test(a, b)
a, b = 0, 0
test(a, b)

пруф: http://docs.python.org/tutorial/errors.html

похоже, что я всё ещё не слез с c++

python: работа со строками и словарями, формирование sql запросов

ffsdmad@jabber.ru ( Басманов ) — Wed, 30 Dec 2009 10:00:29 +0400

Иногда приходится формировать sql запроса (where, set) из словаря, то есть имеющиеся значения вроде этих:

val = {'a': 1, 'c': 3, 'b': 2, 'd': 4}

необходимо представить в виде такой строки:

where = "`a`=Ƈ' and `c`=Ɖ' and `b`=ƈ' and `d`=Ɗ'"

Можно изобретать велосипед с циклами и дополнительными условиями, чтобы не поставить лишний and , можно воспользоваться замечательным синтаксисом python

a = {'a':1, 'b':2, 'c':3, 'd':4, 'e':5 }

where = " and ".join(["`%s`='%s'"%(k,a[k]) for k in a.keys()  ])

Выглядит страшно, но всё просто: join объединяет список разделяя значения через " and ", а внутри [] скобок словарь преобразуется в список строк соответвутющих шаблону "`%s`='%s'", при этом всего одна строка и минимум ошибок

Зачем это нужно, а чтобы не встречать такого в чужом коде

def make_where(values):
    where = "where "
    for k in values:
        where += "`%s`='%s' and "%( k,values[k] )
    return where[:-4]

Python: strip split join

ffsdmad@jabber.ru ( Басманов ) — Fri, 18 Dec 2009 10:40:54 +0400

Постоянно путаюсь в этих функциях управления строками и списками, так вот

str.strip() # удаляет начальные и конечные пробелы - "раздевает строку"

>>> s = " Python 2.6.2 (release26-maint, Apr 19 2009, 01:58:18) "
>>> s.strip()
'Python 2.6.2 (release26-maint, Apr 19 2009, 01:58:18)'

str.split() # преобразует строку в список слов - "разделяет строку" (вспоминаем ADSL сплиттеры), по умолчанию разделение идёт на пробелы, но можно задать любой разделитель

>>> s.split()
['Python', '2.6.2', '(release26-maint,', 'Apr', '19', '2009,', '01:58:18)']

str.join(list) # объединяет список в строку с учётом заданного разделителя

>>> " - ".join( s.split() )
'Python - 2.6.2 - (release26-maint, - Apr - 19 - 2009, - 01:58:18)'
>>> " - ".join( s.split(",") )
' Python 2.6.2 (release26-maint -  Apr 19 2009 -  01:58:18) '

Такие простые, нужные и полезные функции но почему то я постоянно путаюсь в них, как в atoi и itoa

С/C++: libconfig - библиотека для обработки конфигурационных файлов

ffsdmad@jabber.ru ( Басманов ) — Mon, 14 Dec 2009 23:27:51 +0400

Потребовалось включить в программу удобочитаемый и легко редактируемый конфигурационный файл. После перебора нескольких библиотек решил остановиться на libconfig. Вроде отличная библиотека, к тому же её легче всего удалось адптировать. Для установки нужно (мне нужен был биндинг для C++)

sudo aptitude install libconfig++-dev libconfig8-dev

Затем подключаем в проект вот так:

#include < libconfig.h++ >
libconfig::Config conf;

А использовать ещё проще

// загружаю конфиг, в случае ошибки ловим исключение с описание ошибки
try{
        conf.readFile("config.conf");
    }
catch(libconfig::ParseException e){
        std::cout << e.getError() << " line:" << e.getLine() << std::endl;
    }
// получаю значения различных типов
bool fullscreen = conf.lookup("application.screen.fullscreen");
string fontname = conf.lookup("application.fontname");
...
//  используя скрытое преобразование типов передаю параметры в функцию
SDL_SetVideoMode(conf.lookup("application.screen.size.w") ,conf.lookup("application.screen.size.h") ,bpp,flags);
...
// меняю значений переменных и сохраняю 
conf.lookup("application.screen.fullscreen")= (fullscreen?false:true);
conf.writeFile("config.conf");

В конфигах можно использовать довольно сложные стурктуры:

application : 
{
    version = "0.51";
    name = "app";
    screen : 
    {
        size : 
        {
            w = 1280;
            h = 1024;
        };
        fullscreen = false;
        shadows = "1";
        detaillevel = "1";
    };
    keys : 
    {
        up_key = 273;
        down_key = 274;
        left_key = 276;
        right_key = 275;
        fire_key = 32;
        pause_key = 27;
    };
    fontname = "fonts/verdana.ttf";
    level = "3";
    map = "original.map";
    sound = true;
};

Вроде очень простой и удобный класс, только необходимо помнить о приведении типа, например если вы ждёте в программе bool, а в конфиге используется "true" или "false", то выскочит ексепшен

Пакетная обработка DBF Foxpro файлов

ffsdmad@jabber.ru ( Басманов ) — Tue, 03 Nov 2009 21:12:34 +0400

Потребовалось вывести статистику и проверить базу данных, родным Виндовс программы абсолютно не справлялись и даже не смогли найти запись из-за которой программа зависала. Пришлось немного освоить Perl XBase и написать небольшой bash скрипт

for t in *DBF; do 
 echo parse $t;
 dbf_dump --info --SQL $t| \
 sed s/boolean/tinyint/g | \
 sed s/date/varchar/g | \
 sed -r 's/numeric\(([0-9]+)\)/int(\1)/g' |\
 mmysql AF3 && ./parse.pl $t |\
 mmysql AF3 || \
 echo error parse $t 
done

В скрипте с помощью dbf_dump для очереди DBF файлов генерируюется sql таблица
затем с помощью sed приводит к виду понятному для mysql, затем вставляется в базу
потом выбранный DBF файл обрабатывается Perl скриптом, который геренируется запросы вставки данных при этом обрабатывая их соотвествующим образом
через конвеер данные вставляются в базу

А вот Perl скрипт для экспорта dbf to mysql

#!/usr/bin/perl
use Text::Iconv;
use XBase;
$conv = Text::Iconv->new('windows-1251','utf-8');
sub read_dbf{
    my $table = new XBase $_[0] or die XBase->errstr;
    $fields=join(", ",$table->field_names);
    my $cursor = $table->prepare_select();
    while (my @data = $cursor->fetch) {
        @var=();
        foreach $t (@data){
               #$t = $conv->convert($r);
               $t=~s/^\s+//g;
               $t=~s/\r//g;
               $t=~s/\n/\\n/g;
               $t=~s/(\\n)+/\\n/g;
               $t=~s/'/&\#039/g;
               push @var, $t;
           };
        $var = join("', '",@var);
        $name = $_[0];
        $name =~ s!^.*/|\.dbf$!!ig;
        $sql= $conv->convert("insert into $name ($fields) values('$var');");
        print $sql,"\n"
    }
}
while ( my $arg = shift @ARGV ) {
    read_dbf($arg)
}

#!/usr/bin/perl

use Text::Iconv;

use XBase;

$conv = Text::Iconv->new('windows-1251','utf-8');

sub read_dbf{

my $table = new XBase $_[0] or die XBase->errstr;

$fields=join(", ",$table->field_names);

my $cursor = $table->prepare_select();

while (my @data = $cursor->fetch) {

@var=();

foreach $t (@data){

#$t = $conv->convert($r);

$t=~s/^\s+//g;

$t=~s/\r//g;

$t=~s/\n/\\n/g;

$t=~s/(\\n)+/\\n/g;

$t=~s/'/&\#039/g;

push @var, $t;

};

$var = join("', '",@var);

$name = $_[0];

$name =~ s!^.*/|\.dbf$!!ig;

$sql= $conv->convert("insert into $name ($fields) values('$var');");

print $sql,"\n"

}

while ( my $arg = shift @ARGV ) {

read_dbf($ar