SQL-Parser in Perl oder speziell über DBI für MySQL (Datenbanken und Verzeichnisdienste)

[thread]18724[/thread]

SQL-Parser in Perl oder speziell über DBI für MySQL

Leser: 27

Articles: hide open all | hide show old branches

+15 replies
dominicn

2013-11-05 13:52

User since
2003-08-08
327 Artikel
BenutzerIn

Hallo,

ich suche eine Möglichkeit, viele vorliegende SQL-Statements zu parsen und je Statement eine Liste der beteiligten Tabellen und eine Liste der zurückgegebenen Spalten zu erhalten.

Ich fand bereit SQL::Statement, allerdings kommt dieses Modul nicht mit UNION klar. Die Statements werden alle auf eine MySQL-Datenbank angewendet.

Für die Spaltenliste könnte man ja bei DBI auf das Statement Handle Attribute "NAME" zugreifen. Dazu unter Umständen eine Abfrage auszuführen wäre kein Problem, das könnte ja auf einer Testdatenbank stattfinden.

Aber gibt es auch eine Möglichkeit, die Liste der beteiligten Tabellen herauszufinden? Das wäre eigentlich noch interessanter für mich.

Wenn es das irgendwie als Linux-Kommandozeilen-Tool und nicht als Perl-Modul gibt, wäre es auch in Ordnung.
- +4 replies
- jan
  
  2013-11-05 14:21
  
  User since
  2003-08-04
  2536 Artikel
  ModeratorIn
  
  Hast Du mal DBIx::MyParsePP angeschaut? Das nutzt die mysql client libs und kann somit SQL richtig parsen.
  Ist nicht super komfortabel, weil Du die Tokens durchgehen musst, aber funktioniert.
  - +3 replies
  - dominicn
    
    2013-11-05 14:55
    
    User since
    2003-08-08
    327 Artikel
    BenutzerIn
    
    Danke, jan. Das ist schonmal recht interessant. Allerdings haben dort alle Bezeichner von Datenbanken, Tabellen und Spalten sowie Aliasnamen den Typ "IDENT". Kennst du noch eine Möglichkeit, herauszufinden um welche Art von Bezeichner es sich handelt?
    - +2 replies
    - jan
      
      2013-11-05 15:12
      
      User since
      2003-08-04
      2536 Artikel
      ModeratorIn
      
      Nein. Ich habe damals CREATE-Statements parsen wollen und bin dann nach Keywords gegangen, d.h. wenn ich nen CREATE-Token hatte, kam als nächster IDENT dann der Tabellenname etc pp.
      Das Nimmt ja nur das SQL auseinander, aber es baut darauf keinen Query-Tree o.ä.
      - dominicn
        
        2013-11-05 15:54
        
        User since
        2003-08-08
        327 Artikel
        BenutzerIn
        
        Wenn man sich mit dem Data::Dumper mal die komplette Struktur ausgeben lässt, dann sieht man es schon. Mal sehen, ob ich das noch über Methoden komfortabel herauskriege.
- +5 replies
- Muffi
  
  2013-11-05 16:42
  
  User since
  2012-07-18
  1465 Artikel
  BenutzerIn
  
  Sind das nur selects?
  Hilft vielleicht ein "explain" davor zu setzen und die Query wirklich an eine DB zu schicken?
  
  [edit] Ich glaub neue Mysql können explain auch bei nicht-selects.
  
  [edit2] die Spalten könnten mit sowas wie "SHOW COLUMNS FROM (...)" gehen.
  Last edited: 2013-11-05 16:54:46 +0100 (CET)
  1 + 1 = 10
  - +4 replies
  - dominicn
    
    2013-11-05 19:08
    
    User since
    2003-08-08
    327 Artikel
    BenutzerIn
    
    Es sind nicht nur SELECTs, auch UPDATEs und INSERTs. Ich suche eben eine Möglichkeit, für jedes vorhandene Statement eine Liste der beteiligten Tabellen zu haben. Das erleichtert die Administration deutlich, wenn z.B. mal eine Tabelle umgebaut werden muss.
    
    Die Spaltennamen bekomme ich recht leicht über das DBI-Statement-Handle raus, wichtigerer Teil der Frage sind also die Tabellennamen.
    - +3 replies
    - Muffi
      
      2013-11-05 22:48
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      Und was funktioniert beim explain nicht? DB zu alt?
      1 + 1 = 10
      - +2 replies
      - dominicn
        
        2013-11-06 11:58
        
        User since
        2003-08-08
        327 Artikel
        BenutzerIn
        
        Ich habe es mal mit EXPLAIN ausprobiert. Allerdings finde ich dort nirgends die Tabellennamen.
        
        Wir arbeiten konsequent mit Aliasen, also z.B.
        
        SELECT b.id AS branch_id
        FROM branches b
        WHERE ...
        
        Beim EXPLAIN erhalte ich dann in der Spalte "table" nur "b" anstatt branches. Gibt es da noch einen anderen Weg? Auch EXPLAIN EXTENDED lieferte nicht mehr.
        
        Muffi
        
        2013-11-06 12:04
        
        User since
        2012-07-18
        1465 Artikel
        BenutzerIn
        
        Oh sorry, ich dachte da stehn irgendwo die echten Tabellennamen drin.
        1 + 1 = 10
- +5 replies
- payx
  
  2013-11-06 12:14
  
  User since
  2006-05-04
  564 Artikel
  BenutzerIn
  
  Hallo dominicn,
  
  hast Du Dir mal SQL::Statement::Structure angesehen?
  
  Das verspricht genau das zu tun, was Du willst: Tabellen (tables) und Spalten (column definitions) aus SQL-Statements extrahieren.
  
  Ich habe es nicht ausprobiert und habe jetzt auch keine Zeit dazu. Es klingt aber vielversprechend, finde ich.
  
  Grüße
  payx
  - +4 replies
  - payx
    
    2013-11-07 14:54
    User since
    2006-05-04
    564 Artikel
    BenutzerIn
    
    2013-11-06T11:14:39 payx
    hast Du Dir mal SQL::Statement::Structure angesehen?
    
    OK, Du hast, steht ja in Deinem Eingangsposting, das ich offenbar nicht genau genug gelesen habe, pardon.
    
    Inzwischen habe ich SQL::Statement::Structure mal ausprobiert. Es tut auf den ersten Blick, was es soll, wobei $stmt->column_defs() bei mir nicht ganz so funktioniert hat, wie in der Doku beschrieben. Ich musste map {$_->{value}} @{$stmt->column_defs()} schreiben. (Vielleicht ein Versionsproblem; bin dem nicht nachgegangen).
    
    Das Problem mit union würde ich pragmatischer Weise sinngemäß so lösen:
    
    Code (perl): (dl )
    
    for my $sql (split /union/, $script) {
    
    HTH
    Grüße
    payx
    - +3 replies
    - Muffi
      
      2013-11-07 15:17
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      2013-11-07T13:54:32 ?
      Das Problem mit union würde ich pragmatischer Weise sinngemäß so lösen:
      
      Code (perl): (dl )
      
      for my $sql (split /union/, $script) {
      
      Was aber nur funktioniert bis etwas wie das kommt
      SELECT "union" FROM foo
      1 + 1 = 10
      - +2 replies
      - payx
        
        2013-11-07 15:24
        
        User since
        2006-05-04
        564 Artikel
        BenutzerIn
        
        Ganz ehrlich: Darum schrieb ich "sinngemäß".
        
        dominicn
        
        2013-11-07 22:03
        
        User since
        2003-08-08
        327 Artikel
        BenutzerIn
        
        An solche Lösungen habe ich natürlich auch schon gedacht. Aber eigentlich wollte ich jede eigene Parser-Logik vermeiden, da solche Statements schonmal komplex werden können und das System nur etwas bringt, wenn es auch für alle Statements erfolgreich ist.
        
        Eine einfache Regular Expression zum Splitten bei UNION wäre schön, aber ist dies realistisch?
        
        Am coolsten wäre eine Variante, wo man das Statement zur Analyse an den Datenbankserver sendet (wie bei EXPLAIN), denn der wird sicher mit allen Statements umgehen können.

View all threads created 2013-11-05 13:52.