Code

Removed analyze.
[gosa.git] / gosa-si / gosa-si-server
index 1e35f6b6b3f228dc5e3e7cf559c83b08acf42f70..a3fd41505f83ce0b2fa6eb197ce7ae6eb01e73de 100755 (executable)
@@ -115,12 +115,12 @@ our $prg= basename($0);
 our $job_db;
 our $job_queue_tn = 'jobs';
 my $job_queue_file_name;
-my @job_queue_col_names = ("id INTEGER", 
-               "timestamp", 
+my @job_queue_col_names = ("id INTEGER PRIMARY KEY", 
+               "timestamp DEFAULT 'none'", 
                "status DEFAULT 'none'", 
                "result DEFAULT 'none'", 
                "progress DEFAULT 'none'", 
-               "headertag DEFAULT 'none'", 
+        "headertag DEFAULT 'none'", 
                "targettag DEFAULT 'none'", 
                "xmlmessage DEFAULT 'none'", 
                "macaddress DEFAULT 'none'",
@@ -131,43 +131,44 @@ my @job_queue_col_names = ("id INTEGER",
 our $known_server_db;
 our $known_server_tn = "known_server";
 my $known_server_file_name;
-my @known_server_col_names = ('hostname', 'status', 'hostkey', 'timestamp');
+my @known_server_col_names = ("hostname", "status", "hostkey", "timestamp");
 
 # holds all registrated clients
 our $known_clients_db;
 our $known_clients_tn = "known_clients";
 my $known_clients_file_name;
-my @known_clients_col_names = ('hostname', 'status', 'hostkey', 'timestamp', 'macaddress', 'events');
+my @known_clients_col_names = ("hostname", "status", "hostkey", "timestamp", "macaddress", "events");
 
 # holds all logged in user at each client 
 our $login_users_db;
 our $login_users_tn = "login_users";
 my $login_users_file_name;
-my @login_users_col_names = ('client', 'user', 'timestamp');
+my @login_users_col_names = ("client", "user", "timestamp");
 
 # holds all fai server, the debian release and tag
 our $fai_server_db;
 our $fai_server_tn = "fai_server"; 
 my $fai_server_file_name;
-our @fai_server_col_names = ('timestamp', 'server', 'release', 'sections', 'tag'); 
+our @fai_server_col_names = ("timestamp", "server", "release", "sections", "tag"); 
 
 our $fai_release_db;
 our $fai_release_tn = "fai_release"; 
 my $fai_release_file_name;
-our @fai_release_col_names = ('timestamp', 'release', 'class', 'type', 'state'); 
+our @fai_release_col_names = ("timestamp", "release", "class", "type", "state"); 
 
 # holds all packages available from different repositories
 our $packages_list_db;
 our $packages_list_tn = "packages_list";
 my $packages_list_file_name;
-our @packages_list_col_names = ('distribution', 'package', 'version', 'section', 'description', 'template', 'timestamp');
+our @packages_list_col_names = ("distribution", "package", "version", "section", "description", "template", "timestamp");
 my $outdir = "/tmp/packages_list_db";
 my $arch = "i386"; 
 
 # holds all messages which should be delivered to a user
 our $messaging_db;
 our $messaging_tn = "messaging"; 
-our @messaging_col_names = ('subject', 'message_from', 'message_to', 'flag', 'direction', 'delivery_time', 'message', 'timestamp', 'id INTEGER' );
+our @messaging_col_names = ("id INTEGER", "subject", "message_from", "message_to", 
+        "flag", "direction", "delivery_time", "message", "timestamp" );
 my $messaging_file_name;
 
 # path to directory to store client install log files
@@ -285,6 +286,7 @@ sub daemon_log {
             print STDERR "cannot open $log_file: $!";
             return }
             chomp($msg);
+                       $msg =~s/\n//g;   # no newlines are allowed in log messages, this is important for later log parsing
             if($level <= $verbose){
                 my ($seconds, $minutes, $hours, $monthday, $month,
                         $year, $weekday, $yearday, $sommertime) = localtime(time);
@@ -1046,7 +1048,7 @@ sub process_task {
 
     daemon_log("", 5); 
     daemon_log("$session_id INFO: Incoming msg with session ID $session_id from '".$heap->{'remote_ip'}."'", 5);
-    daemon_log("$session_id DEBUG: Incoming msg:\n$input", 9);
+    #daemon_log("$session_id DEBUG: Incoming msg:\n$input", 9);
 
     ####################
     # check incoming msg
@@ -1088,7 +1090,10 @@ sub process_task {
         if ( 0 < @{$answer_l} ) {
             my $answer_str = join("\n", @{$answer_l});
             daemon_log("$session_id DEBUG: $module: Got answer from module: \n".$answer_str,8);
+        } else {
+            daemon_log("$session_id DEBUG: $module: Got no answer from module!" ,8);
         }
+
     }
     if( !$answer_l ) { $error++ };
 
@@ -1351,34 +1356,34 @@ sub watch_for_new_messages {
     my $timestamp = &get_time();
     my $sql_statement = "SELECT * FROM $messaging_tn WHERE ( (CAST(timestamp AS INTEGER))<$timestamp AND flag='n' AND direction='in' )";
     my $res = $messaging_db->exec_statement( $sql_statement );
-
        foreach my $hit (@{$res}) {
 
         # create outgoing messages
-        my $message_to = @{$hit}[2];
+        my $message_to = @{$hit}[3];
 
         # translate message_to to plain login name
+# TODO implement reciever translation
         my @reciever_l = ($message_to);  
-        my $message_id = @{$hit}[8];
+        my $message_id = @{$hit}[0];
 
         #add each outgoing msg to messaging_db
         my $reciever;
         foreach $reciever (@reciever_l) {
-            my $sql_statement = "INSERT INTO $messaging_tn (subject, message_from, message_to, flag, direction, delivery_time, message, timestamp, id) ".
+            my $sql_statement = "INSERT INTO $messaging_tn (id, subject, message_from, message_to, flag, direction, delivery_time, message, timestamp) ".
                 "VALUES ('".
-                @{$hit}[0]."', '".   # subject
-                @{$hit}[1]."', '".   # message_from
-                $reciever."', '".    # message_to
-                "none"."', '".       # flag
-                "out"."', '".        # direction
-                @{$hit}[5]."', '".   # delivery_time
-                @{$hit}[6]."', '".   # message
-                $timestamp."', '".   # timestamp
-                @{$hit}[8].          # id
-                "')";
+                $message_id."', '".    # id
+                @{$hit}[1]."', '".     # subject
+                @{$hit}[2]."', '".     # message_from
+                $reciever."', '".      # message_to
+                "none"."', '".         # flag
+                "out"."', '".          # direction
+                @{$hit}[6]."', '".     # delivery_time
+                @{$hit}[7]."', '".     # message
+                $timestamp."'".     # timestamp
+                ")";
             &daemon_log("M DEBUG: $sql_statement", 1);
             my $res = $messaging_db->exec_statement($sql_statement);
-            &daemon_log("M INFO: message '".@{$hit}[8]."' is prepared for delivery to reciever '$reciever'", 5);
+            &daemon_log("M INFO: message '".@{$hit}[0]."' is prepared for delivery to reciever '$reciever'", 5);
         }
 
         # send outgoing messages
@@ -1386,7 +1391,7 @@ sub watch_for_new_messages {
         my $res = $messaging_db->exec_statement( $sql_statement );
         foreach my $hit (@{$res}) {
             # add subject, from, to and message to list coll_user_msg
-            my @user_msg = [@{$hit}[0], @{$hit}[1], $reciever, @{$hit}[6]];
+            my @user_msg = [@{$hit}[1], @{$hit}[2], $reciever, @{$hit}[7]];
             push( @coll_user_msg, \@user_msg);
         }
 
@@ -1404,7 +1409,7 @@ sub watch_for_new_messages {
         $sql_statement = "UPDATE $messaging_tn SET flag='p' WHERE id='$message_id'"; 
         &daemon_log("M DEBUG: $sql_statement", 7);
         $res = $messaging_db->update_dbentry($sql_statement);
-        &daemon_log("M INFO: message '".@{$hit}[8]."' is set to flag 'p' (processed)", 5);
+        &daemon_log("M INFO: message '$message_id' is set to flag 'p' (processed)", 5);
 
     }
     
@@ -1654,11 +1659,6 @@ sub create_fai_server_db {
 
                # TODO: Find a way to post the 'create_packages_list_db' event
                if(not defined($dont_create_packages_list)) {
-                       #&create_packages_list_db;
-
-                       # it should not be possible to trigger a recreation of packages_list_db
-                       # while packages_list_db is under construction, so set flag packages_list_under_construction
-                       # which is tested befor recreation can be started
                        &create_packages_list_db(undef, undef, $session_id);
                }
        }       
@@ -1705,7 +1705,7 @@ sub create_fai_release_db {
                        my @sql_list;
                        my $timestamp= &get_time();
                        foreach my $ou (@{$mesg->{entries}}) {
-                               my $tmp_classes= resolve_fai_classes($ou->dn, $ldap_handle);
+                               my $tmp_classes= resolve_fai_classes($ou->dn, $ldap_handle, $session_id);
                                if(defined($tmp_classes) && ref($tmp_classes) eq 'HASH') {
                                        my @tmp_array=get_fai_release_entries($tmp_classes);
                                        if(@tmp_array) {
@@ -1728,10 +1728,10 @@ sub create_fai_release_db {
 
                        daemon_log("$session_id DEBUG: Inserting ".scalar @sql_list." entries to DB",8);
                        if(@sql_list) {
-                               unshift @sql_list, "DELETE FROM $table_name";
+                               unshift @sql_list, "DELETE FROM $table_name";   # at first, clear db
                                $fai_release_db->exec_statementlist(\@sql_list);
                        }
-                       daemon_log("$session_id DEBUG: Done with inserting",6);
+                       daemon_log("$session_id DEBUG: Done with inserting",7);
                }
                daemon_log("$session_id INFO: create_fai_release_db: finished",5);
        }
@@ -1773,20 +1773,21 @@ sub get_fai_state {
 }
 
 sub resolve_fai_classes {
-       my ($fai_base, $ldap_handle) = @_;
+       my ($fai_base, $ldap_handle, $session_id) = @_;
+       if (not defined $session_id) { $session_id = 0; }
        my $result;
        my @possible_fai_classes= ("FAIscript", "FAIhook", "FAIpartitionTable", "FAItemplate", "FAIvariable", "FAIprofile", "FAIpackageList");
        my $fai_filter= "(|(&(objectClass=FAIclass)(|(objectClass=".join(")(objectClass=", @possible_fai_classes).")))(objectClass=FAIbranch))";
        my $fai_classes;
 
-       daemon_log("DEBUG: Searching for FAI entries in base $fai_base",6);
+       daemon_log("$session_id DEBUG: Searching for FAI entries in base $fai_base",7);
        my $mesg= $ldap_handle->search(
                base   => $fai_base,
                scope  => 'sub',
                attrs  => ['cn','objectClass','FAIstate'],
                filter => $fai_filter,
        );
-       daemon_log("DEBUG: Found ".$mesg->count()." FAI entries",6);
+       daemon_log("$session_id DEBUG: Found ".$mesg->count()." FAI entries",7);
 
        if($mesg->{'resultCode'} == 0 &&
                $mesg->count != 0) {
@@ -1978,16 +1979,22 @@ sub session_run_done {
 }
 
 sub create_sources_list {
+    my ($session_id) = @_;
     my $ldap_handle = &get_ldap_handle;
        my $result="/tmp/gosa_si_tmp_sources_list";
 
        # Remove old file
        if(stat($result)) {
                unlink($result);
+        &main::daemon_log("$session_id DEBUG: remove an old version of '$result'", 7); 
        }
 
        my $fh;
-       open($fh, ">$result") or return undef;
+       open($fh, ">$result");
+    if (not defined $fh) {
+        &main::daemon_log("$session_id DEBUG: cannot open '$result' for writing", 7); 
+        return undef;
+    }
        if(defined($ldap_server_dn) and length($ldap_server_dn) > 0) {
                my $mesg=$ldap_handle->search(
                                base    => $ldap_server_dn,
@@ -2006,7 +2013,9 @@ sub create_sources_list {
                                }
                        }
                }
-       }
+       } else {
+        &main::daemon_log("$session_id ERROR: something wrong with ldap_server_dn '$ldap_server_dn', abort create_soureces_list", 1); 
+    }
        close($fh);
 
        return $result;
@@ -2028,15 +2037,7 @@ sub run_create_packages_list_db {
 
 
 sub create_packages_list_db {
-    my ($ldap_handle, $sources_file, $session_id);
-
-       if ($packages_list_under_construction) {
-               daemon_log("#########################################################################################\n\n\n\n\n");
-               daemon_log("$session_id WARNING: packages_list_db is right now under construction, please wait untill this process is finished", 3);
-               return;
-       }
-       # set packages_list_under_construction to true
-       $packages_list_under_construction = 1;
+    my ($ldap_handle, $sources_file, $session_id) = @_;
 
        if (not defined $session_id) { $session_id = 0; }
        if (not defined $ldap_handle) { 
@@ -2048,11 +2049,27 @@ sub create_packages_list_db {
                }
        }
     if (not defined $sources_file) { 
-        $sources_file = &create_sources_list;
+        &main::daemon_log("$session_id INFO: no sources_file given for creating packages list so trigger creation of it", 5); 
+        $sources_file = &create_sources_list($session_id);
+    }
+
+    if (not defined $sources_file) {
+        &main::daemon_log("$session_id ERROR: no sources_file given under '$sources_file', skip create_packages_list_db", 1); 
+
     }
 
-    my $line;
-    daemon_log("$session_id INFO: create_packages_list_db: start", 5); 
+       # it should not be possible to trigger a recreation of packages_list_db
+       # while packages_list_db is under construction, so set flag packages_list_under_construction
+       # which is tested befor recreation can be started
+       if ($packages_list_under_construction) {
+                       daemon_log("$session_id WARNING: packages_list_db is right now under construction, please wait untill this process is finished", 3);
+                       return;
+       } else {
+                       daemon_log("$session_id INFO: create_packages_list_db: start", 5); 
+                       # set packages_list_under_construction to true
+                       $packages_list_under_construction = 1;
+       }
+       my $line;
 
     open(CONFIG, "<$sources_file") or do {
         daemon_log( "$session_id ERROR: create_packages_list_db: Failed to open '$sources_file'", 1);
@@ -2106,7 +2123,7 @@ sub parse_package_info {
     get_package( "$baseurl/dists/$dist/$section/binary-$arch/$package", "$outdir/$dist/$section", $session_id );
     parse_package( "$outdir/$dist/$section", $dist, $path, $session_id );
   }
-  find(\&cleanup_and_extract, keys( %repo_dirs ));
+  find(\&cleanup_and_extract($session_id), keys( %repo_dirs ));
 }
 
 
@@ -2121,7 +2138,7 @@ sub get_package {
   if(0 == system("wget '$url' -O '$dest' 2>/dev/null") ) {
       system("gunzip -cd '$dest' > '$dest.in'");
          daemon_log("$session_id DEBUG: run command: gunzip -cd '$dest' > '$dest.in'", 5);
-#      unlink($dest);
+      unlink($dest);
          daemon_log("$session_id DEBUG: delete file '$dest'", 5); 
   } else {
       daemon_log("$session_id ERROR: create_packages_list_db: get_packages: fetching '$url' failed!", 1);
@@ -2198,7 +2215,9 @@ sub parse_package {
 
     close( $PACKAGES );
 #    unlink( "$path.in" );
-    
+    &main::daemon_log("$session_id DEBUG: unlink '$path.in'", 1); 
+    my $len_sql_list = @sql_list;
+    &main::daemon_log("$session_id DEBUG: add $len_sql_list insert-statements to packages_list_db", 5); 
     $packages_list_db->exec_statementlist(\@sql_list);
 }