Code

Changed the import mechanism to write to git fast-import through a pipe instead of...
[git.git] / contrib / fast-import / p4-fast-export.py
index 8df3d733929746672ffaaf22836e3cc80a743b2e..662dd01d8d29a32a2cb640830c567dd1db21794a 100644 (file)
@@ -5,26 +5,25 @@
 # Author: Simon Hausmann <hausmann@kde.org>
 # License: MIT <http://www.opensource.org/licenses/mit-license.php>
 #
-# TODO: - fix date parsing (how hard can it be?)
+# TODO:
 #       - support integrations (at least p4i)
 #       - support incremental imports
 #       - create tags
 #       - instead of reading all files into a variable try to pipe from
-#       - p4 print directly to stdout. need to figure out file size somehow
-#         though.
 #       - support p4 submit (hah!)
 #       - don't hardcode the import to master
 #
-import os, string, sys
+import os, string, sys, time
+import marshal, popen2
 
 if len(sys.argv) != 2:
-    sys.stderr.write("usage: %s //depot/path[@revRange]\n" % sys.argv[0]);
-    sys.stderr.write("\n    example:\n");
-    sys.stderr.write("    %s //depot/my/project/ -- to import everything\n");
-    sys.stderr.write("    %s //depot/my/project/@1,6 -- to import only from revision 1 to 6\n");
-    sys.stderr.write("\n");
-    sys.stderr.write("    (a ... is not needed in the path p4 specification, it's added implicitly)\n");
-    sys.stderr.write("\n");
+    print "usage: %s //depot/path[@revRange]" % sys.argv[0]
+    print "\n    example:"
+    print "    %s //depot/my/project/ -- to import everything"
+    print "    %s //depot/my/project/@1,6 -- to import only from revision 1 to 6"
+    print ""
+    print "    (a ... is not needed in the path p4 specification, it's added implicitly)"
+    print ""
     sys.exit(1)
 
 prefix = sys.argv[1]
@@ -39,27 +38,42 @@ except ValueError:
 if not prefix.endswith("/"):
     prefix += "/"
 
+def p4Cmd(cmd):
+    pipe = os.popen("p4 -G %s" % cmd, "rb")
+    result = {}
+    try:
+        while True:
+            entry = marshal.load(pipe)
+            result.update(entry)
+    except EOFError:
+        pass
+    pipe.close()
+    return result
+
 def describe(change):
     output = os.popen("p4 describe %s" % change).readlines()
 
     firstLine = output[0]
 
-    author = firstLine.split(" ")[3]
+    splitted = firstLine.split(" ")
+    author = splitted[3]
     author = author[:author.find("@")]
+    tm = time.strptime(splitted[5] + " " + splitted[6], "%Y/%m/%d %H:%M:%S ")
+    epoch = int(time.mktime(tm))
 
     filesSection = 0
     try:
         filesSection = output.index("Affected files ...\n")
     except ValueError:
         sys.stderr.write("Change %s doesn't seem to affect any files. Weird.\n" % change)
-        return [], [], [], []
+        return [], [], [], [], []
 
     differencesSection = 0
     try:
         differencesSection = output.index("Differences ...\n")
     except ValueError:
         sys.stderr.write("Change %s doesn't seem to have a differences section. Weird.\n" % change)
-        return [], [], [], []
+        return [], [], [], [], []
 
     log = output[2:filesSection - 1]
 
@@ -85,10 +99,18 @@ def describe(change):
         else:
             changed.append(path)
 
-    return author, log, changed, removed
+    return author, log, epoch, changed, removed
 
-def p4cat(path):
-    return os.popen("p4 print -q \"%s\"" % path).read()
+def p4Stat(path):
+    output = os.popen("p4 fstat -Ol \"%s\"" % path).readlines()
+    fileSize = 0
+    mode = 644
+    for line in output:
+        if line.startswith("... headType x"):
+            mode = 755
+        elif line.startswith("... fileSize "):
+            fileSize = long(line[12:])
+    return mode, fileSize
 
 def stripRevision(path):
     hashPos = path.rindex("#")
@@ -110,7 +132,6 @@ def getUserMap():
 
     return users
 
-
 users = getUserMap()
 
 output = os.popen("p4 changes %s...%s" % (prefix, changeRange)).readlines()
@@ -124,44 +145,50 @@ changes.reverse()
 
 sys.stderr.write("\n")
 
-cnt = 0
+tz = - time.timezone / 36
+
+gitOutput, gitStream, gitError = popen2.popen3("git-fast-import")
+
+cnt = 1
 for change in changes:
-    [ author, log, changedFiles, removedFiles ] = describe(change)
-    sys.stderr.write("\rimporting revision %s (%s%%)" % (change, cnt * 100 / len(changes)))
+    [ author, log, epoch, changedFiles, removedFiles ] = describe(change)
+    sys.stdout.write("\rimporting revision %s (%s%%)" % (change, cnt * 100 / len(changes)))
     cnt = cnt + 1
-#    sys.stderr.write("%s\n" % log)
-#    sys.stderr.write("%s\n" % changedFiles)
-#    sys.stderr.write("%s\n" % removedFiles)
 
-    print "commit refs/heads/master"
+    gitStream.write("commit refs/heads/master\n")
     if author in users:
-        print "committer %s 1 2" % users[author]
+        gitStream.write("committer %s %s %s\n" % (users[author], epoch, tz))
     else:
-        print "committer %s <a@b> 1 2" % author
-    print "data <<EOT"
+        gitStream.write("committer %s <a@b> %s %s\n" % (author, epoch, tz))
+    gitStream.write("data <<EOT\n")
     for l in log:
-        print l[:len(l) - 1]
-    print "EOT"
-
-    print ""
+        gitStream.write(l)
+    gitStream.write("EOT\n\n")
 
     for f in changedFiles:
         if not f.startswith(prefix):
             sys.stderr.write("\nchanged files: ignoring path %s outside of %s in change %s\n" % (f, prefix, change))
             continue
         relpath = f[len(prefix):]
-        print "M 644 inline %s" % stripRevision(relpath)
-        data = p4cat(f)
-        print "data %s" % len(data)
-        sys.stdout.write(data)
-        print ""
+
+        [mode, fileSize] = p4Stat(f)
+
+        gitStream.write("M %s inline %s\n" % (mode, stripRevision(relpath)))
+        gitStream.write("data %s\n" % fileSize)
+        gitStream.write(os.popen("p4 print -q \"%s\"" % f).read())
+        gitStream.write("\n")
 
     for f in removedFiles:
         if not f.startswith(prefix):
             sys.stderr.write("\ndeleted files: ignoring path %s outside of %s in change %s\n" % (f, prefix, change))
             continue
         relpath = f[len(prefix):]
-        print "D %s" % stripRevision(relpath)
+        gitStream.write("D %s\n" % stripRevision(relpath))
 
-    print ""
+    gitStream.write("\n")
+
+gitStream.close()
+gitOutput.close()
+gitError.close()
 
+print ""