Python wrapper for running instances of trisurf-ng
Samo Penic
2019-07-15 7f64589f9f172b7965a086bcceed8c47a51daca7
trisurf/tsmgr.py
@@ -15,7 +15,7 @@
else:
   from urlparse import urlparse
   from vtk import *
   from . import VTKRendering
#import io
from IPython import embed
@@ -50,11 +50,13 @@
   action_group.add_argument('--jump-to-ipython', help='loads the variables and jumps to IPython shell', action="store_true")
   action_group.add_argument('-p','--preview',help='preview last VTU shape',action='store_true')
   parser.add_argument('--force', help='if dangerous operation (killing all the processes) is requested, this flag is required to execute the operation. Otherwise, the request will be ignored.', action="store_true")
   parser.add_argument('-H', '--host', nargs=1, help='specifies which host is itended for the operation. Defauts to localhost for all operations except --status and --version, where all configured hosts are assumed.')
   parser.add_argument('-H', '--host', nargs='+', help='specifies which host is itended for the operation. Defauts to localhost for all operations except --status and --version, where all configured hosts are assumed.')
   parser.add_argument('--html', help='Generate HTML output', action="store_true")
   parser.add_argument('-n', nargs='+', metavar='PROC_NO', type=int, help='OBSOLETE. Specifies process numbers.')
   parser.add_argument('-R','--raw',help='print status and the rest of the information in raw format', action="store_true")
   parser.add_argument('-x','--local-only',help='do not attempt to contact remote hosts. Run all operations only on local machine',action='store_true')
   parser.add_argument('--originating-host',nargs=1,help='specify which host started the remote connections. Useful mainly fo internal functionaly of tsmgr and analyses.')
   parser.add_argument('--analysis-options', nargs='+', help='options passed down to analyses')
   args = parser.parse_args(arguments)
   return args
@@ -74,6 +76,15 @@
def copyConfigAndConnect(hosts):
   print("Connecting to remote hosts and copying config files, tapes and snapshots")
   #create a list of files to be copied across all the remote hosts
   file_list=[]
   for h in hosts:
      for r in h['runs']:
         if(r.isFromSnapshot):
            file_list.append(r.snapshotFile)
         else:
            file_list.append(r.tapeFilename)
   file_list.append(main.__file__)
   for host in hosts:
      if(host['name'] !=socket.gethostname()): #if I am not the computer named in host name
         try:
@@ -87,16 +98,21 @@
         rm=Remote.Connection(hostname=host['address'],username=username, port=port)
         rm.connect()
#         print ("Sendind file:"+main.__file__)
         rm.send_file(main.__file__,'remote_control.py')
         for run in host['runs']:
            try:
               rm.send_file(run.tapeFile,run.tapeFile)
            except:
               pass
            try:
               rm.send_file(run.snapshotFile,run.snapshotFile)
            except:
               pass
         if('remotebasepath' in host):
            remote_dir=host['remotebasepath']
         else:
            remote_dir='trisurf_simulations'
         rm.send_multiple_files_in_directory(file_list,remote_dir)
#         rm.send_file(main.__file__,'remote_control.py')
#         for run in host['runs']:
#            try:
#               rm.send_file(run.tapeFile,run.tapeFile)
#            except:
#               pass
#            try:
#               rm.send_file(run.snapshotFile,run.snapshotFile)
#            except:
#               pass
         host['_conn']= rm
   # we are connected to all hosts...
   return hosts
@@ -187,9 +203,9 @@
   exit(0)
def analyze(args,host,a_dict, analysis):
   if len(a_dict)==0:
      print ('Error: no analyses are specified in the tsmgr.start()!')
def analyze(args,host,analysis,hosts):
   if len(trisurf._analysis_list)==0:
      print ('Error: no decorated function with @analysis decorator!')
      exit(1)
   target_runs=getTargetRunIdxList(args)
   if target_runs==None:
@@ -197,12 +213,19 @@
   for i in target_runs:
      for anal in analysis:
         if(anal not in a_dict):
            print("Analysis '"+anal+"' is not known. Available analyses: "+", ".join(a_dict.keys())+".")
         if(anal not in trisurf._analysis_list):
            print("Analysis '"+anal+"' is not known. Available analyses: "+", ".join(trisurf._analysis_list.keys())+".")
            exit(0)
      for anal in analysis:
         a_dict[anal](host['runs'][i-1],host=host)
         retval=trisurf._analysis_list[anal](host['runs'][i-1],host=host, args=args, hosts=hosts)
         #try:
         if(retval):
            exit(0)
         #except:
         #   pass
def perform_action(args,host,**kwargs):
   #find which flags have been used and act upon them. -r -s -k -v -c --delete-comment are mutually exclusive, so only one of them is active
@@ -225,7 +248,7 @@
      embed()
      exit(0)
   elif args['analysis']!= None:
      analyze(args,host,kwargs.get('analyses', {}), args['analysis'])
      analyze(args,host, args['analysis'],kwargs.get('hosts',None))
      exit(0)
   else: #version requested
      print(getTrisurfVersion())
@@ -234,12 +257,16 @@
def preview_vtu(args,host):
   #only for localhost at the moment
   if sys.version_info>=(3,0):
      print("Preview works only with python 2.7")
      exit(1)
   from . import VTKRendering
   target_runs=getTargetRunIdxList(args)
   if target_runs==None:
      target_runs=list(range(1,len(host['runs'])+1))
   if host['name'] == socket.gethostname():
      VTKRendering.Renderer(args,host)
      for i in target_runs:
         VTKRendering.Renderer(args,host,host['runs'][i-1])
   else:
      print("VTK rendering currently works on localhost only!")
def getListOfHostConfigurationByHostname(hosts,host):
   rhost=[]
@@ -250,9 +277,8 @@
def start(hosts,argv=sys.argv[1:], analyses={}):
def start(hosts,argv=sys.argv[1:]):
   args=vars(ParseCLIArguments(argv))
   #print(vars(args))
   #Backward compatibility... If running just on localmode, the host specification is unnecessary. Check if only Runs are specified
   try:
      test_host=hosts[0]['name']
@@ -262,6 +288,7 @@
   #find the host at which the action is attended
   if args['host']==None:
      #Only status and version commands are automatically executed on all the hosts. stopping or starting  or other actions is not!
      if(args['status']==False and args['version']==False):
         hosts=getListOfHostConfigurationByHostname(hosts,socket.gethostname())
   else:
@@ -269,20 +296,26 @@
   if len(hosts)==0:
      print ('Hostname "{}" does not exist in configuration file. Please check the spelling'.format(args['host'][0]))
      exit(1)
   if not args['local_only']:
         hosts=copyConfigAndConnect(hosts)
   #do local stuff:
   for host in hosts:
      if host['name'] == socket.gethostname():
         if(args['html']):
            print("Host <font color='orange'>"+host['name']+"</font> reports the following:")
            print("Host <font color='orange'>"+host['name']+"</font> reports:")
         else:
            print("Host "+bcolors.WARNING+host['name']+bcolors.ENDC+" reports the following:")
         perform_action(args,host, analyses=analyses)
            print("Host "+bcolors.WARNING+host['name']+bcolors.ENDC+" reports:")
         perform_action(args,host, hosts=hosts)
      elif not args['local_only']:
         output=host['_conn'].execute('python3 ./remote_control.py -x '+" ".join(argv))
         if('remotebasepath' in host):
            remote_dir=host['remotebasepath']
         else:
            remote_dir='trisurf_simulations'
         #output=host['_conn'].execute('cd '+remote_dir)
         #print(remote_dir)
         #print(main.__file__)
         #print('python3 '+main.__file__+' -x '+" ".join(argv))
         output=host['_conn'].execute('cd '+remote_dir+ '; python3 '+main.__file__+' -x --originating-host ' +socket.gethostname()+" "+" ".join(argv))
         for line in output:
            print(line.replace('\n',''))