git.gag.com Git - fw/sdcc/blob - support/regression/Makefile

   1 # Test suite Makefile
   2 # Part of SDCC - http://sdcc.sourceforge.net/
   3 # Michael Hope <michaelh@juju.net.nz> 2001
   4 #
   5 # This Makefile builds and runs the test suites under tests/ for each
   6 # one of the supported ports located under ports/.  The test suite
   7 # results are summarised and individual test failures are logged.  The
   8 # expected result is a single line per port summarising the number of
   9 # failures, test points, and test cases.  The philosophy is that
  10 # checked in code should always pass the suite with no failures, as
  11 # then if there are failures then it is in the current developers code.
  12 #
  13 # Only the required suites are run.  Changing sdcc causes all to be
  14 # re-run.  Changing one suite causes just that to be run.  Changing
  15 # one of the library files should cause all to re-run
  16
  17 # Dependancies:
  18 #   * The sdcc-extra package, available from CVS.
  19 #       o cvs -d cvs.sdcc.sourceforge.net:/cvsroot/sdcc co sdcc-extra
  20 #       o Provides the emulators
  21 #   * The gbdk-lib package from gbdk.
  22 #       o cvs -d cvs.gbdk.sourceforge.net:/cvsroot/gbdk co gbdk-lib
  23 #       o Proviles mul, div, and include files for the z80 tests.
  24 #   * python 1.5 or above
  25 #   * uCsim for the mcs51 port
  26 #
  27 # The paths below assume that sdcc, sdcc-extra, and gbdk-lib all reside in
  28 # the same directory.
  29
  30 # Old notes:
  31 # Starting at the bottom
  32 # Set of source test suites
  33 # Each source suite is processesd producing multiple device specific test suites.
  34 # Each device specific test suite is compiled.
  35 # Each device specific test suite is run, and the output recorded.
  36 # The output from each device specific test suite derrived from a source
  37 # test suite are collated.
  38
  39 # Uncomment this to show only errors and the summary.
  40 # Comment this out for debugging.
  41 #.SILENT:
  42
  43 # All original tests live in TESTS_DIR and below
  44 TESTS_DIR = tests
  45 TESTS_NAME = $(TESTS_DIR)
  46 # All suite results go in RESULTS_DIR
  47 RESULTS_DIR = results
  48 # All data relating to supported ports live in their own directory
  49 # under PORTS_DIR.
  50 PORTS_DIR = ports
  51
  52 # Itermediate data directories
  53 # Directory that generated cases and the related object code go.
  54 CASES_DIR = gen
  55
  56 # Script that takes a source test suite and generates the iterations
  57 GENERATE_CASES = generate-cases.py
  58
  59 # Magically generate the list of configured ports to test.
  60 # Each directory under ports/ is used as a port name.  Each port is tested.
  61 # The port name must be the same as the one used in the SDCC '-mxxx' argument.
  62 # Each port must have a spec.mk which describes how to build the object
  63 # files and how to run the emulator.
  64 ALL_PORTS = $(filter-out CVS mcs51 ds390 gbz80,$(notdir $(wildcard $(PORTS_DIR)/*)))
  65
  66 # These  ports will be cleaned with 'make clean'
  67 CLEAN_PORTS = $(filter-out CVS,$(notdir $(wildcard $(PORTS_DIR)/*)))
  68
  69 all: test-ports
  70
  71 # Test all of the ports
  72 test-ports:
  73         for i in $(ALL_PORTS); do $(MAKE) inter-port-clean test-port PORT=$$i; done
  74
  75 # Helper rule for testing the z80 port only
  76 test-z80:
  77         $(MAKE) inter-port-clean test-port PORT=z80
  78
  79 # Helper rule for testing the z80 port only
  80 test-gbz80:
  81         $(MAKE) inter-port-clean test-port PORT=gbz80
  82
  83 # Helper rule for testing the mcs51 small model port only
  84 test-mcs51:
  85         $(MAKE) inter-port-clean test-port PORT=mcs51
  86
  87         # Helper rule for testing the ds390 port only
  88 test-ds390:
  89         $(MAKE) inter-port-clean test-port PORT=ds390
  90
  91 ### Helper rule for testing the host cc only
  92 test-host:
  93         $(MAKE) inter-port-clean test-port PORT=host
  94
  95 test-host2:
  96         $(MAKE) test-port PORT=host
  97
  98 # Begin per-port rules
  99 # List of all of the known source test suites.
 100 ALL_TESTS = $(shell find $(TESTS_DIR) -name "*.c")
 101
 102 # Intermediate directory
 103 PORT_CASES_DIR = $(CASES_DIR)/$(PORT)
 104 PORT_RESULTS_DIR = $(RESULTS_DIR)/$(PORT)
 105 # Each test generates a result log file
 106 PORT_RESULTS = $(ALL_TESTS:$(TESTS_DIR)/%.c=$(PORT_RESULTS_DIR)/%.out)
 107
 108 SDCC_DIR = ../..
 109 SDCC_EXTRA_DIR = ../../../sdcc-extra
 110
 111
 112 # Defaults.  Override in spec.mk if required.
 113 # Path to SDCC
 114 SDCC = $(SDCC_DIR)/bin/sdcc
 115 # Base flags.
 116 SDCCFLAGS = -m$(PORT)
 117 # Extension of object intermediate files
 118 OBJEXT = .o
 119 # Extension of files that can be run in the emulator
 120 EXEEXT = .bin
 121 # Currently unused.  Extension to append to intermediate directories.
 122 DIREXT =
 123
 124 # Only include if we're in a per-port call.
 125 ifdef PORT
 126 include $(PORTS_DIR)/$(PORT)/spec.mk
 127 endif
 128
 129 SDCCFLAGS += -Ifwk/include -Itests
 130
 131 # List of intermediate files to keep.  Pretty much keep everything as
 132 # disk space is free.
 133 .PRECIOUS: $(PORT_CASES_DIR)/% %$(OBJEXT) %$(EXEEXT)
 134
 135 # Rule to generate the iterations of a test suite off the soure suite.
 136 $(PORT_CASES_DIR)/%/iterations.stamp: $(TESTS_DIR)/%.c $(GENERATE_CASES)
 137         echo Processing $<
 138         rm -rf $(CASES_DIR)/$(TESTS_NAME)
 139         mkdir -p $(CASES_DIR)/$(TESTS_NAME)
 140         mkdir -p `dirname $@`
 141         python $(GENERATE_CASES) $< > /dev/null
 142         cp $(CASES_DIR)/$(TESTS_NAME)/*.c `dirname $@`
 143         touch $@
 144
 145 # Rule linking the combined results log to all of the files in the
 146 # iteration directory.
 147 $(PORT_RESULTS_DIR)/%.out: $(PORT_CASES_DIR)/%/iterations.stamp
 148         $(MAKE) iterations PORT=$(PORT) CASES=`dirname $<`
 149
 150 # Rule to summaries the results for one port after all of the tests
 151 # have been run.
 152 port-results: port-dirs $(PORT_RESULTS)
 153         echo Summary for \'$(PORT)\': `cat $(PORT_RESULTS) | python collate-results.py`
 154
 155 port-dirs:
 156         mkdir -p $(PORT_CASES_DIR) $(PORT_RESULTS_DIR)
 157
 158 test-port: port-results
 159
 160 # Begin rules that process each iteration generated from the source
 161 # test
 162
 163 # List of all of the generated iteration source files.
 164 SUB_CASES = $(sort $(wildcard $(CASES)/*.c))
 165 # List of all the sub result logs generated from the iterations.
 166 SUB_RESULTS = $(SUB_CASES:%.c=%.out)
 167 # Overall target.  Concatenation of all of the sub results.
 168 RESULTS = $(CASES:$(CASES_DIR)/%$(DIREXT)=$(RESULTS_DIR)/%.out)
 169
 170 iterations: $(RESULTS)
 171
 172 # Rule to generate the overall target from the sub results.
 173 $(RESULTS): $(SUB_RESULTS)
 174         cat $(SUB_RESULTS) > $@
 175
 176 # The remainder of the rules are in $PORT/spec.mak.  The port needs to
 177 # be able to turn an iterated test suite into a sub result, normally
 178 # by:
 179 #    1. Compile the required library files
 180 #    2. Compile this test suite.
 181 #    3. Link 1, 2, and any required stdlib into an executable.
 182 #    4. Run the executable inside an emulator, and capture the text
 183 #    output into %.out.
 184 #
 185 # The emulator must exit when main() returns.
 186
 187 # BeginGeneric rules
 188
 189 clean: inter-port-clean
 190         rm -rf $(CASES_DIR) $(RESULTS_DIR) *.pyc fwk/lib/timeout fwk/lib/timeout.exe
 191         for i in $(CLEAN_PORTS); do $(MAKE) -f $(PORTS_DIR)/$$i/spec.mk _clean PORT=$$i; done
 192
 193 inter-port-clean:
 194         rm -f  fwk/lib/*.o fwk/lib/*.asm fwk/lib/*.rst fwk/lib/*.lst fwk/lib/*.rel \
 195                fwk/lib/*.ihx fwk/lib/*.map fwk/lib/*.sym