]> Kevux Git Server - fll/log
fll
2 years agoUpdate: Next micro version (0.5.9).
Kevin Day [Sun, 27 Feb 2022 21:55:20 +0000 (15:55 -0600)]
Update: Next micro version (0.5.9).

2 years agoBugfix: A Rule's "define" settings are not being exported. 0.5.8
Kevin Day [Sun, 27 Feb 2022 01:33:59 +0000 (19:33 -0600)]
Bugfix: A Rule's "define" settings are not being exported.

The exporting of the define is never performed and needs to be.
This is a quick implementation.
I've added a TODO describing what I really want to do.
The improved implementation is to be addressed after the FLL-0.5.8 release.

2 years agoFeature: Maps and Multi-Maps should support appending a single map rather than just...
Kevin Day [Sun, 27 Feb 2022 01:31:19 +0000 (19:31 -0600)]
Feature: Maps and Multi-Maps should support appending a single map rather than just an entire set.

This is really an oversight on my part.
The append should by default append a single item.
To append an entire set, a new function should be used (an append all function).

This should be done for all of the string types that are applicable.
Such changes are left for the next release and are not planed for the 0.5.8 release.

This functionality is necessary for bug fixes in the controller program.

2 years agoFeature: Implement IKI support in controller program.
Kevin Day [Sun, 27 Feb 2022 00:31:48 +0000 (18:31 -0600)]
Feature: Implement IKI support in controller program.

The functionality is designed to mimic some of the design used in Featureless Make in regards to IKI variables.

There are now "define", "parameter", and "program" IKI vocabularies available.

The "program" should probably have some sort of security property in an Entry to restrict its use.
There is a likelyhood of some design not wanting to expose the program parameters to the Rule.
I may also want to implement a "time" vocabulary in the future (likely to happen no sooner than FLL-0.5.0).

It appears that the define environment variables are not being exported as expected.
This is either an existing bug or a problem in the new feature.
Having reviewed this, I suspect that the problem is in the existing design.
A follow up commit will address this issue.

The --simulate and --test displays any loaded IKI variables.

2 years agoUpdate: Delete socket rather than resize when array is over large.
Kevin Day [Sat, 26 Feb 2022 22:21:04 +0000 (16:21 -0600)]
Update: Delete socket rather than resize when array is over large.

I realized that this might be more performant.
If I have to resize the array because it is over large, then a resize could result in a copy of memory.
At this point in the program, the data is irrelevant.
I suspect deleting the array will perform better than resizing the array to a smaller size.

2 years agoSecurity: Invalid va_arg() call resulting in overflow.
Kevin Day [Sat, 26 Feb 2022 17:20:01 +0000 (11:20 -0600)]
Security: Invalid va_arg() call resulting in overflow.

This overflow doesn't seem to cause crashes, which is even scarier as has gotten away with unnoticed.

The else condition inside of the formatted print functions are accidentally declaring va_arg() when it shouldn't.
The except_at and except_in are also being unnecessarily declared.

2 years agoSecurity: The va_list has undefined behavior when passed into functions.
Kevin Day [Sat, 26 Feb 2022 16:50:26 +0000 (10:50 -0600)]
Security: The va_list has undefined behavior when passed into functions.

When the va_list is started using va_start(), the va_arg() must be called within the same function.
This is a design problem with how va_list and its respective functions are implemented.
The man pages directly document that passing an already started va_list to a function and then calling va_arg() is undefined.

The va_list, being a macro, might also be a pointer.
This makes passing it as a pointer (or with "const") risky.

Due to the mentioned undefined states and risks, this is considered and treated as a security issue.

Move the va_XXX() logic into a single function.
This unfortunately means some functions have to be expanded out into the code and deleted.
The code now, unfortunately, has more nested as a result of having to add more loops within the same function.

The va_copy() macro is used and so the ap list state is no longer changed outside of the function.

2 years agoUpdate: Help ensure va_copy() is defined.
Kevin Day [Sat, 26 Feb 2022 16:48:16 +0000 (10:48 -0600)]
Update: Help ensure va_copy() is defined.

2 years agoBugfix: Improper IKI vocabulary position for when a quote is immediately to the left...
Kevin Day [Sat, 26 Feb 2022 05:04:47 +0000 (23:04 -0600)]
Bugfix: Improper IKI vocabulary position for when a quote is immediately to the left of the vocabulary name.

I distantly remember attempting to shorthand and optimize the logic to reduce the while loop usage.
This appears to have backfired in that I missed one of the possible conditions.

An example of this is the following bash command utilizing IKI substitution:
  echo "IKI Path is 'define:"PATH"'"

In the aboce string, the bug is claining the IKI variable is "'define".
The quote is not a word charcter, not a dash, and not a plus.
The IKI vocabulary is supposed to be "define".

Redesign this back to have the multiple loops.
While this is messier, it should be harder to make a logic mistake.

Cleanup some of the logic to not need the private_f_iki_seek_special() function.

Make sure the width is always calculated prior to calling the UTF aware string functions.

Update wording in iki.txt specification to make a little more sense.

2 years agoBugfix: private_fl_print_convert_number() problems and do some cleanup.
Kevin Day [Sat, 26 Feb 2022 04:58:24 +0000 (22:58 -0600)]
Bugfix: private_fl_print_convert_number() problems and do some cleanup.

The private_fl_print_convert_number() function stops either on non-diit, asterisk, or NULL.
The code is subtracting 1 from the string position.
This allows for the subsequent continue and resulting string increment to not overflow the buffer.
The problem happens when the stop position is a non-digit.
This non-digit is effectivly being skipped by this logic.
Change the logic to always return a position that will allow the subsequent increment without modification.
The position at function exit must never be pointing at NULL.
The position at function exit must never be pointing at a non-digit.

Use "++string" instead of "string += 1".

Change the structure to order from 8, 16, 32, 64, and 128.

2 years agoUpdate: Add terminating NULL position and set all values to 0.
Kevin Day [Sat, 26 Feb 2022 04:21:57 +0000 (22:21 -0600)]
Update: Add terminating NULL position and set all values to 0.

2 years agoBugfix: Improper if condition range check.
Kevin Day [Sat, 26 Feb 2022 03:45:37 +0000 (21:45 -0600)]
Bugfix: Improper if condition range check.

This is supposed to check the start and stop range, but accidentally checks the start range on both side.
This mistake appears to have been copy pasted quite a few times.

2 years agoUpdate: Return F_data_not when amount or size is 0 in memory allocation functions...
Kevin Day [Fri, 25 Feb 2022 04:10:04 +0000 (22:10 -0600)]
Update: Return F_data_not when amount or size is 0 in memory allocation functions and add missing F_string_tripless_t.

Return F_data_not rather than return F_parameter (with error bit set).
This allows for more possibilities where a set of data may be calculated without worrying about an error that is not really an error.
If you want to allocate nothing, then nothing is allocated (and the same for deallocated).

The resize and adjust functions still use a length of 0 as synonymous to deleting the data.

The array of an array of F_triple_t is no longer missing.
All appropriate allocation functions are defined.

2 years agoUpdate: IKI Improvements and some cleanups.
Kevin Day [Wed, 23 Feb 2022 04:04:15 +0000 (22:04 -0600)]
Update: IKI Improvements and some cleanups.

The _di_X_t_ where "X" is something like f_fss_object, is missing the leading "f_" in several cases.

Make the *_increase() step variable an f_array_length_t.
Rather than trying to optimize, just guarantee whatever step size is desired is available.

Move the iki_read programs practice of defining an iki_data_t structure into the level_0 iki project.
This then allows simplifying the arguments passed to the iki read functions.

2 years agoSecurity: Invalid read when using -bB.
Kevin Day [Tue, 22 Feb 2022 02:51:35 +0000 (20:51 -0600)]
Security: Invalid read when using -bB.

The incorrect variable is being used when performing the size check.
This resulted in the wrong calculation and the subsequent invalid read.

2 years agoUpdate: Controller and control.
Kevin Day [Mon, 21 Feb 2022 01:52:21 +0000 (19:52 -0600)]
Update: Controller and control.

Fix bug in control where parameter should be "settings" and not "socket".

The controller can now detect the current path and provide a canonical relative path only for paths whose actual canonical path is within the current working directory that the controller program started in.

Fix printing of the help in the controller program (missing slashes).

Don't create socket and pid files when running validate and simulate.
When running simulate, still create the pid and socket files as appropriate.
Add new entry setting to allow explicitly setting the pid file path.

Remove no longer necessary functions that ensure terminating NULL.
The recent changes in the string functions now guarantee this.

Remove a lot of todo comments.
I will either get to them or not.

I plan on getting to writing IKI support.
It needs to happen and I can use the Fake program as an example.

2 years agoUpdate: Make sure constant pointers that are intended to be read-only are just that.
Kevin Day [Sun, 20 Feb 2022 06:48:32 +0000 (00:48 -0600)]
Update: Make sure constant pointers that are intended to be read-only are just that.

I often read "const char *name" as a constant pointer.
This is strictly incorrect.
This actual means that this is a pointer to a constant character.

Mass change the pointers to constants that are intended to be themselves constant.
This is changed via a regex and test to compile and run.
I'm not sure if there are any problems with this change but everything seems fine.

This new code looks more awkward but is strictly correct.
Now "const char * const name" represents a constant pointer to a constant string.
This makes the parameter a constant and still allows for the pointer to point to a constant variable.

2 years agoUpdate: Add additional debugging documentation notes.
Kevin Day [Sun, 20 Feb 2022 06:40:06 +0000 (00:40 -0600)]
Update: Add additional debugging documentation notes.

2 years agoRefactor: Complete the mass converting to f_string_static_t and use const more.
Kevin Day [Sun, 20 Feb 2022 06:37:57 +0000 (00:37 -0600)]
Refactor: Complete the mass converting to f_string_static_t and use const more.

This should be the last commit needed to migrate from f_string_t to f_string_static_t.

In particular, this breaks apart several of the string rip functions into a dynamic rip and a partial dynamic rip function.

Try to use "buffer" as the variable name more often than not rather than using "dynamic" for f_string_static_t parameters.

2 years agoProgress: Continue mass converting to f_string_static_t and use const more.
Kevin Day [Sun, 20 Feb 2022 00:36:52 +0000 (18:36 -0600)]
Progress: Continue mass converting to f_string_static_t and use const more.

In particular this separates the fl_conversion functions into two forms:
1) That accepts only the f_string_static_t and uses dynamic.used as the length.
2) That accepts both f_string_static_t and f_string_range_t and uses the range to determine the length.

This makes the conversion functions more consistent with the rest of the project's practices.

2 years agoRefactor: Change "one", "two", and "three" into "a", "b", and "c".
Kevin Day [Sat, 19 Feb 2022 21:08:49 +0000 (15:08 -0600)]
Refactor: Change "one", "two", and "three" into "a", "b", and "c".

This makes the use of triples easier.

2 years agoFeature: The fll_identify -n/--name now supports full name as well as type code.
Kevin Day [Sat, 19 Feb 2022 15:24:34 +0000 (09:24 -0600)]
Feature: The fll_identify -n/--name now supports full name as well as type code.

For an example "fss-0001", in addition to matching "fss", also match "0001" or "fss-0001" if requested.

2 years agoCleanup: Start comment with uppercase.
Kevin Day [Sat, 19 Feb 2022 15:23:40 +0000 (09:23 -0600)]
Cleanup: Start comment with uppercase.

2 years agoUpdate: Fakefile inner Objects should load the last Object from settings Section.
Kevin Day [Sat, 19 Feb 2022 13:45:44 +0000 (07:45 -0600)]
Update: Fakefile inner Objects should load the last Object from settings Section.

Use the last found Object for each name for Objects that support only a single value.

That is to say if there is:
  load_build yes
  load_build maybe
  load_build no

Then the last load (whose value is "no") will be used.
No warnings will be thrown.

Objects that support multiple values will continue to append Content for each Object as they are found.

This does not change the "settings" and "main" Objects to match this behavior.
Those will remain as first specified is the first and only one processed and used.

This makes the behavior with the fakefile more consistent with the build settings.

2 years agoUpdate: Remove stale warning.
Kevin Day [Sat, 19 Feb 2022 13:17:21 +0000 (07:17 -0600)]
Update: Remove stale warning.

The message from this warning is no longer true as of6283ef1e "Feature: Enable support for modes on (almost) all Fake build settings Objects.".

2 years agoBugfix: Comparison should instead be an assignment.
Kevin Day [Sat, 19 Feb 2022 05:01:22 +0000 (23:01 -0600)]
Bugfix: Comparison should instead be an assignment.

This bug is exposed by the CLang compiler.

2 years agoCleanup: Use signed type and cast to unsigned.
Kevin Day [Sat, 19 Feb 2022 04:59:24 +0000 (22:59 -0600)]
Cleanup: Use signed type and cast to unsigned.

This situation is exposed by a warning from the CLang compiler.
The warning makes sense, so the code is changed to a signed type and then cast.

The negative value should never make it to the assignment if the preceding if condition properly catches it as intended.

2 years agoFeature: Enable support for modes on (almost) all Fake build settings Objects.
Kevin Day [Sat, 19 Feb 2022 04:49:48 +0000 (22:49 -0600)]
Feature: Enable support for modes on (almost) all Fake build settings Objects.

The only ones that are now not supposed to support this are the "modes" and "modes_default" Objects.

It should now be possible to build against clang with a command like the following:
  fake clean build -m monolithic -m clang

This is possible because of the "build_compiler-clang clang" and similar settings added to the build settings file in addition to the functionality added by this commit.

2 years agoSecurity: Invalid reads, always add NULL for compatibility.
Kevin Day [Sat, 19 Feb 2022 02:10:16 +0000 (20:10 -0600)]
Security: Invalid reads, always add NULL for compatibility.

After switching from f_string_t to f_string_static_t, the NULL terminated string problem has become apparent.
If at any point in time these strings are passed to a standard function that expects NULL terminated strings, then an invalid read (or write) can occur.

Manually appending a NULL termination every time its needed has made the code messier than I would like.
This commit changes the behavior to instead always append a NULL termination after the string.used when appending strings.
I accept the additional resource cost of 1-byte per string to guarantee this.

This should make the program more easily more secure by catering to the NULL terminated string code out there.
This project still doesn't need the or care about NULL termination for most (but not all) of its functions.

2 years agoSecurity: Invalid read due to wrong parameter in fl_print_format().
Kevin Day [Sat, 19 Feb 2022 00:12:57 +0000 (18:12 -0600)]
Security: Invalid read due to wrong parameter in fl_print_format().

This is the result of a mistake during the migration from f_string_t to f_string_static_t.
I missed replacing some '%S' with '%Q'.

2 years agoUpdate: Add clang build mode to the build settings files.
Kevin Day [Fri, 18 Feb 2022 04:56:18 +0000 (22:56 -0600)]
Update: Add clang build mode to the build settings files.

Currently the "build_compiler" might not support modes.
This is planned to be changed before the stable release.

This changeset prepares the build settings files for this change.
The clang-specific flag "-Wno-logical-op-parentheses" is moved into the clang mode.

2 years agoUpdate: Remove todo.txt documentation.
Kevin Day [Fri, 18 Feb 2022 04:36:03 +0000 (22:36 -0600)]
Update: Remove todo.txt documentation.

2 years agoUpdate: Add debugging.txt documentation.
Kevin Day [Fri, 18 Feb 2022 04:35:15 +0000 (22:35 -0600)]
Update: Add debugging.txt documentation.

2 years agoSecurity: Executed program string is not NULL terminated.
Kevin Day [Fri, 18 Feb 2022 04:11:06 +0000 (22:11 -0600)]
Security: Executed program string is not NULL terminated.

While the FLL code doesn't need NULL termination, the C/POSIX execute functions are.
The lack of a NULL terminated results in an invalid read on execute.

2 years agoProgress: Continue mass converting to f_string_static_t and use const more.
Kevin Day [Fri, 18 Feb 2022 04:00:10 +0000 (22:00 -0600)]
Progress: Continue mass converting to f_string_static_t and use const more.

2 years agoCleanup: Simplify example bootstrap script by hard coding the version number and...
Kevin Day [Fri, 18 Feb 2022 01:52:23 +0000 (19:52 -0600)]
Cleanup: Simplify example bootstrap script by hard coding the version number and always run clean.

2 years agoCleanup: Relocate static strings out of the string/dynamic.h into string/static.h.
Kevin Day [Thu, 17 Feb 2022 08:02:02 +0000 (02:02 -0600)]
Cleanup: Relocate static strings out of the string/dynamic.h into string/static.h.

2 years agoRegression: Fake static compile not building.
Kevin Day [Thu, 17 Feb 2022 07:37:33 +0000 (01:37 -0600)]
Regression: Fake static compile not building.

The path_sources_object should not be used for the static library sources.

Skip empty data in static build.

Add additional status check.

Cleanup the example-objects sources.

2 years agoProgress: Continue mass converting to f_string_static_t and use const more.
Kevin Day [Thu, 17 Feb 2022 04:45:52 +0000 (22:45 -0600)]
Progress: Continue mass converting to f_string_static_t and use const more.

Continue on in the f_string_static_t refactoring.
Also take care of adding "const" to the function parameters that pass pointers.

2 years agoUpdate: Move hardcoded strings into a const static string for f_color.
Kevin Day [Thu, 17 Feb 2022 03:52:16 +0000 (21:52 -0600)]
Update: Move hardcoded strings into a const static string for f_color.

2 years agoUpdate: Console improvements with related security fix.
Kevin Day [Thu, 17 Feb 2022 03:05:06 +0000 (21:05 -0600)]
Update: Console improvements with related security fix.

Add f_console_environment_process() to process environment variable data passed via main().
Add appropriate testing.

Setup all level 3 (programs) to have the environment data (envp).
The level 3 currently do not utilize this.

While looking at the tests, I realized that I noticed that I did not fully verify the sanity of the passed argc, argv, and now envp.
This is a security issue in that invalid data (argc could be wrong, argv could be NULL, etc..) could result in an invalid read.
Update the f_console_parameter_process() to verify the argc and argv data (f_console_parameter_process() doesn't utilize envp).
Improve tests to catch these potential problems.
Return F_data_not (without error bit) to represent that there is no argc, argv is NULL, or when argv[0] is NULL.
Change the previous F_data_not return to instead return F_complete_not (without error bit) to represent that all of the expected values were not found.

Update functions to use "const" after the asterisk representing the parameter pointer.

2 years agoRefactor: Switch to a more directory based source file structure.
Kevin Day [Wed, 16 Feb 2022 05:37:15 +0000 (23:37 -0600)]
Refactor: Switch to a more directory based source file structure.

Mass change all of the code to further utilize directories.
The project has gotten big enough for this to matter.
The stable API should have a relatively clean directory structure.

2 years agoCleanup: Minor updates to cygwin documentation.
Kevin Day [Wed, 16 Feb 2022 03:13:11 +0000 (21:13 -0600)]
Cleanup: Minor updates to cygwin documentation.

2 years agoUpdate: Use F_directory_not instead of F_directory for non-existent directories.
Kevin Day [Wed, 16 Feb 2022 03:08:42 +0000 (21:08 -0600)]
Update: Use F_directory_not instead of F_directory for non-existent directories.

Also add documentation.

2 years agoRegression: Invalid read in f_directory_create().
Kevin Day [Wed, 16 Feb 2022 02:55:04 +0000 (20:55 -0600)]
Regression: Invalid read in f_directory_create().

Now that this uses f_string_static_t, the string is not necessarily NULL terminated.
This new behavior resulted in an invalid read.

Redesign to use a range check instead of a NULL check and to include a NULL terminating space in the built string.

2 years agoUpdate: Improve f_file_name_directory() and f_file_name_base().
Kevin Day [Wed, 16 Feb 2022 01:06:00 +0000 (19:06 -0600)]
Update: Improve f_file_name_directory() and f_file_name_base().

Have both of these functions include a NULL at the end to make compatibility with NULL terminated strings easier.

The directory name should not return "." when the directory is the current directory.
Replace this with an empty string.

2 years agoBugfix: Invalid read because NULL is added to list but then f_string_dynamic_append_n...
Kevin Day [Wed, 16 Feb 2022 00:53:25 +0000 (18:53 -0600)]
Bugfix: Invalid read because NULL is added to list but then f_string_dynamic_append_nulless() is used.

The NULL doesn't matter if the function being called specifically ignores it.
This mistake causes invalid memory reads.

2 years agoUpdate: Don't double check the variable.
Kevin Day [Wed, 16 Feb 2022 00:53:02 +0000 (18:53 -0600)]
Update: Don't double check the variable.

2 years agoUpdate: Add missing unit tests for f_type_array.
Kevin Day [Tue, 15 Feb 2022 23:29:33 +0000 (17:29 -0600)]
Update: Add missing unit tests for f_type_array.

2 years agoBugfix: Do not validate directory existence when cleaning.
Kevin Day [Tue, 15 Feb 2022 18:09:42 +0000 (12:09 -0600)]
Bugfix: Do not validate directory existence when cleaning.

Do not call the directory validation existence check before cleaning.

Also treat F_directory as not an error when cleaning.

Remove unnecessary signal check.

Output to warning stream instead of normal output stream when displaying warning.

2 years agoRegression: Tests failing due to incomplete refactor.
Kevin Day [Tue, 15 Feb 2022 17:40:31 +0000 (11:40 -0600)]
Regression: Tests failing due to incomplete refactor.

The f_type_array_lengths_resize() is now f_array_lengths_resize().

2 years agoUpdate: The build setting path_sources is not being properly used and improve skeleto...
Kevin Day [Tue, 15 Feb 2022 06:47:20 +0000 (00:47 -0600)]
Update: The build setting path_sources is not being properly used and improve skeleton process.

Resolve the fixme regarding the path_sources_object and similar.
Consolidate the static source build into functions.

The fake_build_setting_name_preserve_path_headers_s is in the wrong location, resulting in the incorrect loading of build settings data.

Provide default for path_sources.
Make the main->path_sources a prefix path where all sources exist (there will likely need to be a follow up commit to address this in bootstrap.sh).

Get rid of the path_source_* forr bash, c, and other custom paths.

Get rid of the redundant version default assignment in fake_build_load_setting_defaults().
Rename fake_build_load_setting_defaults() to fake_build_load_setting_override().

Update the skeleton generation.
Add "specifications" directory creation.
Add "sources/script" directory creation.

2 years agoRefactor: Remove "_type" from f_type_array functions.
Kevin Day [Tue, 15 Feb 2022 03:24:44 +0000 (21:24 -0600)]
Refactor: Remove "_type" from f_type_array functions.

The f_type_array project is really just an exception case extension of f_type.
It's purpose is to provide the array functions for the associated array structures in f_type.
These cannot be stored in f_type due to circular dependency needs for the f_memory project.

I used f_type_* to prefix these functions but the inconsistency between the structure names has shown to be a problem.
Rename these functions to not have the "_type" within them.

2 years agoRefactor: Break f_type_array apart into multiple files.
Kevin Day [Tue, 15 Feb 2022 00:57:42 +0000 (18:57 -0600)]
Refactor: Break f_type_array apart into multiple files.

This cleans up the structure to make the code more manageable.

2 years agoRefactor: path_standard to has_path_standard.
Kevin Day [Mon, 14 Feb 2022 05:34:15 +0000 (23:34 -0600)]
Refactor: path_standard to has_path_standard.

Just like with the preserve_path_headers, change path_standard to has_path_standard.
This hopefully makes the terminology easier to understand by maintaining that all path_* Objects represent paths.

The commit changing path_headers_preserve to preserve_path_headers could have made more changes.
Further update preserve_path_headers to handle what was missed.

2 years agoRegression: The path_headers_preserve isn't properly being processed and refactor...
Kevin Day [Mon, 14 Feb 2022 04:58:26 +0000 (22:58 -0600)]
Regression: The path_headers_preserve isn't properly being processed and refactor it to preserve_path_headers.

It seems that I changed the path_sources.used to path_headers.used, probably thinking that I had previously made a mistake.
Rename the preserve to preserve_offset to make the intent and purpose more obvious.
The preserve_offset represents and offset to skip before performing the preserve.
The path_sources is the path that should be ignored (path_headers is not used here!).

Refactor path_headers_preserve to preserve_path_headers to make it clearer that this is not a path but instead a property related to a path.

2 years agoFeature: Fake build settings now supports compiling only object files.
Kevin Day [Mon, 14 Feb 2022 04:04:15 +0000 (22:04 -0600)]
Feature: Fake build settings now supports compiling only object files.

I've observed that many programs like to compile each source file separately by passing "-c" to GCC.
Then the linking is done separately.

I believe unit tests may benefit from compiling individual object files for cases when mocking needs to be performed only for select functions.

With an upcoming stable release planned, I felt that now is the time to get this in.

Due to limitations of the compilers, only a single object file may be generated at a time.
Multiple generated object files may be combined into either a library or a program.
Object file generation is shared vs static aware.
Custom defines and flags may be specified for building objects.

It is now possible to compile different objects files for the generated library and for the generated program.

These are improvements to the build settings build process.
The make build process is still available for more advanced compiling.

An example project, called "example-objects", is provided to demostrate how to utilize the build settings and a fakefile to compile multiple objects separately and then combine them into a single program.

Additional fixes and improvement were necessary to properly complete this feature.

Summary of additional fixes and improvements:
- Improve default handling behavior in both fake and bootstrap.sh.
- Provide more defaults, such as having "compiler" default to "gcc".
- Massive cleanup of the bootstrap.sh (bootstrap.sh is now much closer to matching the functionality of the fake build settings).
- Update documentation.
- Add an error message for when an unknown build mode is passed to the boostrap-example.sh script.
- Fix bug in f_path_directory_cleanup() where the termnating NULL is being included in the count.

2 years agoUpdate: A fakefile should not load the build settings by default.
Kevin Day [Sat, 12 Feb 2022 00:26:51 +0000 (18:26 -0600)]
Update: A fakefile should not load the build settings by default.

Require this to be explicitly set to be enabled.

2 years agoRefactor: project_name t build_name.
Kevin Day [Sat, 12 Feb 2022 00:25:16 +0000 (18:25 -0600)]
Refactor: project_name t build_name.

Originally the build settings files are meant for projects.
I now believe that these should represent "builds".
Replace "project_name" with "build_name".

2 years agoBugfix: Missing "extern" in const static strings.
Kevin Day [Sat, 12 Feb 2022 00:06:46 +0000 (18:06 -0600)]
Bugfix: Missing "extern" in const static strings.

2 years agoCleanup: Relocate unit tests under a "unit" directory.
Kevin Day [Fri, 11 Feb 2022 23:40:14 +0000 (17:40 -0600)]
Cleanup: Relocate unit tests under a "unit" directory.

This improves organization and makes room for other kinds of tests.

2 years agoRegression: Make sure setting.path_pid is NULL terminated.
Kevin Day [Fri, 11 Feb 2022 23:22:23 +0000 (17:22 -0600)]
Regression: Make sure setting.path_pid is NULL terminated.

The libc path functions end up accessing this string.
The libc functions require NULL terminated strings.

2 years agoUpdate: Remove fl_console from example bootstrap script.
Kevin Day [Fri, 11 Feb 2022 04:52:00 +0000 (22:52 -0600)]
Update: Remove fl_console from example bootstrap script.

There no longer is an fl_console project.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Fri, 11 Feb 2022 04:32:22 +0000 (22:32 -0600)]
Progress: Continue mass converting to f_string_static_t.

This should get all of the programs compiling again.
There is still more work to do with switching to f_string_static_t, but the current pass is considered complete.
Another pass will follow up shortly.

2 years agoRefactor: fl_console_parameter_to_string_dynamic_directory() to f_path_directory_clea...
Kevin Day [Fri, 11 Feb 2022 00:14:01 +0000 (18:14 -0600)]
Refactor: fl_console_parameter_to_string_dynamic_directory() to f_path_directory_cleanup().

I decided to improve the mentioned function and realized that it could be further generalized and move into the f_path project.
There is nothing else in fl_console and as such the fl_console project is entirely removed.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Thu, 10 Feb 2022 04:01:02 +0000 (22:01 -0600)]
Progress: Continue mass converting to f_string_static_t.

2 years agoRegression: The parameters should not print when string.used is 0.
Kevin Day [Thu, 10 Feb 2022 03:47:58 +0000 (21:47 -0600)]
Regression: The parameters should not print when string.used is 0.

Empty brackets should not be printed when the parameters is empty.

2 years agoBugfix: The prepend option is being incorrectly applied.
Kevin Day [Thu, 10 Feb 2022 03:45:28 +0000 (21:45 -0600)]
Bugfix: The prepend option is being incorrectly applied.

This is a bug that results from a naming context conflict where the "prepend" string must be "appended" to the buffer.
The f_string_dynamic_append() should be called instead of f_string_dynamic_prepend().

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Wed, 9 Feb 2022 04:53:22 +0000 (22:53 -0600)]
Progress: Continue mass converting to f_string_static_t.

Some of the append functions use *_adjust() functions and are now using *_resize() functions.

The f_string_dynamicss_t and similar structures are added.
This is done hastily with the expectation that I will get to writing unit tests eventually and will better review this code.

2 years agoSecurity: Invalid read in private_f_print().
Kevin Day [Wed, 9 Feb 2022 04:49:03 +0000 (22:49 -0600)]
Security: Invalid read in private_f_print().

The variable "i" is incremented inside the loop without checking that i < length.
This potentially results in an invalid read (such as when the string is not NULL terminated after the designated length).

2 years agoBugfix: Bugs and regressions in recent "Progress:.." commits as well as in the Fake...
Kevin Day [Tue, 8 Feb 2022 05:39:57 +0000 (23:39 -0600)]
Bugfix: Bugs and regressions in recent "Progress:.." commits as well as in the Fake program.

This is in a way a continuation of the "Progress: Continue mass converting to f_string_static_t." commits.
However, there were some notable bugs that needed to be brought out and I feel they deserved to be treated as a bug rather than in-progress code changes.

Put the testfile context in a quote and fix the color context to perform the reset rather than leak red all over the console.

NULL terminate some f_environment functions to make compatibility with working with NULL terminated string functions more straight-forward.
This is noticed with the libc/POSIX execute family of functions.

The fl_console_parameter_to_string_dynamic_directory() needed to be converted in regards to the mass converting to f_string_static_t.
Make sure NULL termination is performed, which is previously may not have been (prior to transition to f_string_static_t, making this a bug).

I accidentally over-fixed "c1906053 Bugfix: File stream read inefficiency, allocation f_string_t instead of char, and actually use state.step_small.".
There is a case where the array is in fact an array of f_string_t and I incorrectly changed it to "char", resulting in a regression.

Have the fll_fss_snatch_apart() use *_increase_by() and similar functions rather than *_resize().
The *_resize() functions are more expensive in that the *_increase_by() only perform reallocations when necessary whereas the *_resize() almost always performs reallocations.

Make sure fll_fss_snatch_apart() calls f_string_dynamic_terminate_after().

I started to convert some of the macro delete functions in the Fake program to actual functions, but this process is very incomplete.
Add a couple of cache objects to th Fake program.
There are a lot of areas where caching can be used for increasing memory use efficiency, but much of this is ignore for now.
I hope to do more work in more completely utilizing caches in the Fake program before the upcoming stable release.

The Fake program needs to use the fake_default_allocation_small_d more consistently rather than F_memory_default_allocation_small_d.

Miscellaneous "Progress: Continue mass converting to f_string_static_t." related changes in the Fake program.
Some of these are just f_print_format() string fixes where '%S' is changed to '%Q' or '%r'.

The fake_make_operate_process_run() can be optimized to just perform an offset on the array rather than making an entirely new copy.
This should save a notable amount of memory.

2 years agoUpdate: Add F_buffer_overflow and F_buffer_underflow status codes.
Kevin Day [Tue, 8 Feb 2022 00:56:30 +0000 (18:56 -0600)]
Update: Add F_buffer_overflow and F_buffer_underflow status codes.

I am rather surprised that I don't already have at least F_buffer_overflow.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Mon, 7 Feb 2022 03:42:46 +0000 (21:42 -0600)]
Progress: Continue mass converting to f_string_static_t.

This includes some performance tweaks based on the previous commit in regards to file stream read inefficiency.

2 years agoBugfix: File stream read inefficiency, allocation f_string_t instead of char, and...
Kevin Day [Mon, 7 Feb 2022 03:03:52 +0000 (21:03 -0600)]
Bugfix: File stream read inefficiency, allocation f_string_t instead of char, and actually use state.step_small.

The file stream reader requires the buffer to be pre-allocated.
Prevent the resize from resizing an extra time if the resulting size read is smaller than the requested size.
The caller can then optimize this by setting the read size to 1 digit larger than the actual file size.
Also switch to fread_unlocked() and handle the locks manually.

The strings are being allocated as f_string_t.
The f_string_t type definition is actually a "char *".
This is the size of a memory address (and could be as large as 64-bit type on 64-bit architectures).
This is a huge mistake because this should only be using size of char, which is 1.

I provided a state.step_large and state.step_small to the FSS functions as a quick solution for more control over memory management.
It turns out this is not being used and for very large files this can be very wasteful.
In the long term, I believe a better fix is needed where the files are pre-processed to determine the objects and contents.
Then, the structures can be allocated with a known size.
The reason for this is that it seems that memory resizes are significantly more expensive than processing an arbitrarily large string.
Increasing the cost of processing that string from one time to two times is likely worth the cost to save time and resources lost due to memory re-allocations.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sun, 6 Feb 2022 17:13:06 +0000 (11:13 -0600)]
Progress: Continue mass converting to f_string_static_t.

I've noticed several things that need cleaning and improvement, such as:
- I should make an f_string_dynamic_partial_rip() and have f_string_dynamic_rip() be consistent with other functions lie f_string_dynamic_append().
- iki_read is a bit sloppy in memory, I need to figure out why (and I imagine other are too).
- I've started clearing out old uses of object and content but I am concerned that I overdid the cleanup (I need to re-check some of this in the FSS programs).

There will most definitely need to be another cleanup pass on all of the programs focusing on cleaning up and improving the programs before I make my stable releases.
For now, I am ignoring those problems so I can better focus on f_string_static_t conversions.
Once the programs are updated with the current set of f_string_static_t, I still need to go through all of the remaining level_2 and lower functions to convert many of the functions still using f_string_t that should now be f_string_static_t.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sun, 6 Feb 2022 00:57:37 +0000 (18:57 -0600)]
Progress: Continue mass converting to f_string_static_t.

Of particular note are:
- Implementation of fll_program_data_t to provide a standard structure for basic use.
- f_color deallocation function with appropriate unit tests.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sat, 5 Feb 2022 04:28:55 +0000 (22:28 -0600)]
Progress: Continue mass converting to f_string_static_t.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Fri, 4 Feb 2022 05:02:58 +0000 (23:02 -0600)]
Progress: Continue mass converting to f_string_static_t.

Additional cleanups and improvements performed as noticed.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Wed, 2 Feb 2022 05:45:26 +0000 (23:45 -0600)]
Progress: Continue mass converting to f_string_static_t.

2 years agoUpdate: Use raw printing whenever safely possible and add missing raw safe print.
Kevin Day [Tue, 1 Feb 2022 03:09:45 +0000 (21:09 -0600)]
Update: Use raw printing whenever safely possible and add missing raw safe print.

The formatted print is supposed to support "%R".
The "%R" is now (hastily) implemented.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Mon, 31 Jan 2022 04:40:58 +0000 (22:40 -0600)]
Progress: Continue mass converting to f_string_static_t.

The console program has been changed to populate an argv as a f_string_static_t.
This avoids having to run strlen() and strnlen() everywhere for console parameter processing.
The program that processes the parameters already does this, so save the values in an f_string_static_t.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sun, 30 Jan 2022 00:52:39 +0000 (18:52 -0600)]
Progress: Continue mass converting to f_string_static_t.

Other fixes, cleanups, and improvements are made when observed.

2 years agoProgress: Begin mass converting to f_string_static_t.
Kevin Day [Fri, 28 Jan 2022 02:05:50 +0000 (20:05 -0600)]
Progress: Begin mass converting to f_string_static_t.

While working on the control and controller programs I realized that I should move from f_string_t to f_string_static_t.
This is a major change but it must be done before the API freeze for the stable release.

A long time ago, early in the design process of FLL, I considered using f_string_static_t (which was only f_string_dynamic_t at that time).
I had decided for simplicity and stuck with f_string_t.

In practice I have found that I was doing a lot of working creating f_string_static_t only to do more work to move it back to f_string_t.

This is an overall simplification of the project at the cost of some resources and some flexibility.
I've only just begun but I am already seeing what I believe to be is simpler code.

The biggest gotcha will be this will likely introduce bugs due to the sheer size of the changes.
The primary bug that will not be easily detected are the formatted print where '%s' needs to now become '%q' and '%S' needs to now become '%Q'.

There are also numerous potential optimizations that I am ignoring for now due to the size of this commit.
This work is by far not done and I expect all programs to fail.
I only tested compiling fake and I got it as far as running the help program.

2 years agoProgress: Control and Controller.
Kevin Day [Wed, 26 Jan 2022 05:41:14 +0000 (23:41 -0600)]
Progress: Control and Controller.

This primarily focuses on migrating the controller static strings from f_string_t to f_string_static_t.
Other changes and fixes do exist.

2 years agoUpdate: Add f_conversion unit tests.
Kevin Day [Wed, 26 Jan 2022 03:26:26 +0000 (21:26 -0600)]
Update: Add f_conversion unit tests.

There are far more permutations than what are handled within this commit.
Focus on only the most basic set of checks to write the unit tests for.

There are problems with mocking fwrite_unlocked() via the wrap strategy used by the linker.
I do not know why this is not working so I commented out the code and moved on.

Several problems are exposed and are solved.
- This exposed the fwrite_unlocked() return results problems.
- Add support for big endian (untested).
- Zero values are not correctly built (see below).

Make sure to count the zero number as a single digit.
Get rid of the "used" count and rely only on the digits.
Do not include the 0 digit when determining the padding.
Change the prefix append function to accommodate 0 and consistently call the prefix append function.

Update documentation comments.

2 years agoCleanup: Add newlines before continue statements.
Kevin Day [Wed, 26 Jan 2022 03:12:38 +0000 (21:12 -0600)]
Cleanup: Add newlines before continue statements.

2 years agoBugfix: Incorrect return result for fwrite_unlocked().
Kevin Day [Wed, 26 Jan 2022 02:45:37 +0000 (20:45 -0600)]
Bugfix: Incorrect return result for fwrite_unlocked().

The return result for fwrite_unlocked() is not negative one.
Zero or some value less that the length is returned.

An error occurs when the return value is smaller than the given string length.

I likely confused write() return results with fwrite_unlocked().

2 years agoCleanup: Make failure mock boolean a constant.
Kevin Day [Wed, 26 Jan 2022 02:17:31 +0000 (20:17 -0600)]
Cleanup: Make failure mock boolean a constant.

2 years agoBugfix: Incorrect string is being printed on error message.
Kevin Day [Tue, 25 Jan 2022 03:10:43 +0000 (21:10 -0600)]
Bugfix: Incorrect string is being printed on error message.

2 years agoCleanup: Unit test header macros should end in an 'h'.
Kevin Day [Mon, 24 Jan 2022 03:52:46 +0000 (21:52 -0600)]
Cleanup: Unit test header macros should end in an 'h'.

2 years agoCleanup: Use correct project name.
Kevin Day [Mon, 24 Jan 2022 03:52:27 +0000 (21:52 -0600)]
Cleanup: Use correct project name.

2 years agoUpdate: Add f_control_group unit tests.
Kevin Day [Mon, 24 Jan 2022 03:51:02 +0000 (21:51 -0600)]
Update: Add f_control_group unit tests.

2 years agoProgress: Continue working on implementing control and controller programs.
Kevin Day [Mon, 24 Jan 2022 01:40:38 +0000 (19:40 -0600)]
Progress: Continue working on implementing control and controller programs.

The control program and the controller program will communicate using datagram named sockets.

2 years agoCleanup: The documentation.
Kevin Day [Mon, 24 Jan 2022 01:39:01 +0000 (19:39 -0600)]
Cleanup: The documentation.

2 years agoUpdate: Code cleanups and return explicit error code when needed to.
Kevin Day [Mon, 24 Jan 2022 01:37:29 +0000 (19:37 -0600)]
Update: Code cleanups and return explicit error code when needed to.

There F_parameter (with error bit) is now returned.

2 years agoUpdate: Fix incorrect documentation and remove pointless code.
Kevin Day [Mon, 24 Jan 2022 01:33:55 +0000 (19:33 -0600)]
Update: Fix incorrect documentation and remove pointless code.

The documentation for some functions do not accurately reflect what the documentation does.
This is likely a copy and paste over sight.

The f_string_dynamic_resize() is adding one to destination->used.
It then updates the used to be that new number minus one.
This is pointless.
Don't bother with the "total" variable at all.
Also use the F_memory_default_allocation_small_d by rather than 1 when resizing.

2 years agoUpdate: Use libc functions more in f_color.
Kevin Day [Wed, 19 Jan 2022 00:37:32 +0000 (18:37 -0600)]
Update: Use libc functions more in f_color.

The f_string_dynamic_increase_by() guarantees the size is allocated.
The f_string_dynamic_append() doesn't need to be called when the simple memcpy() can be directly called.

Doing this saves the status check and the additional function calls.
This likely increases performance but this performance increase potential has neither been tested nor confirmed.

2 years agoUpdate: Add f_console unit tests.
Kevin Day [Mon, 17 Jan 2022 17:49:35 +0000 (11:49 -0600)]
Update: Add f_console unit tests.

I did not handle all possible permutations for the f_console_parameter_process() tests.
I instead went with a good enough for now approach.

2 years agoBugfix: The f_console project after writing unit tests.
Kevin Day [Mon, 17 Jan 2022 17:44:14 +0000 (11:44 -0600)]
Bugfix: The f_console project after writing unit tests.

Rename has_values to values_total to better communicate the intent of the property.

Expand out the macros across lines.

In f_console_identify() the strnlen() function is not properly handling when the character pointer is NULL, resulting in a segfault.
While this might be considered a bug in strnlen(), just make sure that a NULL pointer is not sent to strnlen().

Miscellaneous code structure cleanups.

Replace allocation macros with actual functions.

2 years agoUpdate: Console parameter macro, console structure organization, and add initializer...
Kevin Day [Mon, 17 Jan 2022 05:35:51 +0000 (23:35 -0600)]
Update: Console parameter macro, console structure organization, and add initializer for some integer types.

The integer types don't generally need this but for consistency reasons try to always have the initializer defined.