Security: Missing range checks on comment processing.

The fss_payload_read such as the runtime test is wrong:
  # fss_payload_read -ocn payload level_3/fss_read/tests/runtime/fss_000e/source/test-0002-mixed.fss -t

The output is 1 but should instead be 4.
  # fss_payload_read -ocn payload level_3/fss_read/tests/runtime/fss_000e/source/test-0002-mixed.fss | wc -l

Investigating this problem revealed that the comment handling code is failing to perform a range check.
The overflow is causing the stop range to point to some random memory address which is almost always larger than the file.
This results in the count being wrong.

This bug is a security concern.
Add the range check in all places where this range check is missing for the comments.

Add additional runtime tests to reflect the condition that exposed this issue.
There is now a "payload" test for all runtime tests.

Update the testfile to make manually generating and verifying the runtime tests easier.
The "generate" and "verify" fakefile operations could not be directly called due needing additional data setup.
Also expose the "test-" setting as a parameter to make changing it easier.

Cleanup: Remove unused and commented out callback in fss_read.

Bugfix: FSS Payload Read is not counting the Content when counting the total.

The fss_payload_read is returning the wrong results.
The "fss_read -A payload" is returning the correct results.
An incorrect flag is being specified.

Update: Apply the not operator logic to avoid needing to literally specify it.

Regression: IPv6 detection is failing after isdigit() and similar changes.

The commit 50788517d37ece42f32f6906078d2d59330ec3c9 missed a not operator for the IPv6 address.
The unit tests revealed the problem.

This adds the missing exclamation character '!'.

I also overlooked some cases where I could perform the same optimization used for the referenced commit in some places.
Also use the literal ASCII characters rather than the strings.
The ASCII codes are required and expected and substitution of the characters for the algorithm do not make sense here.
These are characters rather than strings.

Bugfix: Incorrect settings in the fss_read runtime tests.

Several of the tests are "object" tests but use "content" data.
Some tests are both "object" and "content" tests but do not use both.
This is now updated, however there are too many tests to update and fix.
The output is simply re-generated, which to forces a success (even if they should fail).
I need to come back at a later time and review the output.

There are some known problems such as:
# fss_basic_list_read -oc -n hi -t level_3/fss_read/tests/runtime/fss_000e/source/test-0002-mixed.fss
Which results in a wrong count.

# fss_basic_list_read -c -n hi -t level_3/fss_read/tests/runtime/fss_000e/source/test-0002-mixed.fss
vs
# fss_basic_list_read -c -n hi level_3/fss_read/tests/runtime/fss_000e/source/test-0002-mixed.fss | wc -l

Update: Greatly reduce memory consumption by implementing simple low allocation step.

Historically the step was always 3.
I found, over time, that increasing the step greatly to something like 128 could greatly reduce memory consumption and performance in many cases.
In the situation where a large number of small objects are allocated then this number like 128 becomes highly abusive.

The simple low allocation step will only allocate a single unit on the very first allocation.
If the next allocation is on an array that has a size greater than one and less than four (via the tiny define), then the step size is set to four during allocation.
If the next allocation is on an array that has a size greater than four and less than eight (via the small define), then the step size is set to eight during allocation.
If the next allocation is on an array that has a size greater than eight and less than sixty-four (via the large define), then the step size is set to sixty-four during allocation.
In all cases, if the request step is less than the calculated step, then the requested step is used.
For example, if the requested step is twelve, then after eight is allocation, then the next generated step size is twelve rather than sixty-four.

Using some test files, shows the following reduction:
- Old: ~8GB of RAM -> New: ~200MB of RAM.
- Old: ~500MB of RAM -> New: ~20MB of RAM.

Update the unit tests accordingly and fix any problems exposed.

Update: Reduce memory usage by fl_fss_basic_content_read() in some circumstances.

The fl_fss_basic_content_read() is simple enough that the allocation of the found array is only needed on success.

Update: Optimize away the isdigit(), isalpha(), isalnum(), and isxdigit().

I did some research and learned that the "is*()" functions can greatly affect performance due to locale and other manners.
I originally used these to allow for well established optimization to take place.

Replace these with some mathematical operations that should increase performance.
This also means no function call on the stack.
This project is already function stack heavy by design and so reducing functions when easy is a great thing.

Start using literal characters rather than the standard strings for the UTF related functions.
In these cases the ASCII expectation is guaranteed.
The ability to override these is also not practical as the meaning should not change.

I have not looked at all of the "is*()" functions and I may address any remaining ones at a later time.
I potentially may also investigate mapping tables to further improve performance.

These math calculations can be used in a lot of the non-ASCII UTF ranges as well.
I opted to not do these just yet given that such work will take a large amount of time.

I have not done any performance analysis yet but I plan to do so.

Feature: Add clock get, set, and precision functions to f_time.

Bugfix: The private_f_abstruses_delete_switch() and private_f_abstruses_destroy_switch() both need wrapping defines.

The previous commit a2e1999a3e5c02a980fcbe9977b059c4639ea741 has a wrong define wrapper added.
The _di_f_abstruses_delete_ was added when it should instead be _di_f_abstruse_map_delete_.

The private_f_abstruses_destroy_switch() is also overlooked by that commit.
This adds the _di_f_abstruse_map_destroy_ to the private_f_abstruses_destroy_switch().

Cleanup: Build settings and fakefile mode related settings and documentation.

Bugfix: Incorrect wrapping defines around private_fl_fss_basic_write().

Bugfix: _di_f_file_write_range must instead be _di_f_file_write_range_.

Bugfix: Missing define wrapper for private_f_rip_find_range(), private_f_abstruses_delete_switch(), and private_fl_payload_header_map_maps().

Cleanup: Build settings and fakefile mode related settings and documentation.

Bugfix: The stand alone utf8 program should not be specifying build_sources_library.

Cleanup: Use a pointer to make the code more readable in fake_build_load_setting_process().

Bugfix: The build_name and version numbers should not support forward or backward slashes.

This utilizes the logic from the "stage" setting that strips out invalid slashes.

The standard is updated accordingly to make this behavior more explicit.

Bugfix: Add stage setting to standards to prevent build state file conflicts.

The build state stage files are conflicting in some cases.
The old solution to this problem has been observed as insufficient.
The different build settings might have the same exact file name.

I have tossed around the idea of a settings Object such as "stage" in the past but I had previously opted against it.
I now believe that skipping over this was a mistake.

Add a new feature to the standards to fix this bug.
The "stage" value may now be specified.
The fakefile files accept the "stage" setting and passes the result along to any build settings.
The settings files accept the "stage" setting and uses the value by appending it to the stage files.

Only a single value is supported.
The forward and backward slashes are explicitly prohibited.
Other special characters are recommended to be avoided given the possibility of local file system problems.
Rather than erroring out, this slashes are stripped out.

The bootstrap.sh script is updated to support this.
The support for "stage" in the boostrap.sh script is very limited.

Refactor: Change bit-wise enumerations into defines.

I did some reviewing of how the enumerations used for flags are used.
These generally are not being used as a type.
An enumeration slightly increases the resulting binary size.
Enumeration values might be limited to just type of int.

This seems like an easy (small) optimization to just use defines rather than enumerations for flags and other bit-wise numbers.

Update: Remove the control program.

The control program is now in its own separate project.

Update: Refresh the stand alone build files.

Update: Add missing ifndef wrapping define for the FSS status codes.

Cleanup: Improve fakefile help using the bracketed IKI syntax.

Update: The format sentence end strings, making their usage more clear.

The sentence ends, unlike the other similar global static strings, does not have the "_single" in the name.
Add the "_single" in the name and then for consistency addthe case where there should be no "_single".

These cases are as a result now handled:
- ".%r".
- "'.%r".
- "%[.%]%r"
- "%['.%]%r"
- "%[%[.%]%]%r"
- "%[%['.%]%]%r"

Cleanup: Remove extra line.

Update: Yet another file with a copyright year that needs to be updated.

I overlooked this one it seems.

Cleanup: Fix grammar mistake in the standard.

This does not alter the "content" of the standard and only alters the grammar.
The version does not, therefore, have to change.

Update: Add F_lock_spin and F_lock_spin_not to status codes.

I overlooked spin locks when I added the mutex and the read and write lock status codes.

Update: Add initialize macros for time.h structures and fix initializer for f_date_t.

Update: Add additional F_enter and F_enter_not status codes to act as the opposite of F_exit ad F_exit_not.

Update: Documentation and specifications and add additional status codes.

I discovered that some of the documentation and specification files are out of date and are now updated.

Add additional status codes regarding locks.

Update: Remove Controller program as it is now migrated into its own separate project.

Cleanup: Documentation comments regarding optional parameters.

Cleanup: Minor style improvements and make pointers constant where possible.

Cleanup: Use _1 and _2 consistently in fl_print_t macro functions.

Update: Use memmove() instead of memcpy() for memory append and memory append all functions.

These memory append functions do not state that the memory cannot overlap.
The use of memmove() is safer in that it allows for overlapping memory.

Bugfix: The f_memory array append and append all need to allow for sources to be NULL.

A valid array that is not allocated will have a size of 0.
Passing these to the function should not result in an error.
If the size is 0, then there is nothing to copy even though array is NULL
This is all fine.

Update the documentation comments to be more explicit on NULL in the parameters.

Cleanup: Fix incorrect documentation regarding the print functions and the length parameters.

Cleanup: Add time based version in each of the documentation and specification files where it is missing.

I am just setting the current date rather than trying to figure out the date of last change.

Update: Add F_file_empty_not to status codes.

Update: Change f_memory_array_increase() and f_memory_array_increase_by() design.

Don't bother setting the *used size to F_number_t_size_unsigned_d on large size.
Instead, just return an error of F_array_too_large.

Add an unsigned overflow check such that if the increment results in an overflow, then the resulting length will be smaller than the original length.

Update the documentation comments.

Bugfix: Incorrect condition checks for wrap and replace parameters in iki_read.

Bugfix: Incorrect flag bits for combined flag hexidecimal digit.

Security: Console parameter single short values array is too small.

The short parameters "needs" variable now increases the array size before assignment.

The following command line calls are used to expose the problem and its resolution:
  # fss_basic_list_read specifications/fss.txt +Q -cn "Featureless Settings Specifications" | iki_read +Q -w -rrrrrrrr anti-KISS 'anti-<abbr title="Keep It Simple Stupid">KISS</abbr>' ASCII '<abbr title="American Standard Code for Information Interchange">ASCII</abbr>' BOM '<abbr title="Byte Order Mark">BOM</abbr>' FSS '<abbr title="Featureless Settings Specifications">FSS</abbr>' KISS '<abbr title="Keep It Simple Stupid">KISS</abbr>' UTF-8 '<abbr title="Unicode Transformation Format 8-bit">UTF-8</abbr>' URL '<abbr title="Byte Order Mark">URL</abbr>' XML '<abbr title="Extensible Markup Language">XML</abbr>' -WWW character '<code class="code">' "</code>" code '<code class="code">' '</code>' italic '<em class="em">' '</em>'

Cleanup: Fix section name of Magic Block structure.

This is not a functional change to the specification and so the version s not changed.

Update: f_iki unit test to include changes from 0.6.

The 0.6 branch has added support for grave.
The unit tests were then updated.
This forward ports those unit test changes.

Update: Specifications to use 'grave' as the common term for 'backtick'.

Bugfix: The fl_directory_create() needs to also handle F_file_found_not.

Creating an entire directory tree is not working as expected when creating non-existent directories that are two levels or greater deep.
For example take "a/b/c", if "a" exists but neither "a/b" nor "a/b/c" then the create fails.
For example take "a/b", if "a exists but not "a/b" then the create succeeds (or appears to because I never noticed the bug before).

The ENOENT (aka: F_file_found_not) is sometimes returned rather than ENOTDIR (aka: F_false) from f_directory_exists().
Process the ENOENT F_file_found_not.

I noticed some problems in the logic of the fl_directory_create() function as well.
The memcpy() needs to start from the same offset as the source copy offset.
Otherwise, the copy is overwriting the string.
Make sure to place the NULL at the "at_path" rather at "at_path - at_tree".

The initial assignment of "tree.used" is not necessary.

Update: Add all of the fl_print_format() replacement sequences as a static string.

I probably should create a single and double context for every sequence as well.
That is rather time consuming so I will do this some time in the future.

Update: The f_capability styles and use constant pointers in more places.

Feature: Add "Magic Bit" to the FSS-000F (Simple Packet) format.

Make the FSS-000F (Simple Packet) format more generalized and flexible by allowing other payload formats than only formally supporting FSS-000E (Payload).

This adds a new optional "Magic Block" that is designated via the "Magic Bit", which is the third bit from the left.

This should make it easy to store the Simple Packet as a local file.
This should make it easier for routing to optimize processing of the packet by quickly identifying the packet.

The "Control Block" and the "Size Block" have static sizes and positions, which should make it easy to identify the "Magic Block".
The third bit should be checked and then the "Magic Block" should be checked when trying to quickly identify the packet type via the "Magic Block".

Cleanup: Remove ++first and ++last parameters that was overlooked.

The man pages are now updated to remove these.
The control program will eventually be in its own project but for now just update it.

Update: Add F_instance status codes.

I am now using "instance" in parallel with "process".
Provide an "instance" codes in a similar manner.

Cleanup: Add newline before NULL comment and add dash to de-allocate.

The "Must not be NULL." documentation comments are not consistently structured.
I don't remember which decision I made and so now I am just forcibly setting the same structure with a new line before it.

Improve grammar by adding a dash to de-allocate.

Bugfix: f_date_simple_t_initialize is using wrong initializer.

Update: Remove the ++first and ++last parameters and relating logic.

I have used this for a while and have decided these are not worth the effort.
The addition is very nice but the additional code and logic is just extra maintenance and complexity for very little gain.

Cleanup: Fix grammar in comment.

Cleanup: Warning in unit f_utf tests under GCC 14 regarding type.

The string comparison of an integer based value is correct.
Add an explicit cast to make this intent clear and to silence the warnings.

Update: Build files to have the correct build modes.

This adds missing build modes and makes sure the correct build modes for special builds (like the level builds) is correct.

Update: Add "const" to the pointer in some signal functions.

These are passed directly to the signal functions that do not have "const" qualifier.
This needs extensive testing.

Feature: Add f_time_sleep_spec() for providing nanosleep().

Cleanup: Add missing new line.

Update: Add "const" to the pointer in numerous thread functions.

These are past directly to the thread functions that do not have "const" qualifier.
This needs extensive testing.

Clean up related function comments.

Feature: Add pid_t array types, adding appropriate unit tests.

Update: Add additional time types, refactor f_time_spec and similar, and rebuild stand alone build configs.

The f_time_spec_t is not the same as "struct timespec".
Avoid confusion by renaming it to f_time_simple_t.
rename f_date_spec_t to f_date_simple_t for the same reason.

Add additional types and now that f_time_spec_t is available, create f_time_spec_t as a typedef of "struct timespec".

Update the stand alone build scripts with all of these changes and some changes from previous commits.

Cleanup: Build settings files, use alphabetic ordering in more places.

Feature: Add additional f_time functions and types that wrap C time functions.

This also adds the appropriate basic unit tests.

Cleanup: Fix documentation comments wording in symbol parameter.

Cleanup: Remove stale files not used anymore.

Update: Add experimental ctags generation and ctags file.

This is used by projects like geany.
Unfortunately, the code is terrible and the documentation is like rotten eggs.
They seem to somehow put hard-coded paths in the ctag files which makes absolute no sense.
Then, the geany project provides completely different ctag files that do not have this path nonsense.
The geany documentation does not relate to their actual ctag files and the ones provided by their example.
The Universal-ctags documentation, while having a lot of words, is misleading, awkward, and doesn't even describe how to get rid of these paths nor how to omit the paths.
Following the parts that does seem to read as if it means removing the path does absolutely not this.
The geany does not even import this file properly, despite the command coming directly from geany's documentation.

Using geany to generate this produces better results but also includes a lot of other junk that is unwanted.
It also includes the file paths.

Having the file paths makes these generated ctag files completely useless as it requires some other person to have the exact same absolute file path structure.
For now, attempt to strip out the absolute path using a sed command.

Update: The build scripts copyright to 2024.

I overlooked these files when I updated the copyright year to 2024.

Update: Follow up changes for adding sockaddr_storage use in the socket type.

The commit 6fa1ec1f961ba4bf134d6db4e6ee70f56756c5ab left out a few files.
I also forgot to add the "_e" so that I have "f_socket_address_form_storage_e".

Add use of this in the unit test.
Remove seemingly duplicate unit tests.
Maybe I was trying to do a case of "bind()" returning "false", but the code does not do that in the duplicate unit tests.
Remove the duplicate unit tests as I can always add the "false" case in the future if I so choose to.

Update: Add sockaddr_storage use in the socket type.

Also fix the alphabetic order of "generic" in the documentation comments.

Update: Have fll_program_print_copyright() use year and author as a parameter.

The year and author may be more subject to change.
Relocate this into a global static string and provide this is a parameter to fll_program_print_copyright().
The fll_program_print_copyright() is only intended for FLL projects.

Additional programs that I write, like controller, may also depend on this.
These may be operated on at a different time and thus may require the year or author to be updated.

Any more changes than this and it is probably a better idea to just implement ones own copyright print function.

Cleanup: The OSLv1 license usage, fixing license reference.

The license should read "open-standard-license-1.0-or-later" rather than "open-standard-license-1.0".
The license file itself is already labelled this.
These files simply were not correctly updated.

Update: Add support for disable pthread mutex attr prioceiling for systems that do not support it.

This is a follow up to the commit 66f43e90823f75ba7261de2abaf0e809b47a2c65.

Update: Add support for disable pthread mutex prioceiling for systems that do not support it.

The pthread mutex prioceiling functions are not supported on PostmarketOS for Pinephone.
The PostmarketOS for Pinephone is an A64 Arm system based on the Alpine Linux distribution.

Update: Remove -D_FORTIFY_SOURCE because several systems automatically add this and the screen is spammed with warnings.

Update: Use bitwise operation check in f_thread_cancel_state_set().

Also update the comment to make the context of "this" to be more clear.

Cleanup: Incorrect example in IKI specification.

The example in the iki.txt specification has several errors.
Of particular note is the first code is incorrectly escaped and the terminating single quote discludes the example block.
The Objects and Contents example results is entirely incorrect.

There is no change to the specification rules itself and I do not technically need to change the version.
However, given how long it has been incorrect I have decided to up the version date to make the correct file easier to identify.

Update: The version date in the documents documentation for Featureless Make.

Bugfix: Problematic handling of object files.

The object files are not being compiled correctly when performing a static build.
There may now be multiple object sources files which are now built individually.

The build object sources must be built without source code files.
The logic is relocated into a fake_build_library_static_object() function to build the object files.
These files are then included when static linking.
A new build stage is also added to accommodate this.

Building the objects should not include libraries linked.
Remove the logic that auto-adds the library linkage when building objects.

Break out the "path_sources" Object into multiple sub-parts:
  - "path_sources_headers".
  - "path_sources_library".
  - "path_sources_object".
  - "path_sources_program".
  - "path_sources_script".

Update the documentation and specification files accordingly.

Add missing version dates to the specifications.

Update the bootstrap.sh script with these changes.
Fix incidental problems discovered in the bootstrap.sh script:
  - Remove already compiled warning as it is not needed and is not exhaustive.
  - Improve handling of directory detection and simplify the relating code.
  - The built setting files are now being properly checked (a regression caused them to not be properly checked).

Update: Copyright year in man pages ad files.

These were overlooked and have now been corrected.

Bugfix: Fake build settings specification inconsistently defines path_sources_object and fix consistency problem.

The "path_sources_object" setting designates that this can handle multiple files but the implementation fails to handle this.
Rewrite the implementation to handle multiple object files by creating each object file separately.

The specification also designates that the "build_name" is used, which makes no sense for multiple object files.
Remove this such that the object files are created based on the original source file name (without the extension).

Clarify the documentation, updating the specification.

Break out the individual settings that are related that should be updated for consistency.
These are path_sources_headers, path_sources_library, path_sources_program, and path_sources_script.

Cleanup: Simple mistakes in the Example program sources.

Fix the use of "Firewall" which should instead be "Example".
Remove extra space.

Progress: Controller program migration from 0.6 to 0.7.

This gets most things compiling.
This should not work.
The changes made are just to reduce the compilation errors and to get the code into a near good enough state to start really migrating.

I am going to rewrite this side-by-side to this code now that I have seen what I need to do.
I may likely use this as a starting point for porting this over into its own separate project.
That project has already been created but is pretty much empty.
This will be long and rather painful migration process but it will be worth it.

Progress: Controller program migration from 0.6 to 0.7.

Refactor: The map "name" into "key" for the f_utf project.

The commit 3fbd696f05704214ad4b6d508ae201f10c4adc5d failed to include the f_utf project.

Progress: Controller program migration from 0.6 to 0.7.

There are way too many changes needed.
Start doing some initial structure updates and directly relating code.
Move a lot of the structures to common.h, temporarily.
This will eventually be moved out.

Update: FSS-000E specification, adding "salt" and "time" as suggested headers.

I intend to keep the recommended and now suggested headers to a bare minimum.
I have decided that "salt" and "time" should be common enough and important enough to add to this small list.

Feature: add f_random_array_shuffle() function to f_random().

Provide an array shuffle function using standard random function calls.

This is ideal for use in randomizing packet header order for increase network packet security.

Add appropriate unit tests.

Cleaup: Inline comment regarding cast to uint8_t in f_memory functions.

Update: Wrap up unit tests for fl_fss_payload_header_map() and fix observed problems.

The unit tests for fl_fss_payload_header_map() are lacking significant combinations and permutations.
This, however, is being considered good enough for a first pass.
More complex and broader cases will hopefully be handled in some likely relatively distant future.

The null_quantity flag does not make any sense as the variable "total" can be 0 and that should not logically be considered NULL.
Make sure strings are NULL terminated for the cases where the code adds an extra space and then unassigned the used length of that space.
Handle cases where range.start > range.stop, aka NULL range.
Various other fixes.

Progress: Add more unit tests for fl_fss_payload_header_map() and fix observed problems.

There needs to be f_abstruse_t and f_abstruse_map_t delete and destroy methods.
Update the builld disable headers (which shows that I haven't updated that in a while).

The private_f_abstruses_delete_switch() is not correctly deallocating data.

The f_fss_payload_header_state_t and f_fss_payload_header_internal_t should instead be fl_fss_payload_header_state_t and fl_fss_payload_header_internal_t.

Progress: Add dynamic, dynamics, and map unit tests for fl_fss_payload_header_map() and fix several problems.

Switch character width loops with memcpy().

Add cases where trailing string should be removed.

Make sure private_fl_fss_basic_write() is only called when the cache is not empty.
Make sue the internal.range is properly set when calling private_fl_fss_basic_write().

Ensure that when any quote is used that they get quoted where appropriate.

Ensure that when key has used of 0, the start range is greater than the stop range to designate a NULL range.

Add dynamic, dynamics, and map unit tests.

Make the tests test the string first rather than the used so that when there is an error it is easier to debug.

Remove unused/stale commented out code.

Switch fss_write flag from 16-bit into 32-bit.
This is necessary because more bits than 16 are in use.

Progress: Add strings unit tests for fl_fss_payload_header_map().

Bugfix: Only add extended next space when there is a next number.

Bugfix: FSS Extended Write is incorrectly adding a delimit slash for the first quote character.

If the first character in the string is a quote, then a delimit slash only needs to be added when there is a space after the quote.
If there is a graph character after the quote, then the delimit slash is not needed.