]> Kevux Git Server - fll/log
fll
2 years agoCleanup: Relocate unit tests under a "unit" directory.
Kevin Day [Fri, 11 Feb 2022 23:40:14 +0000 (17:40 -0600)]
Cleanup: Relocate unit tests under a "unit" directory.

This improves organization and makes room for other kinds of tests.

2 years agoRegression: Make sure setting.path_pid is NULL terminated.
Kevin Day [Fri, 11 Feb 2022 23:22:23 +0000 (17:22 -0600)]
Regression: Make sure setting.path_pid is NULL terminated.

The libc path functions end up accessing this string.
The libc functions require NULL terminated strings.

2 years agoUpdate: Remove fl_console from example bootstrap script.
Kevin Day [Fri, 11 Feb 2022 04:52:00 +0000 (22:52 -0600)]
Update: Remove fl_console from example bootstrap script.

There no longer is an fl_console project.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Fri, 11 Feb 2022 04:32:22 +0000 (22:32 -0600)]
Progress: Continue mass converting to f_string_static_t.

This should get all of the programs compiling again.
There is still more work to do with switching to f_string_static_t, but the current pass is considered complete.
Another pass will follow up shortly.

2 years agoRefactor: fl_console_parameter_to_string_dynamic_directory() to f_path_directory_clea...
Kevin Day [Fri, 11 Feb 2022 00:14:01 +0000 (18:14 -0600)]
Refactor: fl_console_parameter_to_string_dynamic_directory() to f_path_directory_cleanup().

I decided to improve the mentioned function and realized that it could be further generalized and move into the f_path project.
There is nothing else in fl_console and as such the fl_console project is entirely removed.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Thu, 10 Feb 2022 04:01:02 +0000 (22:01 -0600)]
Progress: Continue mass converting to f_string_static_t.

2 years agoRegression: The parameters should not print when string.used is 0.
Kevin Day [Thu, 10 Feb 2022 03:47:58 +0000 (21:47 -0600)]
Regression: The parameters should not print when string.used is 0.

Empty brackets should not be printed when the parameters is empty.

2 years agoBugfix: The prepend option is being incorrectly applied.
Kevin Day [Thu, 10 Feb 2022 03:45:28 +0000 (21:45 -0600)]
Bugfix: The prepend option is being incorrectly applied.

This is a bug that results from a naming context conflict where the "prepend" string must be "appended" to the buffer.
The f_string_dynamic_append() should be called instead of f_string_dynamic_prepend().

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Wed, 9 Feb 2022 04:53:22 +0000 (22:53 -0600)]
Progress: Continue mass converting to f_string_static_t.

Some of the append functions use *_adjust() functions and are now using *_resize() functions.

The f_string_dynamicss_t and similar structures are added.
This is done hastily with the expectation that I will get to writing unit tests eventually and will better review this code.

2 years agoSecurity: Invalid read in private_f_print().
Kevin Day [Wed, 9 Feb 2022 04:49:03 +0000 (22:49 -0600)]
Security: Invalid read in private_f_print().

The variable "i" is incremented inside the loop without checking that i < length.
This potentially results in an invalid read (such as when the string is not NULL terminated after the designated length).

2 years agoBugfix: Bugs and regressions in recent "Progress:.." commits as well as in the Fake...
Kevin Day [Tue, 8 Feb 2022 05:39:57 +0000 (23:39 -0600)]
Bugfix: Bugs and regressions in recent "Progress:.." commits as well as in the Fake program.

This is in a way a continuation of the "Progress: Continue mass converting to f_string_static_t." commits.
However, there were some notable bugs that needed to be brought out and I feel they deserved to be treated as a bug rather than in-progress code changes.

Put the testfile context in a quote and fix the color context to perform the reset rather than leak red all over the console.

NULL terminate some f_environment functions to make compatibility with working with NULL terminated string functions more straight-forward.
This is noticed with the libc/POSIX execute family of functions.

The fl_console_parameter_to_string_dynamic_directory() needed to be converted in regards to the mass converting to f_string_static_t.
Make sure NULL termination is performed, which is previously may not have been (prior to transition to f_string_static_t, making this a bug).

I accidentally over-fixed "c1906053 Bugfix: File stream read inefficiency, allocation f_string_t instead of char, and actually use state.step_small.".
There is a case where the array is in fact an array of f_string_t and I incorrectly changed it to "char", resulting in a regression.

Have the fll_fss_snatch_apart() use *_increase_by() and similar functions rather than *_resize().
The *_resize() functions are more expensive in that the *_increase_by() only perform reallocations when necessary whereas the *_resize() almost always performs reallocations.

Make sure fll_fss_snatch_apart() calls f_string_dynamic_terminate_after().

I started to convert some of the macro delete functions in the Fake program to actual functions, but this process is very incomplete.
Add a couple of cache objects to th Fake program.
There are a lot of areas where caching can be used for increasing memory use efficiency, but much of this is ignore for now.
I hope to do more work in more completely utilizing caches in the Fake program before the upcoming stable release.

The Fake program needs to use the fake_default_allocation_small_d more consistently rather than F_memory_default_allocation_small_d.

Miscellaneous "Progress: Continue mass converting to f_string_static_t." related changes in the Fake program.
Some of these are just f_print_format() string fixes where '%S' is changed to '%Q' or '%r'.

The fake_make_operate_process_run() can be optimized to just perform an offset on the array rather than making an entirely new copy.
This should save a notable amount of memory.

2 years agoUpdate: Add F_buffer_overflow and F_buffer_underflow status codes.
Kevin Day [Tue, 8 Feb 2022 00:56:30 +0000 (18:56 -0600)]
Update: Add F_buffer_overflow and F_buffer_underflow status codes.

I am rather surprised that I don't already have at least F_buffer_overflow.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Mon, 7 Feb 2022 03:42:46 +0000 (21:42 -0600)]
Progress: Continue mass converting to f_string_static_t.

This includes some performance tweaks based on the previous commit in regards to file stream read inefficiency.

2 years agoBugfix: File stream read inefficiency, allocation f_string_t instead of char, and...
Kevin Day [Mon, 7 Feb 2022 03:03:52 +0000 (21:03 -0600)]
Bugfix: File stream read inefficiency, allocation f_string_t instead of char, and actually use state.step_small.

The file stream reader requires the buffer to be pre-allocated.
Prevent the resize from resizing an extra time if the resulting size read is smaller than the requested size.
The caller can then optimize this by setting the read size to 1 digit larger than the actual file size.
Also switch to fread_unlocked() and handle the locks manually.

The strings are being allocated as f_string_t.
The f_string_t type definition is actually a "char *".
This is the size of a memory address (and could be as large as 64-bit type on 64-bit architectures).
This is a huge mistake because this should only be using size of char, which is 1.

I provided a state.step_large and state.step_small to the FSS functions as a quick solution for more control over memory management.
It turns out this is not being used and for very large files this can be very wasteful.
In the long term, I believe a better fix is needed where the files are pre-processed to determine the objects and contents.
Then, the structures can be allocated with a known size.
The reason for this is that it seems that memory resizes are significantly more expensive than processing an arbitrarily large string.
Increasing the cost of processing that string from one time to two times is likely worth the cost to save time and resources lost due to memory re-allocations.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sun, 6 Feb 2022 17:13:06 +0000 (11:13 -0600)]
Progress: Continue mass converting to f_string_static_t.

I've noticed several things that need cleaning and improvement, such as:
- I should make an f_string_dynamic_partial_rip() and have f_string_dynamic_rip() be consistent with other functions lie f_string_dynamic_append().
- iki_read is a bit sloppy in memory, I need to figure out why (and I imagine other are too).
- I've started clearing out old uses of object and content but I am concerned that I overdid the cleanup (I need to re-check some of this in the FSS programs).

There will most definitely need to be another cleanup pass on all of the programs focusing on cleaning up and improving the programs before I make my stable releases.
For now, I am ignoring those problems so I can better focus on f_string_static_t conversions.
Once the programs are updated with the current set of f_string_static_t, I still need to go through all of the remaining level_2 and lower functions to convert many of the functions still using f_string_t that should now be f_string_static_t.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sun, 6 Feb 2022 00:57:37 +0000 (18:57 -0600)]
Progress: Continue mass converting to f_string_static_t.

Of particular note are:
- Implementation of fll_program_data_t to provide a standard structure for basic use.
- f_color deallocation function with appropriate unit tests.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sat, 5 Feb 2022 04:28:55 +0000 (22:28 -0600)]
Progress: Continue mass converting to f_string_static_t.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Fri, 4 Feb 2022 05:02:58 +0000 (23:02 -0600)]
Progress: Continue mass converting to f_string_static_t.

Additional cleanups and improvements performed as noticed.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Wed, 2 Feb 2022 05:45:26 +0000 (23:45 -0600)]
Progress: Continue mass converting to f_string_static_t.

2 years agoUpdate: Use raw printing whenever safely possible and add missing raw safe print.
Kevin Day [Tue, 1 Feb 2022 03:09:45 +0000 (21:09 -0600)]
Update: Use raw printing whenever safely possible and add missing raw safe print.

The formatted print is supposed to support "%R".
The "%R" is now (hastily) implemented.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Mon, 31 Jan 2022 04:40:58 +0000 (22:40 -0600)]
Progress: Continue mass converting to f_string_static_t.

The console program has been changed to populate an argv as a f_string_static_t.
This avoids having to run strlen() and strnlen() everywhere for console parameter processing.
The program that processes the parameters already does this, so save the values in an f_string_static_t.

2 years agoProgress: Continue mass converting to f_string_static_t.
Kevin Day [Sun, 30 Jan 2022 00:52:39 +0000 (18:52 -0600)]
Progress: Continue mass converting to f_string_static_t.

Other fixes, cleanups, and improvements are made when observed.

2 years agoProgress: Begin mass converting to f_string_static_t.
Kevin Day [Fri, 28 Jan 2022 02:05:50 +0000 (20:05 -0600)]
Progress: Begin mass converting to f_string_static_t.

While working on the control and controller programs I realized that I should move from f_string_t to f_string_static_t.
This is a major change but it must be done before the API freeze for the stable release.

A long time ago, early in the design process of FLL, I considered using f_string_static_t (which was only f_string_dynamic_t at that time).
I had decided for simplicity and stuck with f_string_t.

In practice I have found that I was doing a lot of working creating f_string_static_t only to do more work to move it back to f_string_t.

This is an overall simplification of the project at the cost of some resources and some flexibility.
I've only just begun but I am already seeing what I believe to be is simpler code.

The biggest gotcha will be this will likely introduce bugs due to the sheer size of the changes.
The primary bug that will not be easily detected are the formatted print where '%s' needs to now become '%q' and '%S' needs to now become '%Q'.

There are also numerous potential optimizations that I am ignoring for now due to the size of this commit.
This work is by far not done and I expect all programs to fail.
I only tested compiling fake and I got it as far as running the help program.

2 years agoProgress: Control and Controller.
Kevin Day [Wed, 26 Jan 2022 05:41:14 +0000 (23:41 -0600)]
Progress: Control and Controller.

This primarily focuses on migrating the controller static strings from f_string_t to f_string_static_t.
Other changes and fixes do exist.

2 years agoUpdate: Add f_conversion unit tests.
Kevin Day [Wed, 26 Jan 2022 03:26:26 +0000 (21:26 -0600)]
Update: Add f_conversion unit tests.

There are far more permutations than what are handled within this commit.
Focus on only the most basic set of checks to write the unit tests for.

There are problems with mocking fwrite_unlocked() via the wrap strategy used by the linker.
I do not know why this is not working so I commented out the code and moved on.

Several problems are exposed and are solved.
- This exposed the fwrite_unlocked() return results problems.
- Add support for big endian (untested).
- Zero values are not correctly built (see below).

Make sure to count the zero number as a single digit.
Get rid of the "used" count and rely only on the digits.
Do not include the 0 digit when determining the padding.
Change the prefix append function to accommodate 0 and consistently call the prefix append function.

Update documentation comments.

2 years agoCleanup: Add newlines before continue statements.
Kevin Day [Wed, 26 Jan 2022 03:12:38 +0000 (21:12 -0600)]
Cleanup: Add newlines before continue statements.

2 years agoBugfix: Incorrect return result for fwrite_unlocked().
Kevin Day [Wed, 26 Jan 2022 02:45:37 +0000 (20:45 -0600)]
Bugfix: Incorrect return result for fwrite_unlocked().

The return result for fwrite_unlocked() is not negative one.
Zero or some value less that the length is returned.

An error occurs when the return value is smaller than the given string length.

I likely confused write() return results with fwrite_unlocked().

2 years agoCleanup: Make failure mock boolean a constant.
Kevin Day [Wed, 26 Jan 2022 02:17:31 +0000 (20:17 -0600)]
Cleanup: Make failure mock boolean a constant.

2 years agoBugfix: Incorrect string is being printed on error message.
Kevin Day [Tue, 25 Jan 2022 03:10:43 +0000 (21:10 -0600)]
Bugfix: Incorrect string is being printed on error message.

2 years agoCleanup: Unit test header macros should end in an 'h'.
Kevin Day [Mon, 24 Jan 2022 03:52:46 +0000 (21:52 -0600)]
Cleanup: Unit test header macros should end in an 'h'.

2 years agoCleanup: Use correct project name.
Kevin Day [Mon, 24 Jan 2022 03:52:27 +0000 (21:52 -0600)]
Cleanup: Use correct project name.

2 years agoUpdate: Add f_control_group unit tests.
Kevin Day [Mon, 24 Jan 2022 03:51:02 +0000 (21:51 -0600)]
Update: Add f_control_group unit tests.

2 years agoProgress: Continue working on implementing control and controller programs.
Kevin Day [Mon, 24 Jan 2022 01:40:38 +0000 (19:40 -0600)]
Progress: Continue working on implementing control and controller programs.

The control program and the controller program will communicate using datagram named sockets.

2 years agoCleanup: The documentation.
Kevin Day [Mon, 24 Jan 2022 01:39:01 +0000 (19:39 -0600)]
Cleanup: The documentation.

2 years agoUpdate: Code cleanups and return explicit error code when needed to.
Kevin Day [Mon, 24 Jan 2022 01:37:29 +0000 (19:37 -0600)]
Update: Code cleanups and return explicit error code when needed to.

There F_parameter (with error bit) is now returned.

2 years agoUpdate: Fix incorrect documentation and remove pointless code.
Kevin Day [Mon, 24 Jan 2022 01:33:55 +0000 (19:33 -0600)]
Update: Fix incorrect documentation and remove pointless code.

The documentation for some functions do not accurately reflect what the documentation does.
This is likely a copy and paste over sight.

The f_string_dynamic_resize() is adding one to destination->used.
It then updates the used to be that new number minus one.
This is pointless.
Don't bother with the "total" variable at all.
Also use the F_memory_default_allocation_small_d by rather than 1 when resizing.

2 years agoUpdate: Use libc functions more in f_color.
Kevin Day [Wed, 19 Jan 2022 00:37:32 +0000 (18:37 -0600)]
Update: Use libc functions more in f_color.

The f_string_dynamic_increase_by() guarantees the size is allocated.
The f_string_dynamic_append() doesn't need to be called when the simple memcpy() can be directly called.

Doing this saves the status check and the additional function calls.
This likely increases performance but this performance increase potential has neither been tested nor confirmed.

2 years agoUpdate: Add f_console unit tests.
Kevin Day [Mon, 17 Jan 2022 17:49:35 +0000 (11:49 -0600)]
Update: Add f_console unit tests.

I did not handle all possible permutations for the f_console_parameter_process() tests.
I instead went with a good enough for now approach.

2 years agoBugfix: The f_console project after writing unit tests.
Kevin Day [Mon, 17 Jan 2022 17:44:14 +0000 (11:44 -0600)]
Bugfix: The f_console project after writing unit tests.

Rename has_values to values_total to better communicate the intent of the property.

Expand out the macros across lines.

In f_console_identify() the strnlen() function is not properly handling when the character pointer is NULL, resulting in a segfault.
While this might be considered a bug in strnlen(), just make sure that a NULL pointer is not sent to strnlen().

Miscellaneous code structure cleanups.

Replace allocation macros with actual functions.

2 years agoUpdate: Console parameter macro, console structure organization, and add initializer...
Kevin Day [Mon, 17 Jan 2022 05:35:51 +0000 (23:35 -0600)]
Update: Console parameter macro, console structure organization, and add initializer for some integer types.

The integer types don't generally need this but for consistency reasons try to always have the initializer defined.

2 years agoCleanup: Add back the two spaces before the "-" in the comments.
Kevin Day [Mon, 17 Jan 2022 05:28:08 +0000 (23:28 -0600)]
Cleanup: Add back the two spaces before the "-" in the comments.

When in the comments with the " * " at the start, the behavior of not having the extra space seems fine.
When looking at the documentation and specification FSS files, I find that it is easier to read with the extra spaces.

I have decided to switch back and follow what I am doing in the documentation and specification FSS files.
This makes the style more consistent.

2 years agoCleanup: Add period at the end of comments.
Kevin Day [Mon, 17 Jan 2022 03:36:36 +0000 (21:36 -0600)]
Cleanup: Add period at the end of comments.

2 years agoUpdate: Rewrite f_color functions and use f_string_static_t instead of f_string_t...
Kevin Day [Mon, 17 Jan 2022 03:01:44 +0000 (21:01 -0600)]
Update: Rewrite f_color functions and use f_string_static_t instead of f_string_t for global constant strings.

Switch to using the f_string_static_t so that the size does not have to be constantly tested via an strnlen() or similar call.
The f_string_static_t by default uses 64-bit types for size and used so there may be a performance hit due to this over the normal 32-bit numbers in strnlen().

Originally macros were used to reduce code repition.
This was done long before I decided to make f_string an exception that can be depended on by all level 0 projects.
The dynamic string functions can now be used, significantly simplifying the code.
The macros can be replaced with functions 1 through 5 to allow for only passing the required arguments.
This should reduce the cost of the function call by having fewer arguments when not necessary to have them.

The documentation comments are now present when they were not before.

Change the order of the function parameters to be more consistent with the latest practices.

Update the unit tests.

2 years agoUpdate: Use F_number_t_size_positive_d for F_string_t_size_d and update #ifdef struct...
Kevin Day [Mon, 17 Jan 2022 02:54:59 +0000 (20:54 -0600)]
Update: Use F_number_t_size_positive_d for F_string_t_size_d and update #ifdef structural logic.

2 years agoCleanup: Use += operation when possible.
Kevin Day [Mon, 17 Jan 2022 02:54:34 +0000 (20:54 -0600)]
Cleanup: Use += operation when possible.

2 years agoCleanup: Add additional initializer for f_string_static_t to allow initializing all...
Kevin Day [Sun, 16 Jan 2022 22:52:25 +0000 (16:52 -0600)]
Cleanup: Add additional initializer for f_string_static_t to allow initializing all parts.

Another acceptable practice is to set the used to some value greater than zero and size to zero to better designate that this is a static string and is not dynamically allocated.

2 years agoCleanup: remove unnecessary #undef.
Kevin Day [Sun, 16 Jan 2022 22:50:04 +0000 (16:50 -0600)]
Cleanup: remove unnecessary #undef.

2 years agoUpdate: Add parameter checking to unit tests and fix ordering.
Kevin Day [Sun, 16 Jan 2022 22:49:43 +0000 (16:49 -0600)]
Update: Add parameter checking to unit tests and fix ordering.

2 years agoCleanup: Fix ordering of comment.
Kevin Day [Sun, 16 Jan 2022 22:41:34 +0000 (16:41 -0600)]
Cleanup: Fix ordering of comment.

2 years agoUpdate: Add parameter checking to unit tests, fix ordering, and other minor changes.
Kevin Day [Sun, 16 Jan 2022 22:39:40 +0000 (16:39 -0600)]
Update: Add parameter checking to unit tests, fix ordering, and other minor changes.

2 years agoCleanup: Rename f_account functions in attempt to be easier to read.
Kevin Day [Sun, 16 Jan 2022 21:15:09 +0000 (15:15 -0600)]
Cleanup: Rename f_account functions in attempt to be easier to read.

I originally tried to group the logic by "name" and "id".
This becomes confusing when there is "group name" and "user name" or "group id" and "user id".
The function name with the structure "f_account_id_group_by_name" is intended to be understood as get id of group by name for account.
However, because account is in front (part of f_account) it could be easily misread as get account id by name with some spurious "group" injected.
This is clearly a bad interpretation but that interpretation is easy to think of.

Drop "user" because "account" and "user" should be synonymous.
Move "group" to the left in all cases to designate that this is about "group" associated with account.
Now f_account_group_id_by_name sounds more like get id of group by name for account.

2 years agoUpdate: Add parameter checking to unit tests, fix ordering, and other minor changes.
Kevin Day [Sun, 16 Jan 2022 20:58:57 +0000 (14:58 -0600)]
Update: Add parameter checking to unit tests, fix ordering, and other minor changes.

2 years agoUpdate: Add f_color unit tests.
Kevin Day [Sun, 16 Jan 2022 20:30:42 +0000 (14:30 -0600)]
Update: Add f_color unit tests.

2 years agoBugfix: Fix problems exposed by unit testing.
Kevin Day [Sun, 16 Jan 2022 20:30:13 +0000 (14:30 -0600)]
Bugfix: Fix problems exposed by unit testing.

The default f_color_format_t_initialize should still be provided.

Remove redundant context->set.warning assignments.

Change the logic to not require format strings to be defined thereby avoiding potential segfaults.

Avoid using strnlen() and instead use memcpy().
More memory is used when specifying the sizes, but strnlen() calls probably does this to some extent.
Doing this reduces the number of calls to copying ranges of strings.

Update comments to reflect latest practices.

2 years agoProgress: Begin designing contoller to control socket communication.
Kevin Day [Sun, 16 Jan 2022 01:04:34 +0000 (19:04 -0600)]
Progress: Begin designing contoller to control socket communication.

This includes some significant structural re-organization of the controller project.

2 years agoBugfix: Improve include and wrapping macros.
Kevin Day [Sun, 16 Jan 2022 00:32:18 +0000 (18:32 -0600)]
Bugfix: Improve include and wrapping macros.

This should be "payload" and not "basic_list".
Update the documentation comment as well.

2 years agoUpdate: Lay out the foundation for proper endianness support.
Kevin Day [Sat, 15 Jan 2022 23:01:53 +0000 (17:01 -0600)]
Update: Lay out the foundation for proper endianness support.

The endianness support is not currently a direct goal of the 0.4 versions.
The 0.6 versions will deal with networking and will most certainly need proper endianness support.

Ultimate the FLL needs to properly handle endianness.
Provide the initial functionality needed to make this possible.

The BIG_ENDIAN and LITTLE_ENDIAN cannot be directly relied on.
Provide custom _is_F_endian_big and _is_F_endian_little macros where when BIG_ENDIAN is not defined default to little endian.
By using the custom _is_F_endian_big and _is_F_endian_little, allow for the endianness to be explicit set at compile time.
This should make it easy to configure in cases where BIG_ENDIAN and LITTLE_ENDIAN are not defined.

2 years agoUpdate: Documentation for FSS-000E Payload and add missing FSS type enum value.
Kevin Day [Sat, 15 Jan 2022 22:59:03 +0000 (16:59 -0600)]
Update: Documentation for FSS-000E Payload and add missing FSS type enum value.

Add additional suggestions and further clarify payload.
Provide suggestions for payload length as well as chunking (part and total).

2 years agoBugfix: Mock function is missing parameter name?
Kevin Day [Fri, 14 Jan 2022 23:59:00 +0000 (17:59 -0600)]
Bugfix: Mock function is missing parameter name?

How did this even compile?
I'm guessing GCC 11 seems to ignore this when the parameter is not used whereas GCC 8 does not.

This is still improper even if newer a GCC can handle the lack of a name.

2 years agoUpdate: Add unit tests for f_account.
Kevin Day [Fri, 14 Jan 2022 04:53:13 +0000 (22:53 -0600)]
Update: Add unit tests for f_account.

2 years agoUpdate: Add missing f_account_name_group_by_id(), cleanup comments, and update macro...
Kevin Day [Fri, 14 Jan 2022 02:38:51 +0000 (20:38 -0600)]
Update: Add missing f_account_name_group_by_id(), cleanup comments, and update macro usage.

2 years agoBugfix: Unit test files have typos.
Kevin Day [Fri, 14 Jan 2022 01:51:09 +0000 (19:51 -0600)]
Bugfix: Unit test files have typos.

There is a spurious single quote in the define LD_LIBRARY_PATH line.

2 years agoBugfix: IKI variables are not substituting consistently.
Kevin Day [Fri, 14 Jan 2022 01:45:39 +0000 (19:45 -0600)]
Bugfix: IKI variables are not substituting consistently.

There appears to be a logic flaw where when more than one IKI variables are present, they start overwriting.

I changed the logic to focus more on the content loop.
The arguments array is only incremented for the content row.
When the resulting row is empty and is not quoted, then do not increment the arguments array.

Remove unnecessary NULL insertions.
The only time the NULL needs to be inserted is at the end when done adding all of the characters to the argument buffer.

Always append using the nulless append functions.

2 years agoUpdate: Provide more details in the documentation on if/else logic.
Kevin Day [Thu, 13 Jan 2022 00:14:57 +0000 (18:14 -0600)]
Update: Provide more details in the documentation on if/else logic.

With the logic being different from normal conditional logic, I figured that it would be a good idea to add more documentation to further clarify the design.

Traditional logic is:
  A and B or C and D

  Where order of operations would be:
    1) If A and B are TRUE...
    2) If C and D are TRUE...
    3) If (1) or (2) are TRUE...

The logic used by this program would be:
  A and B or C and D

  Where order of operations would be:
    1) If A and B are TRUE...
    2) If (1) or C are TRUE...
    3) If (2) and D are TRUE...

This is a critical difference in behavior.

2 years agoBugfix: More cases where if/else is not working as intended.
Kevin Day [Wed, 12 Jan 2022 23:57:19 +0000 (17:57 -0600)]
Bugfix: More cases where if/else is not working as intended.

In the previous commit I accidentally removed the "or" condition.

I also found that I needed to be more thorough with the logic.
The condition result needs to be returned and handled when immediately returning.
This then allows for subsequent conditions to use the condition result.
The condition result gets reset on each pass of the loop.
The block result needs to then retrieve the condition result to ensure the result is preserved across loop passes.

2 years agoBugfix: Partially fix "if is regular for xxx" exposes bug in error handling of and/or.
Kevin Day [Wed, 12 Jan 2022 05:21:37 +0000 (23:21 -0600)]
Bugfix: Partially fix "if is regular for xxx" exposes bug in error handling of and/or.

The following:
  if is regular for xxx
    print found.
  else
    print did not find.

Fails when "xxx" does not exist.
It should not fail but should instead trigger the "else" condition.

In this case, if the file does not exist and "fail exit" is setup, the program exists as failure.
This is bad behavior.

I then tried to work around the problem with the following:
  if exists xxx
  and is regular for xxx
    print found.
  else
    print did not find.

This did not work as expected because the "and" condition is executing when it should not be.
This commit focuses resolving this second case.

The problem is that there is an incorrect test for "and" and "or" types at the start of the process function.

I also noticed that the "is" check has the wrong words in the error message (should be "get type of" rather than "get mode of").

The primary problem requires more in-depth changes that I will not get to tonight and is not intended to be solved within this commit.

2 years agoCleanup: Clarify how the "if is XX for YY".
Kevin Day [Wed, 12 Jan 2022 04:14:53 +0000 (22:14 -0600)]
Cleanup: Clarify how the "if is XX for YY".

Where XX is one or more file modes and YY is one or more files.

I feel that this change improves the wording of the documentation for this functionality.

2 years agoRegression: The "failure" operation if condition type is not working as intended.
Kevin Day [Wed, 12 Jan 2022 03:48:43 +0000 (21:48 -0600)]
Regression: The "failure" operation if condition type is not working as intended.

The documentation and specification is out of date and refers to this as "fail".
This is instead the word "failure".
This is also different from the setting "fail" that designates what to do on failure.

With one of the recent re-designs of the process logic, the failure status is no longer being passed.
When the "fail" setting is set to "warn" or "ignore", the status code of F_none is returned.

Change the return status to "F_failure" without the error bit to designate that this is a failure but it is not being treated as an error due to the state of the "fail" setting.
Then process the "F_failure" without the error bit to remember the state that a failure occurred.
This then allows for the "failure" if condition type to get triggered.

The recent if/else logic changes introduced behavior where a failure in the processing of the if/else commands should also trigger the "failure" if condition type.
This failure is not associated with the if condition results.
When an if condition results in either true or false, then this is considered a "success" rather than a "failure".
Generally, syntax failures are what trigger the "failure" state.

Programs that are executed, such as when using the "run" operation, will result in "failure" if a non-zero value is returned by the program.

2 years agoBugfix: The "if not defined" is not working as expected.
Kevin Day [Wed, 12 Jan 2022 03:12:44 +0000 (21:12 -0600)]
Bugfix: The "if not defined" is not working as expected.

When the "not" logic was added, I seemed to have failed to adjust the variable for the "not defined" case.

2 years agoCleanup: Add missing bold around type name for unsupported error message.
Kevin Day [Wed, 12 Jan 2022 02:44:02 +0000 (20:44 -0600)]
Cleanup: Add missing bold around type name for unsupported error message.

2 years agoBugfix: If/else condition logic is incorrect or incomplete.
Kevin Day [Wed, 12 Jan 2022 02:30:28 +0000 (20:30 -0600)]
Bugfix: If/else condition logic is incorrect or incomplete.

The if/else logic is not properly traversing.

I believe the original design is to just have if and else be a single set rather than a chain.

At some point I changed this to be chainable (or maybe I am incorrectly thinking that I did).
It made sense to use this if/then chain logic for my unit test files.
The Fake make unit test files are not working as I want them to because if/else chaining is not working.

As a big disclaimer, this does not support nesting.
I continue to refuse to design nesting of the if/else condition logic as I want to keep this as simple as possible.
Which, by the way, this is not simple.

I attempt to cut corners when I did my recent rewrite of the if/else logic.
Redesign this (again) but this time attempt to do this more properly.

The block process state now exclusively uses a special block process state enumeration rather than relying on a synthetic rule type.
The synthetic rule type is now removed.

The goal with this design is to:
1) On syntax error, bail out of the entire if/else chain.
2) On comparison error, continue an if/else chain passes or the end of chain is reached.
3) When any if/else chain passes, all subsequent conditions in the chain are not run.

Replace the "done" condition result with an "error" condition result to more accurately communicate its use.

Isolate the block and block result from the operate processing as much as possible so that all modifications of the variable are done outside of the operate processing.

When the "fail" is set to "exit" the if/else should fail appropriately on syntax error.
When the "fail" is set to "warn" or "ignore", then continue on after skipping the entire chain.

The operate process still needs to check the if/else chain states to determine if it should skip or not.

When an if/else condition terminates unexpectedly due to an end of file (or section) an error is more consistently reported regardless of place in the if/else chain.

This still needs real testing to confirm that all of the possible permutations work as expected.
Unit tests for this will need to be written but this is a long way away from being done.

2 years agoUpdate: Implement f_capability unit tests and improve existing unit tests.
Kevin Day [Mon, 10 Jan 2022 03:35:03 +0000 (21:35 -0600)]
Update: Implement f_capability unit tests and improve existing unit tests.

Add tests for f_capability functions.
This includes my first go at mocking functions using function wrapping.
It seems that the linker is limited on how it handles function wrapping.
I cannot simply wrap functions pulled in via a library.
To work around this I implemented another Fake build settings file for handling this.
This is not an ideal situation and adds a bit of extra work.

The environment variable settings for LD_LIBRARY_PATH needs to also support the work parameter.

These changes expose a logic flaw in the if/else logic of the Fake program.
That bug is not fixed in this commit, it is simply noted in this commit log.

2 years agoBugfix: Fix problems exposed by unit testing and perform cleanups.
Kevin Day [Mon, 10 Jan 2022 03:30:55 +0000 (21:30 -0600)]
Bugfix: Fix problems exposed by unit testing and perform cleanups.

f_capability_ambient_set() should not be testing for (!value_flag).

Te flags pointer test should be "flags" and not "*flags".

Explicitly cast capability to void * for cap_free().

Use "value" rather than "code" for "f_capability_value_t".

Expand out CAP_IS_SUPPORTED() and CAP_AMBIENT_SUPPORTED() to explicitly set F_true and F_false.
This is better than relying on the direct result of those macros.

Make sure f_type support "weak" compiler attributes.
Rename the compiler attributes to be more than just for visibility.

Correct the function ordering.

2 years agoCleanup: Simplify structure using more basic file names and using separate print...
Kevin Day [Sun, 9 Jan 2022 03:48:52 +0000 (21:48 -0600)]
Cleanup: Simplify structure using more basic file names and using separate print files.

These are private files and are not intended to be exposed.
This allows for the names to be more generic.

Break out the print functions into their own separate files.
This will also make the code more multi-lingual friendly in the respect that much of the code that might need to be swapped out exists in a single file.
This is still very far from multi-lingual friendly with many print code still not in the isolated print functions file.

2 years agoCleanup: Coding style updates and miscellaneous fixes.
Kevin Day [Sun, 9 Jan 2022 00:17:18 +0000 (18:17 -0600)]
Cleanup: Coding style updates and miscellaneous fixes.

Use fewer macros.

Update documentation in regards to return codes and related functions (much more work is needed here than is currently done).

Reduce nesting where obviously possible.

Fix typos and mistakes in words for documentation, comments, and prints.

Use "(pipe)" for designating the pipe input source.

Correctly identify last file when getting file name string.

Fix naming mistakes in programs where the "_read" is missing.

Add appropriate newlines to get code more up to date with latest practices.

Update comments to start with upper case letter where noticed.

Fix ordering of functions where they were noticed to be out of order.

2 years agoFeature: Add support for FSS-000E Payload specification.
Kevin Day [Sat, 8 Jan 2022 23:40:49 +0000 (17:40 -0600)]
Feature: Add support for FSS-000E Payload specification.

Provide fss_payload_read and fss_payload_write to handle the special nature of this specification.

This specification is primarily for network communication in which the payload can be a binary.

2 years agoUpdate: Add additional status codes.
Kevin Day [Sat, 8 Jan 2022 23:39:15 +0000 (17:39 -0600)]
Update: Add additional status codes.

2 years agoCleanup: Remove out of place function declarations.
Kevin Day [Fri, 7 Jan 2022 02:19:26 +0000 (20:19 -0600)]
Cleanup: Remove out of place function declarations.

2 years agoUpdate: Have fss-000e Payload be more specific about payload handling.
Kevin Day [Thu, 6 Jan 2022 05:08:59 +0000 (23:08 -0600)]
Update: Have fss-000e Payload be more specific about payload handling.

Because payload may be anything, especially a binary blob, having it always be last as a requirement makes the most sense.
This then allows me to guarantee comments and other lists may not be after or inside.
This allows for the payload to not have to have comments or delimited code to deal with.
The payload will be a complete virgin binary blob until EOF or a designated length is reached.

2 years agoBugfix: Valid comment lines are keeping leading white space.
Kevin Day [Thu, 6 Jan 2022 04:40:45 +0000 (22:40 -0600)]
Bugfix: Valid comment lines are keeping leading white space.

Any line that ends up being a valid comment line may have white space on the left.
For lists, such as FSS Basic List, the leading white space is being printed.
This is not correct at all.

This is easily solved by getting the last new line and add one.

Update the specification to make the expected behavior clear.

Cleanup comment lines and other related code while its convenient.

2 years agoFeature: Add fss-000e Payload specification.
Kevin Day [Thu, 6 Jan 2022 04:05:40 +0000 (22:05 -0600)]
Feature: Add fss-000e Payload specification.

2 years agoUpdate: Only clear socket id when fast closing and update documentation.
Kevin Day [Thu, 6 Jan 2022 00:05:43 +0000 (18:05 -0600)]
Update: Only clear socket id when fast closing and update documentation.

2 years agoCleanup: Remove stale macro and fix comments.
Kevin Day [Thu, 6 Jan 2022 00:05:13 +0000 (18:05 -0600)]
Cleanup: Remove stale macro and fix comments.

2 years agoUpdate: Finish "is unassigned", add "is surrogate" UTF-8 support, and update "is...
Kevin Day [Wed, 5 Jan 2022 03:15:01 +0000 (21:15 -0600)]
Update: Finish "is unassigned", add "is surrogate" UTF-8 support, and update "is private use".

2 years agoProgress: Continue working on the controller program's control functionality.
Kevin Day [Tue, 4 Jan 2022 04:23:29 +0000 (22:23 -0600)]
Progress: Continue working on the controller program's control functionality.

The f_socket_listen() seems to need its own process or thread.
Give it one.
Make this one as isolated as possible so that it can be forcible exited.
(Because listen() doesn't respect signal handlers.)

2 years agoUpdate: Fix bug in socket disconnect, add additional signal functions, and some clean up.
Kevin Day [Tue, 4 Jan 2022 04:14:31 +0000 (22:14 -0600)]
Update: Fix bug in socket disconnect, add additional signal functions, and some clean up.

The socket close enumerations are being directly passed to shutdown().
This is not correct because they do not directly map.

Use the size_read and size_write already provided in the socket file.
This allows for the length to be exclusively a write (better practice).

Provide f_signal_wait() and f_signal_wait_until() functions that handle sigwaitinfo() and sigtimedwait() respectively.

Use uint8_t rather than unsigned short.
The fact that there is still a short in use here makes it clear that I have not even glanced at this file in a long long time.

2 years agoUpdate: Implement more socket support.
Kevin Day [Mon, 3 Jan 2022 04:51:17 +0000 (22:51 -0600)]
Update: Implement more socket support.

Add additional defines.

Fix implementtion of f_socket_accept().

Add read and write socket functions.

Add additional status codes.

2 years agoBugfix: Incorrect mode is being set.
Kevin Day [Sun, 2 Jan 2022 18:43:36 +0000 (12:43 -0600)]
Bugfix: Incorrect mode is being set.

The world/other character is being mixed with the user.
Swap the "on" value for world/other and user.

Always reset the "what" value before starting the condition loop.

Turns out that the previous code does not support the form "u+rw-x".
The following is an alternative way to write this that previously worked "u+rw,u-x".
Make sure both methods are supported by adding an additional check for the "+", "-", and "=".

When adding and removing, the previous opposing bits needs to be reset.
For example "u+rwx-r" should set the "add read" bit and then remove the "add read" bit while setting the "subtract read" bit.

Also absurd forms like the following need to work: "u+rrrrrwx+rwwwxwrwrwrwww" or "u+rwx,g-rwx+wrrr,o+rwx-wwr".

A copy and paste mistake in f_file_mode_to_mode() results in the wrong bits being set for the world bits.

Don't operate on the parameters directly.
Update them only on success.
This ensures a safer design at a cost of slightly more resources being used.

Swap the world and the owner bits for replace to make it more logically consistent in the order of the bits.
Hopefully this will make things slightly less confusing.

2 years agoProgress: Begin implementing Control support in Controller program.
Kevin Day [Sun, 2 Jan 2022 04:07:52 +0000 (22:07 -0600)]
Progress: Begin implementing Control support in Controller program.

Numerous structural changes and cleanups.
Things are getting bigger so apply some more organization changes to the project structure.
Start using the pointer constant behavior.

Drafted out Control functionality.
Drafted out Task functionality, which is being considered and will be tested to see if I really want to do (keep) this.

2 years agoUpdate: f_file project.
Kevin Day [Sun, 2 Jan 2022 04:03:24 +0000 (22:03 -0600)]
Update: f_file project.

Now that I am moving towards using pointer constants (sch as "int * const"), I can move many of the parameters to the left side.
I believe this sufficiently follows the pattern of having constants on the left and editables on the right even though the data pointed to can be edited.
I feel this allows me to relax the compromise I originally made when following this design paradigm.

2 years agoCleanup: Update comments.
Kevin Day [Sun, 2 Jan 2022 04:03:06 +0000 (22:03 -0600)]
Cleanup: Update comments.

2 years agoUpdate: Add socket functions and improve existing ones.
Kevin Day [Sun, 2 Jan 2022 04:00:49 +0000 (22:00 -0600)]
Update: Add socket functions and improve existing ones.

It is very clear to me that I had stopped working on the socket code.
Much of the code appears incomplete, including some comments that weren't updated after they were copy and pasted.

This is only preliminary work for only the functionality needed or preceived needed by the Controller program or other existing programs.
There will likely be major work in the future during the 0.7.x development release series.

2 years agoUpdate: Add several new status codes and update existing ones.
Kevin Day [Sun, 2 Jan 2022 04:00:02 +0000 (22:00 -0600)]
Update: Add several new status codes and update existing ones.

A new group "_di_F_status_network_" is provided.
This is done in anticipation of a large amount of dedicated network related status codes.
The next minor development release series (0.7.x) is planned to focus heavily on networking.
The networking is highly specialized and will likely have network specific variations of many existing status codes.

2 years agoCleanup: Expand filesystem to file system.
Kevin Day [Sun, 2 Jan 2022 02:16:28 +0000 (20:16 -0600)]
Cleanup: Expand filesystem to file system.

2 years agoCleanup: Use present tense.
Kevin Day [Sat, 1 Jan 2022 02:56:10 +0000 (20:56 -0600)]
Cleanup: Use present tense.

Using past tense is a habit because everything being referred to is generally in the past.
The documentation and comments really should present tense despite this.
There is a lot of code that really needs this done but is not done in this comment.
I just happened to see these and decided to immediately fix them.

2 years agoCleanup: Use const for fake_make_get_id_mode() return status.
Kevin Day [Sat, 1 Jan 2022 02:54:49 +0000 (20:54 -0600)]
Cleanup: Use const for fake_make_get_id_mode() return status.

2 years agoUpdate: Improvements to file processing code.
Kevin Day [Sat, 1 Jan 2022 02:48:05 +0000 (20:48 -0600)]
Update: Improvements to file processing code.

Code cleanups.

Add initializer to F_file_mode_t.

Have file closures set id to -1 even on error due to documented design of the close() function.

Provide path type for process path related file system operation failures.
Some operations do not distinguish file or directory but instead only operate on the path itself.
In these cases, the path type is now available for use.

Add F_file_found_not to standard error printer.
This allows for the standard error printer to still report the problem rather than a code.
Using the file-specific standard error printer is still the recommended approach.

2 years agoUpdate: f_path related improvements.
Kevin Day [Sat, 1 Jan 2022 02:46:13 +0000 (20:46 -0600)]
Update: f_path related improvements.

Return F_data_not rather than F_false to provide a more detailed reason as to the return status of f_path_is().

Explicitly check fo F_true when calling f_path_is() because it now returns F_data_not without the error bit.

Add f_path_is_relative().
Pretty much every path that does not begin with a "/" is a relative path.
This function performs a dirt simple check to achieve this.
This function does not perform any checks to see if the path would be a valid path.
Such decisions are filesystem and are otherwise too situation dependent to be reliable detect in a general manner.

Use f_path_separator_s rather than an explicit "/".

Simplify counter using a pre-increment within the if condition check.

2 years agoUpdate: Add F_domain, F_family, F_protocol, and F_property statuses.
Kevin Day [Sat, 1 Jan 2022 02:41:58 +0000 (20:41 -0600)]
Update: Add F_domain, F_family, F_protocol, and F_property statuses.

This includes the *_not status for each.

The domain, family, and protocol are common enough terminology and are used heavily in networking relating processes.

The property is a very common terminology as well.

2 years agoFeature: Add support for "context" IKI in Fakefiles.
Kevin Day [Sat, 25 Dec 2021 22:38:31 +0000 (16:38 -0600)]
Feature: Add support for "context" IKI in Fakefiles.

This updates the IKI-0002 specification to support "context".
This allows for color context and ideally any future context to make software more accessible.

Update the existing testfiles to utilize this context.