]> Kevux Git Server - fll/log
fll
16 months agoFeature: Add f_file_select() for select().
Kevin Day [Sat, 24 Jun 2023 20:58:06 +0000 (15:58 -0500)]
Feature: Add f_file_select() for select().

This is more of a wrapper around select() (unlike f_file_poll() which is a bit more than a wrapper around poll()).
The arguments would be more difficult than worth it to simplify and normalize in the FLL typedef style.

16 months agoCleanup: Add quotes to testfile LD_LIBRARY_PATH assignment.
Kevin Day [Sat, 24 Jun 2023 20:26:28 +0000 (15:26 -0500)]
Cleanup: Add quotes to testfile LD_LIBRARY_PATH assignment.

Do this for consistency with the pattern of the rest of the testfile.

17 months agoFeature: Add additional network and socket related functions.
Kevin Day [Sat, 24 Jun 2023 03:08:45 +0000 (22:08 -0500)]
Feature: Add additional network and socket related functions.

Add the following:
- f_file_poll() for poll().
- f_socket_read_stream() for recv().
- f_socket_write_stream() for send().

Add f_poll_t, f_polls_t, and f_pollss_t typedefs.
This adds the appropriate array management functions.
To be consistent with type_file.h a new type_array_file.h is created to manage these.

Update the existing f_signal_read() to use the new typdef f_poll_t.

This includes unit tests as appropriate.

17 months agoCleanup: Add environment to all unit test settings files.
Kevin Day [Sat, 24 Jun 2023 02:54:17 +0000 (21:54 -0500)]
Cleanup: Add environment to all unit test settings files.

17 months agoFeature: Add f_network_to_ip_string() and f_network_from_ip_string() functions.
Kevin Day [Thu, 22 Jun 2023 03:26:54 +0000 (22:26 -0500)]
Feature: Add f_network_to_ip_string() and f_network_from_ip_string() functions.

Provide support for inet_ntop() and inet_pton().

String are handling in FLL via f_string_static_t and f_string_dynamic_t.
The functions f_network_to_ip_string() and f_network_from_ip_string() are written to convert to these string types.

This implements a custom f_network_family_ip_t type to pass the digit IP address.
The idea here is to help reduce how much the FLL API is locked into the "libc" or POSIX API.

The structures are allocated using "{ 0 }" to take advantage of the supposed relatively new feature that treats this as an initialize all to NULL.

17 months agoCleanup: Fix documentation comment in f_memory.
Kevin Day [Thu, 22 Jun 2023 03:26:23 +0000 (22:26 -0500)]
Cleanup: Fix documentation comment in f_memory.

17 months agoUpdate: Remove unneeded variable storage and explicitly check for "-1" rather than...
Kevin Day [Thu, 22 Jun 2023 03:25:14 +0000 (22:25 -0500)]
Update: Remove unneeded variable storage and explicitly check for "-1" rather than "< 0".

17 months agoUpdate: Rebuild the "disable" build files.
Kevin Day [Wed, 21 Jun 2023 03:16:41 +0000 (22:16 -0500)]
Update: Rebuild the "disable" build files.

This needs to be done periodically when there are changes to functions.
Following the addition of f_network is a good point in time to do this.

17 months agoFeature: Add f_network level 0 project, starting with host to/from network byte order...
Kevin Day [Wed, 21 Jun 2023 02:58:22 +0000 (21:58 -0500)]
Feature: Add f_network level 0 project, starting with host to/from network byte order functions.

As with most such level 0 projects these are just wrappers to the standard htonl() and similar functions.

This also updates the build settings and other related files.

The f_type_array also has some problems in the level and monolithic build settings fixed.

17 months agoCleanup: Fix incorrect comment in f_limit.
Kevin Day [Wed, 21 Jun 2023 02:07:16 +0000 (21:07 -0500)]
Cleanup: Fix incorrect comment in f_limit.

17 months agoFeature: Add f_file_manipulate() as a wrapper for fcntl().
Kevin Day [Wed, 21 Jun 2023 01:54:31 +0000 (20:54 -0500)]
Feature: Add f_file_manipulate() as a wrapper for fcntl().

This also adds the unit tests.
The unit tests includes additional fixes where several of the wrapped functions are not being setup properly.
The fact that has not triggered an error in the past is concerning.

17 months agoFeature: Add F_again and F_again_not status codes.
Kevin Day [Wed, 21 Jun 2023 01:51:05 +0000 (20:51 -0500)]
Feature: Add F_again and F_again_not status codes.

The fcntl() function uses two forms of privilege failures.
The EPERM is already translated to F_prohibited.
Therefore, add F_again (and F_again_not) so that EAGAIN can be used for that.

17 months agoFeature: Add f_socket_name_host() and f_socket_name_peer().
Kevin Day [Tue, 20 Jun 2023 02:52:12 +0000 (21:52 -0500)]
Feature: Add f_socket_name_host() and f_socket_name_peer().

Add missing network socket related functions for getting the "name" of the local or remote connections.

The local name is retuned as a string.

The remote name is returned on the f_socket_t structure.
I considered doing the work necessary to better generalize this but I decided not to.
I can leave that for once I am better experience in the network programming.

17 months agoCleanup: Rename *_total_parameters_d to *_parameter_total_d.
Kevin Day [Tue, 20 Jun 2023 02:51:00 +0000 (21:51 -0500)]
Cleanup: Rename *_total_parameters_d to *_parameter_total_d.

The naming scheme for the total parameters define is out of synchronization with the practices.
Rename this to be more in line with the current practices.

17 months agoCleanup: Add missing f_thread dependency.
Kevin Day [Tue, 20 Jun 2023 02:50:29 +0000 (21:50 -0500)]
Cleanup: Add missing f_thread dependency.

17 months agoFeature: Add list support for directory recurse processing.
Kevin Day [Mon, 19 Jun 2023 19:42:19 +0000 (14:42 -0500)]
Feature: Add list support for directory recurse processing.

The fl_directory_do() now provides support for the callback to handle the directory list process.

17 months agoCleanup: Documentation comments in fss_read.
Kevin Day [Mon, 19 Jun 2023 03:32:10 +0000 (22:32 -0500)]
Cleanup: Documentation comments in fss_read.

The F_interrupt comments are now more correct.

17 months agoBugfix: Object files are not being added for shared program.
Kevin Day [Mon, 19 Jun 2023 03:30:41 +0000 (22:30 -0500)]
Bugfix: Object files are not being added for shared program.

I overlooked replacing this variable when I refactored the code some time ago.

17 months agoBugfix: Featureless Make is not operating properly due to failure to clear cache.
Kevin Day [Mon, 19 Jun 2023 03:04:00 +0000 (22:04 -0500)]
Bugfix: Featureless Make is not operating properly due to failure to clear cache.

Handle some cases where the cache is not being cleared.

17 months agoFeature: Support error file type "link".
Kevin Day [Sun, 18 Jun 2023 17:00:16 +0000 (12:00 -0500)]
Feature: Support error file type "link".

I may add all the others in the future but for now all I need is is to add "link".

17 months agoCleanup: Remove incorrect documentation content about return type.
Kevin Day [Sun, 18 Jun 2023 16:59:41 +0000 (11:59 -0500)]
Cleanup: Remove incorrect documentation content about return type.

The comment no longer applies as the functions return void.

17 months agoUpdate: Use present tense for implemented (now implement) status code.
Kevin Day [Sun, 18 Jun 2023 14:19:38 +0000 (09:19 -0500)]
Update: Use present tense for implemented (now implement) status code.

The F_implemented and F_implemented_not are now F_implement and F_implement_not respectively.

17 months agoBugfix: The default standard in fss_read is not working.
Kevin Day [Sun, 18 Jun 2023 04:10:55 +0000 (23:10 -0500)]
Bugfix: The default standard in fss_read is not working.

The default is not completely setup.
Add the missing callbacks and set the appropriate flags.

Use a new area to contain the default for maintainability.

17 months agoUpdate: The Open Standard License, adding stronger terminology and more clarification.
Kevin Day [Sun, 18 Jun 2023 03:41:52 +0000 (22:41 -0500)]
Update: The Open Standard License, adding stronger terminology and more clarification.

17 months agoCleanup: The level_1 utf.h does not exist anymore, do not include it.
Kevin Day [Sat, 17 Jun 2023 22:10:18 +0000 (17:10 -0500)]
Cleanup: The level_1 utf.h does not exist anymore, do not include it.

17 months agoUpdate: Remove f_array_length_t and related, replacing with f_number_unsigned_t and...
Kevin Day [Sat, 17 Jun 2023 17:41:52 +0000 (12:41 -0500)]
Update: Remove f_array_length_t and related, replacing with f_number_unsigned_t and appropriate.

This simplifies the design.
Doing this comes at a cost of some flexibility and hackability.

After some consideration, I have decided that it can introduce more complicated handling when needing to process both f_array_length_t and f_number_unsigned_t during I/O.
This should keep things simple.

I decided to maintain the custom functions for managing this.
I could use an ifdef wrapper and call the appropriate calls within, but I can do that for another time if I decide to (and remember to).

17 months agoCleanup: Remove no longer needed programs.
Kevin Day [Fri, 16 Jun 2023 03:13:17 +0000 (22:13 -0500)]
Cleanup: Remove no longer needed programs.

The fss_read is mostly complete for these programs.
Additional review and testing is needed but I can do that slowly over time.
The runtime unit tests suggests that these are reasonably complete.

The Embedded List Read is not deleted because it is not complete.
There are bugs in both the 0.6.x and the 0.7.x versions.
A rewrite of that mess is needed (and has been for a long time).
I will push this off for now due to it being low priority.

17 months agoUpdate: Finish the FSS Payload Read help message printing.
Kevin Day [Fri, 16 Jun 2023 03:10:17 +0000 (22:10 -0500)]
Update: Finish the FSS Payload Read help message printing.

I quickly reviewed the help messages and found that FSS Payload Read is the only one needing to be updated.

17 months agoUpdate: Rebuild runtime test expect files and add new line tests.
Kevin Day [Fri, 16 Jun 2023 02:40:46 +0000 (21:40 -0500)]
Update: Rebuild runtime test expect files and add new line tests.

Bugs have been recently fixed in the 0.6.x version.
Rebuild the existing runtime test expect files using these updated 0.6.x programs.

Add additional --line parameter tests for line 6 following the line 5 tests.

17 months agoProgress: Fix issues in runtime tests for fss_read not relating to Embedded List...
Kevin Day [Thu, 15 Jun 2023 03:13:00 +0000 (22:13 -0500)]
Progress: Fix issues in runtime tests for fss_read not relating to Embedded List and Payload.

More runtime tests now pass.

The Extended List tests still fail in some cases.
I noticed that the Extended List line count is not handling the closing brace.
The count is inaccurate.
This is a bug in the 0.6.x branch and needs to be fixed there.
The fix is in place for this branch but the tests currently fail because they generated expect files are incorrect in this case.

There are other similar problems in different FSS read programs regarding --total and parameters like --at or --line that need to be fixed in the 0.6.x branch as well.

The Embedded List and Payload need special handling and are not addressed here.

Other things regarding fss_read not done:
- The help printing needs to be updated for each program.
- Any remaining todo and fixme.
- The pipe input and output.

There is likely a lot of room for improvement but I am going to ignore such things for now as my priorities are elsewhere.

17 months agoProgress: Continue working on fss_read.
Kevin Day [Wed, 14 Jun 2023 02:28:03 +0000 (21:28 -0500)]
Progress: Continue working on fss_read.

Focus on the Basic and Extended standards.
Begin working on Basic List standard.

There is already a function fss_read_process_at_line().
Cannibalize that function and turn it into a standard at line normal processor function.

Update documentation comments, clarifying the "at" parameter.

17 months agoUpdate: Complete most of the runtime times for FSS Read program.
Kevin Day [Sat, 10 Jun 2023 04:04:33 +0000 (23:04 -0500)]
Update: Complete most of the runtime times for FSS Read program.

Note that this says "most".
I noticed a segmentation fault with FSS-0.6.x versions of fss_embedded_list_read.
This needs to be addressed but is not done so here.

This does not address the tests that fail.
A subsequent commit will follow to address these failures.
These failures are most likely due to that I have not finished migrating all of the fss_read standards.

This also adds some files with UTF-8 characters in the name.

17 months agoBugfix: The fakefiles modes are not consistent with the settings files.
Kevin Day [Fri, 9 Jun 2023 04:23:39 +0000 (23:23 -0500)]
Bugfix: The fakefiles modes are not consistent with the settings files.

Update all of the modes in all affected fakefiles to be identical to the modes in the testfiles.

17 months agoBugfix: Incorrect build settings and testfile.
Kevin Day [Fri, 9 Jun 2023 04:21:41 +0000 (23:21 -0500)]
Bugfix: Incorrect build settings and testfile.

The modes are incorrect.
Replace "individual-thread" with "individual_thread".

Update the testfile with the appropriate modes.

Add the "fanalyzer" settings.

17 months agoBugfix: Use arguments passed to fake when processing build with the custom build...
Kevin Day [Fri, 9 Jun 2023 04:15:10 +0000 (23:15 -0500)]
Bugfix: Use arguments passed to fake when processing build with the custom build arguments.

The custom build arguments are passed when the make mode is being used to call the build mode.
The mode arguments passed to the fake program, these should be propagated into the custom build arguments for the build mode.

17 months agoBugfix: Use the custom build settings name if passed when printing current setting...
Kevin Day [Fri, 9 Jun 2023 03:07:16 +0000 (22:07 -0500)]
Bugfix: Use the custom build settings name if passed when printing current setting being used.

The message, such as:
  Building fss_read using 'settings' with modes 'monolithic', 'thread'.

Should instead be:
  Building fss_read using 'settings.main' with modes 'monolithic', 'thread'.

Use the custom settings name if the custom build arguments are passed to display the correct name.

17 months agoUpdate: Enable testing programs, starting with fss_read, and other fixes.
Kevin Day [Thu, 8 Jun 2023 05:13:03 +0000 (00:13 -0500)]
Update: Enable testing programs, starting with fss_read, and other fixes.

The fss_read is not yet working in this due to some configuration problems with threads.

The thread settings is now "individual_thread".
The old name was replaced some time ago but this file was overlooked.

17 months agoCleanup: Add "script" parameter to fss_read testfile.
Kevin Day [Thu, 8 Jun 2023 05:02:37 +0000 (00:02 -0500)]
Cleanup: Add "script" parameter to fss_read testfile.

This makes it easier to switch to another scripting engine, such as ZSH.

17 months agoCleanup: Add -Wno-main to suppress warning about "main".
Kevin Day [Thu, 8 Jun 2023 05:01:18 +0000 (00:01 -0500)]
Cleanup: Add -Wno-main to suppress warning about "main".

This warning is not relevant due to how the project is designed.

17 months agoBugfix: Incorrect variable name used in fss_read_main_process_help() callback.
Kevin Day [Thu, 8 Jun 2023 05:00:33 +0000 (00:00 -0500)]
Bugfix: Incorrect variable name used in fss_read_main_process_help() callback.

17 months agoCleanup: Add quotes to testfile LD_LIBRARY_PATH assignment.
Kevin Day [Thu, 8 Jun 2023 04:58:07 +0000 (23:58 -0500)]
Cleanup: Add quotes to testfile LD_LIBRARY_PATH assignment.

Do this for consistency with the pattern of the rest of the testfile.

17 months agoBugfix: Unit tests are not up to date.
Kevin Day [Thu, 8 Jun 2023 04:56:45 +0000 (23:56 -0500)]
Bugfix: Unit tests are not up to date.

These unit tests were not fully updated with the latest design change.

17 months agoUpdate: Add backticks to runtime tests.
Kevin Day [Wed, 31 May 2023 04:47:16 +0000 (23:47 -0500)]
Update: Add backticks to runtime tests.

The backticks need to be tested as well.

17 months agoUpdate: Better describe the quote requirements for the documentation comments.
Kevin Day [Wed, 31 May 2023 04:29:35 +0000 (23:29 -0500)]
Update: Better describe the quote requirements for the documentation comments.

This is a follow up to the commit e793c5a5b9f3c3c636e55e0b52df1a11590827cb.

17 months agoBugfix: Fix runtime tests and problems exposed by runtime tests.
Kevin Day [Wed, 31 May 2023 03:07:14 +0000 (22:07 -0500)]
Bugfix: Fix runtime tests and problems exposed by runtime tests.

Add additional runtime tests to handle more cases.

The --select functionality is now completed.
This includes using --select with --name and --total.

The quotes are not being handled properly.
This has been fixed by the previous commit (e793c5a5b9f3c3c636e55e0b52df1a11590827cb).
The fss_read tests are updated to better test and expose this potential problem (adding single and double quote usage).

I used the 0.6.x fss_*_read functions to generate the expected output.
This exposed a mistake in the fss_extended_read in the 0.6.x branch where the wrong quotes are being used.
The expecations have been manually corrected and I now need to go back and fix this bug in the 0.6.x branch.

17 months agoBugfix: Quotes in FSS read functions are not being properly handled.
Kevin Day [Wed, 31 May 2023 03:00:02 +0000 (22:00 -0500)]
Bugfix: Quotes in FSS read functions are not being properly handled.

At some point in time the intended behavior changed from using the literal quote character to an enumeration representing the quote character on FSS read calls.
This transition is incomplete and broken.

Finish the transition, passing the enumeration representation rather than the literal character.

Remove an unnecessary initialization on the quote because the private function being called also initializes the variable.

Relocate the f_uint8s_increase() call to be after changing the error status to ensure that the quotes array is properly incremented.

Update the documentation comments to better clarify this behavior in regards to the enumeration.

17 months agoCleanup: FSS Read testfile and related.
Kevin Day [Tue, 30 May 2023 22:47:35 +0000 (17:47 -0500)]
Cleanup: FSS Read testfile and related.

Add some new lines to the testfile.
Remove a redundant directory create operation in the testfile.
Remove the '=' character as it does not provide anything useful when printing the test status.

17 months agoRegression: Incorrect parameter location used, breaking parameter processing.
Kevin Day [Tue, 30 May 2023 22:41:19 +0000 (17:41 -0500)]
Regression: Incorrect parameter location used, breaking parameter processing.

The regression is introduced in commit 4c0ca86048e431de2025c39a3f5078b7248192eb.

I completely forgot that "location" is for the parameter location and is not the last value location.
Some part of me wanted a last value location.
Revert back to using "values.used - 1" instead of "location".

17 months agoProgress: Add simple runtime testing scripts and testfile for fss_read.
Kevin Day [Tue, 30 May 2023 01:15:55 +0000 (20:15 -0500)]
Progress: Add simple runtime testing scripts and testfile for fss_read.

This is an incredibly basic implementation.
I didn't bother to make is as flexible and portable as it could otherwise be.

Provide a way to test the runtime results of the fss_read programs.
I only got so far as to add tests for FSS Basic (FSS-0000) and FSS Extended (FSS-0001).

The tests for the FSS Extended (FSS-0001) currently has some failures.
I've noticed that I have not even implemented the --select functionality.
This is the likely cause for several of the test failures.

For now, I just cheated and used the 0.6.x version of the project to generate the expected output.
Any bugs in that output will be matched (ideally there are no bugs).
I did do a quick glance at some of these and they do look fine.

The source test files are copies of files I have used in the past but never made publicly available until now.

17 months agoBugfix: The set no EOL is misplaced on "extended" and should be on "basic_list".
Kevin Day [Tue, 30 May 2023 01:06:54 +0000 (20:06 -0500)]
Bugfix: The set no EOL is misplaced on "extended" and should be on "basic_list".

The fss_read program is incorrectly settings the no EOL set function for the FSS Extended (0001) standard.
This should actually be on the FSS Basic List (0002) standard.

17 months agoBugfix: Remove extra (and invalid) processing of --select parameter.
Kevin Day [Tue, 30 May 2023 00:50:57 +0000 (19:50 -0500)]
Bugfix: Remove extra (and invalid) processing of --select parameter.

This --select parameter is already processed and validated earlier in the settings load function.

17 months agoBugfix: Handle f_directory_not status as an invalid directory.
Kevin Day [Mon, 29 May 2023 23:26:57 +0000 (18:26 -0500)]
Bugfix: Handle f_directory_not status as an invalid directory.

The status f_directory_not is returned with the path exists but is not a directory.

The fake program can fail when doing something like this:
  fake clean make -w /arbitrary_non_directory_file +V

The error message returned is not very helpful:
  ERROR: (674) when calling function f_file_stat().

This is a known file-related error and so it is now handled appropraitely.
The new error message looks like:
  ERROR: Invalid directory while trying to access directory '/arbitrary_non_directory_file'.

17 months agoBugfix: The testfile needs to handle the --build parameter and improve --work paramet...
Kevin Day [Mon, 29 May 2023 23:18:28 +0000 (18:18 -0500)]
Bugfix: The testfile needs to handle the --build parameter and improve --work parameter handling.

Provide a new operation "build_path" to load the "--build" parameter properly.
The existing checks for the "--work" parameter is better suited checking against "work:value" rather than "work".

There may be an existing bug where the condition for "build" parameter is always returning true when it should not.
This requires further investigation and is not addressed within the scope of this commit.

17 months agoCleanup: Fix comments in settings-tests files.
Kevin Day [Mon, 29 May 2023 19:11:05 +0000 (14:11 -0500)]
Cleanup: Fix comments in settings-tests files.

17 months agoProgress: Continue work on refactoring fss_*_read into fss_read, focusing on fixing...
Kevin Day [Mon, 29 May 2023 05:09:23 +0000 (00:09 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read, focusing on fixing issues.

Get the programs into better working state.
I found several problems resulting from the way in which I migrated and refactored the code.
I think the next thing to do is to instead start writing some runtime tests that can better find problems.

Of particular note, I found problems with the comments being printed properly (which generally means not printed).
Some parameter handling problems are also fixed.

The payload and embedded list need special handling and are very much not implemented.

17 months agoUpdate: Make fss_read and fss_write --as consistent and fix spacing in help.
Kevin Day [Sun, 28 May 2023 04:08:45 +0000 (23:08 -0500)]
Update: Make fss_read and fss_write --as consistent and fix spacing in help.

The fss_read is using -a already and instead uses -A for the --as.
Change fss_write to also use -A for consistency reasons.

Fix spacing alignment in printed help for the --as parameter.

17 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Sun, 28 May 2023 03:56:35 +0000 (22:56 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

Get the programs into better working state.
Now I need to next focus on ensuring that they work as expected.

The payload and embedded list need special handling and are very much not implemented.

17 months agoSecurity: F_data_not is not being handled leading to invalid read or write.
Kevin Day [Sun, 28 May 2023 02:07:42 +0000 (21:07 -0500)]
Security: F_data_not is not being handled leading to invalid read or write.

At some point I changed the behavior to return F_data_not when the main string (usually buffer) has used set to 0.
I failed to update the FSS processing functions to handle this.

The documentation comments are also not up to date in this regard and is now updated.

17 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Fri, 26 May 2023 04:23:07 +0000 (23:23 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

This gets the programs compiling.
I decided not to get everything correct and instead decided to get everything compiling.

The memory allocation needs to be fixed.
There are a lot of fixme and todo comments to address.
The payload and embedded list need special handling and are very much not implemented.
Individual standard differences need to be handled (and some are stubbed out or copied over, making them invalid).

18 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Wed, 24 May 2023 03:53:44 +0000 (22:53 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

The primary focus is on cleaning up the state of the code.

I will at some pointer later resume migrating the code.

18 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Mon, 15 May 2023 02:18:12 +0000 (21:18 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

Break out the callbacks into its own type as a sibling to the program and settings structures.
Do this in both fss_read and fss_write.

Remove unused "escaped" variable from fss_write.

18 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Sun, 14 May 2023 00:04:38 +0000 (19:04 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

18 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Fri, 12 May 2023 03:09:58 +0000 (22:09 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

18 months agoProgress: Continue work on refactoring fss_*_read into fss_read.
Kevin Day [Wed, 10 May 2023 03:34:28 +0000 (22:34 -0500)]
Progress: Continue work on refactoring fss_*_read into fss_read.

Some small progress on refactoring the settings loader, focusing on the depth processing function.

18 months agoCleanup: Remove no longer used fl_utf project.
Kevin Day [Tue, 9 May 2023 22:41:58 +0000 (17:41 -0500)]
Cleanup: Remove no longer used fl_utf project.

The source files are already empty.

18 months agoProgress: Continue work on fss_read, making relevant changes in other projects.
Kevin Day [Mon, 1 May 2023 03:02:04 +0000 (22:02 -0500)]
Progress: Continue work on fss_read, making relevant changes in other projects.

Start using "static" where it is safe to do so and easy for me to identify such cases.
I would note that a static array of const f_string_static_t does not work.

18 months agoBugfix: Fix return codes and clean up package.sh.
Kevin Day [Sat, 29 Apr 2023 02:51:38 +0000 (21:51 -0500)]
Bugfix: Fix return codes and clean up package.sh.

Fix the return code handling just like the test.sh script in commit 5ccbc0f080ca5908f77e20879988b94a4cc0c6a9.

The package.sh script is rather out of date in regards to the use of wrapping braces.

18 months agoBugfix: Incorrect return code in tests causes false failures in CI.
Kevin Day [Sat, 29 Apr 2023 01:25:14 +0000 (20:25 -0500)]
Bugfix: Incorrect return code in tests causes false failures in CI.

Recent changes of the code change the "failure" variable from being an empty string for no error to being the explicit digit of "0".
The change is incomplete and this caused the false failure by incorrectly returning "1" when instead "0" should be returned.

The Gitlab CI detected this but the Github CI failed to.

18 months agoProgress: Make some progress towards getting fss_read up and running.
Kevin Day [Fri, 28 Apr 2023 03:00:47 +0000 (22:00 -0500)]
Progress: Make some progress towards getting fss_read up and running.

This mostly focuses on the print help functions.

Fix the incorrectly spelled "aplied".
Fix the help messages in the read man pages.

Add *_format_code_name_* for an upper-case human friendly name.
Add this to the fss_write as well given that the programs follow the "programs as a library" design.

18 months agoProgress: Initial setup of fss_read for merging all fss_*_read programs.
Kevin Day [Thu, 27 Apr 2023 03:36:48 +0000 (22:36 -0500)]
Progress: Initial setup of fss_read for merging all fss_*_read programs.

This is just a copy and paste of fss_write with some very basic initial changes and refactoring.
This is not expected to work anytime soon and will be slowly converted.
Expect major changes.

I suspect that I will be working outward in to slowly add the needed functionality and to match the behavior with the fss_*_read programs.
All of the fss_*_read programs will be removed and replaced with this once this project is complete just like was done with the fss_*_write programs and fss_write.

Also fix an incorrect comment in fss_write that references "payload" when it should not.

18 months agoUpdate: Slightly reduce recursion cost for private_fl_directory_do_recurse().
Kevin Day [Thu, 27 Apr 2023 02:36:41 +0000 (21:36 -0500)]
Update: Slightly reduce recursion cost for private_fl_directory_do_recurse().

Make some constant structures static with the goal of reducing the cost of recursion.
Using static should help avoid redeclaring these variables per execution.
This should reduce memory for each recurse into the function.

18 months agoBugfix: Incorrect wrapping define usage.
Kevin Day [Wed, 26 Apr 2023 23:43:44 +0000 (18:43 -0500)]
Bugfix: Incorrect wrapping define usage.

Much of this is discovered in the 0.6.x branch and I ported over some changes.
There may have been something missed.

18 months agoBugfix: Fix problems exposed by unit tests.
Kevin Day [Wed, 26 Apr 2023 02:29:25 +0000 (21:29 -0500)]
Bugfix: Fix problems exposed by unit tests.

The f_pipe_debug and f_pipe_warning are no more and there is now an f_pipe_output.

The f_print_to* functions should not use parameter checking and should instead eturn F_file_descriptor_not when the descriptor is -1.

The F_help and F_help_not to string conversion is missing.

18 months agoUpdate: Get remaining unit tests working.
Kevin Day [Wed, 26 Apr 2023 02:25:53 +0000 (21:25 -0500)]
Update: Get remaining unit tests working.

18 months agoProgress: Continue fixing the unit tests.
Kevin Day [Tue, 25 Apr 2023 04:26:43 +0000 (23:26 -0500)]
Progress: Continue fixing the unit tests.

Properly handle mock return types.

Make sure to return F_file_descriptor_not instead of F_stream_not in cases where the file descriptor is checked instead of the file stream.

18 months agoCleanup: Suppress false positive regarding missing braces.
Kevin Day [Tue, 25 Apr 2023 02:59:42 +0000 (21:59 -0500)]
Cleanup: Suppress false positive regarding missing braces.

18 months agoUpdate: The stand alone builds should also support fakefiles.
Kevin Day [Tue, 25 Apr 2023 02:59:28 +0000 (21:59 -0500)]
Update: The stand alone builds should also support fakefiles.

This is an oversight from previous changes where stand alone support is implemented and where the fakefile is make more advanced (adding help etc..).

18 months agoRefactor: Mass change the macro initializer functions to always have an underscore...
Kevin Day [Tue, 25 Apr 2023 02:39:45 +0000 (21:39 -0500)]
Refactor: Mass change the macro initializer functions to always have an underscore and some identity.

The macro initializer functions can be a little confusing when there is macro_f_do_something() and macro_f_do_something2().
Change the behavior to something more like macro_f_do_something_1() and macro_f_do_something_2().

19 months agoProgress: Unit tests and other minor changes.
Kevin Day [Wed, 19 Apr 2023 03:21:32 +0000 (22:21 -0500)]
Progress: Unit tests and other minor changes.

Get more of the unit tests up to date.
I did not finish working on the f_file unit tests.
I specifically stopped on the stream functions, namely the f_stream_write().

Fix the file defaults, such as _di_f_type_file_defaults_ that should be _di_f_type_file_defaults_d_.

The file flags (wrapped by _di_f_file_flag_d_) must be located with the f_type type_file.h file.

19 months agoBugfix: Fix bugs in console parameter processing exposed by unit tests.
Kevin Day [Tue, 18 Apr 2023 03:57:54 +0000 (22:57 -0500)]
Bugfix: Fix bugs in console parameter processing exposed by unit tests.

The f_console_identify() function is incorrectly assigning the bits for short alone values.
The mistake is a missing pipe character and as a result the flags are being assigned rather than being bitwise-or appended.

The short.used and long.used string checks should skip when the string is empty.
This is not happening due to an AND comparitor in the string.
This then causes a false positive and the unit tests identify invalid data.

The process found check outside of the loop that depends on the iterator "i" should also check that i is less than the total array length.

19 months agoUpdate: Unit tests.
Kevin Day [Tue, 18 Apr 2023 03:56:38 +0000 (22:56 -0500)]
Update: Unit tests.

Get several of the unit tests working.
These tests were not updated when their respective code was changed.

19 months agoProgress: Address incomplete updates to several programs.
Kevin Day [Tue, 18 Apr 2023 00:29:59 +0000 (19:29 -0500)]
Progress: Address incomplete updates to several programs.

A previous progress commit (or series of commits) left these programs incompletely updated when they should otherwise compile.

Add "machine" name type to the fss_write matching logic.

Add missing macro function string fo f_thread_create.

Fix out of date initializes that now need different arguments or sets of arguments.

The changes to fss_write accidentally mass replaced the special fss_write_setting_load() uses that have a callback parameter.
The embedded list write has the wrong format code string ("basic" should be "embedded list").

The iki_write has an out of place declaration of iki_write_main_delete().

19 months agoCleanup: Remove unused variables, remove double declared variable, and add missing...
Kevin Day [Mon, 17 Apr 2023 02:58:30 +0000 (21:58 -0500)]
Cleanup: Remove unused variables, remove double declared variable, and add missing return statements.

19 months agoCleanup: Fix warning regarding private_inline_f_print_write_unlocked() being unused.
Kevin Day [Mon, 17 Apr 2023 02:54:46 +0000 (21:54 -0500)]
Cleanup: Fix warning regarding private_inline_f_print_write_unlocked() being unused.

This happens when the functions that call it are disabled via the macro.
Wrap this function in the appropriate macro checks.

19 months agoCleanup: Add -Wno-main flag to disable GCC's warning about "main".
Kevin Day [Mon, 17 Apr 2023 02:43:56 +0000 (21:43 -0500)]
Cleanup: Add -Wno-main flag to disable GCC's warning about "main".

This program is careful in its use of "main" and its use is correct given the complete isolation from main.c.

19 months agoProgress: Wrap up most of the directory do related changes in Featureless Make.
Kevin Day [Mon, 17 Apr 2023 02:36:04 +0000 (21:36 -0500)]
Progress: Wrap up most of the directory do related changes in Featureless Make.

I am hoping this is the last progress on Featureless Make to get it fully up to date with all of the changes.
While I won't be surprised if I missed something this feels like its ready.

Remove the directory recurse copy flags.

Use more caches in Featureless Make.
Move the directory do as a cache to better allow for reusing the path and path_custom strings.
Update the documentation comments regarding the caching.

The regression mentioned in commit 61a348ba714e41467da803f8220a31c126581a01 is resolved.
The regression is that I appended the path separator out of scope (outside of a relevant condition check).

I noticed another regression where when source.used is 0 the action is not performed.
This is incorrect because the source may be 0 and the paths being used are just relative paths.

Fix a mistake where the f_file_copy() and f_file_clone() are passed invalid flags.
Make sure to pass the appropriate flags to the f_file_clone() calls in the directory do handle callback.

19 months agoProgress: Additional file copy, clone, and move changes.
Kevin Day [Sun, 16 Apr 2023 03:19:04 +0000 (22:19 -0500)]
Progress: Additional file copy, clone, and move changes.

Remove code relating to the recursive copy functions.
Remove the fll_file_move() function.

The fll_file_move() has some additional logic for handling a case where the return status is F_mount.
If this is still a problem then I will have to address this.
The fll_file_move() doesn't make as much sense now that thee is an fl_directory_do().
Most of the logic needed is now outside of the FLL project and inside of the projects utilizing the library.

The fl_directory_copy() function is now fully replaced by the fl_directory_do() function.
This has an upside of being more flexible but a downside of putting more of the design burden onto the caller.
This overall appears to be resulting in a cleaner and simpler design.

Move the fl_directory_do() related callbacks into a new source and header file in Featureless Make.

I have noticed a regression, of which I would wildly guess be related to the recent cache design changes, where testing Featureless Make against bzip is not working anymore.
There is a path separator at the start of the files when there should not be.
This regression is not fixed here.
I only wanted to record it.

19 months agoProgress: Focus on directory recursion related changes and Featureless Make.
Kevin Day [Fri, 14 Apr 2023 00:42:44 +0000 (19:42 -0500)]
Progress: Focus on directory recursion related changes and Featureless Make.

This should wrap up most of the initial work creating the copy recursion.
There are other areas to update but this is the start.

I forgot and accidentally added "custom" to the fl_directory_do_t.
I should be using the custom from the state variable.

Now that I have had a chance to experiment with the new fl_directory_do() design I have managed to come to some more decisions.
The parameter checking will not have the f_directory_recurse_do_flag_path_e bit set for the error handler.
The before and after should be called not on just the directory recursion but also before and after each non-recursion file action.
This better allows for setting things up in a sane way as is appropriate when performing a copy operation.

I decided to provide some convenience variables.
This is not a great idea for a recursive function but it is a start.
I should investigate moving this array into a static array that is global to the private file but not shared beyond that.
This would prevent the cost of allocating the array for each recursion.

It would be a good idea to bind some of the strings to the cache and update them to better avoid additional allocations.
I think I need a cache_3 to achieve this.
I added todo comments in areas where I think this is relevant.

Do some minor clean ups on the printing in certain areas.

19 months agoSecurity: fl_directory_list() is not appending a NULL.
Kevin Day [Tue, 11 Apr 2023 03:40:14 +0000 (22:40 -0500)]
Security: fl_directory_list() is not appending a NULL.

If any of these strings are passed to standard library functions that expect NULL terminated strings, then an invalid read access can occur.

19 months agoProgress: Focus on directory recursion related changes and Featureless Make.
Kevin Day [Sun, 9 Apr 2023 23:21:10 +0000 (18:21 -0500)]
Progress: Focus on directory recursion related changes and Featureless Make.

I decided to offload some of the design in fl_directory_do().
The caller provides a callback and handles the combining of the path and the base file name.
This should allow for more optimization in string allocation and reduce some of the overhead of recursion.
The recursion now only records the used string rather than allocate an array of the path each time.
This should ideally reduce the amount of memory in the recursion.

The caller can now provide a custom variable to pass local data to the callbacks.

Rename 'first' and 'last' into 'before' and 'after', respectively, to be more semantically accurate.

Initial implementation of callbacks for action and handle.
I may have more work to do in the error handling, but I decided now is a good place to stop and save the progress.

19 months agoProgress: Continue program related work, addressing f_state_t, recursion, and Feature...
Kevin Day [Thu, 6 Apr 2023 04:09:52 +0000 (23:09 -0500)]
Progress: Continue program related work, addressing f_state_t, recursion, and Featureless Make.

Add missing f_directory_statuss_resize() implemetnation.

Add code property to f_state_t to provide custom flags for the caller to control.

Create fake_local_t to pass custom information to the recursion functions.

Begin setting up and populating the failures structure.

Take care more cases where the interrupt needs to be handled.
This now sets the interrupt function globally and so the interrupt should be checked more often (such as in FSS Basic List read functions).
Make sure the interrupt is not checked twice once a signal is received.
This can happen after a program returns due to an interrupt.

19 months agoUpdate: Implement threaded signal handler in Featureless Make, handling missed code...
Kevin Day [Thu, 6 Apr 2023 02:02:52 +0000 (21:02 -0500)]
Update: Implement threaded signal handler in Featureless Make, handling missed code blocks.

I missed a few code blocks when I created commit 9e0529297bfdb1529be685eacd3ca5784ea8e946.

19 months agoBugfix: The stage files should not begin with "-".
Kevin Day [Thu, 6 Apr 2023 01:33:33 +0000 (20:33 -0500)]
Bugfix: The stage files should not begin with "-".

I haven't looked at the stage files in a while because it just works.
I happened to notice that they are beginning with "-".
This is incorrect.

Turns out that at some point in time the separator got pulled outside the process.used condition.
This results in the "-" always being added when it should not be.
The problem is introduced in this completely erroneous commit 8cb1d765b75403e242e307590842628aad7ad91b.

Add the same logic check to the name because it also append a "-".

Also reset the used length at the start of population of the stage file strings.

19 months agoBugfix: Add missing new line.
Kevin Day [Thu, 6 Apr 2023 01:33:21 +0000 (20:33 -0500)]
Bugfix: Add missing new line.

19 months agoProgress: Improve thread support across programs and update threaded usage.
Kevin Day [Tue, 4 Apr 2023 23:49:22 +0000 (18:49 -0500)]
Progress: Improve thread support across programs and update threaded usage.

Enable the threaded signal handled consistently across all programs that are currently migrated (see commit 9e0529297bfdb1529be685eacd3ca5784ea8e946).

Improve the thread configuration to make it easier to enable or disable thread support.

Add documentation regarding the build modes supported in each of the build settings files.

Update the build scripts to better handle the now additional build modes.
The build scripts now use braces everywhere.
Doing this should make it easier to be compatible with other scripting engines such as ZSH.

19 months agoUpdate: Implement threaded signal handler in Featureless Make.
Kevin Day [Mon, 3 Apr 2023 00:17:48 +0000 (19:17 -0500)]
Update: Implement threaded signal handler in Featureless Make.

Bring in the threaded signal handler design that I experimented with in the Kevux Tools project.

This works by creating a thread that waits for the signal and nothing else.
The threaded design avoids the signal check and therefore avoids period calls to kernel space.

When thread support is diabled, this falls back to the traditional approach.

This will be done for other programs as well.

19 months agoProgress: Continue program related work, focusing on Featureless Make.
Kevin Day [Sun, 2 Apr 2023 20:34:44 +0000 (15:34 -0500)]
Progress: Continue program related work, focusing on Featureless Make.

The Featureless Make is not handling the return status correctly on error.
This is due to a regression from switching to having status on state.
There are a couple of separate reasons:
1) One function is not doing the pre-check for error and then overrides the status.
2) Other functions that handle the error printing are calling f_fss_count_lines() which overrides the state.

The first situation is easily solved with a condition check.
The second case requires saving the status and then restoring it for error handling functions calling f_fss_count_lines().

Change the code were reasonably possible to use const on the return code.
Don't bother with return_code != 0, as removing the != 0 should be effectively the same check.

Make sure path separator is only added if it is not already present.

The migration of status into main.setting.state.status incorrectly changed fake_make_operate_validate_define_name().
This function does not set the status on main.setting.state.status.

Make sure a single white space is after simple variable print messages (before the quoted variable).

Remove the extra arguments being created (just as is done in 0.6.x with commit e8998b2e7976cee50c8e0db55ed19e2137d7aa12).

Reduce the number of pointer accesses (such data->main->... into main->...) by using a variable.
This costs some memory but should reduce having to navigate two pointers constantly.
Doing it this way also avoids having to add a parameter to each function.

19 months agoProgress: Centralize Featureless Make cache and update directory code.
Kevin Day [Sun, 2 Apr 2023 00:06:32 +0000 (19:06 -0500)]
Progress: Centralize Featureless Make cache and update directory code.

The Featureless Make program now uses a more centralized cache.
This requires some delicate handling in certain areas and testing is needed to assure that there are no regressions.

Continue some work regarding the recursive directory functions.

19 months agoUpdate: Relocate fll_status_string to fl_status_string, fix failing tests, and update...
Kevin Day [Fri, 31 Mar 2023 22:57:17 +0000 (17:57 -0500)]
Update: Relocate fll_status_string to fl_status_string, fix failing tests, and update relating projects.

Now the f_compare exists the fll_status_string only depends on level 0 projects.
This can now be moved from a level 2 project into a level 1 project.

The fll_fss_status_code can now call fl_status_code.

19 months agoBugfix: When specifying a specific section name, do not care if there is no "main...
Kevin Day [Fri, 31 Mar 2023 04:55:36 +0000 (23:55 -0500)]
Bugfix: When specifying a specific section name, do not care if there is no "main" section.

When I implemented the feature represented by commit 6c05c66f50719c9edaa36dea75669e03cd558ee4, I apparently forgot to handle this case.

This program correctly errors when there is no "main" section.
When specifically asking to run a named section rather than the default "main", who cares if there is no "main"?
Based on that logic the lack of a "main" section should not be an error.