]> Kevux Git Server - fll/log
fll
2 years agoRefactor: Change FILE * to f_file_t when printing.
Kevin Day [Sat, 22 Oct 2022 14:50:44 +0000 (09:50 -0500)]
Refactor: Change FILE * to f_file_t when printing.

Due to the by-design restrictions, the f_file_t cannot be defined in f_file project and be used in another level_0 project.
The f_print project cannot depend on f_file project and cannot use f_file_t.

I spent some time considering this problem.

The f_type project is a special case core project that othe level_0 projects can depend on it.
This project also provides types and f_file_t is a type.

Move f_file_t's definition into f_file project.
I want to avoid always pulling in file related headers.
The the f_file_t is defined in a separate file "type_file.h".
The "type_file.h" must be manually included when needed.

With type_file.h in place, the print projects all include "type_file.h" and utilize f_file_t.
The "FILE *" stream is now replaced wth f_file_t.

This simplifies the code, makes it easier to use, and makes it easier to maintain.
For example, "fll_print_dynamic_raw(f_string_eol_s, main->output.to.stream);" can not be "fll_print_dynamic_raw(f_string_eol_s, main->output.to);".

I made this decision in the middle of a "Progress" change process.
There may be code missed and tests may need to be updated at some point after the "Progress" change process is complete.

2 years agoCleanup: Remove unused/dead code.
Kevin Day [Fri, 21 Oct 2022 05:29:48 +0000 (00:29 -0500)]
Cleanup: Remove unused/dead code.

2 years agoProgress: Continue program related work.
Kevin Day [Fri, 21 Oct 2022 03:23:46 +0000 (22:23 -0500)]
Progress: Continue program related work.

There has been a lot of interruptions with this particular pass.
Additional review is recommended.
I specifically need to review the iki_read for all of the parameters and make sure that there are no regressions.

Simplify the code, replacing f_iki_content_t, f_iki_delimits_t, and similar with direct types such as f_string_ranges_t and f_array_lengths_t.
This reduces some of the flexibility but increases the maintainability.

Make some of the print error functions accepts the symbols for both the first and second parameters.

Add additional error print functions.

Fix problem with --help printing.

Comment consistency improvements.

The iki_read program is updated to follow the design changes regarding programs.

Clarify certain aspects of the IKI specification.

2 years agoProgress: Continue program related work.
Kevin Day [Tue, 13 Sep 2022 01:00:11 +0000 (20:00 -0500)]
Progress: Continue program related work.

Add more common program print functions.
The parameter missing function is ironically missing the print messages.

I've decided to accept the loss of binary size for improved runtime efficiency (both of which are likely slight losses and improvements).
There are now "unlocked" and "locked" print line first and print line last functions for each program.
The boolean for designating lock is removed.
These functions are mostly wrappers and so the cost in size to be hopefully negligible.
I imagine time will tell whether this is an overall good or a bad decision.

Start working on iki_read.

2 years agoUpdate: Add support for stand_alone builds in the example bootstrap script.
Kevin Day [Mon, 5 Sep 2022 22:44:28 +0000 (17:44 -0500)]
Update: Add support for stand_alone builds in the example bootstrap script.

The bootstrap-example.sh script now supports building in "stand alone" mode for any program that has the mode defined.
The currently supported programs "fake" and "utf8" are still hard coded.
Future versions may check for the existence of the named files rather than being hard coded.

Update utf8 to compile.
Make the same changes for fake, but fake is not yet read because it has not been migrated yet.

2 years agoBugfix: The fll_program_standard_signal_received() changes are incomplete and break...
Kevin Day [Mon, 5 Sep 2022 21:56:39 +0000 (16:56 -0500)]
Bugfix: The fll_program_standard_signal_received() changes are incomplete and break tests.

This is a forward port of the commit ed22b926b67429681841b6b0dc3d76daca1b451f that fixes the problem from the commit ed22b926b67429681841b6b0dc3d76daca1b451f.

I forgot to update the new "stand alone" build settings with the new private source file.
The tests now use this "stand alone" build for building fake and using that fake to perform the tests.

Fix a problem with existing code that has incorrect macros.

2 years agoUpdate: Cygwin documentation.
Kevin Day [Mon, 5 Sep 2022 14:29:54 +0000 (09:29 -0500)]
Update: Cygwin documentation.

2 years agoProgress: Continue program related work.
Kevin Day [Thu, 1 Sep 2022 02:19:05 +0000 (21:19 -0500)]
Progress: Continue program related work.

Slight restructuring of memory allocation:
- Add or move double free and and unnecessary free checks.
- If amount 0 for increase functions, then do nothing.
- When resizing, perform a stale check in case strings point to a static string.
- The private_f_memory_structure_resize() should properly return the error response.

Remove fll_program_parameter_long_print_cannot_use_with().

The fll_program_standard_set_down() needs to check both the stream and the descriptors when closing rather than one or the other.

Explicitly set signal_received to uint32_t rather than int.
- The signal needs to also be uint32_t rather than f_status_t.

Add several new print functions for common print messages used by the programs.

Switch from flockfile() to f_file_stream_lock() and from funlockfile() to f_file_stream_unlock().
- There are still a lot more cases where these changes need to be made.

Add more function documentation.

Use "greater than" rather than "not equal to" for console verbosity checks.

More changes to these programs:
- fss_status_code
- iki_write
- status_code
- utf8

2 years agoProgress: Continue program related work.
Kevin Day [Mon, 22 Aug 2022 23:11:19 +0000 (18:11 -0500)]
Progress: Continue program related work.

The pointer is a double pointer in the memory function and as such the NULL check should be performed in f_memory.

Add print source and header files to all programs.

Stub out the necessary changes regarding the new setting data type in all programs.

Move file stream functions into their own files.

Add missing file stream lock and unlock functions.

Add F_okay and F_okay_not status codes.

Get utf8, status_code, and fss_status_code working with new program design (including the new settings data type).

2 years agoProgress: Working on program related changes and fix version number.
Kevin Day [Mon, 22 Aug 2022 02:22:38 +0000 (21:22 -0500)]
Progress: Working on program related changes and fix version number.

Continuing work in regards to making program related changes.

I managed to miss another set of files that have version numbers.
I should probably write a script to consistently handle this in the future to avoid these kinds of simple mistakes.

Change the behavior of the color loaded to allow for more flexibility.
The previous design was a quickly put togethor hardcoded approach.
I want to get away from such practices.

Add missing dependency in f_color.

I am at a cross roads of flexibility and maintainability (as well as size).
The practice of always having and using a typedef allows for great flexibility (allows for easy hacking/modifications).
As per my practice, I should have explicit functions for allocating, deallocating, and similar functions.
These waste space, consume time writing, and consume maintainance related time.
I want to increase the maintainability of the project given that my current goals are far reaching.
This means that I should switch to existing typedefs for any simple data type (except for special cases like strings and f_string_t).
I am starting this conversion with f_color, using the uintX_t types rathe than custom types like f_color_mode_t.

Start using enumerations over define macros.

Make the console parameter processing functions more flexible by returning the decision at the index rather than the converted decision value.
This allows for the caller to know which index is used.
The caller can do more work based on this without having to do more looping.

Add line_first_no and line_last_no standard parameters.
These add more flexibility for special case scripting.
Many core printing functions now do not print the leading new line.
All programs must be updated accordingly.

Add and document new console parameter initialization macros.
Start a new style practice with the console arguments, based around these new macros.

The f_file_stream_flush() should not need f_file_t parameter to be a pointer.

The memory functions now return F_data_not in more situations that make sense.
When size is 0 for allocation functions, this should be a paameter error when doing parameter checking.

The pointer should be allowed to be NULL when allocating.

Some fll_program functions are supposed to be using private functions due to internal usage.

The standard help options now have a standard printing function.

The fll_program_parameter_process() is removed.
Instead, call f_console_parameter_process directly.
The color context handling is moved from the now deleted fll_program_parameter_process() into fll_program_parameter_process_context().

The fll_program_data_t now accepts a pointer to the environment variable array for representing the environment variables are start.
The fll_program_data_t now uses flags rather than a boolean to represent program pipe (allowing for more than just input pipe, in theory).

Add new status codes:
- F_help
- F_help_not

Major work is completed into making the utf8 program more flexible.
- Moved all parameter processing into utf8_setting_load() and provide utf8_setting_t.
- This allows for callers to manually configure the settings without performing parameter processing if so desired.
- Re-design printing logic to handle the line_first_no and line_last_no parameters.
- The status used by the utf8_main() is now in utf8_setting_t.

Related changes have been lazily applied to all other programs.
Once I am finished with utf8 (which I might already be), then I will beging moving to each next program.

2 years agoProgress: Begin breaking out internal parameters to allow for better caller control...
Kevin Day [Thu, 11 Aug 2022 04:06:20 +0000 (23:06 -0500)]
Progress: Begin breaking out internal parameters to allow for better caller control in programs.

Starting with utf8, start the process of breaking out the parameter settings into a variable that the caller can customize.
This should improve extensibility such that the caller can provide their own initializers.

Other incidental changes are made.

2 years agoProgress: Changes to fll_program functions.
Kevin Day [Thu, 11 Aug 2022 03:58:16 +0000 (22:58 -0500)]
Progress: Changes to fll_program functions.

Reduce needed arguments to fll_program_parameter_process().

The color loaded is now handled in fll_program_parameter_process().

Add fll_program_parameter_process_verbosity().

Rename fll_program_standard_setdown() to fll_program_standard_set_down() and accept fll_program_data_t rather than f_signal_t.
Rename fll_program_standard_setup() to fll_program_standard_set_up() and accept fll_program_data_t rather than f_signal_t.

The fll_program_standard_set_down() now handles closing all file descriptors, incliding standard ones.

Change "bool process_pipe" to "uint8_t pipe" in fll_program_data_t to allow for multiple bits to be used.
Add "fl_print_t message" and "fl_print_t debug" to fll_program_data_t to give caller more control over different possible buffers.

2 years agoUpdate: Major changes regarding file functions.
Kevin Day [Thu, 11 Aug 2022 03:50:26 +0000 (22:50 -0500)]
Update: Major changes regarding file functions.

I like having support for "standard" debug and "standard" warning.
The problem is that there is no such standard.
These are made available in case there ever is.
I want to simplify the code, so get rid of this non-standard "standard" code.

The low-level file functions inconsistently used id, stream, and file structure.
Switch everything to use the file structure.

Relax function errors by having invalid stream or invalid file descriptor return without error bit set.
In these cases use special status codes F_stream_not and F_file_descriptor_not as appropriate.

Simplify the functions to be simpler.
Some of the functions, namely the close functions, also support conditionally flushing before close.
Remove the flushing and the passed boolean.
Let the caller use two functions directly rather than building this in.

Add missing function for flushing via the file descriptor.

The private_f_file_flush() function is missing several disable macro checks.
(This change needs to be backported.)

This change does not address the tests.
This change does not address the programs that use or might use the changed, new, or deleted code.

2 years agoCleanup: Fix comment regarding endif.
Kevin Day [Thu, 11 Aug 2022 03:47:32 +0000 (22:47 -0500)]
Cleanup: Fix comment regarding endif.

2 years agoRegression: Recent changes in f_account header structure is incomplete.
Kevin Day [Tue, 9 Aug 2022 01:40:55 +0000 (20:40 -0500)]
Regression: Recent changes in f_account header structure is incomplete.

The commit 0c4573ee9698e6f0980c4496a5f23b42946adbd3 (and possibly later commits) resulted in compilation failure.

2 years agoUpdate: Implement stand alone build for UTF8 program.
Kevin Day [Mon, 8 Aug 2022 04:11:07 +0000 (23:11 -0500)]
Update: Implement stand alone build for UTF8 program.

2 years agoCleanup: Add missing dependency in UTF8 program.
Kevin Day [Mon, 8 Aug 2022 04:10:07 +0000 (23:10 -0500)]
Cleanup: Add missing dependency in UTF8 program.

2 years agoUpdate: Stand alone Featureless Make custom config.h header.
Kevin Day [Mon, 8 Aug 2022 04:07:22 +0000 (23:07 -0500)]
Update: Stand alone Featureless Make custom config.h header.

Fix some mistakes.
Add several more disable macros to further shrink the size of the resulting binary.

2 years agoUpdate: The utf8 program should be using the stream read functions.
Kevin Day [Mon, 8 Aug 2022 04:04:26 +0000 (23:04 -0500)]
Update: The utf8 program should be using the stream read functions.

The file is opened using the stream open functions.
It is silly and inconsistent to use the non stream functions to read from a file opened via a stream.

2 years agoCleanup: Use functions directly rather than macros.
Kevin Day [Mon, 8 Aug 2022 04:03:30 +0000 (23:03 -0500)]
Cleanup: Use functions directly rather than macros.

The macro use is the old way and is now only used in special cases.

2 years agoBugfix: Functions private_f_file_flush() and private_f_print_safely_get() are not...
Kevin Day [Mon, 8 Aug 2022 04:00:46 +0000 (23:00 -0500)]
Bugfix: Functions private_f_file_flush() and private_f_print_safely_get() are not being inclided when needed.

The disable macro _di_f_file_stream_close_ is missing.
The disable macros _di_f_print_raw_safely_, _di_f_print_raw_safely_dynamic_, and _di_f_print_raw_safely_dynamic_partial_ are missing.

2 years agoUpdate: Describe modes being used when performing build or make.
Kevin Day [Mon, 8 Aug 2022 02:06:56 +0000 (21:06 -0500)]
Update: Describe modes being used when performing build or make.

Make it more obvious which mode is being used when printing.

2 years agoCleanup: Use f_account_accounts rather than f_accounts.
Kevin Day [Mon, 8 Aug 2022 01:45:32 +0000 (20:45 -0500)]
Cleanup: Use f_account_accounts rather than f_accounts.

The redudancy is slightly annoying but it is more conistent with the structural design.

2 years agoRegression: Monolithic build lost f_account sources.
Kevin Day [Mon, 8 Aug 2022 00:35:58 +0000 (19:35 -0500)]
Regression: Monolithic build lost f_account sources.

The commit 0c4573ee9698e6f0980c4496a5f23b42946adbd3 accidentally deleted the account sources.

2 years agoBugfix: Stand alone build is pulling headers from system.
Kevin Day [Sun, 7 Aug 2022 02:00:58 +0000 (21:00 -0500)]
Bugfix: Stand alone build is pulling headers from system.

The projects headers should be pulled rather than system headers.

Restructure the stand alone package structure to match the installed headers structure.
This allows for leveraging the pre-compilers ability to locate the files.
Pass '-I sources/c' to the flags to properly locate the local headers rather than the system headers.

2 years agoUpdate: The test script not uses stand alone mode for compiling Featureless Make.
Kevin Day [Sun, 7 Aug 2022 01:02:20 +0000 (20:02 -0500)]
Update: The test script not uses stand alone mode for compiling Featureless Make.

The Featureless Make program that is compiled and used to run the tests is now done so using the stand alone mode.
This simplifies the process and avoids having any libraries in the path that could potentially be used (this has never happened, by the way).

2 years agoUpdate: Implement stand alone build for Featureless Make.
Kevin Day [Sun, 7 Aug 2022 00:28:48 +0000 (19:28 -0500)]
Update: Implement stand alone build for Featureless Make.

This functions as both an example as well as a functional program.

I have not yet automated the disable macro process.
This process has been manually performed and may not remove all of the unnecessary code.
This does remove a vast majority of the unnecessary code.

2 years agoFeature: Add support for 'stand_alone' builds in the package script.
Kevin Day [Sun, 7 Aug 2022 00:24:32 +0000 (19:24 -0500)]
Feature: Add support for 'stand_alone' builds in the package script.

Provide a way to compile programs, such as Featureless Make, with all of their dependencies and most (if not all) of the unnecessary dependencies not part of the programs.
These programs, such as the Featureless Make program, are compiled as a single program with no libfll.so (or program library such as libfake.so) built.

These are still compiled as either shared or static.
All non-FLL libraries in the shared programs are still linked as libraries.

This is a feature in the helper script and does not result in any API (or ABI) breakage.

2 years agoBugfix: Mistakes in disable macros and remove redundant check.
Kevin Day [Sun, 7 Aug 2022 00:14:01 +0000 (19:14 -0500)]
Bugfix: Mistakes in disable macros and remove redundant check.

Fix numerous disable macro mistakes.
There are several functions that do not have the correct amount of disable macros.
There are several disable macros that have mistakes in the name structure.

The functions private_f_utf_string_append() and private_f_utf_string_append_nulless() are accidentally defined in the dynamic.h header file in addition to the string.h header file.
These should only be defined in one location and the ones defined in dynamic.h are incorrectly located.

Remove redundant errno check for ENOMEM in private_fl_directory_list().

2 years agoBugfix: Featureless Make dependencies are not accurately communicated.
Kevin Day [Sat, 6 Aug 2022 02:00:39 +0000 (21:00 -0500)]
Bugfix: Featureless Make dependencies are not accurately communicated.

Add missing dependencies.

Add new lines to separate levels in the dependencies file.

2 years agoUpdate: Add medium logos.
Kevin Day [Fri, 5 Aug 2022 03:12:05 +0000 (22:12 -0500)]
Update: Add medium logos.

2 years agoUpdate: Use resize functions rather than adjust functions forr append and append_all...
Kevin Day [Fri, 5 Aug 2022 03:10:59 +0000 (22:10 -0500)]
Update: Use resize functions rather than adjust functions forr append and append_all functions.

The resize functions should be used.
The adjust perform extra tasks which are meaningless for append and append_all.

2 years agoUpdate: Change logic to avoid potential negative numbers.
Kevin Day [Fri, 5 Aug 2022 02:43:12 +0000 (21:43 -0500)]
Update: Change logic to avoid potential negative numbers.

Avoid using a subtraction.
Instead just use a comparison.
This should be more performant and also avoids potential negative numbers when dealing with unsigned numbers.

2 years agoUpdate: Add functions, macros, and structures files for describing f_account project...
Kevin Day [Fri, 5 Aug 2022 02:37:59 +0000 (21:37 -0500)]
Update: Add functions, macros, and structures files for describing f_account project structure and FLL dependencies.

Dependencies outside of the FLL project are not included at this time.

2 years agoUpdate: Add missing structures to f_account_t and implement allocation functions.
Kevin Day [Fri, 5 Aug 2022 02:33:42 +0000 (21:33 -0500)]
Update: Add missing structures to f_account_t and implement allocation functions.

I failed to notice that f_account is incomplete and this failed to make the 0.6 release window.
This is an API change and will only be applied to the 0.7 development releases as a result.

Provide real functions rather than macros for allocation and deallocation of the f_account_t structure.
Make sure both f_accounts_t and f_acountss_t exist for standard consistency.
Add unit tests.

2 years agoUpdate: Next minor version (0.7.0), for missed files.
Kevin Day [Thu, 4 Aug 2022 04:16:49 +0000 (23:16 -0500)]
Update: Next minor version (0.7.0), for missed files.

2 years agoBugfix: Content is incorrectly attempted to be processed even though it does not...
Kevin Day [Wed, 3 Aug 2022 00:13:15 +0000 (19:13 -0500)]
Bugfix: Content is incorrectly attempted to be processed even though it does not exist.

There is happening due to a missing check to see if the Content array is empty.

2 years agoUpdate: Always ensure content size is 0 when content is not found.
Kevin Day [Wed, 3 Aug 2022 00:10:10 +0000 (19:10 -0500)]
Update: Always ensure content size is 0 when content is not found.

2 years agoUpdate: Redesign behavior of pipe, allowing it to run properly inside software like...
Kevin Day [Tue, 2 Aug 2022 22:53:13 +0000 (17:53 -0500)]
Update: Redesign behavior of pipe, allowing it to run properly inside software like Gitlabs CI or Githubs CI.

I believe both of the CI systems (Github and Gitlab) use Docker.

These systems will place a new line in the input pipe before starting the programs being called.
This is bad behavior but I cannot do anything about it.

The previous design of Featureless Make is to use only the input pipe if it is specified.
This results in the Featureless Make operations to fail.

This redesigns the pipe handling behavior of Featurleess Make rather than try to submit a bug report to a team that is likely to completely ignore me.

The new behavior is as follows:
  - If a pipe is specified, treat the pipe is prepended to the buffer that will be used for processing the file.
  - This works for both "build" operations and "make" operations.
  - The input pipe is treated as a "fakefile" when using the "make" operation.
  - The input pipe is treated as a "settings" file when using the "build" operation.
  - The input pipe may have an error bit so always clear the error.
  - The "build" and "make" operations can be called within the "make" operation, recursively, so the pipe must only be processed by the outermost fakefile.
  - The operation needs to be detected and identified as "default" to better determine how to handle missing files when a pipe is present and when a pipe is not present.
  - Avoid resetting the buffer on every load so that the input pipe can be prepended without being reset.

Some of the code is cleaned up and simplified in regards to files.

Only perform the pre-process cleanup checks when there are more than two operations.

2 years agoUpdate: Next minor version (0.7.0).
Kevin Day [Tue, 2 Aug 2022 02:57:06 +0000 (21:57 -0500)]
Update: Next minor version (0.7.0).

2 years agoUpdate: Enable gitlab test support.
Kevin Day [Mon, 1 Aug 2022 03:54:48 +0000 (22:54 -0500)]
Update: Enable gitlab test support.

The gitlab can be designed to work the same as github.
Change the name of the relevant code from "github" to "ci" and have both gitlab and github modes call the ci functions.

For the time being using github as the source code repository is fine.
I should eventually clone the respective repos in gitlab and then conditionally use the URLs based off of the given build mode (github or gitlab).

2 years agoBugfix: Block is incorrectly being reset when an else condition precedes an if condition. 0.6.0
Kevin Day [Sun, 31 Jul 2022 22:50:30 +0000 (17:50 -0500)]
Bugfix: Block is incorrectly being reset when an else condition precedes an if condition.

There is a logic mistake where the "else" is not being considered when determining when to reset the block.
This results in the block states being reset when the previous operation is an "else" condition.
This results in the second else condition potentially running even if the prior condition already ran.

This was discovered when investigating Github actions test failures that pass locally.
The Github actions tests use a special test argument that I had not tested locally with.

2 years agoCleanup: The 'individual' mode is meaningless in the example bzip2 settings files.
Kevin Day [Sun, 31 Jul 2022 21:28:58 +0000 (16:28 -0500)]
Cleanup: The 'individual' mode is meaningless in the example bzip2 settings files.

2 years agoUpdate: The example bzip2 now supports running the tests.
Kevin Day [Sun, 31 Jul 2022 20:12:00 +0000 (15:12 -0500)]
Update: The example bzip2 now supports running the tests.

Also update the documentation because step 5 is out of date.

2 years agoCleanup: Simplify the bzip2 example fakefile ever so slightly.
Kevin Day [Sun, 31 Jul 2022 19:49:39 +0000 (14:49 -0500)]
Cleanup: Simplify the bzip2 example fakefile ever so slightly.

2 years agoCleanup: Add missing return statements and remove unused variables.
Kevin Day [Sun, 31 Jul 2022 04:20:04 +0000 (23:20 -0500)]
Cleanup: Add missing return statements and remove unused variables.

2 years agoBugfix: Tests for f_color are failing due to missing source file.
Kevin Day [Sun, 31 Jul 2022 01:33:06 +0000 (20:33 -0500)]
Bugfix: Tests for f_color are failing due to missing source file.

The commit 46fcfb4b6fd4e39c0ba1f96df383db82e36af2a1 failed to also add the new source file to the unit test settings file.

2 years agoUpdate: Specifications and documentation, fixing mistakes and adding IKI support.
Kevin Day [Sat, 30 Jul 2022 22:37:19 +0000 (17:37 -0500)]
Update: Specifications and documentation, fixing mistakes and adding IKI support.

Fix discovered mistakes.
Utilize IKI variables for the fake specifications and documentation just like is done with the FLL specifications.

2 years agoUpdate: The f_color needs to follow latest practices with private functions.
Kevin Day [Sat, 30 Jul 2022 14:45:48 +0000 (09:45 -0500)]
Update: The f_color needs to follow latest practices with private functions.

The f_color project is now updated to use private functions.

Change the behavior of the color parameters to only append if the previous is provided.
This includes the relevant color medium.

Update the documentation comments to display the correct function dependencies and error return states.

2 years agoAdd documentation about disabling functions.
Kevin Day [Sat, 30 Jul 2022 00:55:55 +0000 (19:55 -0500)]
Add documentation about disabling functions.

2 years agoBugfix: private_f_file_open_at() has an incomplete set if ifdef conditions.
Kevin Day [Sat, 30 Jul 2022 00:22:10 +0000 (19:22 -0500)]
Bugfix: private_f_file_open_at() has an incomplete set if ifdef conditions.

The ifdef conditions for disabled functions is incomplete.
This results in the private_f_file_open_at() becoming incorrectly unavailable when the appropriate disable defines are set.

2 years agoCleanup: Spelling mistakes, styling mistakes, and improve documentation about Time.
Kevin Day [Fri, 29 Jul 2022 04:17:42 +0000 (23:17 -0500)]
Cleanup: Spelling mistakes, styling mistakes, and improve documentation about Time.

The documentation about Time vs Epoch time is a bit confusing.
Changes the sentences with the goal of improving the documentation.

I may also end up moving the Time documentation to the FLL core documentation rather than have it be part of Controller.

2 years agoCleanup: Fix problems in the specification files.
Kevin Day [Thu, 28 Jul 2022 00:37:29 +0000 (19:37 -0500)]
Cleanup: Fix problems in the specification files.

Add missing delimits.
Fix capitalization of words.
Fix spacing.
Remove out of place text.

2 years agoUpdate: Improve specification files.
Kevin Day [Thu, 28 Jul 2022 00:36:31 +0000 (19:36 -0500)]
Update: Improve specification files.

Expand the vocabulary to include more words such as "character".
This allows for more granular control over substitution.
This is a must to easily convert to both plain text and HTML from the same source file.

2 years agoUpdate: Clarify IKI standard in regards to delimits and improve specification file.
Kevin Day [Thu, 28 Jul 2022 00:09:16 +0000 (19:09 -0500)]
Update: Clarify IKI standard in regards to delimits and improve specification file.

Add additional commands to the specification iki_read example.
Expand the vocabulary to include more words such as "character".
This allows for more granular control over substitution.
This is a must to easily convert to both plain text and HTML from the same source file.

Fix incorrect example where the delimits are on the wrong characters (url:\' is not correct and instead should be url\;').
Add delimits to accidentally undelimited code.

These changes exposed a mistake in both the processing code and a detail on how I explained the specification.
The IKI processing only needs a delimit when the vocabulary name followed by a colon followed by either a single or a double quote.
That is to say, the matching closing single or double quote is irrelevant.
This simplifies the logic needed to both read and write the IKI content for both machines and humans.
Note that this is in contrast to how the FSS works.
IKI is designed for different purposes than FSS and thus has slightly different design paradigms.

The code processing this is incorrectly failing to apply delimits for any potentially valid IKI content inside an already valid but delimited IKI variable.
Fixing this conveniently also results in simpler code and fewer variables used (saving trivial memory).

2 years agoCleanup: Capitalization of wods and improve grammar in documentation.
Kevin Day [Mon, 25 Jul 2022 02:59:52 +0000 (21:59 -0500)]
Cleanup: Capitalization of wods and improve grammar in documentation.

2 years agoUpdate: Add +E/++error parameter to firewall.
Kevin Day [Sun, 24 Jul 2022 03:26:25 +0000 (22:26 -0500)]
Update: Add +E/++error parameter to firewall.

The previous security commit 7348813d0af17acda440eb66c038f6bdd07c1a6e is the result of an incomplete addition of the +E/++error parameter.
The size of the total parameters was incremented to ensure space for the +E/++error but the +E/++error was never added.

This increments the total parameters and adds the +E/++error row.

2 years agoSecurity: Invalid read in firewall program during resource clean up.
Kevin Day [Sun, 24 Jul 2022 03:22:38 +0000 (22:22 -0500)]
Security: Invalid read in firewall program during resource clean up.

The total parameters define has the wrong size resulting in an invalid read.

2 years agoCleanup: Use hard coded example in help.
Kevin Day [Sun, 24 Jul 2022 03:06:47 +0000 (22:06 -0500)]
Cleanup: Use hard coded example in help.

The example is under certain circumstances ending up as an empty string.
This results in a confusing example.

Switch to hard coded example rather than trying to use some dynamic variable.

2 years agoBugfix: Link operation is incorrect, support new link arguments, and clone and copy...
Kevin Day [Sat, 23 Jul 2022 22:41:30 +0000 (17:41 -0500)]
Bugfix: Link operation is incorrect, support new link arguments, and clone and copy operation failure problems.

The link operation target path is relative to the point path.
The previous code is trying to treat the target path in isolation.
Change the behavior to make the target path relative to the point path.

Add two new options to make creating symbolic linking easier to use:
1) "force": Used to forcibly overwrite an existing file or directory.
2) "strict": Used to require the target path to exist when creating the symbolic links.

The clone and copy operations now have better error return code processing.

2 years agoCleanup: Relocate all operation process type operations into functions.
Kevin Day [Sat, 23 Jul 2022 19:31:09 +0000 (14:31 -0500)]
Cleanup: Relocate all operation process type operations into functions.

Just like with commit 452b0189a610418420119a71907e7b9276ed5c28 do some re-organization.

The operate process type operations are not all in their own functions.
Change the code to move all of the operate process type operations into their own functions.

2 years agoUpdate: Organize the validate operation into separate type functions and improve...
Kevin Day [Sat, 23 Jul 2022 15:55:55 +0000 (10:55 -0500)]
Update: Organize the validate operation into separate type functions and improve error handling logic.

Move the contents of each validate operation if condition block into separate functions.
This makes the validate operation code more consistent with how the process operation code.
This simplifies some of the nesting.
This has a cost of adding and calling more functions.

Multi-purpose functions are used where applicable rather than having a single function for each operation type.

The error handling is improved in some cases where errors are printed for all arguments rather than the first.
This is done only in cases where I could obviously and quickly determine that this can be done.

There is the possibility of mistakes or regressions due to the structural changes and the condition block changes.

2 years agoUpdate: Call fake_make_operate_process_type_link().
Kevin Day [Sat, 23 Jul 2022 15:54:46 +0000 (10:54 -0500)]
Update: Call fake_make_operate_process_type_link().

This change was accidentally ommitted in the previous commit 854d08a0841b83e2010fed454c4f960c180ab5f3.

2 years agoCleanup: Move the link operation into its own function fake_make_operate_process_type...
Kevin Day [Sat, 23 Jul 2022 03:40:28 +0000 (22:40 -0500)]
Cleanup: Move the link operation into its own function fake_make_operate_process_type_link().

2 years agoCleanup: Update documentation comments to reference the current error return codes.
Kevin Day [Sat, 23 Jul 2022 03:11:57 +0000 (22:11 -0500)]
Cleanup: Update documentation comments to reference the current error return codes.

2 years agoCleanup: Style practices.
Kevin Day [Fri, 22 Jul 2022 03:56:11 +0000 (22:56 -0500)]
Cleanup: Style practices.

2 years agoBugfix: Apply recent bug fixes for the copy/clone operation to the move operation.
Kevin Day [Fri, 22 Jul 2022 03:53:48 +0000 (22:53 -0500)]
Bugfix: Apply recent bug fixes for the copy/clone operation to the move operation.

The move operation is very similar to the copy and clone operations.

Apply the fixes from these commits:
e70631a5463f7dcb7ad70a0f92040c2d59ad947a
f57654c80ecb53fd40bf2b2e18d41197718bbaa7

The commit e70631a5463f7dcb7ad70a0f92040c2d59ad947a also went a bit over kill and added unecessary trailing slashes.
I only tested directoreis at the time and it was not a problem.
This broke for non-directory file types.

2 years agoCleanup: Consistently return status codes on failure.
Kevin Day [Fri, 22 Jul 2022 03:13:43 +0000 (22:13 -0500)]
Cleanup: Consistently return status codes on failure.

Sometimes status is returned.
Other times F_status_set_error(F_failure) is returned.

Follow the second case.

2 years agoBugfix: Copy should destination should be the base name rather than the entire path.
Kevin Day [Fri, 22 Jul 2022 01:30:46 +0000 (20:30 -0500)]
Bugfix: Copy should destination should be the base name rather than the entire path.

The entire path is being appended to the destination when performing a clone or a copy operation.
Example:
  copy a/b/c.txt destination/

This should copy c.txt as "destination/c.txt".
What instead happens is this: "destination/a/b/c.txt".

Change the code to now detect the file base name and append the base name rather than append the entire path.

2 years agoUpdate: Improve user experience by defaulting specified fakefile and build settings...
Kevin Day [Fri, 22 Jul 2022 00:02:59 +0000 (19:02 -0500)]
Update: Improve user experience by defaulting specified fakefile and build settings file to present working directory.

Change the behavior to search the present working directory first.
If the file exists, then use it.
If not, then check the data/build/ directory.

This is done only for fakefile and build settings file that are not specified using a directory separator.

2 years agoSecurity: Invalid read when processing an empty fakefile.
Kevin Day [Fri, 22 Jul 2022 00:01:21 +0000 (19:01 -0500)]
Security: Invalid read when processing an empty fakefile.

The check should be a greater than or equal to rather than a greater than.

The code really shouldn't get here anyway.
Do not continue processing if fakefile is empty.

2 years agoUpdate: Timeout changes and documentation updates.
Kevin Day [Thu, 21 Jul 2022 22:44:14 +0000 (17:44 -0500)]
Update: Timeout changes and documentation updates.

I seem to have forgotten to complete this functionality.
I believe it is too much work to do and this will not make the stable release.
Update the documentation to reflect this.

Add a new timeout option called "exit".
This allows for handling the timeout when exiting the program.
This is implemented and in use.
The implementation is dirt simple and sub-optimal but allows for the functionality to be quickly implemented.

The important addition here is the ability to disable the respective timeouts.
No child processes are killed when the exit timeout is disabled.
This can result in the program stalling for a long time or indefinitely.

A new flag property is added to controller_entry_t and controller_entry_action_t.

2 years agoUpdate: The standard program setup should explicitly unblock all signals other than...
Kevin Day [Thu, 21 Jul 2022 01:40:14 +0000 (20:40 -0500)]
Update: The standard program setup should explicitly unblock all signals other than the default.

The fll_program_standard_setup() function blocks certain signals.
Do not assume all other signals are unblocked.
Explicitly unblock all other signals.

2 years agoBugfix: Parameter after either the -N or -W is being processed.
Kevin Day [Wed, 20 Jul 2022 22:17:05 +0000 (17:17 -0500)]
Bugfix: Parameter after either the -N or -W is being processed.

These should not expect an argument and are configured to do so.
Set the expected arguments to 0.

The command:
  byte_dump /bin/bash -N --help

Should now print help.

2 years agoFeature: Add missing signal functions f_signal_action(), f_signal_pause(), and f_sign...
Kevin Day [Wed, 20 Jul 2022 03:19:51 +0000 (22:19 -0500)]
Feature: Add missing signal functions f_signal_action(), f_signal_pause(), and f_signal_suspend().

The f_signal_pause() just calls pause() and returns F_none.
The return value of pause() is meaningless if I am understanding the man pages correctly.
It should always return -1 and then sets errno despite this not being an actual error.

2 years agoRegression: Incomplete IKI variable expansion when an extra ':' is found.
Kevin Day [Wed, 20 Jul 2022 02:49:35 +0000 (21:49 -0500)]
Regression: Incomplete IKI variable expansion when an extra ':' is found.

The commit feb9184911c738b66c4181f58527cbfd94cdb25c introduced the use of F_next to restart the outer most loop.

I missed a single case where status should be set to F_next.
The problematic code is setting the status to F_false.

2 years agoSecurity: Invalid read when processing not condition minimum value.
Kevin Day [Wed, 20 Jul 2022 02:16:47 +0000 (21:16 -0500)]
Security: Invalid read when processing not condition minimum value.

The right side of the or condition should only perform the minimum check when j is within the range of the array.

2 years agoRegression: Pre-allocate is using the wrong array.
Kevin Day [Wed, 20 Jul 2022 02:04:50 +0000 (21:04 -0500)]
Regression: Pre-allocate is using the wrong array.

I mixed up the arrays, the code managed to compile, and the error went unnoticed.

The problem is introduced by this commit: 99e025d4b5b1110733e4049416d848f8bc632fb3.

2 years agoCleanup: Remove bad path part from string in testfiles.
Kevin Day [Wed, 20 Jul 2022 01:47:01 +0000 (20:47 -0500)]
Cleanup: Remove bad path part from string in testfiles.

The 'parameter:' is not valid and does nothing here.
This is likely the result of a copy and paste that didn't fully delete the parameter IKI variable.

2 years agoBugfix: Guarantee that the child processes are terminated.
Kevin Day [Tue, 19 Jul 2022 03:35:29 +0000 (22:35 -0500)]
Bugfix: Guarantee that the child processes are terminated.

The terminate signal is not being received for unknown reasons.
The signals are unblocked for the child process.
And yet, it continues to block.

The final part of the terminate due to signal is to forcibly terminate (sending the kill signal).
This is now happening for child processes.

Sending the kill signal allieviates the problem where the controller program will not terminate.
This fix causes the reduces the severity of the problem such that the terminate should still terminate.
However, this fix does not solve the problem with the terminate signal not being received by a child process that is not blocking the signal as far as I can tell.

2 years agoBugfix: The copy operation doesn't work properly with trailing slashes.
Kevin Day [Mon, 18 Jul 2022 03:36:55 +0000 (22:36 -0500)]
Bugfix: The copy operation doesn't work properly with trailing slashes.

The generated path might not be valid when a trailing slash is supplied on the source or the destination.
Increase the static array size to accommodate at least 2 added separators.
Only add the separators if one does not already exist.

This does not attempt to clean up the code if there are multiple separators beyond the first.
(That is to say "copy a/// b///" will not become "copy a/ b/".)

2 years agoCleanup: Tweak the delimits behavior to re-use the existing array to reduce memory...
Kevin Day [Mon, 18 Jul 2022 01:36:45 +0000 (20:36 -0500)]
Cleanup: Tweak the delimits behavior to re-use the existing array to reduce memory overhead.

2 years agoBugfix: IKI substitution is incorrectly applied.
Kevin Day [Mon, 18 Jul 2022 01:26:23 +0000 (20:26 -0500)]
Bugfix: IKI substitution is incorrectly applied.

The function controller_rule_action_read_delimit_apply() is remapping the array and applies the delimits.
Another function is then applying the same delimits again, but against the remapped buffer.
This results in the delimits being applied to the wrong locations in the string.

Get rid of the controller_rule_action_read_delimit_apply().
The use of this function results in an incorrect string when printing validation.

Thoroughly clear the entire IKI data when processing the actions.

2 years agoSecurity: Invalid reads on NULL terminated strings with a max width greater than 1.
Kevin Day [Sun, 17 Jul 2022 23:42:21 +0000 (18:42 -0500)]
Security: Invalid reads on NULL terminated strings with a max width greater than 1.

The max width cannot be reliably trusted in NULL terminated strings.
Check if each character in the expected max width is not terminated early due to a NULL.
If it is, then adjust the max width.

2 years agoFeature: The fake program should support the "current" parameter.
Kevin Day [Sun, 17 Jul 2022 21:35:09 +0000 (16:35 -0500)]
Feature: The fake program should support the "current" parameter.

This is the compliment to the "top" variable parameter.

The current working directory, also known as the present working directory, should be an IKI variable.

Use the f_string_dynamic_append_assure() rather than f_string_dynamic_append() to only add the trailing slash if it is not already present.

Update the documentation.

2 years agoBugfix: Text is being incorrectly stripped out.
Kevin Day [Sun, 17 Jul 2022 21:19:03 +0000 (16:19 -0500)]
Bugfix: Text is being incorrectly stripped out.

Remove old code that is reset the used buffer when it should not be.

2 years agoUpdate: Reduce number of allocations by pre-determining size when easily possible.
Kevin Day [Sun, 17 Jul 2022 20:49:48 +0000 (15:49 -0500)]
Update: Reduce number of allocations by pre-determining size when easily possible.

There are several cases where the expected size can be calculated.
Pre-allocated the expected size to reduce reallocation and improve performance by reducing memory overhead.

I also noticed that the comment is no longer correct and that the not quoted check could be reversed.
Changing this simplified the code, slightly.

2 years agoBugfix: Reserved parameter IKI expansion is not adding spaces and the "top" reserved...
Kevin Day [Sun, 17 Jul 2022 20:34:16 +0000 (15:34 -0500)]
Bugfix: Reserved parameter IKI expansion is not adding spaces and the "top" reserved parameter should always end in a slash.

The IKI expansion on reserved parameters, such as "parameter:"fakefile"", should include spaces as appropriate.
For example, given a call to "fake -f my_fakefile", the parameter:"fakefile" should expand into "-f my_fakefile" but is instead expanding into "-fmy_fakefile".

For security reasons, the expanded paths, such as parameter:"top", should always have a trailing slash.
Consider "rm -Rf parameter:"top"tmp" vs "rm -Rf parameter:"top"/tmp".
On the left side, if parameter:"top" resolves into an empty string, then the command is: "rm -Rf tmp".
On the right side, if parameter:"top" resolves into an empty string, then the command is: "rm -Rf /tmp".
The right side would end up destroying a path outside of the project root, such as "/tmp"!

2 years agoFeature: The fake program should support the "top" parameter.
Kevin Day [Sun, 17 Jul 2022 15:28:46 +0000 (10:28 -0500)]
Feature: The fake program should support the "top" parameter.

The "top" is already available but it is not exposed through IKI variable parameter replacement.

Update the documentation, including adding missing documentation about "return".

Remove unused "return:option" and "return:value" parameter (this is not used because it is not valid).

2 years agoBugfix: IKI variable substitution results in incorrect parameter structure for reserv...
Kevin Day [Sun, 17 Jul 2022 14:35:06 +0000 (09:35 -0500)]
Bugfix: IKI variable substitution results in incorrect parameter structure for reserved parameters.

The commit 9ebfcc071f11f82b435cfa0f73e4961912571c38 didn't address this case.

There is an existing "separate = F_true;" that suggest that I was planning on working on this.
I probably overlooked and forgot about this block.

Do not increment the parameters array and instead prepend a single space only when needed.

2 years agoRegression: An if-condition followed by a completed if-condition is not being processed.
Kevin Day [Sun, 17 Jul 2022 14:07:56 +0000 (09:07 -0500)]
Regression: An if-condition followed by a completed if-condition is not being processed.

The commit 4ddc0910eb872bf242895e1e5e804f50f671901d did not address this use case.

Example:
  if == x x
    print x is x
  if == y y
    print y is y

2 years agoCleanup: Documentation in regards to the newly added +E/++Error and the changes from...
Kevin Day [Sun, 17 Jul 2022 03:36:45 +0000 (22:36 -0500)]
Cleanup: Documentation in regards to the newly added +E/++Error and the changes from +q to +Q.

2 years agoUpdate: Add support for +E/++error, change '+q' to '+Q', and fix some past tense...
Kevin Day [Sun, 17 Jul 2022 03:09:09 +0000 (22:09 -0500)]
Update: Add support for +E/++error, change '+q' to '+Q', and fix some past tense words.

Selecting a quiet mode that still prints errors is very helpful in embedded fakefiles inside of controller rules.

I noticed that almost all of the verbosity related parameters are upper case except for the "quiet" parameter.
Change the "quiet" parameter from "+q" to "+Q".

I noticed some words in the past tense.
The goal is to use present tense.
Using past tense a habit I hope to get out of when programming.

2 years agoBugfix: Error verbosity is not being preserved.
Kevin Day [Sun, 17 Jul 2022 01:25:57 +0000 (20:25 -0500)]
Bugfix: Error verbosity is not being preserved.

2 years agoUpdate: Testfiles now need to use the "exist" rather than "exists".
Kevin Day [Sun, 17 Jul 2022 01:09:53 +0000 (20:09 -0500)]
Update: Testfiles now need to use the "exist" rather than "exists".

2 years agoBugfix: IKI variable substitutionr results in incorrect parameter structure.
Kevin Day [Sun, 17 Jul 2022 01:00:35 +0000 (20:00 -0500)]
Bugfix: IKI variable substitutionr results in incorrect parameter structure.

The commit d94d5337c44d7b2d6f3ed183e8d2c94b4bdad1f6 exposed an existing bug.

There parameters are not always expanding properly resulting in the parameter being empty, having the incorrect order, or being improperly merged with another parameter.
Change the array resize behavior to resize after incrementing the arguments rather than before.
Detect and handle special cases where separation needs to be applied and when separation does not need to be applied.
Remove random space that is being accidentally appended when printing arguments (probably an accident from a previous commit).

The commit 6012208c61e616a5d31d285ba8873f55b987bf70 did not fully solve the problems it attempted to solve.
Handle additional cases, such as:

  settings:
    parameter a iki <-assure_space unassure_space->
    parameter b value

  main:

    if exist 'parameter:"a"'
      print yes (parameter:"a")
    else
      print no (parameter:"a")

    print 0 parameter:"a"
    print 1 parameter:"b"
    print 2 parameter:"b".
    print 3 "parameter:"b""
    print 4 "parameter:"b\" between parameter:"b""
    print 5 'begin parameter:"a" middle parameter:"a" end'
    print 6 "begin parameter:"a\" middle parameter:"a\" end"
    print 7 begin parameter:"a" middle parameter:"a" end
    print 8 begin parameter:"a"! middle parameter:"a"@parameter:"a" end

Should produce results like:
  no (iki <-assure_space unassure_space->)
  0 iki <-assure_space unassure_space->
  1 value
  2 value.
  3 value
  4 value between value
  5 begin iki <-assure_space unassure_space-> middle iki <-assure_space unassure_space-> end
  6 begin iki <-assure_space unassure_space-> middle iki <-assure_space unassure_space-> end
  7 begin iki <-assure_space unassure_space-> middle iki <-assure_space unassure_space-> end
  8 begin iki <-assure_space unassure_space->! middle iki <-assure_space unassure_space->@iki <-assure_space unassure_space-> end

Move the relevant arguments and iki data into a shared cache to save memory consumption.
Rename path_cache to cache_path for consistency.

2 years agoBugfix: Single quotes are not being properly detected in FSS Extended Read functions.
Kevin Day [Fri, 15 Jul 2022 04:27:43 +0000 (23:27 -0500)]
Bugfix: Single quotes are not being properly detected in FSS Extended Read functions.

A copy and paste mistake where f_fss_quote_type_double_e when instead f_fss_quote_type_single_e should be used resulted in the quote being set to NULL.

Also do some code clean up.

2 years agoUpdate: Change "exists" to "exist" in fakefile syntax.
Kevin Day [Thu, 14 Jul 2022 02:05:08 +0000 (21:05 -0500)]
Update: Change "exists" to "exist" in fakefile syntax.

The use of "exists" is grammatically correct and the use of "exist" is grammatically incorrect.
This is not in English grammar.
The practices of this project are to focus on using "s" strictly for plural.
The practices of this project are to use simple or base words more often.

The area in which proper grammar is allowed is when interacting with the user rather than with code.
A project like Fake has a target user who is a programmer.
This is a grey area.

The project is already using "if define" rather than "if defined".
For the purpose of keeping a consistent design, I am favoring "exist" over "exists" for this grey area.
Another bonus is that "exist" is shorter than "exists" (however trivial).

2 years agoUpdate: Strip out NULL characters after applying delimits.
Kevin Day [Wed, 13 Jul 2022 23:19:21 +0000 (18:19 -0500)]
Update: Strip out NULL characters after applying delimits.

Once a rule is read and the IKI data is parsed, apply the IKI delimits.
NULL characters replace the delimits.
Strip out all NULL characters from the string after the delimits are applied.

2 years agoUpdate: Replace Unicode Terminate escape sequence with Non-printing escape sequence.
Kevin Day [Wed, 13 Jul 2022 12:07:45 +0000 (07:07 -0500)]
Update: Replace Unicode Terminate escape sequence with Non-printing escape sequence.

Use "\!" instead of "\U-".
It is simpler and has the convenience of not being part of an IKI variable.

Update the alphabetic ordering.

The documentation is missing context IKI variable.
Describe all supported context IKI variables.