]> Kevux Git Server - fll/log
fll
4 years agoBugfix: FSS Extended List object detection is invalid.
Kevin Day [Wed, 28 Oct 2020 02:50:53 +0000 (21:50 -0500)]
Bugfix: FSS Extended List object detection is invalid.

Not sure how I let this one slip through.
The code is checking for an EOL if found checks to see if that EOL is a graph...which is never the case.

What I meant to do is more likely breaking on EOL or breaking on graph.

4 years agoUpdate: relax parameter checks in f_utf_buffer_decrement() and f_utf_buffer_increment().
Kevin Day [Mon, 26 Oct 2020 04:14:10 +0000 (23:14 -0500)]
Update: relax parameter checks in f_utf_buffer_decrement() and f_utf_buffer_increment().

Return F_data_not instead of an error of F_parameter.

4 years agoUpdate: Better handle comments in FSS and fix problems.
Kevin Day [Mon, 26 Oct 2020 00:18:41 +0000 (19:18 -0500)]
Update: Better handle comments in FSS and fix problems.

Comments may exist inside of an FSS Basic List and FSS Extended List.
Handle the comments.

The FSS Basic List Read and FSS Extended List read both need to print the ignore character around content in pipe mode.
The FSS Extended List needs to specifically not do this for individual nested objects.

Fix problems in the FSS Basic List read content handling when an object is found such that content is empty.
Clean up some of the code, doing some basic code simplification.
The FSS Basic List Read should always return a range and should not exclusively end always at an EOL.

Fix a case where not enough memory is allocated for delimits in FSS Basic List.

Add missing/incomplete parameter checks.

4 years agoUpdate: todo.txt.
Kevin Day [Sun, 25 Oct 2020 00:26:53 +0000 (19:26 -0500)]
Update: todo.txt.

I noticed that I haven't looked at this in a while.
These changes are just at glance, this todo needs to be cleaned out and refreshed more.
But that is for another time.

4 years agoBugfix: Byte Dump start point needs to actually seek the requested start point.
Kevin Day [Sat, 24 Oct 2020 23:57:56 +0000 (18:57 -0500)]
Bugfix: Byte Dump start point needs to actually seek the requested start point.

The start point is correctly being calculated but the initial read is not being performed.
This results in an incorrect display.

4 years agoUpdate: print the open/closing for the FSS Basic List Read and FSS Extended List...
Kevin Day [Sat, 24 Oct 2020 23:45:22 +0000 (18:45 -0500)]
Update: print the open/closing for the FSS Basic List Read and FSS Extended List Read.

When both -o/--object and -c/--content parameters are specified, print the relevant open and close parts.

4 years agoUpdate: remove explicit FSS JSON specification.
Kevin Day [Sat, 24 Oct 2020 23:08:19 +0000 (18:08 -0500)]
Update: remove explicit FSS JSON specification.

The JSON format is specifically different in certain ways.
The Extended List is already as close as can be, so use that instead.

This moves IKI Text from FSS-000D to FSS-000C.

4 years agoCleanup: FSS Program documentation.
Kevin Day [Sat, 24 Oct 2020 23:02:08 +0000 (18:02 -0500)]
Cleanup: FSS Program documentation.

4 years agoFeature: add support for specifying delimits via -D/--delimit to FSS read program...
Kevin Day [Sat, 24 Oct 2020 23:01:47 +0000 (18:01 -0500)]
Feature: add support for specifying delimits via -D/--delimit to FSS read program, specifically completing FSS Extended List Read.

This implements the required logic to properly handle the recursive behavior of FSS-0003 when processing delimits.

4 years agoFeature: add suppot for specifying delimits via -D/--delimit to FSS read programs.
Kevin Day [Sat, 24 Oct 2020 16:55:14 +0000 (11:55 -0500)]
Feature: add suppot for specifying delimits via -D/--delimit to FSS read programs.

The -D/--delimit parameter accepts multiple types of values:
- "all": apply all delimits.
- "none": do not apply delimits.
- 1: apply limits at depth 1 (this can be any supported whole number and not just 1).
- 1-: apply limits at depth 1 or lesser (this can be any supported whole number and not just 1).
- 1+: apply limits at depth 1 or greater (this can be any supported whole number and not just 1).

The appropriate FSS functions need to be updated to not auto-apply delimits.
Instead, these now pass the delimits array back to the caller.

The FSS Extended List Read program delimits support is currently incomplete.
- A considerable amount of changes are needed to adequately support this.
- A follow up commit will address this issue.

4 years agoFeature: provide string "except" functions.
Kevin Day [Sat, 24 Oct 2020 13:36:54 +0000 (08:36 -0500)]
Feature: provide string "except" functions.

The FSS Read functions utilize matching and printing on potentially delimited data.
If the delimits are not applied, then the matches and prints will be incorrect.
To avoid this, it seems that I need some way to not print the delimited data.

Provide "except" functions that accept and "except" array of strings representing locations within some string that are to be ignored.
The printing functions and comparison functions now have "except" equivalents.

The level_1 fl_print project appears outdated and needed updating anyway.
Restructure this project to use the private function practice, hopefully reducing the code size (and ideally binary size).
The "_string" part can be removed from the fl_print function names.
The parameter checks are loosened and now more closely match the approaches used in level_0 f_print.

4 years agoBugfix: incorrect parameter check != should instead be ==.
Kevin Day [Sat, 24 Oct 2020 13:30:51 +0000 (08:30 -0500)]
Bugfix: incorrect parameter check != should instead be ==.

When id == -1, this should be invalid, not the opposite.

4 years agoUpdate: level_0 print functions.
Kevin Day [Fri, 23 Oct 2020 03:05:17 +0000 (22:05 -0500)]
Update: level_0 print functions.

Relax the parameter checks and have them return F_data_not when length is 0 or string is unavailable.
- Based on existing documentation, it seems this behavior was intended at some point anyway.
- The range is capped to buffer.used now.

The f_print_to* functions are rewritten to print as much of the string in as few calls to write() as possible.
- It is likely possible to utilize more complicated logic to further reduce the calls to write() but this is good enough for now.
- Reducing the calls to write(), in theory, should improve performance.

Add checks to f_print_to* functions to do nothing if the id is -1 (aka: an invalid/closed file descriptor).

Add *_except* print functions to print all characters except those specified in the "except" variable as well as not printing NULLs.

4 years agoBugfix: consistently use the data.output file for standard output printing.
Kevin Day [Fri, 23 Oct 2020 01:28:41 +0000 (20:28 -0500)]
Bugfix: consistently use the data.output file for standard output printing.

There are still places that need to be converted from f_type_output and printf() to use this data.output file.
With this change, the data.output will be used and can more readily be updated to point to some file other than standard output.

The fss_*_read programs are not updated with this commit due to having additional changes.
These changes will also be applied to those programs in another commit.

4 years agoBugfix: actually finish implementing delimit changes.
Kevin Day [Wed, 21 Oct 2020 23:30:45 +0000 (18:30 -0500)]
Bugfix: actually finish implementing delimit changes.

It seems that I forgot to check the other programs and update them to work with the new delimit handling behavior in the appropriate FSS processing functions.

4 years agoUpdate: FSS should allow caller to determine when to apply delimits.
Kevin Day [Tue, 20 Oct 2020 04:55:53 +0000 (23:55 -0500)]
Update: FSS should allow caller to determine when to apply delimits.

Instead of automatically applying the delimits, pass the delimits to the caller.
Let the caller decide when or when not to apply the delimits.
Provide functions to help in this regard.

The FSS read programs will need a new parameter to allow for designating to or not to apply delimits.
This is particularly complex when it comes to FSS-0003 (Extended List) due to the nesting.

This change gave me the opportunity to review the FSS read functions, to a certain extent.
Code cleanup changes are included in this commit.

Also add status codes: F_rrange, F_range_not, and F_utf_not.

4 years agoUpdate: provide f_string_lengthss_t and f_string_quantityss_t.
Kevin Day [Fri, 16 Oct 2020 01:58:13 +0000 (20:58 -0500)]
Update: provide f_string_lengthss_t and f_string_quantityss_t.

Ensure that array of an array typedefs exist for:
- f_string_length_t
- f_string_quantity_t

The following already exist:
- f_string_range_t

There are some additional structures that this should also have an array of an array for:
- f_string_static_t
- f_string_dynamic_t
- f_string_map_t
- f_string_map_multi_t

But they are more complicated so I will get to them later.

4 years agoCleanup: FSS Extended List write program.
Kevin Day [Fri, 16 Oct 2020 01:09:38 +0000 (20:09 -0500)]
Cleanup: FSS Extended List write program.

4 years agoCleanup: dependencies helper script.
Kevin Day [Fri, 16 Oct 2020 00:50:50 +0000 (19:50 -0500)]
Cleanup: dependencies helper script.

Rename individual_dependencies to dependencies_individual.

Organize all dependencies by level.

If possible, sort each dependency.

4 years agoBugfix: invalid number check in FSS Extended List write program.
Kevin Day [Thu, 15 Oct 2020 04:47:17 +0000 (23:47 -0500)]
Bugfix: invalid number check in FSS Extended List write program.

The range is inclusive and as such the stop point is not the same as the string size.
Instead, it should be the string size minus one.

4 years agoBugfix: FSS Extended List Content write is missing EOL before Content close character...
Kevin Day [Thu, 15 Oct 2020 04:38:47 +0000 (23:38 -0500)]
Bugfix: FSS Extended List Content write is missing EOL before Content close character '}'.

The EOL checks need to detect and save the EOL state.

The ignore processing is arbitrarily setting EOL to FALSE.

4 years agoBugfix: trimming in FSS extended write does not always work.
Kevin Day [Thu, 15 Oct 2020 04:29:21 +0000 (23:29 -0500)]
Bugfix: trimming in FSS extended write does not always work.

A boolean is used to designate when the Object has no space at the end.
If this boolean is FALSE, then a space is added before the '{'.
The problem is that the addition of this space happens after trimming.

If trimming is performed, just lie and set the boolean to TRUE to prevent the addition of an (unwanted) space.

4 years agoCleanup: there is no f_color library.
Kevin Day [Thu, 15 Oct 2020 04:22:30 +0000 (23:22 -0500)]
Cleanup: there is no f_color library.

The level 0 f_color sources only contain header files.

4 years agoProgress: FSS read and write programs.
Kevin Day [Thu, 15 Oct 2020 02:44:20 +0000 (21:44 -0500)]
Progress: FSS read and write programs.

Use \b (backspace character) instead of \0 (NULL character).
- The bash programs and functions like "echo" automatically strip NULL characters.
- This defeats the purpose of providing these functions for manipulating FSS files using these programs.

Add an ignore range list.
- The pipes represent the start and stop of an ignore range using the \v (vertical tab character).
- Only the FSS-0003 (Extended List) utilize the ignore range.
- This ignore range list provides a simple way to manage nested lists without having to write complex recursive parsers.
- For consistency, all FSS write programs utilize the -I/--ignore parameter, but for the standards that do not support ignore range lists then that parameter is essentially ignored.
- The ignore lists only applies to Content.

Fix bug in the fll_error where the wrong variable is being used (should be printing a newline).

4 years agoProgress: FSS basic list and extended list.
Kevin Day [Wed, 14 Oct 2020 03:53:47 +0000 (22:53 -0500)]
Progress: FSS basic list and extended list.

Move some common and repeated code into private functions.

Be sure to allow and handle whitespace after a valid object close that is being delimited within content.

Begin adding support for nested in the extended list content write.
- The idea here is to have a whitelist of ranges to ignore.
- This offloads the possible complex logic to a higher level.

The basic and extended list level 2 write functions should both accept a single content instead of an array of content.

Rename the fss write functions, appending _string.
- These functions accept a string instead of an appropriate object/content structure.
- I will need to write the functions that accept the appropriate object/content structures to perform the same tasks.

Make the prepend a constant pointer to make it easier to not specify it (no variable needs to be defined, just pass 0).

4 years agoFeature: add support for trimming FSS Object names for FSS write operations.
Kevin Day [Tue, 13 Oct 2020 22:55:04 +0000 (17:55 -0500)]
Feature: add support for trimming FSS Object names for FSS write operations.

I believe it is important for the command line tools to easily cleanup object names in case spaces aren't desired.
This provides the functionality to ensure trimming of spaces before and after the object name.

This further allows for preventing the cleanup behavior done in object writes, such as in FSS-0003 (Extended List) where it is cleaner to have a space between the object name and the brace '{'.
If this is undesired, the function can then be configured to not do this.

This further makes the FSS write functions more consistent with the FSS read functions where object name trimming is already supported.

4 years agoProgress: FSS write programs.
Kevin Day [Tue, 13 Oct 2020 01:07:50 +0000 (20:07 -0500)]
Progress: FSS write programs.

Add prepend functionality to all write programs.
- for FSS-0000 (Basic) and FSS-0001 (Extended), this does nothing.
- for FSS-0002 (Basic List) and FSS-0003 (Extended List), this prepends the start of multi-line content with some whitespace.

Begin working on the FSS-0003 (Extended List) write functions and programs.
- At this time, the extended list write is only implemented partially.
- I will focus on the recursive aspects later.

Add the "complete" processing to the basic list content (and now extended list content) write functions.
- Includes updates to the newline handling as appropriate.

Update documentation comments.

4 years agoUpdate: basic list fixes and cleanups, including some other cleanups.
Kevin Day [Mon, 12 Oct 2020 03:46:06 +0000 (22:46 -0500)]
Update: basic list fixes and cleanups, including some other cleanups.

The EOL handling in FSS Basic List is incorrect/incomplete.

Slashes at the end of an Object must be delimited to avoid escaping the object close character.

Be sure to return an error when a newline is provided in an Object name on basic list object write.

The standard states that controlling character, such as a basic list open, must use ASCII character codes for simplicity and safety.
Therefore, a UTF-8 buffer increment is not necessary.
Use the simpler, more performant C math operator increment.

Cleanup coding strategy in basic list content write to be more consistent with more recent approaches.
Cleanup some comments.

Also cleanup incorrect loop comment in fss_basic.c.

4 years agoProgress: basic list write, with minor basic list read and extended list read changes.
Kevin Day [Fri, 9 Oct 2020 02:59:36 +0000 (21:59 -0500)]
Progress: basic list write, with minor basic list read and extended list read changes.

The basic list object write should only handle escaping slashes when it would be escaped.
Make sure to return an error when a newline is found.
Note that the stop point designates the end of the object so if the end of the object ends in slashes, then these must be escaped.

Perform some cleanups that I felt like doing while working on this.

4 years agoCleanup: fix help parameter spacing and add additional information.
Kevin Day [Fri, 9 Oct 2020 00:28:11 +0000 (19:28 -0500)]
Cleanup: fix help parameter spacing and add additional information.

The basic list standard does not support quotes.
Leave the quote parameters for consistency between the write programs, but add a note to the help explaining this.

4 years agoBugfix: the color output is incorrect.
Kevin Day [Fri, 9 Oct 2020 00:15:35 +0000 (19:15 -0500)]
Bugfix: the color output is incorrect.

Fix the dependencies:
- Remove dependency to fl_color.
- Add f_color.
- Add f_file.
- Add f_print.

4 years agoBugfix: FSS basic list read newline handling needs improvement.
Kevin Day [Thu, 8 Oct 2020 05:05:58 +0000 (00:05 -0500)]
Bugfix: FSS basic list read newline handling needs improvement.

The last newline is not being preserved in the content read.
The *_print_set_* functions end up printing an extra newline.

This behavior is inconsistent and invalid.
Instead, preserve the newlines, which are valid parts of the content.
Then, do not print newlines via *_print_set_*.

The empty list needs to have at least one newline when -e/--empty is passed.

4 years agoProgress: continue working on FSS read/write programs and related.
Kevin Day [Wed, 7 Oct 2020 04:11:16 +0000 (23:11 -0500)]
Progress: continue working on FSS read/write programs and related.

Get comment delimitation working in FSS read/write functions.
- Comments are now escaped on read/write as appropriate.
- Rename appropriate private fl_fss functions.
- Add object_as boolean to designate whether or not this function is meant to read an object or content.
  - This ends up fixing a bug in the fl_fss_extended read function where a comment character before a content is incorrectly treated as an actual comment (this behavior is not allowed).
- Add similar behavior to the write functions.
  - The basic list and especially the extended list may not be complete in this regard.

Do some cleanup in the fss read programs that is related to the changes in this commit.
- There is still room for cleanups but that is not my focus at this time.

Add a -p/--pipe parameter to the FSS read functions to provide a way of returning data in the pipe-friendly format used by the FSS write programs.

4 years agoUpdate: console improvements and fixes.
Kevin Day [Tue, 6 Oct 2020 04:51:51 +0000 (23:51 -0500)]
Update: console improvements and fixes.

Get rid of total property.
This is redundant and too short.
Instead, use the location.used, which is an unsigned long as opposed to a uint8_t.

When I changed the result from an f_string_length_t to an f_array_length_t, I missed some places where the type needed to be replaced.

4 years agoProgress: fss write functions and programs.
Kevin Day [Tue, 6 Oct 2020 04:22:11 +0000 (23:22 -0500)]
Progress: fss write functions and programs.

I reviewed, fixed, and cleaned up the write functions.
I have only partially gotten to the basic list and have not so much as glanced at the extended list.
These two I will start working on later.

Several bugs and problems have been identified and resolved.

Add back the UTF-8 processing.
- This time check the width and add each 8-byte sequence until width is reached to correctly process the UTF-8 character.

4 years agoProgress: fss write programs and related, including console changes.
Kevin Day [Mon, 5 Oct 2020 02:13:20 +0000 (21:13 -0500)]
Progress: fss write programs and related, including console changes.

Finish updating the fss write programs.
I will sleep on this and then review them later to look for mistakes, oversights, bugs, inconsistencies, and possible cleanups.

Improve the console parameter handling functionality.
The sub-locations need to also have their locations stored.

Cleanup the struct stat file_stat name, renaming it to stat_file for more consistency.

Remove some memsets(), these might be better left to higher level operations.
Assuming I do not change my mind on this later.

Use the word "amount" instead of "length" when the increase/decrease is not the whole length but a fraction.

Reorganize some string functions parameters to be more consistent with the current design practices.

4 years agoFeature: add -c/--content parameter to FSS read programs.
Kevin Day [Sat, 3 Oct 2020 21:43:32 +0000 (16:43 -0500)]
Feature: add -c/--content parameter to FSS read programs.

The default behavior is already a -c/--content.
This provides a literal parameter for good practice and better hackability.

This introduces a new possibility where both -o/--object and -c/--content are specified at the same time.
In this case, print both the object and the content.
It must be noted, however, that this only prints the escaped object and content, just like when -o/--object or -c/--content do already.
The objects in the basic read and extended read are printed with a space between them and their respective content.
The objects in the basic list read and extended list read are printed with an EOL ('\n') between them and their respective content.

4 years agoBugfix: consistently handle last newline location in fss basic list read.
Kevin Day [Sat, 3 Oct 2020 21:39:16 +0000 (16:39 -0500)]
Bugfix: consistently handle last newline location in fss basic list read.

The last newline should not be included.
This is done in parts of the code, but not all of it.

4 years agoProgress: FSS related changes and improvements to console related.
Kevin Day [Sat, 3 Oct 2020 03:32:10 +0000 (22:32 -0500)]
Progress: FSS related changes and improvements to console related.

Finish/Fix the basic object write private function.
It seems that I was so hasty to get this wrapped up last night that I missed quite a lot of conditions/cases and logic.
I discovered a case where the FSS basic read function might b incorrect: '"\\"\\\"'.
If the parts inside the single quotes are used as an object, then it should detect that there is no closing quote.
The basic read is not yet fixed, but the basic write should not produce this invalid object.

Minor tweaks to f_console and related console functions.
The f_true and f_false are still being used in the console initialization and should no longer be.
There are some has_additional settings that are set incorrectly.
The console parameter locations and similar should be array locations and not string locations.

4 years agoProgress: FSS development and other changes.
Kevin Day [Fri, 2 Oct 2020 04:40:23 +0000 (23:40 -0500)]
Progress: FSS development and other changes.

Work on the FSS Basic and FSS Extended write functions, changing the design strategy.

The FSS Extended Write program needs additional consideration for how to handle multiple content (which may entail changing the logic of FSS Basic Write accordingly as well).
The Basic List and Extended List are currently not worked on but will be.

Use "quote" instead of "quoted".
After review, this makes more sense to me overall.

Fixes of other observed issues, such as missing "_t" in some macros.

Update the FSS documentation, focusing on the FSS Basic and possibly FSS Extended.

4 years agoBugfix: the fl_string_dynamic_terminate() function is not correctly checking the...
Kevin Day [Tue, 29 Sep 2020 02:44:18 +0000 (21:44 -0500)]
Bugfix: the fl_string_dynamic_terminate() function is not correctly checking the NULL.

In the case of when the array is not allocated (size == 0), the terminate is still checking the string index.
This is an invalid read.

Also, the logic is revered on the string index read.
The check needs to be "!0" instead of "0".

4 years agoProgress: fss write programs synchronize.
Kevin Day [Tue, 29 Sep 2020 02:42:02 +0000 (21:42 -0500)]
Progress: fss write programs synchronize.

Work on making the fss write programs function more similar to how the iki_write program functions.

There needs to be more work done in the fss_basic_list write at level_1, but that is being left to be worked on for another commit.
Looking at the code once again reminds me that the FSS read and write code needs to be reviewed in more depth, but I am going to put that off for now.

Other minor fixes and cleanups.

4 years agoUpdate: iki_read and iki_write.
Kevin Day [Mon, 28 Sep 2020 03:57:41 +0000 (22:57 -0500)]
Update: iki_read and iki_write.

Make sure the private header files use "IKI" in the comments and not "FSS".

Switch ove to using F_status_is_error_not() instead of F_status_is_fine().

Make sure iki_write actually uses the stream write.

Fix verbiage of "content" to "data" to avoid potential misunderstandings that this is referring to a "content" as defined by the IKI syntax.

Fix some cases where f_type_error was still being used instead of the data.error.to.stream.

Rename the variable "input" to "pipe" to be more explicit.

4 years agoCleanup: minor syntax.
Kevin Day [Mon, 28 Sep 2020 03:57:09 +0000 (22:57 -0500)]
Cleanup: minor syntax.

4 years agoBugfix: fss read programs should return 0 on invalid/empty files when --total is...
Kevin Day [Sun, 27 Sep 2020 02:06:22 +0000 (21:06 -0500)]
Bugfix: fss read programs should return 0 on invalid/empty files when --total is passed.

4 years agoProgress: add additional f_file stream functions, improve existing f_file functions...
Kevin Day [Sun, 27 Sep 2020 01:41:40 +0000 (20:41 -0500)]
Progress: add additional f_file stream functions, improve existing f_file functions, and continue print changes.

The stream read and write functions should also be implemented.
This is just an off the top of my mind implementation and may need to be reviewed at a later date.

Change the existing f_file functions to re-use the existing string structure to avoid the more wasteful memset and memcopy from the static array.
This design now, instead, has a cost of potentially allocating more memory than needed at the size specified by file.size_read.

Continue the print changes.
There is going to need to be work done in regards to how I am reading opening and reading streams.
I started to do this in private-fake.c but then noticed some things that needed review, such as the path.current and path.top.

4 years agoBugfix: incorrect read.
Kevin Day [Sun, 27 Sep 2020 01:37:54 +0000 (20:37 -0500)]
Bugfix: incorrect read.

The at variable is already being checked to be out of range.
Do not attempt to then check the variable in the array.

4 years agoSecurity: Incorrect size increase in private_fll_iki_content_partial_escape().
Kevin Day [Sat, 26 Sep 2020 21:14:52 +0000 (16:14 -0500)]
Security: Incorrect size increase in private_fll_iki_content_partial_escape().

The size increase test is "escaped->used + delimits + 2", but actual arguments passed to the increase function is "delimits".
The "+2" is missing.

This gets caught by the parameter checker when delimits is 0.
When delimits is, say 1, then an insufficient amount of memory is increased.
This will likely result in a segfault.

4 years agoBugfix: use correct variable name.
Kevin Day [Sat, 26 Sep 2020 21:06:21 +0000 (16:06 -0500)]
Bugfix: use correct variable name.

4 years agoUpdate: check if stream exists before attempting to close stream.
Kevin Day [Sat, 26 Sep 2020 21:05:47 +0000 (16:05 -0500)]
Update: check if stream exists before attempting to close stream.

4 years agoUpdate: replace fake_print_message_file() with fll_error_file_print() and other minor...
Kevin Day [Sat, 26 Sep 2020 19:57:04 +0000 (14:57 -0500)]
Update: replace fake_print_message_file() with fll_error_file_print() and other minor changes.

The fake_print_message_file() function is no longer needed and should be replaced with fll_error_file_print().

4 years agoProgress: wrap up most of the print changes.
Kevin Day [Sat, 26 Sep 2020 05:24:14 +0000 (00:24 -0500)]
Progress: wrap up most of the print changes.

This appears to get most of the changes in regards to printing.
There will need to be some testing and reviewing to double check for any mistakes.
(With such a massive set of changes, minor/subtle mistakes are likely.)

I will resume my work on updating and getting the fss write functions to be more like the iki_write in some of the design practices (in terms of program operations, parameter usages, etc..) where applicable.

4 years agoBugfix: iki_read_console_parameter_t_initialize is missing a parameter.
Kevin Day [Sat, 26 Sep 2020 05:22:22 +0000 (00:22 -0500)]
Bugfix: iki_read_console_parameter_t_initialize is missing a parameter.

Also correct the iki_read_total_parameters length.

4 years agoUpdate: bzip2 fakefile.
Kevin Day [Sat, 26 Sep 2020 02:41:52 +0000 (21:41 -0500)]
Update: bzip2 fakefile.

Make sure the bzdiff and bzgrep scripts are copied into the build/ directory.
Redesign the fakefile to be an example of how to use the "operate" section operation.

4 years agoProgress: continue work on updating print code changes as well as synchronizing level 3.
Kevin Day [Fri, 25 Sep 2020 04:29:33 +0000 (23:29 -0500)]
Progress: continue work on updating print code changes as well as synchronizing level 3.

4 years agoProgress: print function changes.
Kevin Day [Thu, 24 Sep 2020 04:30:16 +0000 (23:30 -0500)]
Progress: print function changes.

After getting byte_dump switched to file descriptors and testing it, I discovered that the unbuffered write has massive performance issues over the buffer writer that is a file stream.
Do some back pedalling and then go down a different route.
Add functions for managing file streams.
Make it possible to have both the descriptor and the stream to give more control at the higher level on when to decide which to use.

There is still much more cleanup, back-pedalling, as well as redesigning the code to (now) use fprintf() over printf() and similar.

4 years agoProgress: begin overhauling the printing infrastructure.
Kevin Day [Wed, 23 Sep 2020 04:53:50 +0000 (23:53 -0500)]
Progress: begin overhauling the printing infrastructure.

As part of making the level_3 projects (aka programs) more consistent, I started centralizing the print functions.

This started with status/error handling.
Then one thing led to the next and I ended up deciding to change the behavior to use file descriptors more consistently everywhere in the FLL project.
I also decided to go with the error print structure I original created in the fake program.
Verbosity has been moved into this structure.

The new level_2 project "fll_error" will store the error messages that are shared between the level_3 projects.

Given the size of these changes, I didn't complete the work.
This commit is guaranteed to not compile.

4 years agoProgress: start getting FSS, as well as other programs, more consistent.
Kevin Day [Mon, 21 Sep 2020 05:19:07 +0000 (00:19 -0500)]
Progress: start getting FSS, as well as other programs, more consistent.

I ended up liking how I made iki_write better than how I made the fss write functions.
Work began to make these more similar and consistent and I stumbled on some other things that need to be centralized.

This would be the verbosity options and parameter decision making.
This includes related changes.

I also noticed that I started working on the "++status" parameter idea but left it very incomplete.
This formalizes the basic plan where I will instead have a "++status_in" and a "++status_out".
This should be very useful for having programs return status codes as well as read those via environment variables given than the status code the Linux code uses reserves the higher order bits for process signals.
It would be too risky and likely buggy to mix my internal status code system with the standard Linux signal/error status code design.
A sting can be read very easily in an environment variable and converted to the appropriate uint16_t digit.

The work in regards to making FSS and other programs more consistent is incompletely and will likely result in uncompilable code with this commit.

4 years agoUpdate: move the, now standard, verbosity modes into the f_console project.
Kevin Day [Mon, 21 Sep 2020 02:45:32 +0000 (21:45 -0500)]
Update: move the, now standard, verbosity modes into the f_console project.

The f_console project already provides the parameters matching these modes.
This makes me think that this is the best place to relocate the verbosity modes.

4 years agoBugfix: add missing include to f_signal.
Kevin Day [Mon, 21 Sep 2020 02:42:27 +0000 (21:42 -0500)]
Bugfix: add missing include to f_signal.

This was also missed in the previous cleanups, breaking compilation.

4 years agoCleanup: f_memory should also be using underscores "_" instead of dashes "-" in the...
Kevin Day [Mon, 21 Sep 2020 02:14:29 +0000 (21:14 -0500)]
Cleanup: f_memory should also be using underscores "_" instead of dashes "-" in the filename.

4 years agoCleanup: f_single is not filly updated to using signal-common.h
Kevin Day [Mon, 21 Sep 2020 02:05:56 +0000 (21:05 -0500)]
Cleanup: f_single is not filly updated to using signal-common.h

4 years agoCleanup: used !x instead of x == 0.
Kevin Day [Mon, 21 Sep 2020 00:55:01 +0000 (19:55 -0500)]
Cleanup: used !x instead of x == 0.

This is a better practice.
While a compiler nowadays might optimize x == 0, it is better practice to use !x to represent the logic and reasoning.
One should always be aware of simple performance optimizations and practices, even if it might just be compiled away, if the readability is not too difficult.

4 years agoCleanup: header files structure, *-common.h, and use underscores.
Kevin Day [Sun, 20 Sep 2020 23:40:05 +0000 (18:40 -0500)]
Cleanup: header files structure, *-common.h, and use underscores.

Start using the *-common.h practice to move macro definitions out of header files with function declarations.
The *-common.h files are akin to private-* files in that they are special use or special purpose.
Therefore, the "-" is used.

In all other cases, underscores "_" should be used.
Fix files where dashes "-" were incorrectly used, replacing them with underscores "_".

4 years agoCleanup: syntax and structure.
Kevin Day [Sun, 20 Sep 2020 04:25:51 +0000 (23:25 -0500)]
Cleanup: syntax and structure.

4 years agoBugfix: more incorrect macro implementations.
Kevin Day [Sat, 19 Sep 2020 22:22:49 +0000 (17:22 -0500)]
Bugfix: more incorrect macro implementations.

The are some more macros needing to be updated to use the "_macro__i" instead of "i" for safety reasons.

4 years agoBugfix: incorrect macro implementations.
Kevin Day [Sat, 19 Sep 2020 22:22:49 +0000 (17:22 -0500)]
Bugfix: incorrect macro implementations.

There are some cases where the wrong macro is being used.
The init program needs to be updated to use the "_macro__i" instead of "i" for safety reasons.

4 years agoRefactor: color management system.
Kevin Day [Sat, 19 Sep 2020 22:06:43 +0000 (17:06 -0500)]
Refactor: color management system.

Change the behavior so that fewer arguments are needed for color printing.
This introduces a structure where the color codes are now in sets of "before" and "after".
This set of two color codes are now passed to the color print functions, thereby reducing the number of arguments needed.

4 years agoCleanup: rename f_print_string* functions to f_print*.
Kevin Day [Sat, 19 Sep 2020 17:05:28 +0000 (12:05 -0500)]
Cleanup: rename f_print_string* functions to f_print*.

This shortens the name.
The "_string" part is not needed as this should be considered the default behavior/interpretation.

4 years agoCleanup: basic maintenance pass on some level_0 projects.
Kevin Day [Sat, 19 Sep 2020 17:02:36 +0000 (12:02 -0500)]
Cleanup: basic maintenance pass on some level_0 projects.

More maintenance commits to come.

4 years agoUpdate: cleanup f_print and add f_print_to* functions.
Kevin Day [Sat, 19 Sep 2020 16:58:04 +0000 (11:58 -0500)]
Update: cleanup f_print and add f_print_to* functions.

Move shared/duplicated code into a private function.

Add the f_print_to* functions to allow for printing to a file descriptor, similar to dprintf().

4 years agoUpdate: add support for verbose and color modes in bootstrap example script.
Kevin Day [Sat, 19 Sep 2020 15:57:23 +0000 (10:57 -0500)]
Update: add support for verbose and color modes in bootstrap example script.

Getting verbosity is helpful when using this bootstrap script for testing.
Might as well add support for color modes as well.

This only implements the short parameters, it is not meant to simulate a full blown program.

4 years agoCleanup: add -fdiagnostics-color=always to GCC flags in build settings files.
Kevin Day [Sat, 19 Sep 2020 04:28:20 +0000 (23:28 -0500)]
Cleanup: add -fdiagnostics-color=always to GCC flags in build settings files.

This forces colors to be enabled.
GCC thinks colors should be disabled when Featureless Make runs it in a shell.
By setting this, the color is forced enabled and error messages become more readable.

4 years agoBugfix: iki_write needs to handle the error cases where -o/--object and -c/--content...
Kevin Day [Sat, 19 Sep 2020 04:24:27 +0000 (23:24 -0500)]
Bugfix: iki_write needs to handle the error cases where -o/--object and -c/--content do not have parameters.

The -o/--object and -c/--content parameters both require an additional parameter.
If that additional parameter is missing, then error out.

4 years agoUpdate: add missing -f/--file processing to iki_write.
Kevin Day [Sat, 19 Sep 2020 04:09:21 +0000 (23:09 -0500)]
Update: add missing -f/--file processing to iki_write.

I completely forgot to finish this.

The file option should now write to a file in append mode if specified.

4 years agoCleanup: IKI project dependencies.
Kevin Day [Sat, 19 Sep 2020 03:42:08 +0000 (22:42 -0500)]
Cleanup: IKI project dependencies.

4 years agoUpdate: add project name when calling featureless make in build mode.
Kevin Day [Sat, 19 Sep 2020 03:29:53 +0000 (22:29 -0500)]
Update: add project name when calling featureless make in build mode.

The downside is that the settings must first be loaded.

4 years agoCleanup: add -c/--content for consistency to iki_read.
Kevin Day [Sat, 19 Sep 2020 03:20:27 +0000 (22:20 -0500)]
Cleanup: add -c/--content for consistency to iki_read.

The -c/--content is the default behavior.
This adds a literal parameter to reflect this.
No new functionality is added other than validation on the -c/--content parameter.

4 years agoBugfix: incorrect printout when using -w/--whole mode.
Kevin Day [Sat, 19 Sep 2020 03:11:43 +0000 (22:11 -0500)]
Bugfix: incorrect printout when using -w/--whole mode.

The start range is not being set when it should be resulting in the wrong start point being used when printing a given range.

4 years agoFeature: add iki_write and all related dependencies.
Kevin Day [Sat, 19 Sep 2020 00:39:05 +0000 (19:39 -0500)]
Feature: add iki_write and all related dependencies.

4 years agoUpdate: f_file, f_fss, fl_fss, fl_utf, level_3.
Kevin Day [Sat, 19 Sep 2020 00:37:12 +0000 (19:37 -0500)]
Update: f_file, f_fss, fl_fss, fl_utf, level_3.

f_file:
  - Fix some function ordering.
  - Do not use "0" to represent closed files, instead use "-1".
    - "0" is used for standard input, which treating this as file closed prevents piped data from being read.

f_fss:
  - The f_string_range_t should have _t in its macros.
  - Updating all related code.

fl_string:
  - Fix some function ordering.
  - Add fl_string_dynamic_sink_line().
  - Rewrite function parameter ordering to have constants on the left and editable pointers on the right.
    - While I also like the logical flow of the previous behavior, during my development the practice of separating first by constants and then editable pointers won out.
    - Updating all related code.

fl_utf:
  - Rewrite function parameter ordering to have constants on the left and editable pointers on the right.
    - While I also like the logical flow of the previous behavior, during my development the practice of separating first by constants and then editable pointers won out.
    - Updating all related code.

level_3:
  - Make f_console_parameter_ids_t and f_console_parameters_t constants, where possible.

More of the project will need reviewing of function parameter ordering.

4 years agoUpdate: next micro version (0.5.1).
Kevin Day [Wed, 16 Sep 2020 00:38:35 +0000 (19:38 -0500)]
Update: next micro version (0.5.1).

4 years agoUpdate: use *_size_increase() functions, improve logic, and return F_string_too_large. 0.5.0
Kevin Day [Tue, 15 Sep 2020 01:05:03 +0000 (20:05 -0500)]
Update: use *_size_increase() functions, improve logic, and return F_string_too_large.

Use the *_size_increase() functions more.

Anything declared inside of a loop is destroyed at the end of the loop and created at the beginning.
This is an easily avoidable performance concern.

When the max size is reached but allocation is still possible (but at a smaller than requested length) return F_string_too_large without the error bit set.
This is useful for when only 1 unit is needed but the resize is say 4.
In the cases where the resize must exactly match the given length, then treat F_string_too_large without the error bit as if it does have an error bit.

4 years agoUpdate: get only exist status when processing return, use "return_code", and set...
Kevin Day [Mon, 14 Sep 2020 04:56:44 +0000 (23:56 -0500)]
Update: get only exist status when processing return, use "return_code", and set return error manually where applicable.

The return code also stores signal information.
To properly return the expected return code, WEXITSTATUS() should be used.

In some cases a return code of "0" is always returned, even on error.
In these cases, now return "1" if an error is detected.

Use "return_code" more consistently, it is more explicit than "result" or "results".

4 years agoProgress: featureless make, finish implementing reserved parameter support.
Kevin Day [Mon, 14 Sep 2020 04:39:25 +0000 (23:39 -0500)]
Progress: featureless make, finish implementing reserved parameter support.

4 years agoCleanup: rename F_status_is_not_error() to F_status_is_error_not() (and similar).
Kevin Day [Sun, 13 Sep 2020 21:17:24 +0000 (16:17 -0500)]
Cleanup: rename F_status_is_not_error() to F_status_is_error_not() (and similar).

Also utilize F_status_is_error_not() over F_status_is_fine() in Featureless Make.

4 years agoUpdate: implement signal support, rewrite execute functions to accomodate signals...
Kevin Day [Sun, 13 Sep 2020 18:32:55 +0000 (13:32 -0500)]
Update: implement signal support, rewrite execute functions to accomodate signals, and update featureless make to utilize signals.

4 years agoUpdate: Improve execution functions to use fewer allocations.
Kevin Day [Fri, 11 Sep 2020 03:32:47 +0000 (22:32 -0500)]
Update: Improve execution functions to use fewer allocations.

While the project is allocation heavy, I do try to avoid allocations where I reasonably can without breaking the design.
In this case, I can see no reason for allocation this memory in this way.
All that needs to be done here is just to point to the existing strings!

4 years agoUpdate: add and example fakefile that compiles the Linux kernel using "GNU Make".
Kevin Day [Fri, 11 Sep 2020 03:09:54 +0000 (22:09 -0500)]
Update: add and example fakefile that compiles the Linux kernel using "GNU Make".

The Featureless Make program can be used beyond its intended purpose.
This provides an example of such.

As this product is open-source, I love to emphasize the freedom others have to take this and do as they would.
Hack away!

4 years agoBugfix: featureless make parameter substitution is incorrect.
Kevin Day [Fri, 11 Sep 2020 03:08:12 +0000 (22:08 -0500)]
Bugfix: featureless make parameter substitution is incorrect.

The "return" code is appearing when the IKI "parameter" is used.
The reserved word check is operating on the wrong variables and is incorrectly injecting itself into the arguments list.

4 years agoUpdate: Improve featureless make parameter processing.
Kevin Day [Fri, 11 Sep 2020 01:57:30 +0000 (20:57 -0500)]
Update: Improve featureless make parameter processing.

Implement a better approach for addressing multiple operations.

For example, one can now (for whatever reason) do "fake clean make clean clean make".
Then the program should operate by running clean, then make, then clean, then clean again, and finally make again.

4 years agoProgress: featureless make.
Kevin Day [Fri, 11 Sep 2020 01:12:59 +0000 (20:12 -0500)]
Progress: featureless make.

Finish implementing -f/--fakefile and updating -s/--settings parameters.

This adds a new function f_path_is(), which is a dirt simple function for checking if the path separator exist in a given string.

4 years agoProgress: featureless make.
Kevin Day [Thu, 10 Sep 2020 05:13:05 +0000 (00:13 -0500)]
Progress: featureless make.

Fix refactor mistakes where some dependencies files accidentally had the type suffix '_t' appended in a previous commit.

Re-execute the dependencies script, refreshing all existing dependencies.

Begin adding a new parameter to specific a specific fakefile.
This part is incomplete.

Begin updating how the settings parameter works in regards to how the path to the fakefile is handled.
This part is incomplete.

Add example custom fakefile for the bzip-1.0.8 source.

Fix problems observed while trying to make these changes:
- The build process needs to store stage files per settings file so that multiple different settings may be built.
- The wrong path was accidentally used for loading the fakefile.
- The fake fakefile needs to use 'indexer' now instead of 'linker'.

Note: the fakefile stage files should also behave the same way as the build stage files, but this isn't implemented just yet.

4 years agoUpdate: rename f_file_move to f_file_rename, add fll_file_move, and address printf().
Kevin Day [Thu, 10 Sep 2020 02:39:03 +0000 (21:39 -0500)]
Update: rename f_file_move to f_file_rename, add fll_file_move, and address printf().

The move function should operate as a move would expect, which includes cross-filesystem.
Rename the f_file_move() to f_file_rename() and ensure the limitations are documented.

The fll_file_move()  calls f_file_rename() and if that fails due to being across filesystems, then call the appropriate clone and remove functions depending on whether or not the source is a file or directory.

I try to avoid having any output strings in the project that is below level 3 (but level 2 may have exceptions).
Rewrite parts of the directory copy and clone functions to use passed functions instead of directly printing.

Cleanup some function's documentation.

4 years agoProgress: featureless make.
Kevin Day [Wed, 9 Sep 2020 04:09:06 +0000 (23:09 -0500)]
Progress: featureless make.

Implement file move functions.
- There will need to be future changes to allow for moving across filesystems.
- This move across filesystems may need to be an fll_file_move() so that it can either do a directory clone or a file clone.

Fix a typo 'perforrm', which should instead be 'perform'.

Add 'F_mount' status code.

Implement the move section operation.

4 years agoProgress: featureless make.
Kevin Day [Wed, 9 Sep 2020 02:53:35 +0000 (21:53 -0500)]
Progress: featureless make.

Fix mistakes where I forgot the '!' in the parameter check comparisons.
Fix mistakes where I used 'i' when I needed to use 'j'.

Finish implementing clone.
Finish implementing copy.

4 years agoProgress: featureless make.
Kevin Day [Tue, 8 Sep 2020 04:15:00 +0000 (23:15 -0500)]
Progress: featureless make.

Seems I completely forgot some basic section operations:
- copy
- move

This prepares foo implementing a copy, a clone, and a move.

It seems that there is no directory_move or file_move function, so these need to be implemented.

4 years agoUpdate: recursive functions, fix 'const const', don't error on max recurse depth.
Kevin Day [Tue, 8 Sep 2020 02:33:51 +0000 (21:33 -0500)]
Update: recursive functions, fix 'const const', don't error on max recurse depth.

Rewrite the fl_directory_* recursive functions, simplifying their design.
Add a max recursion depth.
I have a toleration limit on the number of arguments in a function and this just reached a limit.
Given that many of the parameters can be logically grouped and are also are also passed to other functions, implement a new structure.
While this simply changes where the complexity/problems happen, this does alleviate the number of arguments concerns.

Fix an accidental 'const const' declaration.

Don't error on max recurse depth.
This should just stop recursing for that directory and not generated an error.

4 years agoProgress: featureless make.
Kevin Day [Mon, 7 Sep 2020 05:20:55 +0000 (00:20 -0500)]
Progress: featureless make.

Implement recursive change owner, change groups, and change modes functions.
These are implemented in the fll_file project.

Then utilize these for the recursive owners, groups, and modes section operations.

Fix specification where I forgot to rename "archiver" to "indexer".
In documentation it is "indexer" and not "index" for the indexer program whereas "index" is a section operation name.
Fix documentation where I forgot to rename "archive" to "index".

A bug in fl_directory_list() was discovered where the parameter check for path is incorrect.

4 years agoCleanup: add missing dependencies to featueless make bootstrap.sh script.
Kevin Day [Mon, 7 Sep 2020 01:32:04 +0000 (20:32 -0500)]
Cleanup: add missing dependencies to featueless make bootstrap.sh script.