]> Kevux Git Server - fll/log
fll
2 years agoUpdate: Add F_domain, F_family, F_protocol, and F_property statuses.
Kevin Day [Sat, 1 Jan 2022 02:41:58 +0000 (20:41 -0600)]
Update: Add F_domain, F_family, F_protocol, and F_property statuses.

This includes the *_not status for each.

The domain, family, and protocol are common enough terminology and are used heavily in networking relating processes.

The property is a very common terminology as well.

2 years agoFeature: Add support for "context" IKI in Fakefiles.
Kevin Day [Sat, 25 Dec 2021 22:38:31 +0000 (16:38 -0600)]
Feature: Add support for "context" IKI in Fakefiles.

This updates the IKI-0002 specification to support "context".
This allows for color context and ideally any future context to make software more accessible.

Update the existing testfiles to utilize this context.

2 years agoUpdate: Testfiles should detect LD_LIBRARY_PATH.
Kevin Day [Sat, 25 Dec 2021 22:33:10 +0000 (16:33 -0600)]
Update: Testfiles should detect LD_LIBRARY_PATH.

If LD_LIBRARY_PATH is already defined, prepend to it.
Otherwise define it.

2 years agoUpdate: Documentation and add "context" to IKI-0002.
Kevin Day [Sat, 25 Dec 2021 21:02:04 +0000 (15:02 -0600)]
Update: Documentation and add "context" to IKI-0002.

2 years agoCleanup: Fix space alignment in help print out.
Kevin Day [Sat, 25 Dec 2021 03:25:50 +0000 (21:25 -0600)]
Cleanup: Fix space alignment in help print out.

2 years agoUpdate: Next micro version (0.5.8).
Kevin Day [Sat, 25 Dec 2021 02:55:51 +0000 (20:55 -0600)]
Update: Next micro version (0.5.8).

2 years agoProgress: Add more unassigned UTF-8 characters. 0.5.7
Kevin Day [Fri, 24 Dec 2021 23:25:53 +0000 (17:25 -0600)]
Progress: Add more unassigned UTF-8 characters.

2 years agoCleanup: Append "_e" to all enums, update status types, and update status strings.
Kevin Day [Fri, 24 Dec 2021 05:49:32 +0000 (23:49 -0600)]
Cleanup: Append "_e" to all enums, update status types, and update status strings.

A new practice is to have "_e" at the end of all enums.
Update all of the existing enums to follow this practice.

I noticed some fixme comments about moving the status codes to a lower level.
Do this.
Update all code accordingly.

The status code strings are only for special cases, so make this its own project directory (for both Status and FSS Status).
These are f_status_string and fll_fss_status_string.

2 years agoCleanup: Move the process and validate functions into their own files.
Kevin Day [Thu, 23 Dec 2021 21:45:37 +0000 (15:45 -0600)]
Cleanup: Move the process and validate functions into their own files.

As for the naming structure, the "make" represents the group and the "operate", "operate_process", etc.. are relevant parts of the function name.

2 years agoUpdate: Use 'shell' rather than 'run' in testfile.
Kevin Day [Thu, 23 Dec 2021 17:43:57 +0000 (11:43 -0600)]
Update: Use 'shell' rather than 'run' in testfile.

I apparently missed this line.
The 'run' operation will attempt to execute based on PATH environment.
The 'shell' operation expects local files, which is what these tests are.

2 years agoUpdate: Add tests for f_type_array.
Kevin Day [Thu, 23 Dec 2021 17:38:21 +0000 (11:38 -0600)]
Update: Add tests for f_type_array.

Given the size of the task and my relative inexperience with cmocka, I opted to keep the tests as simple as possible.
This means that my tests are likely not thorough.
These are intended to be good enough for a first pass tests.
After all, I have the entire rest of the FLL projects to write tests for (as well as for the programs).

2 years agoCleanup: Remove extra line.
Kevin Day [Thu, 23 Dec 2021 17:38:01 +0000 (11:38 -0600)]
Cleanup: Remove extra line.

2 years agoUpdate: Test file.
Kevin Day [Thu, 23 Dec 2021 05:40:44 +0000 (23:40 -0600)]
Update: Test file.

Detect when neither shared nor static test files are generated and return an error.

2 years agoUpdate: Move main data into the data make structure.
Kevin Day [Thu, 23 Dec 2021 04:58:47 +0000 (22:58 -0600)]
Update: Move main data into the data make structure.

The goal here is to reduce the number arguments passed to functions in a consistent manner.
This has a downside of having another pointer and the costs of dereferencing it for each access.

Rename the "main" property to "id_main" to be clearer as well as to not conflict with the new "main" property that points to the main data.

Remove a stale header that has no associated function implemented.

2 years agoUpdate: Add "and" and "or" operations, operation if-then-else logic, and some cleanups.
Kevin Day [Thu, 23 Dec 2021 03:59:47 +0000 (21:59 -0600)]
Update: Add "and" and "or" operations, operation if-then-else logic, and some cleanups.

Add the "and" and "or" operations to make the "if" and "else" operations more complete.
The current design still does not support directly nested multiple operations underneath an "if" or an "else".
Using an "operate" operation is still the only way to do this.
The reason for this is to keep the logic and design simple.
This has a cost of causing complicated design to be even more complicated than they otherwise could be if I allowed "if" and "else" to contain blocks of commands or even be nested.

While I am at it, this cleans up the if-then-else logic.
This needed to be done for some time.
My original design was patched at some point to add unexpected functionality that I had not originally planned but later realized I needed.
The patch was just a good enough for now.
This resulted in the logic being a bit ugly and confusing.

The new logic is a lot better, but there are still some things that might be confusing.
To that end, I decided to only perform simple tests.
I instead intend to write unit tests that will perform all of the possible combinations that I can reasonably come up with.
This should help me find logic flaws in my current design.

This now uses a structure to pass the process state data.
This further simplifies the design to allow for fewer parameters in the relevant functions.

Several of the duplicated print calls are consolidated into a single print function.

I fixed some missing or incomplete documentation.

2 years agoUpdate: make the interrupt handler pointer variables constant pointers.
Kevin Day [Thu, 23 Dec 2021 03:45:40 +0000 (21:45 -0600)]
Update: make the interrupt handler pointer variables constant pointers.

2 years agoSecurity: Invalid memory access in interrupt handlers.
Kevin Day [Thu, 23 Dec 2021 03:40:54 +0000 (21:40 -0600)]
Security: Invalid memory access in interrupt handlers.

When I converted the data_main into a pointer from a value, I failed to remove the references on these variables.
The compiler does not catch these because they are cast to a void *.

2 years agoCleanup: Fix spelling.
Kevin Day [Thu, 23 Dec 2021 03:16:28 +0000 (21:16 -0600)]
Cleanup: Fix spelling.

2 years agoBugfix: Signal id should be -1 the id should be passed to signalfd().
Kevin Day [Thu, 23 Dec 2021 03:07:15 +0000 (21:07 -0600)]
Bugfix: Signal id should be -1 the id should be passed to signalfd().

A file descriptor should be set to -1 and not 0.
The 0 file descriptor is actually valid.

The signalfd() program accepts an id.
It makes sense to pass this along rather than always forcing -1.

2 years agoUpdate: Make the state parameter a constant.
Kevin Day [Thu, 23 Dec 2021 02:55:07 +0000 (20:55 -0600)]
Update: Make the state parameter a constant.

2 years agoCleanup: Move remaining operation type processors into their own functions.
Kevin Day [Mon, 20 Dec 2021 06:04:09 +0000 (00:04 -0600)]
Cleanup: Move remaining operation type processors into their own functions.

In the previous related cleanup I had forgotten to complete several functions that needed to be moved.
They were stubbed out but were not implemented.

2 years agoUpdate: Add support for if "not", add support for "parameter".
Kevin Day [Mon, 20 Dec 2021 05:19:23 +0000 (23:19 -0600)]
Update: Add support for if "not", add support for "parameter".

The "parameter" is already supported under "settings" in a fakefile.
Extend the operations to also support "parameter".
This allows for defining the parameter anywhere within the file and it can be overridden.

There exists several "if" operations that would make sense to have the inverse.
This is now supported via the if "not" operation.
To keep the logic more consistent with the previous design, just extend the existing code to handle "if not" behavior rather than adding new structures.
To achieve this, the pre-processor identifies "not" and then parses that to identify the particular "if" operation that is being negated.
The "if" operation is then change to a new operation type to reflect this.
Anything that already supports an inverse through some means are omitted from this.
This list includes:
- fail (opposite of success).
- success (opposite of fail).
- integer/math comparisons: ==, <>, <, <=, >, >=.

Fix the order of several of the functions that are not alphabetical.

Update the documentation accordingly.

2 years agoSecurity: Buffer overflow.
Kevin Day [Mon, 20 Dec 2021 03:57:36 +0000 (21:57 -0600)]
Security: Buffer overflow.

The inner loop is stopping when string[i] is NULL.
Which is correct.

However, this then continues to the outer loop, resulting in ++i.
This results in an buffer overflow.

Check to see if at NULL before continuing, otherwise break.

Perform minor syntax cleanups.

2 years agoBugfix: The character 'o' is not properly detected as a mode.
Kevin Day [Mon, 20 Dec 2021 03:29:20 +0000 (21:29 -0600)]
Bugfix: The character 'o' is not properly detected as a mode.

2 years agoCleanup: Move several operation type processors into their own functions.
Kevin Day [Sun, 19 Dec 2021 23:19:06 +0000 (17:19 -0600)]
Cleanup: Move several operation type processors into their own functions.

2 years agoUpdate: Relocate fake_main_t position in function arguments and make it a constant...
Kevin Day [Sun, 19 Dec 2021 18:36:24 +0000 (12:36 -0600)]
Update: Relocate fake_main_t position in function arguments and make it a constant pointer.

The standard practice is all constants on the left and all updatable variables on the right of a functions parameters.

At some point I switched to passing the structures as a pointer rather than directly.
For these, I made them pointer constants.
That is, the pointer itself is constant but what the pointer is pointing to is not.

This allowed for me to move this type further to the left.
Keeping the main data and the fake data on the left side of the functions is a lot more consistent.

2 years agoBugfix: The "if defined parameter .." is not supporting reserved parameters.
Kevin Day [Sun, 19 Dec 2021 18:18:03 +0000 (12:18 -0600)]
Bugfix: The "if defined parameter .." is not supporting reserved parameters.

There are several reserved parameters that are supposed to be supported.
Add code checking for the reserved words for the "if defined parameter" operation.

Update the documentation to better communicate these reserved words and how they operate.

Move the operation into its own function.

2 years agoSecurity: Segfault when "load_build yes" and "build settings".
Kevin Day [Sun, 19 Dec 2021 05:49:40 +0000 (23:49 -0600)]
Security: Segfault when "load_build yes" and "build settings".

When the fakefile settings is setup to have "load_build yes" and the fakefile operations has a build operation like "build settings" a segfault occurs.

This appears to be the result of casting the main path_sources to a constant pointer type from a reference.

Perform some minor cleanups.

2 years agoUpdate: Ensure terminating NULLs, remove unnecessary arguments array, and cleanups.
Kevin Day [Sun, 19 Dec 2021 04:25:41 +0000 (22:25 -0600)]
Update: Ensure terminating NULLs, remove unnecessary arguments array, and cleanups.

Add additional terminate after calls.

The arguments array doesn't need to be an array of arguments.
Refactor it into a single value.

Change the data_make to be a pointer constant and relocate it in the function parameters order.

Deallocate the arguments when a child process is returning.

Allocation functions should use fake_default_allocation_small_d rather than F_memory_default_allocation_small_d.

2 years agoBugfix: Incorrect return values in some print functions.
Kevin Day [Sun, 19 Dec 2021 02:21:56 +0000 (20:21 -0600)]
Bugfix: Incorrect return values in some print functions.

These are expecting status to be returned.
Update the documentation.

2 years agoCleanup: Remove stale code.
Kevin Day [Sat, 18 Dec 2021 23:39:04 +0000 (17:39 -0600)]
Cleanup: Remove stale code.

2 years agoCleanup: Decompose fakefile setting loading into multiple functions.
Kevin Day [Sat, 18 Dec 2021 21:39:17 +0000 (15:39 -0600)]
Cleanup: Decompose fakefile setting loading into multiple functions.

2 years agoCleanup: Explode sources into separate files.
Kevin Day [Sat, 18 Dec 2021 17:58:56 +0000 (11:58 -0600)]
Cleanup: Explode sources into separate files.

After analyzing the complexity of some of the sources, I found that these should be broken out.

2 years agoUpdate: Improve IKI support, various cleanups, and a few bug fixes.
Kevin Day [Sat, 18 Dec 2021 17:03:30 +0000 (11:03 -0600)]
Update: Improve IKI support, various cleanups, and a few bug fixes.

Allow for getting just the parameter option or parameter value for the special reserved IKI parameters.
This allows form something like:
  define LD_LIBRARY_PATH "build/libraries/shared:parameter:'work:value'"

When populating the special parameters, the parameters not specified are getting saved.
This is incorrect.
Skip parameter that are not specified (f_console_result_none).

2 years agoUpdate: IKI improvements, cleanups, and bugfixes.
Kevin Day [Sat, 18 Dec 2021 02:11:34 +0000 (20:11 -0600)]
Update: IKI improvements, cleanups, and bugfixes.

The IKI project has fallen behind in some of the practices and is more consistent.
- Expose the delimit array to the caller rather than operating on it internally.
  - This makes IKI more consistent with FSS and improves extensibility.
- Fix the global string names and macro need to follow the appropriate naming structure.
- Use strings rather than characters in the defines.
- Get rid of some macros, replacing them with functions.
- Use the *_increase() and *_increase_by() functions.

The FSS projects are now passing the delimit management to the callers.
IKI is now updated to do the same.
New data types, such as f_iki_delimit_t, are provided to achieve this.

When there are multiple separators, a colon ':', a valid IKI data might be skipped.
This is happening for two reasons:
1) Incorrect increment of the location after identifying a non-IKI defining colon.
2) The seek function is not stopping on special characters like a colon.

The iki_read program is updated to reflect these changes.
A new structure, called iki_data_t, is provided to simplify the arguments being passed around.

The iki_write program is updated to reflect these changes.

The make program is updated to reflect these changes.

2 years agoCleanup: Remove '_string' from the FSS write functions.
Kevin Day [Thu, 16 Dec 2021 21:57:55 +0000 (15:57 -0600)]
Cleanup: Remove '_string' from the FSS write functions.

The read functions do not have _string().
This makes the code more consistent.

2 years agoCleanup: Remove unused parameters in testfile.
Kevin Day [Wed, 15 Dec 2021 04:14:29 +0000 (22:14 -0600)]
Cleanup: Remove unused parameters in testfile.

2 years agoUpdate: Add testfile for executing test.
Kevin Day [Wed, 15 Dec 2021 03:32:25 +0000 (21:32 -0600)]
Update: Add testfile for executing test.

More work will be needed to do something more than just print the results.

2 years agoUpdate: Switch to simple string and cleanup syntax and comments.
Kevin Day [Wed, 15 Dec 2021 02:39:03 +0000 (20:39 -0600)]
Update: Switch to simple string and cleanup syntax and comments.

The f_string_static_t operations_name array can be converted to just an array of f_string_t.
Then the f_string_range_t operations_range can become f_array_length_t operations_length.
Then the operation_name can be removed (it appears to be unused).
Finally The fl_string_dynamic_partial_compare() can become fl_string_dynamic_partial_compare_string().

Update comments and add additional inline comments to help clarify situations.

2 years agoUpdate: Don't bother checking, just always update pointer.
Kevin Day [Wed, 15 Dec 2021 02:34:21 +0000 (20:34 -0600)]
Update: Don't bother checking, just always update pointer.

At this point the pointer has been allocated.
If the pointer addresses are the same, then there is no problem.
If they are different, then this properly replaces.

Assigning this just removes the extra step of checking.

2 years agoUpdate: Reset fakefile buffer and only call resize when necessary.
Kevin Day [Wed, 15 Dec 2021 02:23:57 +0000 (20:23 -0600)]
Update: Reset fakefile buffer and only call resize when necessary.

2 years agoSecurity: Fix memory leak.
Kevin Day [Wed, 15 Dec 2021 02:19:16 +0000 (20:19 -0600)]
Security: Fix memory leak.

Objects are allocated and only deallocated on error.
On success, they are not deallocated and leaks memory when out of scope of the block.

2 years agoCleanup: If/else nesting when previous if calls return.
Kevin Day [Mon, 13 Dec 2021 03:55:19 +0000 (21:55 -0600)]
Cleanup: If/else nesting when previous if calls return.

2 years agoUpdate: Add cmocka tests for f_memory project.
Kevin Day [Mon, 13 Dec 2021 03:37:09 +0000 (21:37 -0600)]
Update: Add cmocka tests for f_memory project.

2 years agoBugfix: Individual build should be building with "version_file micro" and "version_ta...
Kevin Day [Mon, 13 Dec 2021 03:34:03 +0000 (21:34 -0600)]
Bugfix: Individual build should be building with "version_file micro" and "version_target minor"

2 years agoFeature: Add support for tests in the packager.
Kevin Day [Sun, 12 Dec 2021 17:36:01 +0000 (11:36 -0600)]
Feature: Add support for tests in the packager.

2 years agoUpdate: Handle more error messages for file types and cleanup organization a little.
Kevin Day [Sun, 12 Dec 2021 16:05:34 +0000 (10:05 -0600)]
Update: Handle more error messages for file types and cleanup organization a little.

2 years agoUpdate: Restructure fake settings, moving examples into a new projects directory.
Kevin Day [Sun, 12 Dec 2021 15:41:16 +0000 (09:41 -0600)]
Update: Restructure fake settings, moving examples into a new projects directory.

Create a projects directory to store some real replacements of other projects build systems.
The bzip2 build system was used as just an example and is now treated as a real use case.

I am planning on trying to use cmocka to provide unit tests for this project.
The cmocka uses that rather unpleasant cmake.
Provide a cmocka fake build setting file for building cmocka.

2 years agoUpdate: Improve performance by removing redundant memset().
Kevin Day [Sun, 12 Dec 2021 05:59:06 +0000 (23:59 -0600)]
Update: Improve performance by removing redundant memset().

The calloc() program is supposed to guarantee 0 filled data.
Either the libc or the kernel know how to optimize this automatically using numerous tricks based on architecture or lack thereof.
This makes calloc() potentially faster than malloc()+memset().

Calling calloc()+memset() is just ridiculous.
Remove the calls to memset() that follow a calloc() call.
This is guaranteed to be a performance increase (but how much? I didn't bother trying to find out).

Cleanup some comments.

2 years agoUpdate: Use C11's aligned_alloc() by default, but keep posix_memalign() via macro...
Kevin Day [Sun, 12 Dec 2021 05:50:23 +0000 (23:50 -0600)]
Update: Use C11's aligned_alloc() by default, but keep posix_memalign() via macro _f_memory_USE_posix_memalign_.

The C11 standard introduced aligned_alloc() making it better practice than posix_memalign().
In case the compiler being used doesn't have aligned_alloc() or the user compiling just wants to posix_memalign() this behavior is preserved via _f_memory_USE_posix_memalign_ macro.

I didn't actually test this beyond confirming that it compiles.
I'm flying blind here.

2 years agoCleanup: Utilize 'void' inside of function declarations.
Kevin Day [Sun, 12 Dec 2021 01:14:05 +0000 (19:14 -0600)]
Cleanup: Utilize 'void' inside of function declarations.

It seems that by adding 'void' (without a parameter variable name) instructs the compiler that this function is not allowed to take arguments.
When the parameters are empty such as '()', the compiler simply disable checking what the parameters are.

By adding void this results in instructing the compiler to verify that there are no parameters.
This increases the code integrity.

This change may be a problem for older C compilers.

2 years agoCleanup: Fix mistake in comment.
Kevin Day [Sat, 11 Dec 2021 22:41:48 +0000 (16:41 -0600)]
Cleanup: Fix mistake in comment.

2 years agoUpdate: Add documentation.
Kevin Day [Sat, 11 Dec 2021 22:31:08 +0000 (16:31 -0600)]
Update: Add documentation.

This is yet another reminder to me to try and avoid accidental commits.

I should have already had the documentation written up and be committed along with the initial commit.
Given that this project was accidentally committed before it was ready to, this left the project in less than ideal state.
As a reminder to myself to help encourage avoiding this mistake, I am constantly adding this oops notice to my commits.

With this documentation written, I once more believe that I have wrapped everything up that I need to consider this ready.
I previously thought this was the case, but as is seen by recent previous commits, this was not the case.

Going forward, I plan on investigating writing tests for this project and to use this project as an example of writing tests for the entire FLL probject.
This will hopefully allow me to find any remaining bugs and make this program production ready.

2 years agoFeature: Support outputting width or combining state of characters.
Kevin Day [Sat, 11 Dec 2021 22:06:37 +0000 (16:06 -0600)]
Feature: Support outputting width or combining state of characters.

The width is reported as one of: '0', '1', or '2'.
The following is used for unknown or invalid '?'.
The private use area is consider valid but unknown.

The combining state is reported as either 'C' or 'N'.
The 'N' can be considered either 'Not' or 'No' as the meaning is synonymous in this case.

The to_combining and to_width may be used together.

Now that I know how this is to be implemented, remove unneeded functions.

Remove some extra newlines printed in the help.

2 years agoBugfix: Failed to produce identical binary when passing appropriate parameters.
Kevin Day [Sat, 11 Dec 2021 20:54:11 +0000 (14:54 -0600)]
Bugfix: Failed to produce identical binary when passing appropriate parameters.

Taking a binary input with a binary output while passing +nq should result in a byte-for-byte duplicate binary.

Example: "utf8 -f /bin/bash -bB +nq -F /tmp/bash".

This is failing for two reasons:
1) Not using the original string data when printing detected invalid characters.
2) Performing the from codepoint check before checking the binary output check in the function utf8_print_character().

Also remove a redundant not zero check in the error print function utf8_print_character_invalid().
the function utf8_print_character_invalid() is a wrapper to utf8_print_character(), where that check is already performed.

2 years agoUpdate: Cygwin documentation notes are slightly out of date.
Kevin Day [Sat, 11 Dec 2021 05:00:26 +0000 (23:00 -0600)]
Update: Cygwin documentation notes are slightly out of date.

The "defines_all" no longer exists and is replaced by "defines".

Add additional notes to clarify where to fine the build settings files.

2 years agoUpdate: Remove unecessary conflicts in to/from parameters.
Kevin Day [Sat, 11 Dec 2021 04:54:42 +0000 (22:54 -0600)]
Update: Remove unecessary conflicts in to/from parameters.

These parameters are already having the left to right order checked to determine which is the rightmost.
Therefore, there never is a conflict.

I am leaving the utf8_print_error_parameter_conflict() function in the code.
There is the possibility of needing it later on.

2 years agoUpdate: Keep original value when printing error while converting from Unicode codepoi...
Kevin Day [Sat, 11 Dec 2021 04:52:27 +0000 (22:52 -0600)]
Update: Keep original value when printing error while converting from Unicode codepoint string.

2 years agoBugfix: Do not use 4 digits when should be printing 2 digit hexdigit.
Kevin Day [Sat, 11 Dec 2021 04:46:07 +0000 (22:46 -0600)]
Bugfix: Do not use 4 digits when should be printing 2 digit hexdigit.

2 years agoBugfix: f_utf_unicode_string_to() not treating numbers larger than 0x10FFFF as invalid.
Kevin Day [Sat, 11 Dec 2021 04:43:40 +0000 (22:43 -0600)]
Bugfix: f_utf_unicode_string_to() not treating numbers larger than 0x10FFFF as invalid.

The max unicode sequence is 0x10FFFF.
Anything beyond that must be treated as invalid.

2 years agoBugfix: Error handling should not exit for certain errors.
Kevin Day [Sat, 11 Dec 2021 03:57:44 +0000 (21:57 -0600)]
Bugfix: Error handling should not exit for certain errors.

When a process signal is being received, F_signal is being set with the error bit.
This should not have the error bit set.

Move the conditional logic inside the appropriate printing functions.
Add utf8_print_character_invalid() for printing an error character.

Invalid UTF-8 fragments should not result in an exit on error.
Instead, these should be handled by either appropriate printing or by setting the is valid property on exit.

2 years agoUpdate: Support printing errors for F_signal and F_interrupt statuses.
Kevin Day [Sat, 11 Dec 2021 03:39:12 +0000 (21:39 -0600)]
Update: Support printing errors for F_signal and F_interrupt statuses.

2 years agoBugfix: Raw formatted print sometimes prints trailing NULL.
Kevin Day [Sat, 11 Dec 2021 03:36:42 +0000 (21:36 -0600)]
Bugfix: Raw formatted print sometimes prints trailing NULL.

A logic flaw is resulting in the last NULL after the max length is reached to be printed.

When the strnlen() calculates the length and the calculated length is the requested max length, the subsequent line attempts to print any NULLs.
This is normally fine, except that it needs to check to make sure that "i" is less than the requested max length.

2 years agoUpdate: Improve error handling and add F_utf_fragment to generic FLL error printing.
Kevin Day [Fri, 10 Dec 2021 02:39:34 +0000 (20:39 -0600)]
Update: Improve error handling and add F_utf_fragment to generic FLL error printing.

2 years agoBugfix: Do not print leading zero's in large Unicode codepoints.
Kevin Day [Fri, 10 Dec 2021 01:36:39 +0000 (19:36 -0600)]
Bugfix: Do not print leading zero's in large Unicode codepoints.

Also cleanup the code moving some generic print functions into utf8-specific print functions.
Use character rather than text to better communicate that the string is intended to represent a single Unicode character.

2 years agoBugfix: Codepoint to Binary is not working.
Kevin Day [Fri, 10 Dec 2021 01:17:43 +0000 (19:17 -0600)]
Bugfix: Codepoint to Binary is not working.

The wrong variable is being processed.
The codepoint (which is the Unicode representation, such as U+8C78 the codepoint is for the character '豸') is being width checked.
The binary character is what should be getting the width check.

A second situation where the codepoint is not being printed at all is with the files.
It seems that I forgot to finish writing this code (another problem caused by my original accidental commit of this project).

While investigating this I saw some opportunity for some cleanup.
- Move the width detection into a separate function utf8_process_text_width().
- Use character.string[0] instead of *character.string.
- Rename 'character' to 'current' to make more semantic sense (At the time I wasn't sure what to call it and 'text' was already unavailable).
- The 'text' in private-utf8_codepoint.c is now initialized in a simpler way.

2 years agoBugfix: Performance is slow due to process signal checks (more).
Kevin Day [Thu, 9 Dec 2021 05:43:42 +0000 (23:43 -0600)]
Bugfix: Performance is slow due to process signal checks (more).

This is a follow up to the previous commit similarly named.
I forgot to hit the save button for the changes to FSS Basic List files in my editor.

The cost of the system call for checking if a signal is received is more expensive than I have previously imagined.
I also was not sure where I should handle the signals and I arbitrarily put them inside loops.

Reduce the number of checks.
Reduce the number of the system call to check the process signal using modulus math.

The performance difference is most notable when using the byte_dump program.

This focuses on solving the immediate performance bug.
I still have not done any extensive performance investigations and I expect this to still have significant room for improvement.

2 years agoProgress: Continue adding to the is_unassigned Unicode conditions.
Kevin Day [Thu, 9 Dec 2021 05:26:22 +0000 (23:26 -0600)]
Progress: Continue adding to the is_unassigned Unicode conditions.

2 years agoBugfix: Performance is slow due to process signal checks.
Kevin Day [Thu, 9 Dec 2021 05:21:57 +0000 (23:21 -0600)]
Bugfix: Performance is slow due to process signal checks.

The cost of the system call for checking if a signal is received is more expensive than I have previously imagined.
I also was not sure where I should handle the signals and I arbitrarily put them inside loops.

Reduce the number of checks.
Reduce the number of the system call to check the process signal using modulus math.

The performance difference is most notable when using the byte_dump program.

This focuses on solving the immediate performance bug.
I still have not done any extensive performance investigations and I expect this to still have significant room for improvement.

2 years agoUpdate: Add missing function in f_utf needed for completeness and reduce repeated...
Kevin Day [Tue, 7 Dec 2021 03:51:02 +0000 (21:51 -0600)]
Update: Add missing function in f_utf needed for completeness and reduce repeated code.

As per my completeness principle, the f_utf_unicode_string_to() must have the f_utf_character_unicode_string_to() compliment.
This function only allows for ASCII characters to represent the number and returns errors as appropriate for non-ASCII values.
Unicode number values are not treated as the ASCII numbers for representing a Unicode code sequence.

The f_utf_character_unicode_to() and f_utf_unicode_to() now has code reduced by utilizing private_f_utf_character_unicode_to().

2 years agoUpdate: Wrap up utf8 program.
Kevin Day [Sat, 4 Dec 2021 23:03:56 +0000 (17:03 -0600)]
Update: Wrap up utf8 program.

This seems to be a good point to stop.
The program is only intended to be simple.
Complete the functionality and consider all future problems bugs.

Some of the parameters are not used correctly.
The strip-invalid is not being used.
The verify is being used as strip-invalid (this is likely the result of the previously incomplete code being accidentally committed).
Add a separate parameter to optionally separate by newlines when headers are not being printed.
The verify should disable printing.
The quiet verbosity should not hide printed headers as those are considered data.

Remove redundant newline being printed when headers parameter is used.

2 years agoProgress: Continue updating unassigned detection.
Kevin Day [Sat, 4 Dec 2021 22:57:02 +0000 (16:57 -0600)]
Progress: Continue updating unassigned detection.

The private_f_utf_character_is_unassigned() function is just too large.
Break it out into its own file.

2 years agoCleanup: Add newline.
Kevin Day [Sat, 4 Dec 2021 22:56:46 +0000 (16:56 -0600)]
Cleanup: Add newline.

2 years agoCleanup: Better clarify that the Software License is LGPL 2.1 or Greater.
Kevin Day [Sat, 4 Dec 2021 01:52:15 +0000 (19:52 -0600)]
Cleanup: Better clarify that the Software License is LGPL 2.1 or Greater.

The standard practice appears to be appending "-or-later" to the license file name.

2 years agoProgress: Continue populating unassigned UTF-8 character sequences and sequence ranges.
Kevin Day [Sat, 4 Dec 2021 01:24:09 +0000 (19:24 -0600)]
Progress: Continue populating unassigned UTF-8 character sequences and sequence ranges.

2 years agoUpdate: Complete incomplete unicode processing code.
Kevin Day [Sat, 4 Dec 2021 00:29:50 +0000 (18:29 -0600)]
Update: Complete incomplete unicode processing code.

I had originally accidentally committed the utf8 program before it was ready.
I followed up with a cleanup after I noticed this.
It seems that there is still more work to finish.

Looking at what I need to do to finish this it has become clear to me that I was originally working on this and realized I should move functionality into the level_0 f_utf project.
When I did this, I probably noticed a Unicode bug and stopped what I was doing to fix it.
I then forgot to come back and fix this code, leaving it in this incomplete and broken state.

I also noticed that the f_utf_unicode_string_from() function is mis-named.
The is a "to" function rather than a "from" function because it is creating to a Unicode codepoint.

The "raw" print mode is now supported so use the fl_print_format() to print.

Move the printing of "append" to after the closing color context.
This makes more sense, but I have not bothered to check to see if the design logic is intended to be used this way.

2 years agoBugfix: f_utf_unicode_string_from() is not functioning correctly.
Kevin Day [Fri, 3 Dec 2021 23:58:53 +0000 (17:58 -0600)]
Bugfix: f_utf_unicode_string_from() is not functioning correctly.

The code in this function is incomplete and incorrect.
I have a feeling I got distracted and came back later to work on it, forgetting what I was doing.

Use while loops rather than for loops for cases where the for loop would essentially have empty content.

It is clear that I intended to test for both upper case and lower case U but I didn't actually test against lower case.

The code is not incrementing after confirming there is a 'u' or 'U".

2 years agoUpdate: More unicode improvements, byte_dump improvements.
Kevin Day [Tue, 30 Nov 2021 04:14:00 +0000 (22:14 -0600)]
Update: More unicode improvements, byte_dump improvements.

Get rid of the use of declaring a byte_first, byte_second, byte_third, and byte_fourth variable.
The allocation of the variable is costly and consumes memory.
I am more recently of the opinion that the bitwise check is cheaper than defining a variable and then comparing.

Implement a significant portion of the blocks/planes for the unassigned detection function.

Have the byte_dump program treat unassigned as invalid.
This results in a cleaner display.

2 years agoUpdate: Finish implementing combining character detection.
Kevin Day [Tue, 30 Nov 2021 02:42:06 +0000 (20:42 -0600)]
Update: Finish implementing combining character detection.

I consider this done.
There will be a pass sometime in the future where I review all of the codepoints before making the stable release.
I suspect, given the size of these kinds of changes, that there will be mistakes and oversights.

2 years agoProgress: More UTF-8 improvements, adding more combining characters.
Kevin Day [Sat, 27 Nov 2021 16:18:54 +0000 (10:18 -0600)]
Progress: More UTF-8 improvements, adding more combining characters.

2 years agoUpdate: Make wide text display the default.
Kevin Day [Sat, 27 Nov 2021 13:49:18 +0000 (07:49 -0600)]
Update: Make wide text display the default.

Move the width detection into a bitwise options property.
Detect the rightmost ordering of narrow and wide parameters.
Set the default value to wide.

2 years agoProgress: Major UTF-8 changes and optimization.
Kevin Day [Sat, 27 Nov 2021 05:06:30 +0000 (23:06 -0600)]
Progress: Major UTF-8 changes and optimization.

Add more combining characters.
As usual, with the UTF-8 codes I am focusing on getting it supported rather than getting it optimal.

Add wide character detection.
Any mistakes aside, this appears complete.
There are a lot of blocks within some sequence ranges, so I used ".." in the comments to designate that this is a range of blocks.

Update the byte_dump program to utilize both of these.

3 years agoProgress: Major UTF-8 changes and optimization, begin updating byte_dump and utf8...
Kevin Day [Sat, 20 Nov 2021 03:26:18 +0000 (21:26 -0600)]
Progress: Major UTF-8 changes and optimization, begin updating byte_dump and utf8, and miscellaneous changes.

A previous commit accidentally include the utf8 level 3 program while it was being heavily developed.
As it is already committed, commit the latest changes.
The utf8 program is still not done.

While working on the utf program, I noticed that there are some things in the UTF-8 code that is not yet done or correct and is needed.
I also noticed that the byte_dump program needs to handle the narrow and wide widths to assure consistent column line ups.
Such a change requires new functionality in the UTF-8 code for processing the widths.

These two significant needs resulted in me finally getting around to some of the UTF-8 cleanup that I have been needing to do.
- Get rid of the width parameter, and calculate the width as needed (bitwise is chip and allocated a variable and then passing it along parameters is not as cheap).
- Swap some of the conditions to avoid using "!", saving a single operation though structural changes.
- Break out the utf string functions into its own utf_string.c, utf_string.h, private-utf_string.c, and private-utf_string.h.
- Numerous documentation comment cleanups and update (I think there is still more to do).
- Provide F_utf_fragment and F_utf_fragment_not for improved communication of UTF-8 fragments in error responses (rather than re-using F_utf).
- Provide f_utf_unicode_string_from() (I have not yet written a f_utf_unicode_string_to() but I plan to).
- Update endianess detection to use macros (I am include <endian.h>, but I may also provide custom macros to disable and explicitly designate endianess).

The UTF-8 is wide functions are drafted out, but there are a lot of wide character codes that I need to add.
This will be grunt work that will take a notable amount of time.
For now, just add a comment and I will get back to this.

The byte_dump program is depending on the is wide functions and so currently incompletely implements the narrow and wide support.

Try to use present tense in error message.
There are likely many more places, but this is a start.

Add F_first, F_first_not, F_last, F_last_not, F_next, F_next_not, F_previous, and F_previous_not for providing position return codes.

Fix a bug where width is being define by a uint8_t but the calculates are f_array_length_t.
How did this ever work before, by accident?

3 years agoRegression: Previous byte_dump cleanup resulted in an extra space for one character.
Kevin Day [Mon, 15 Nov 2021 23:34:06 +0000 (17:34 -0600)]
Regression: Previous byte_dump cleanup resulted in an extra space for one character.

The character 0xd89d is being handled in a special case.
This is previous code that is now identifiable as removable.
Stop handling this as a special case, avoiding the need to print extra spaces.

3 years agoCleanup: Byte Dump UTF-8 handling.
Kevin Day [Sun, 14 Nov 2021 04:42:32 +0000 (22:42 -0600)]
Cleanup: Byte Dump UTF-8 handling.

Minor cleanups.
There are likely more to come in the future.

3 years agoUpdate: Improve UTF-8 Control detecting, expanding to distinguish Control Code and...
Kevin Day [Sun, 14 Nov 2021 04:39:06 +0000 (22:39 -0600)]
Update: Improve UTF-8 Control detecting, expanding to distinguish Control Code and Control Format.

There seem to be "Control Format".
Create functions for "Control Code" and "Control Format" (is_control_code and is_control_format functions).
The is_control functions now check for both.

3 years agoUpdate: Implement double support in print functions and add missing functionality.
Kevin Day [Sat, 13 Nov 2021 22:36:17 +0000 (16:36 -0600)]
Update: Implement double support in print functions and add missing functionality.

This implements the double support as a wrapper to the printf() functionality.
Future versions will ideally impliment this internally.

I observed that there is some incorrect logic with the "width" and the "precision".
The logic appears to be asserting that they are XOR to each other.
In actuality they are OR to each other and both can be provided.

Rename "output" to "stream".
This seems slightly more accurate to me.
I considered using "file" but that is heavily used by the f_file_t rather than the FILE *.

3 years agoBugfix: Base 10 was used in hexdigit for comparison, resulting in invalid number...
Kevin Day [Sat, 13 Nov 2021 21:24:38 +0000 (15:24 -0600)]
Bugfix: Base 10 was used in hexdigit for comparison, resulting in invalid number conversion.

Looks like I accidentally used based 10 numbers.
The 0x29 is supposed to be 0x2f (I was thinking 30-1 = 29, but in hex it is actually 2f).

3 years agoBugfix: The print safely functions are not fully UTF-8 aware.
Kevin Day [Sat, 13 Nov 2021 16:07:53 +0000 (10:07 -0600)]
Bugfix: The print safely functions are not fully UTF-8 aware.

The f_print_character_safely_get() can only handle a single byte.
This makes it impossible to be UTF-8 aware.

Provide a new function f_print_safely_get() that accepts a string and a max width.
This string is intended to represent a single character, but can be multi-byte based on max width.
This function checks to see if the character is invalid or a control character, in which case it is replaced.

3 years agoUpdate: Remove old color print functions.
Kevin Day [Sat, 13 Nov 2021 03:13:27 +0000 (21:13 -0600)]
Update: Remove old color print functions.

These functions are still present for migration and just in case.

Now that I am using fl_print_format() I feel there is no reason to keep and maintain this code.
Get rid of it.

3 years agoBugfix: Wrong characters being printed, switch to newer print functions.
Kevin Day [Sat, 13 Nov 2021 03:10:20 +0000 (21:10 -0600)]
Bugfix: Wrong characters being printed, switch to newer print functions.

When specifying a start offset using -f/--first, additional characters are printed.
This appears to be stale code that should no longer be present.

Switch the old color print functions to the fl_print_format() and similar.

3 years agoUpdate: Signal related updates, consistency improvements, and miscellaneous code...
Kevin Day [Fri, 12 Nov 2021 05:04:37 +0000 (23:04 -0600)]
Update: Signal related updates, consistency improvements, and miscellaneous code cleanups.

Add support for setting the timeout via f_signal_read().

I am using both F_signal and F_interrupt.
The F_signal is more general and in this since is more accurate.
However, F_interrupt is more accurate to the intent in the design.
When an interrupt is received exit.
All signals being treated as an interrupt will need to exit, so just pass F_interrupt.

Provide a consistent reporting of handling the signals.

Setup all programs to catch and handle signals, allowing for a clean exit.
There are so many changes in this regard, I went for a quick approach.
In every loop that at glance look like it would be a good point to check for signal, the code now checks for signal.
There is likely a need for performance consideration in this.
There is likely a need for invetigating this further to make sure it is still responsive (as in, investigate to see if I need to add additional signal checks).
Programs like fake and controller already handle the signal.
These programs are update to be consistent with this newer design.

The "main" structure used in the programs is sometimes a constant variable and other times a pointer.
While there are performance and security reasons, I am finding that consistency is better at this point in time.
Pass all of the "main" structures as either a constant pointe or a pointer.
At some point in the future, I can see myself reviewing these and making performance improvements that might result in reverting some of this.
Having be more consistent will make the code a bit more mangeable during this highly active development and design period.

Miscellaneous syntax cleanups of any code that I happened to notice needs cleaning and can be easily cleaned on the spot.

When interrupting, flush the output and print a new line.
This is effective in properly cleaning the console (to some reasonable extent), which can be messy when exiting due to an interrupt.

I did not get a change to utilize the signal handling function callbacks in the FSS processing functions.
I will need to follow up this commit with such a change.
I need to see if the IKI processing functions also can do this and need to do this as well.

I haven't had a chance to really look at each of the programs after this change.
I will need to spend time making suring there are no regressions.

3 years agoUpdate: The color set context should also have the "reset".
Kevin Day [Fri, 12 Nov 2021 05:00:05 +0000 (23:00 -0600)]
Update: The color set context should also have the "reset".

3 years agoRegression: NULL is being printed and fix inline function.
Kevin Day [Wed, 10 Nov 2021 03:58:44 +0000 (21:58 -0600)]
Regression: NULL is being printed and fix inline function.

The NULL character should not be printed for "safely" print functions.

The private inline functions should be made static.

3 years agoCleanup: Improve standard verbosity help message.
Kevin Day [Tue, 9 Nov 2021 02:41:39 +0000 (20:41 -0600)]
Cleanup: Improve standard verbosity help message.

I find the wording I used to be rather confusing.
Reword the documentation.

3 years agoUpdate: Experimentall cast characters to uint8_t in UTF-8 processing code.
Kevin Day [Tue, 9 Nov 2021 02:36:22 +0000 (20:36 -0600)]
Update: Experimentall cast characters to uint8_t in UTF-8 processing code.

I've noticed with calls like printf("%d", string[0]) the printed number might be a negative huge number.
Explicitly casting it to uint8_t (rather than char) seems to be a way to avoid this and allow for the number to be better printed.
I am suspecting that this should be done in general rather than just to the print functions.
This is an experimental commit designed to make it so.

This also has an affect on bitwise operations because bitwise shifts respond differently between signed and unsigned integers.

3 years agoUpdate: Fix print function bugs and add missing functions.
Kevin Day [Tue, 9 Nov 2021 02:26:17 +0000 (20:26 -0600)]
Update: Fix print function bugs and add missing functions.

There are some cases where the logic is flawed and fails to print correctly.
Given a bash binary, passing it through the print functions and back to the disk in raw format resulted in a different binary.
The binary should be identical to the original and is not.

It seems that when I attempted to reduce the number of variables in the print function I failed to account for certain details.
This essentially reverts some of the previous logic and puts back the variables.

Many off these functions are almost identical but their differences result in requiring slightly different code.
This makes the code less manageable and easy to get lost in.
The code has been tweaked somewhat to be more consistent across the board, where possible.
This might come at a cost of some slight performance.

To make the code easier to read, separate the print functions into two groups:
1) The print functions that use file streams.
2) The print functions that use file descriptors.

This code is slightly different and while I could use macros to make this simpler, I opted to avoid macros at the cost of duplication.
Move these two groups into separate files, significantly improving code readability.

There is a mistake in the previous code where errno is being processed for file stream errors.
The libc file stream functions do not utilize errno.
Change the affected code to just return F_output with the error bit set.
I am unable to find a discrete list of error codes returned by ferror().
I will need to additional work to get these codes so I can properly map them to more verbose error codes.

The documentation is no longer out of sync.

There should be a file descriptor function equivalent for nearly every file stream function.
In this regard, several missing functions are now added.

This is an unplanned change that is rather large.
I am concerned with oversights and regressions.
Just keep an eye out for regressions and hope that there are none.

3 years agoBugfix: UTF-8 functions fail to properly handle ASCII.
Kevin Day [Fri, 5 Nov 2021 01:53:17 +0000 (20:53 -0500)]
Bugfix: UTF-8 functions fail to properly handle ASCII.

This seems to be a problem where there are two ways of processing ASCII detection of UTF-8 code.

The macro_f_utf_byte_width() will return the width of 1 for ASCII.
The macro_f_utf_byte_width_is() will return a width of 0 for ASCII.

The affected code is assuming a width of 0, but some functions send a width of 1 for ASCII.
These are private functions, so it is relatively safe to just allow both.

Change the behavior to accept both 0 and 1 and treat them as ASCII.

Update comment about Unicode 12.1, setting it to 14.0.

3 years agoCleanup: Fix styling practice where a newline should be after a loop.
Kevin Day [Fri, 5 Nov 2021 01:51:53 +0000 (20:51 -0500)]
Cleanup: Fix styling practice where a newline should be after a loop.

Any loop whose insides are greater than 1 line should have a newline separating the loop line start from the content.

3 years agoUpdate: Add "success" color context and initialize color "set" in programs.
Kevin Day [Thu, 4 Nov 2021 05:12:12 +0000 (00:12 -0500)]
Update: Add "success" color context and initialize color "set" in programs.

There is an "error" and a "warning" but no "success".
Make this complete by adding "success".

The programs aren't initializing the "set".
Attempting to use these always results in no color context.
Fix this by initializing these in each program.

The output context also needs to be initialized just like the error and warning.